JP2022095303A - 周辺画像表示装置、表示制御方法 - Google Patents

Abstract

【課題】車室内に配置された仮想視点からみた車両周辺を示す合成画像を表示する構成において、ユーザがどの方向についての周辺画像が表示されたのかを認識しやすい周辺画像表示装置を提供する。【解決手段】画像生成ＥＣＵ１は、車両に対するユーザ操作に基づいて、ドライバ視点から車体底部を透過して前輪付近の路面を見たような合成画像を生成する。画像生成ＥＣＵ１は、上記の合成画像を表示する場合には、まず、車両上方の後方寄りに配置された鳥瞰視点からドライバ視点まで視点が移動していくアニメーションを表示する。視点の移動過程においては、インストゥルメントパネルなどの内装部材は不透明又は半透明で表示される。また、視点移動完了後には視点を固定したまま内装部材の画像の透明度を徐々に上げていくアニメーションを表示する。一連のアニメーションは最終画面として上記合成画像が表示されるように構成されている。【選択図】図９

Description

本開示は、車載カメラの画像に基づいて、車両の周辺の少なくとも一部の領域を示す周辺画像を生成及び表示する周辺画像表示装置、表示制御方法に関する。

特許文献１には、車両周辺を示す周辺画像として、車両の複数箇所に配置されたカメラでの撮影画像、又はそれらを合成することによって得られる合成画像を表示する技術が開示されている。なお、周辺画像としての合成画像とは、車両の上方から見下ろすように車両の周辺を示す俯瞰画像や、ドライバの視点からみた車両の周辺をインストゥルメントパネルなどを透過させて示すドライバ視点画像などがある。

特許第６２５７９７８号公報

特許文献１に開示の装置のように、多様な視点での周辺画像を表示可能な構成によれば、ユーザは所望の視点での映像を見ることが可能となり、利便性が向上する。一方、表示可能な視点が増えると、ディスプレイの表示内容を周辺画像に切り替えた場合に、表示された周辺画像がいずれの視点からみた周辺画像であるかをユーザが直感的に把握しにくいといった課題が生じうる。

本開示は、この事情に基づいて成されたものであり、その目的とするところは、車室内に配置された仮想視点からみた車両周辺を示す合成画像を表示する構成において、ユーザがどの方向についての周辺画像が表示されたのかを認識しやすい周辺画像表示装置、表示制御方法を提供することにある。

その目的を達成するための周辺画像表示装置は、車両で用いられる周辺画像表示装置であって、車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を用いて、任意の仮想視点からみた車両の周辺の領域を示す合成画像である周辺画像を生成する合成画像生成部（Ｆ５）と、合成画像生成部が生成した周辺画像をディスプレイに表示するための処理を実施する表示制御部（Ｆ６）と、を備え、合成画像生成部は、車室内に位置する仮想視点である車内視点（Ｖｄ）からみた周辺画像であって車両の一部又は全部を透過させて車両の周辺を示す車内視点画像（ＰＤ）と、所定の記憶媒体に保存されている内装部材を描画するためのデータ（Ｄｔ）を用いて車内視点からみた内装部材の画像を含む合成画像である内装付加画像（ＰＤｉ）とを生成可能に構成されており、表示制御部は、車両へのユーザの操作に基づきディスプレイの表示画面を車内視点画像に切り替える場合には、車内視点画像を表示する前に、内装付加画像をいったん表示するとともに、内装部材の画像の透明度を徐々に上げていくアニメーションを表示するように構成されている。

以上の構成によれば、車内視点画像へ画面を切り替える際、いきなりインストゥルメントパネルなどの内装部材を透過させた周辺画像を表示するのではなく、いったん内装部材の画像を含む画像を表示する。そして、当該内装部材の画像を徐々に透過させていくことで、最終的に車内視点画像を表示する。このようにいったん内装部材を表示することにより、ユーザはどの方向についての周辺画像が表示されたのかを認識しやすくなる。

また、上記目的を達成するための表示制御方法は、車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を用いて、任意の仮想視点からみた車両の周辺の領域を示す合成画像である周辺画像の表示を制御する、少なくとも１つのプロセッサによって実行される表示制御方法であって、周辺画像として、車室内に配置された仮想視点である車内視点（Ｖｄ）からみた周辺画像であって、車両の一部又は全部を透過させて車両の周辺を示す車内視点画像（ＰＤ）を生成すること（Ｓ１０６Ａ）と、所定の記憶媒体に保存されている車両の内装部材を描画するためのデータ（Ｄｔ）を用いて車内視点からみた内装部材の画像を含む合成画像である内装付加画像（ＰＤｉ）を生成すること（Ｓ１０６Ｂ）と、生成された合成画像をディスプレイに表示すること（Ｓ２０３）と、を含み、車両へのユーザの操作に基づきディスプレイの表示画面を車内視点画像に切り替える場合には、車内視点画像を表示する前に、内装付加画像をいったん表示した上で内装付加画像における内装部材の画像の透明度を徐々に上げていくアニメーションを表示すること（Ｓ２０６～Ｓ２０８）を含む。

上記の表示制御方法は、上記周辺画像表示装置に対応する方法であって、上記周辺画像表示装置と同様の作用により同様の効果を奏する。

なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

周辺表示システムＳｙｓの全体像を示すブロック図である。 各カメラ２の搭載位置及び撮影範囲の一例を示す図である。 画像生成ＥＣＵ１の機能を説明するためのブロック図である。 投影面ＴＳについて説明するための図である。 仮想視点ＶＰについて説明するための図である。 合成画像の生成手順の一例を示すフローチャートである。 床下画像の生成に使用する画像データについて説明するための図である。 合成画像の構成例を示す図である。 前向車室内画像を表示する際の画像生成ＥＣＵ１の作動を示すフローチャートである。 前向車内視点Ｖｄｆまでの仮想視点の移動経路の一例を示す図である。 視点移動フェーズにおける表示画面の遷移例を示す図である。 車体透過フェーズにおける表示画面の遷移例を示す図である。 最終的な前向車内視点画像ＰＤｆの一例を示す図である。 後向車内視点Ｖｄｂまでの仮想視点の移動経路の一例を示す図である。 仮想視点ＶＰが車室内に入る直前での屋根部画像Ｐｒの透明度の制御態様を説明するための図である。 仮想視点ＶＰが車室内に入る直前での屋根部画像Ｐｒの透明度の制御態様を説明するための図である。 視点移動フェーズにおいて最終的な車内視点での表示範囲を示す画像の表示例を示す図である。

以下、図面を参照しながら本開示にかかる周辺表示システムＳｙｓの実施形態について説明する。周辺表示システムＳｙｓは、当該システムが搭載された車両の周辺の画像をディスプレイに表示するものである。以下では周辺表示システムＳｙｓが搭載されている車両Ｈｖを自車両とも記載する。

＜前置き＞
本実施形態の自車両は例えば、路面がアスファルトなどで舗装された道路上（つまりオンロード）だけでなく、オフロードを走行することも想定された四輪駆動車であって、走行モードとして通常モードとオフロードモードを備える。通常モードは、オンロードの走行に適した走行モードであり、オフロードモードはオフロードの走行に適した走行モードである。各走行モードは、前後左右の車輪への駆動力の分配制御の方式が異なる。なお、ここでのオフロードとは、主として岩石路などの凹凸が大きい地面を指すものとする。もちろん、オフロードは、オンロード以外の地面、すなわち整備されていない地面全般と解することもできる。また、本開示は、オフロードを走行することが想定されていない車両にも適用することができる。自車両は、エンジンを駆動源とする車両であってもよいし、モータを駆動源として備える電気自動車又はハイブリッドカーであってもよい。

以下の説明における前後、左右、上下の各方向は、自車両を基準として規定される。具体的に、前後方向は、自車両の長手方向に相当する。左右方向は、自車両の幅方向に相当する。上下方向は、車両高さ方向に相当する。別の観点によれば、上下方向は、前後方向及び左右方向に平行な平面に対して垂直な方向に相当する。本開示では車両高さ方向に垂直な平面を車両水平面とも称する。また、前後左右方向を含む、車両高さ方向に垂直な方向を車両水平方向とも称する。車両水平方向は自車両から離れる方向に相当する。

加えて、本開示における「平行」とは完全な平行状態に限らない。数度から２０度程度傾いていても良い。つまり概ね平行である状態（いわゆる略平行な状態）を含みうる。本開示における「垂直」という表現についても、完全に垂直な状態に限らず、数度～２０度程度傾いている状態を含めることができる。

＜全体構成の説明＞
図１は、本開示に係る周辺表示システムＳｙｓの概略的な構成の一例を示す図である。図１に示すように、周辺表示システムＳｙｓは、画像生成ＥＣＵ１、複数のカメラ２、ディスプレイ３、タッチパネル４、操作ボタン５、及び車両状態センサ６を備える。なお、部材名称中のＥＣＵは、Electronic Control Unitの略であり、電子制御装置を意味する。

画像生成ＥＣＵ１は、複数のカメラ２、ディスプレイ３、タッチパネル４、操作ボタン５、及び車両状態センサ６のそれぞれと通信可能に接続されている。上記の種々の装置又はセンサと画像生成ＥＣＵ１とは、専用線で個別に接続されていても良いし、車両内に構築された通信ネットワークである車両内ネットワークを介して接続されていてもよい。例えばカメラ２と画像生成ＥＣＵ１とは専用の映像信号線で直接的に接続されていても良い。

画像生成ＥＣＵ１は、車両Ｈｖの運転操作を支援するための画像として、各カメラ２から入力される画像データに基づいて車両周辺領域を任意の視点から見た合成画像を生成し、ディスプレイ３に表示するＥＣＵである。画像生成ＥＣＵ１が周辺画像表示装置に相当する。画像生成ＥＣＵ１は、コンピュータを用いて実現されている。すなわち、画像生成ＥＣＵ１は、処理部１１、ＲＡＭ１２、ストレージ１３、Ｉ／Ｏ１４、及びこれらの構成を接続するバスラインなどを備えている。

処理部１１は、ＲＡＭ１２と結合された演算処理のためのハードウェア（換言すれば演算コア）である。処理部１１は、例えばＣＰＵである。処理部１１は、ＲＡＭ１２へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。ＲＡＭ１２は揮発性の記憶媒体である。

ストレージ１３は、フラッシュメモリ等の不揮発性の記憶媒体を含む構成である。ストレージ１３には、ファームウェアとしての画像生成プログラムＰｇや、合成画像生成部Ｆ５が合成画像を生成するための多様な描画用データＤｔが保存されている。描画用データＤｔには、後述する投影面ＴＳの形状等を示すデータや、自車両外観を示す３Ｄモデルのデータ、自車両の所定の構成部材の３Ｄモデルデータなどが含まれる。３Ｄモデルのデータが用意されている構成部材としては、例えばハンドル、インストゥルメントパネル、ピラー、ボディパネル、シート、センターコンソールなど、多様な内装部材が挙げられる。また、タイヤの３Ｄモデルデータも描画用データＤｔとしてストレージ１３に保存されている。なお、処理部１１が当該画像生成プログラムＰｇを実行することは、当該画像生成プログラムＰｇに対応する方法である表示制御方法が実行されることに相当する。Ｉ／Ｏ１４は、他装置と通信するための回路モジュールである。Ｉ／Ｏ１４は、アナログ回路素子やＩＣなどを用いて実現されている。画像生成ＥＣＵ１の詳細については別途後述する。

カメラ２は、自車両周辺を撮影し、当該撮影画像のデータを画像生成ＥＣＵ１に出力する車載カメラである。各カメラ２は、少なくともレンズと撮像素子とを備えており、自車両の周辺を示す画像を電子的に取得する。複数のカメラ２はそれぞれ異なる範囲を撮像するように自車両の所定位置に、所定の姿勢で取り付けられている。本実施形態の周辺表示システムＳｙｓはカメラ２として図２に示すようにフロントカメラ２Ｆ、リアカメラ２Ｂ、左サイドカメラ２Ｌ、及び右サイドカメラ２Ｒを備える。これら４つのカメラ２は、自車両において互いに異なる位置に配置され、自車両の周辺の異なる方向を撮影する。具体的には次のとおりである。

フロントカメラ２Ｆは、車両前方を所定の画角で撮像するカメラである。フロントカメラ２Ｆは、例えばフロントグリルなどの自車両の前端において、その光軸２Ｆａが自車両の正面方向に向けられた姿勢で取り付けられている。リアカメラ２Ｂは、車両後方を所定の画角で撮像するカメラである。リアカメラ２Ｂは、光軸２Ｂａが自車両の後方に向けられた姿勢で、例えばリアナンバープレート付近やリアウインドウ付近など、車体背面部の所定位置に配置されている。左サイドカメラ２Ｌは、自車両の左側方を撮像するカメラである。左サイドカメラ２Ｌは、左側サイドミラーにおいて、光軸２Ｌａが自車両の左側に向いた姿勢で取り付けられている。右サイドカメラ２Ｒは、自車両の右側方を撮像するカメラである。右サイドカメラ２Ｒは、右側サイドミラーにおいて、その光軸２Ｒａが自車両の右側に向いた姿勢で取り付けられている。各カメラ２は、光軸が車両水平方向よりも例えば１０度など所定量下方に向いた姿勢で取り付けられていても良い。

これらのカメラ２のレンズとしては魚眼レンズなどの広角レンズが採用されており、各カメラ２は１８０度以上の画角θを有している。このため、４つのカメラ２を利用することで、自車両の全周囲を撮影することが可能である。なお、上述した各カメラ２の取り付け位置は適宜変更可能である。フロントカメラ２Ｆは、ルームミラーやフロントガラスの上端部などに取り付けられていても良い。右サイドカメラ２Ｒ及び左サイドカメラ２Ｌは、ＡピラーやＢピラーの付け根付近に配置されていてもよい。周辺表示システムＳｙｓは、ルーフ上に取り付けられたカメラ２を備えていても良い。一部又は全部のカメラ２は、例えばルーフ上や、ダッシュボード上、窓枠付近などに後付されたカメラであってもよい。

車両Ｈｖにおける各カメラ２の搭載位置及び姿勢を示すデータ（以降、搭載位置データ）は、ストレージ１３に格納されている。各カメラ２の搭載位置は、例えば、車両Ｈｖの任意の位置を中心とする３次元座標（以降、車両３次元座標系）上の点として表されていれば良い。車両３次元座標系を形成するＸ軸は、例えば、車両の左右方向に平行な軸とすることができる。また、Ｙ軸は前後方向に平行な軸とすることができる。Ｚ軸は車両高さ方向に平行な軸とすることができる。車両右方向がＸ軸正方向に対応し、車両前方がＹ軸正方向に対応し、車両上方がＺ軸正方向に対応するものとする。車両３次元座標系の中心は、例えば、後輪車軸の中心などとすることができる。

ディスプレイ３は、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示するデバイスである。ディスプレイ３は、ユーザがその画面を視認できるように、自車両のインストゥルメントパネルなどに配置される。ディスプレイ３は、画像生成ＥＣＵ１と同一のハウジング内に配置されることにより、画像生成ＥＣＵ１と一体化されていてもよい。もちろん、ディスプレイ３は、画像生成ＥＣＵ１とは別体の装置であってもよい。ディスプレイ３は、表示パネル上に積層されたタッチパネル４を備えており、ユーザの操作を受け付け可能に構成されている。タッチパネル４は例えば静電容量式のタッチパネルであって、ユーザのタッチ位置を示す信号を出力する。なお、ここでのユーザとは、主として運転席の乗員（いわゆるドライバ）を指す。ユーザにはドライバの他に、助手席の乗員などを含めることができる。

操作ボタン５は、ディスプレイ３の表示内容に対するユーザの操作を受け付ける操作部材である。操作ボタン５は、画像生成ＥＣＵ１が生成した合成画像やカメラ画像をディスプレイ３に表示させたり、合成画像の仮想視点等を変更したりするためのスイッチである。操作ボタン５は、例えば、自車両のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。ユーザは、この操作ボタン５、及び、タッチパネル４を介して周辺表示システムＳｙｓに対する各種の操作を行うことができる。操作ボタン５及びタッチパネル４の何れかにユーザの操作がなされた場合は、その操作の内容を示す操作信号が画像生成ＥＣＵ１に入力される。なお、操作ボタン５は、マルチインフォメーションスイッチと呼ぶこともできる。操作ボタン５はインストゥルメントパネルに配されていても良い。

なお、周辺表示システムＳｙｓは、ドライバが車両Ｈｖの走行モードをオフロードモードに切り替えるための操作部材としての走行モードスイッチを備えていても良い。走行モードを切り替えるための操作部材はダイヤル式であってもよい。なお、走行モードスイッチとしての機能はシフトレバーが備えていても良い。

車両状態センサ６は、自車両の走行制御に関わる状態量を検出するセンサである。車両状態センサ６には、シフトセンサや、車速センサ、操舵角センサ、加速度センサなどが含まれる。シフトセンサは、シフトポジションを検出するセンサである。車速センサは、自車両の走行速度を検出するセンサである。操舵角センサは、ハンドルの回転角（いわゆる操舵角）を検出するセンサである。加速度センサは、自車両に作用する車両前後方向、横方向、及び、上下方向の少なくとも何れか１方向の加速度を検出するセンサである。ここでは加速度センサとして３軸加速度センサが採用されているものとする。加速度センサの検出値は、水平面に対する車両姿勢を判断するための材料として使用することができる。なお、車両状態センサ６として周辺表示システムＳｙｓが使用するセンサの種類は適宜設計されればよく、上述した全てのセンサを備えている必要はない。また、車高センサやジャイロセンサ、方位角センサなどを車両状態センサ６に含めることができる。各センサは、検出対象とする物理状態量の現在の値（つまり検出結果）を示すデータを画像生成ＥＣＵ１に出力する。

＜画像生成ＥＣＵの構成について＞
画像生成ＥＣＵ１は、図３に示すように機能部として画像取得部Ｆ１、操作受付部Ｆ２、車両状態取得部Ｆ３、画像認識部Ｆ４、合成画像生成部Ｆ５、表示制御部Ｆ６、及び画像出力部Ｆ７を備える。また、画像生成ＥＣＵ１は、画像データを一時的に保持するためのメモリである画像メモリＭ１を備える。画像メモリＭ１は、例えばＲＡＭ１２が備える記憶領域の一部を用いて実現されている。画像メモリＭ１には各カメラ２から提供された画像データが、撮像時の車両Ｈｖの位置情報および向き情報と対応付けられて保存されうる。

画像取得部Ｆ１は、４つのカメラ２でそれぞれ生成された画像であるカメラ画像を取得する。これらカメラ２毎の画像を組み合わせることにより、自車両の全周囲についての画像データが得られる。画像取得部Ｆ１は、カメラ２から入力された画像信号を、所定のデータ形式のデジタル画像データに変換した上で、画像認識部Ｆ４や合成画像生成部Ｆ５に出力する。

また、画像取得部Ｆ１は、例えば自車両が所定の保存距離移動するたびに、その時点で各カメラ２で撮像された画像のデータを、別途取得される自車両の位置情報及び車体姿勢情報と対応付けて画像メモリＭ１に保存する。保存距離は、例えば０．１ｍや、０．３ｍ、０．５ｍなどとすることができる。画像取得部Ｆ１は、例えば車両前進時においては、少なくとも車両前端の直下から３ｍ先までの地面を移したフロントカメラ２Ｆの撮影画像データを画像メモリＭ１に保存すればよい。また、車両後退時には、少なくとも車両後端の直下から３ｍ先までの地面を移したリアカメラ２Ｂの撮影画像データを画像メモリＭ１に保存すればよい。

なお、画像メモリＭ１内における画像データの保存態様は多様な態様を採用可能である。例えば画像取得部Ｆ１は画像メモリＭ１において、最も古く更新された領域に対して、新規データを上書き保存していく。また、画像取得部Ｆ１は、移動距離によらずに、直近所定時間以内に取得した画像フレームを、上述した一定距離毎の画像データとは別領域に保存するように構成されていても良い。画像メモリＭ１に保存されている画像データは、画像認識部Ｆ４や合成画像生成部Ｆ５、表示制御部Ｆ６などによって参照されうる。なお、画像取得部Ｆ１は、カメラ２から取得した画像に対してレンズ特性に応じた歪み補正や、拡大縮小、切り出しなどの画像処理を行った上で画像メモリＭ１に保存してもよい。

操作受付部Ｆ２は、操作ボタン５及びタッチパネル４から出力される操作信号を受信する。操作信号は、操作ボタン５やタッチパネル４に対するユーザの操作の内容を示す信号である。これにより、操作受付部Ｆ２は、合成画像やカメラ画像の表示に対するユーザの指示操作を受け付ける。操作受付部Ｆ２は、受信した操作信号に対応するデータを表示制御部Ｆ６に入力する。

車両状態取得部Ｆ３は、車両状態センサ６など、自車両に設けられている他の装置から、自車両の状態を示す情報を取得する構成である。車両状態取得部Ｆ３は、種々のセンサから、シフトポジションや、検出軸方向毎の加速度、車速、操舵角などを取得する。なお、車両状態取得部Ｆ３は、種々の状態量を他のＥＣＵから取得してもよい。例えば操舵角などの情報は、操舵システムを構成するＥＣＵから取得しても良い。また、車両状態取得部Ｆ３は画像認識部Ｆ４から所定時間前に対する移動距離や向きの変化量などを取得してもよい。つまり車両状態取得部Ｆ３は、センサに限らず、他ＥＣＵや画像認識部Ｆ４などから自車両の状態にかかる多様な情報を取得してもよい。また、車両状態取得部Ｆ３は、複数種類の情報を組み合わせて、車両の移動距離や、車体の向きの変化量などを算出するように構成されていてもよい。車両の向きとは、車両が向いている方向（いわゆるヨー角）だけでなく、ピッチ角やロール角などを含めても良い。

画像認識部Ｆ４は、カメラ２から入力される画像を解析することによって所定の検出対象物の位置及びその種別等を検出する構成である。画像認識部Ｆ４は、例えば画像の特徴量ベクトルに基づき、物体の種別を識別する識別器としての機能を備える。画像認識部Ｆ４は、例えばディープラーニングを適用したＣＮＮ（Convolutional Neural Network）やＤＮＮ（Deep Neural Network）技術などを用いて物体の識別を行う。検出対象物としては、歩行者や他車両などの他、舗装された道路に付与されうる区画線などの路面表示や、道路端、縁石などが含まれる。区画線には、レーンマーカーとしての線の他、駐車枠などを示す線を含めることができる。

また、画像認識部Ｆ４は、画像上に適宜設定される特徴点の画像フレーム間における位置の変化量に基づいて自車両の移動量や向きの変化量を推定するように構成されていても良い。例えば画像認識部Ｆ４は、フレーム間差分法の一種であるオプティカルフロー法などを用いて、或る基準地点に対する現在位置や、移動量、車体の向きの変化量、ヨーレートなどを推定するよう構成されている。オプティカルフローは、画像データに映っている物体の動きをベクトルで示した情報である。画像認識部Ｆ４の物体認識結果や、自車位置等の推定結果は、車両状態取得部Ｆ３や、表示制御部Ｆ６などに出力される。

合成画像生成部Ｆ５は、例えば合成画像を生成するための画像処理を行う構成である。合成画像生成部Ｆ５は、自車両の周辺に相当する仮想の投影面ＴＳに複数のカメラ画像のデータを投影し、該投影面上のデータを用いて仮想視点ＶＰからみた自車両の周辺を示す合成画像を生成する。

投影面ＴＳは、図４に概念的に示すように、自車両の周辺領域に相当する仮想の立体面である。投影面ＴＳの中心領域は、自車両の位置となる車両領域Ｒ０として定められている。車両領域Ｒ０は、例えば矩形状の平面部として設定されている。車両領域Ｒ０は上面視において自車両と重なる領域、換言すれば、カメラ２では直接撮像できない領域を含むように設定されている。投影面ＴＳは、例えば車両領域Ｒ０の近傍では車両水平方向に沿った平面として形成されており、かつ、車両領域Ｒ０から離れるほど傾き（勾配）が大きくなる、下に凸の曲面を有するお椀形状をしている。投影面ＴＳの各部にカメラ画像のどの部分を投影するかはテーブルデータ等の対応情報によって対応付けられている。投影面ＴＳにカメラ画像を投影することは、投影面ＴＳにカメラ画像をテクスチャマッピングすることに相当する。

なお、投影面ＴＳの形状は適宜変更可能である。例えば投影面ＴＳは全領域が水平面に設定されていても良い。また、投影面ＴＳは平面領域を備えずに、車両領域Ｒ０の縁部から下に凸の曲面領域が開始する形状を有していても良い。

合成画像生成部Ｆ５の作動は表示制御部Ｆ６によって制御される。例えば合成画像の生成に使用される仮想視点ＶＰは、表示制御部Ｆ６によって制御される。合成画像生成部Ｆ５はサブ機能として、カメラ画像合成部Ｆ５１と車両画像付与部Ｆ５２を備える。カメラ画像合成部Ｆ５１は前述した投影面ＴＳに各カメラ画像を投影する構成であり、車両画像付与部Ｆ５２は、カメラ画像が投影された投影面ＴＳの所定位置に車両Ｈｖについての画像を配置する構成である。カメラ画像合成部Ｆ５１及び車両画像付与部Ｆ５２の詳細については別途後述する。

表示制御部Ｆ６は、画像生成ＥＣＵ１の全体を統括的に制御するとともに、表示制御部Ｆ６は、ディスプレイ３に表示する画像を制御する。表示制御部Ｆ６は、所定の周辺画像表示条件が充足されている場合に、カメラ画像、及び、合成画像生成部Ｆ５により生成された合成画像の少なくとも何れか一方をディスプレイ３に出力する。カメラ画像は、表示用に歪み補正などがなされた状態で表示される。ディスプレイ３に表示する画像の組み合わせは、自車両の進行方向やタッチパネル４等へのユーザ操作に応じて表示制御部Ｆ６によって決定される。表示制御部Ｆ６は、ユーザによって指示された動作モードに対応する画像をディスプレイ３に表示する。これにより、被写体像として車両の周辺の少なくとも一部の領域を含む周辺画像がディスプレイ３に表示される。

なお、本明細書において、「周辺画像」とは、車両の周辺の少なくとも一部の領域を示す画像を意味し、表示用に調整されたカメラ画像、及び、合成画像の双方を含む概念である。表示用に調整されたカメラ画像は、取得されたカメラ２のレンズの位置を視点とし、その視点からみた周辺画像となる。また、合成画像は、車両の周辺の任意の位置に設定された仮想視点ＶＰからみた周辺画像となる。

表示制御部Ｆ６は、操作受付部Ｆ２や車両状態取得部Ｆ３から入力される情報に基づいて、合成画像生成部Ｆ５を制御して、自車両の走行状態やユーザの設定に応じた合成画像を生成させる機能を有する。例えば表示制御部Ｆ６は、自車両の進行方向、タッチパネル４からの信号、及び操作ボタン５からの信号の少なくとも何れか１つに基づいて、後述する合成画像を生成する際の仮想視点ＶＰの位置及び視線方向を設定する。設定されうる仮想視点ＶＰのパターンとしては図５に示すように、例えば、後向鳥瞰視点Ｖｂｂ、前向鳥瞰視点Ｖｂｆ、前向車内視点Ｖｄｆ、後向車内視点Ｖｄｂなどを採用可能である。

後向鳥瞰視点Ｖｂｂは、車両Ｈｖの屋根部よりも上方において車両前方に位置するポイントから車両Ｈｖ及びその後方を見下ろす仮想視点ＶＰに相当する。また、前向鳥瞰視点Ｖｂｆは、車両Ｈｖの屋根部よりも上方において車両後方に位置するポイントから車両Ｈｖ及びその前方を見下ろす仮想視点ＶＰに相当する。前向鳥瞰視点Ｖｂｆが第１鳥瞰視点に相当し、後向鳥瞰視点Ｖｂｂが第２鳥瞰視点に相当する。

なお、鳥瞰視点Ｖｂとしては、上記の例に限らず、車両の真上や、車両の真上から横方向にずれた位置に設定されたパターンを採用可能である。後向鳥瞰視点Ｖｂｂや前向鳥瞰視点Ｖｂｆといった鳥瞰視点Ｖｂは、仮想視点ＶＰを車室外に配置した、車外視点の一例に相当する。各種鳥瞰視点Ｖｂは、自車両及びその周辺を車両の上方から俯瞰した画像である鳥瞰画像を生成する際に適用されうる。鳥瞰視点Ｖｂの視野角は、車両周辺の所定範囲を含むように適宜調整されている。

前向車内視点Ｖｄｆは、視点位置を車室内におけるドライバの目の想定位置に設定した仮想視点ＶＰの設定パターンである。前向車内視点Ｖｄｆの視線方向は、例えば、前輪付近を含むように前方斜め下方向に設定されうる。斜め下方向とは、例えば車両水平面から２０～３０°程度下方に向けられた方向とすることができる。このような前向車内視点Ｖｄｆはドライバ視点と呼ぶこともできる。

なお、前向車内視点Ｖｄｆの視線方向は、前方斜め下方向をデフォルト方向としつつ、タッチパネル４へのユーザ操作（例えばスワイプ）に基づいて、所定の左右角度範囲何において任意の方向に変更可能に構成されていてもよい。前向車内視点Ｖｄｆの視野角もまた、前輪付近の所定範囲を含むように適宜調整可能である。例えば前向車内視点Ｖｄｆの視野角φは、水平方向１００度、垂直方向６０度などとすることができる。

ドライバの目の想定位置は、例えば、運転席のヘッドレスト近傍に設定される。なお、ドライバの目の想定位置としては、車種ごとに設定されるアイリプスの中心とすることもできる。アイリプスは、車種ごとに規定される仮想的な空間領域である。アイリプスは、乗員のアイポイントの空間分布を統計的に表したアイレンジに基づいて、仮想の楕円体状に設定されている。前向車内視点Ｖｄｆは、車室内に配置された仮想視点ＶＰである車内視点Ｖｄの一例に相当する。また、前向車内視点Ｖｄｆの位置は、ドライバの目の想定位置からずれた位置に配置されていても良い。例えば、前向車内視点Ｖｄｆは、ドライバの目の想定位置から助手席側に所定量ずれた位置、例えば運転席と助手席の中間となる位置に配置されていても良い。

後向車内視点Ｖｄｂは、視点位置がアイリプスよりも所定距離後方であって、且つ、視線方向を後方斜め下方に向けられた仮想視点ＶＰである。このような後向車内視点Ｖｄｂは、例えば、車両後退時に、車両後輪付近の路面を表示する場合に適用されうる。後向車内視点Ｖｄｂによれば、後輪付近をより大きく表示可能となる。その結果、後退時にも前進時と同様に、後輪やリアバンパ付近の様子をドライバが認識しやすくなる。後向車内視点Ｖｄｂも車内視点Ｖｄの一例に相当する。なお、後向車内視点Ｖｄｂの位置自体は、前向車内視点Ｖｄｆと同じ位置であってもよい。前向車内視点Ｖｄｆが第１車内視点に相当し、後向車内視点Ｖｄｂが第２車内視点に相当する。

その他、仮想視点ＶＰとしては、車室内の多様な位置に設定可能に構成されていても良い。例えば仮想視点ＶＰとして、視点位置をサイドミラー付近に配置したパターンや、視点位置を車室内天井部の中央に配置した設定パターンなどを採用可能に構成されていても良い。

その他、表示制御部Ｆ６は、例えばシフトセンサからの信号又はタイヤの回転方向に基づいて、自車両の進行方向が前進方向及び後退方向のいずれであるかを判定する。表示制御部Ｆ６は、走行モードスイッチからの入力信号に基づいて走行環境がオフロードかどうかを判別しても良い。

画像出力部Ｆ７は、表示制御部Ｆ６から入力された画像を所定の信号形式の映像信号に変換してディスプレイ３に出力し、表示させる。これにより、仮想視点ＶＰからみた自車両の周辺を示す合成画像がディスプレイ３に表示される。

＜合成画像の生成方法について＞
ここでは、図６に示すフローチャートを用いて、合成画像生成部Ｆ５が合成画像を生成する際の作動の一例について説明する。なお、ここでは合成画像を生成する処理として概略的にステップＳ１０１～Ｓ１０６のステップを有するものとするが、これに限らない。合成画像を生成する処理が備えるステップ数や処理順序は適宜変更可能である。なお、図６に示す処理は、各カメラ２による撮像が行われている間、又は、合成画像を表示するモードに設定されている間、逐次実行されうる。例えば、図６に示す画像合成処理は１／３０秒周期で繰り返し実行されうる。なお、処理を繰り返し実施する場合には、前回の処理結果を流用できる部分については流用し、適宜処理負荷を低減するように変更して実施可能である。

まずステップＳ１０１ではカメラ画像合成部Ｆ５１が、画像取得部Ｆ１から入力される各カメラ画像に含まれるデータ（各画素の値）を取得し、仮想的な３次元空間における投影面ＴＳに投影する。投影面ＴＳに対する各カメラ画像の投影位置は、テーブルデータ等の対応情報によって予め対応付けられている。テーブルデータなどの対応情報は、各カメラ画像に含まれる各画素を、この投影面ＴＳ上のどの位置に投影するかを示すデータに相当する。

例えばカメラ画像合成部Ｆ５１は、投影面ＴＳの前方領域ｔｓＦに、フロントカメラ２Ｆの画像データを投影し、投影面ＴＳの後方領域ｔｓＢにリアカメラ２Ｂの画像データを投影する。また、カメラ画像合成部Ｆ５１は、投影面ＴＳの左側方領域ｔｓＬに左サイドカメラ２Ｌの画像データを投影し、右側方領域ｔｓＲに右サイドカメラ２Ｒの画像データを投影する。なお、２つのカメラで重複して撮影される領域である重複領域に関しては、２つのカメラの撮影画像を所定の割合でブレンドする手法や、２つのカメラの撮影画像を所定の境界線で繋ぎ合わせる手法が採用されうる。

次にステップＳ１０２としてカメラ画像合成部Ｆ５１が、画像メモリＭ１に保存されている過去の画像データから、車両領域Ｒ０が位置すると推定される部分の画像を抽出し、回転補正などを施した上で車両領域Ｒ０に投影する。車両領域Ｒ０に投影する画像とは、現在自車両の真下に位置する領域の画像、つまり床下の画像であるため、以降では床下画像とも称する。

例えば自車両が前進している場合には、図７に示すように、現在位置よりも３ｍ後方で撮像されたフロントカメラ２Ｆの撮影画像を用いて、床下画像を生成する。また、自車両が後退している場合には、現在位置よりも３ｍ前方で撮像されたリアカメラ画像を用いて、床下画像を生成する。つまり、現在位置よりも所定距離、進行方向逆側となる位置に自車両が位置していたときの画像を用いて床下画像を生成する。なお、自車両が前進している場合には、現在位置よりも３ｍ後方に位置するときから現在位置に至るまでの複数時点で撮像されたフロントカメラ画像を用いて床下画像を生成してもよい。車両後退時も同様とする事ができる。車両領域Ｒ０（換言すれば床下部分）に投影する画像データは、車両Ｈｖの走行に伴って随時更新されれば良い。

なお、ステップＳ１０１またはＳ１０２で生成された投影面ＴＳを仮想視点ＶＰから見た合成画像は、仮想視点ＶＰから車両Ｈｖの外界を見た画像である外界画像に相当する。外界画像は、周辺画像としての合成画像のうち、後述するガイド線や、車両Ｈｖの画像を含まない画像に相当する。

ステップＳ１０３では車両画像付与部Ｆ５２が、車両の存在範囲等を示す種々のＣＧ（Computer Graphics）を、投影面ＴＳを含む３次元空間上の所定位置に配置する。なお、ＣＧは、ＣＧＩ（Computer Generated Imagery）とも呼ばれる。例えばステップＳ１０３では車両画像付与部Ｆ５２は、車両領域Ｒ０の上方に、車両の底部が存在する領域を示す不透明なフロア画像Ｐｆを配置する。フロア画像Ｐｆは、床下画像をマスキングする画像であって、ちょうど床下画像の上に重なるように配置されうる。また、ステップＳ１０３では、車体（実体的には車両底部）が存在する路面範囲を示す車両境界線Ｌｖｃや、タイヤが存在する路面範囲を示すタイヤ境界線Ｌｔなどを車両領域Ｒ０上に配置する。車両境界線Ｌｖｃは、車体を路面に垂直に射影してなる領域の輪郭を示す線であって、鳥瞰視点における車両Ｈｖの外形を示す線に相当する。タイヤ境界線Ｌｔも同様に、タイヤを路面に垂直に射影（つまり正射影）してなる領域の輪郭を示す線であって、鳥瞰視点におけるタイヤの輪郭を示す線に相当する。

車両境界線Ｌｖｃの色は適宜変更可能であって、例えば実際の路面の色と区別がつきやすいように青色に設定される。車両境界線Ｌｖｃの色は、多様な路面の色合いを考慮した上で、ドライバによる車両境界線Ｌｖｃの視認性が高まるように設定されている。タイヤ境界線Ｌｔの色は、車両境界線Ｌｖｃとは異なる色に設定されている。例えばタイヤ境界線Ｌｔの色は、黄色～オレンジ色に設定されうる。

その他、ステップＳ１０３では車両画像付与部Ｆ５２が、車両Ｈｖにかかるその他の画像要素として、タイヤの接地部分を示す矩形状の画像、又はその輪郭線を接地領域画像として描画してもよい。また、車両画像付与部Ｆ５２は、車両Ｈｖの操舵角や転舵角に応じた走行予定軌道を示す線である予定軌道線を描画しても良い。さらに、車両画像付与部Ｆ５２は、車両端部から所定距離離れた地点を示す目盛り線や、車幅を示す車幅線を描画しても良い。車両境界線Ｌｖｃやタイヤ境界線Ｌｔなどは、車両Ｈｖについての情報を示す画像であるため車両情報画像と呼ぶことができる。また、予定軌道線や目盛り線、車幅線などは、ドライバの運転操作を案内する情報としても機能しうる。故に、予定軌道線などの表示線は、ガイド線又は補助線とよぶこともできる。ガイド線には、車両境界線Ｌｖｃやタイヤ境界線Ｌｔを含めることもできる。このようなステップＳ１０３はステップと呼ぶことができる。

ステップＳ１０４では車両画像付与部Ｆ５２が、車両の外観や内装部材を示す種々のＣＧを、投影面ＴＳを含む３次元空間上の所定位置に配置する。より具体的には、車両画像付与部Ｆ５２は、カメラ画像が投影された投影面ＴＳを含む仮想３次元空間上に、自車両についての多様な３Ｄモデルを配置する。例えば、インストゥルメントパネルや、ハンドル、ルームミラー、シート、ピラーなどといった内装部材の３Ｄモデルを、投影面ＴＳを含む３次元空間上の所定位置に配置する。また、タイヤやボディなどの車両の外観を示す３Ｄモデルも配置する。車両及びその個々の構成部材の３Ｄモデルは、オブジェクト又は立体画像と呼ぶこともできる。各３Ｄオブジェクトの透明度、及び、配置／非配置は表示制御部Ｆ６によって変更構成されうる。

ステップＳ１０５では合成画像生成部Ｆ５が、表示制御部Ｆ６の制御により、投影面ＴＳを含む３次元空間に対し、仮想視点ＶＰを設定する。合成画像生成部Ｆ５は、３次元空間における任意の視点位置に任意の視野方向に向けた仮想視点ＶＰを設定できる。なお、ステップＳ１０４はステップＳ１０１やステップＳ１０４などよりも前に実行されても良い。

ステップＳ１０６では合成画像生成部Ｆ５は、投影面ＴＳを含む３次元空間に存在する種々の画像要素に対して、仮想視点ＶＰに応じたレンダリングを行い、仮想視点ＶＰからみて所定の視野角に含まれる画像要素を切り出す。これにより、合成画像生成部Ｆ５は、仮想視点ＶＰからみた周辺画像としての合成画像を生成する。

例えば、仮想視点ＶＰが前向鳥瞰視点Ｖｂｆに設定されている場合には、車両の斜め後方上空から自車両を見下ろすように、車両及び車両の周辺の領域を示す合成画像が生成される。また、仮想視点ＶＰが前向車内視点Ｖｄｆに設定されている場合には、前向車内視点画像ＰＤｆとして車両Ｈｖの底部や内装、ボディなどを透過させたように、前輪付近の地面を示す合成画像を生成する。仮想視点ＶＰが後向車内視点Ｖｄｂに設定されている場合には、車両の底部などを透過させたように、後輪付近の地面を示す合成画像である後向車内視点画像ＰＤｂを生成する。なお、前向車内視点画像ＰＤｆや後向車内視点画像ＰＤｂなど、車体底部を透過させて路面を示す合成画像は、床下透過画像或いは床下確認画像と呼ぶことができる。

図６に示すＳ１０６Ａは、前向車内視点画像ＰＤｆや後向車内視点画像ＰＤｂなど、車内視点画像ＰＤを生成する場合のステップＳ１０６を示している。ステップＳ１０６Ａは、車内視点画像生成ステップと呼ぶことができる。車内視点画像ＰＤは、車内視点から見て内装部材の死角に位置する路面領域を、内装部材を透過させたように示す合成画像である。車内視点画像ＰＤは、不透明なフロア画像Ｐｆを含む合成画像であってもよいし、フロア画像Ｐｆも透過させた床下透過画像であってもよい。

また、合成画像生成部Ｆ５は表示制御部Ｆ６の制御のもと、内装部材を不透明または半透明な状態で示す合成画像を生成しうる。例えば、内装付加画像ＰＤｉとして、車内視点画像ＰＤにおいて内装部材の画像を不透明または半透明な状態で示す合成画像を生成しる。そのような内装付加画像ＰＤｉは、車内視点画像ＰＤに内装部材の画像を重畳した画像に相当する。内装付加画像ＰＤｉとしては、前向車内視点Ｖｄｆから見た内装画像を含む前向内装付加画像ＰＤｉｆや、後向車内視点Ｖｄｂから見た内装画像を含む後向内装付加画像などを含む。各種内装付加画像ＰＤｉは、例えば、ステップＳ１０４で描画される各種内装部材の３Ｄモデルの透明度を調整することで生成されうる。

なお、以上で述べた合成画像の生成方法は一例であって、実際に合成画像を生成する場合においては、投影面ＴＳの全ての画素の値を決定する必要はない。例えば、複数のカメラ画像のうち、設定された仮想視点ＶＰに対応して必要となる範囲の画素値のみを用いて合成画像を生成してもよい。また、仮想視点ＶＰの位置に応じて、配置する３Ｄモデルの組み合わせを変更しても良い。例えば仮想視点ＶＰが車室外に存在する場合には内装部材の３Ｄモデルの描画は省略可能である。仮想視点ＶＰが車室内に配置されている場合には、車両外面を形成するボディ等の３Ｄモデルの描画は省略可能である。仮想視点ＶＰとして車両前方に視線が向けられた前向車内視点Ｖｄｆが設定されている場合には、後部座席のシートなど、運転席よりも後方の内装部材の画像の描画は省略されても良い。表示範囲外の画像の描画を省略することで、処理速度の向上或いは処理負荷を低減可能となる。

また、以上では一例としてカメラ画像を投影面ＴＳに投影してから車両Ｈｖについての各種ＣＧを付与する順番で合成画像を生成する態様を述べたが、個々の処理は並列的に実行されても良い。合成画像を生成する方法としては多様な方法を採用することができる。複数のカメラ画像を組み合わせてなる外界画像や、車両を構成する部材の立体モデルの画像は、それぞれ別のレイヤに配置して個別に処理されても良い。

例えば、合成画像は、図８に示すようにカメラ画像レイヤＬ１と、フロア画像ＰｆレイヤＬ２、ガイド線レイヤＬ３、車両画像レイヤＬ４を組み合わせて生成されても良い。カメラ画像レイヤＬ１は、カメラ画像及び画像メモリＭ１に保存されている画像データを投影した投影面ＴＳを仮想視点ＶＰから見た画像である外界画像が描画されるレイヤである。外界画像は床下画像も含む。フロア画像ＰｆレイヤＬ２は、不透明なフロア画像Ｐｆを配置するレイヤである。ガイド線レイヤＬ３は、車両境界線Ｌｖｃなどのガイド線が描画されるレイヤである。

車両画像レイヤＬ４は、仮想視点ＶＰからみた車両外観又は種々の構成部材のＣＧが描画されるレイヤである。なお、タイヤのＣＧは、内装部材のＣＧが配置されるレイヤとは別に設けられていても良い。その場合、タイヤのＣＧを描画するレイヤは、ガイド線レイヤＬ３と、内装部材のＣＧが配置されるレイヤの間に配置されれば良い。便宜上、車両外観のＣＧ及び種々の構成部材のＣＧのことをまとめて車両ＣＧと記載する。車両ＣＧの概念には、車両外観を示すＣＧだけでなく、インストゥルメントパネルなどの内装部材のＣＧや、タイヤのＣＧなども含まれる。内装部材のＣＧのことを内装画像とも称する。タイヤのＣＧのことをタイヤ画像とも称する。

このように複数のレイヤを統合することで合成画像を生成する場合、カメラ画像レイヤＬ１を最も下側（背景側）のレイヤとし、その上にフロア画像ＰｆレイヤＬ２、ガイド線レイヤＬ３、車両画像レイヤＬ４が順番に重ねられうる。もちろん、レイヤ構成もまた適宜変更可能である。複数のレイヤを用いて各画像要素を個別に取り扱う場合には、最終的に各レイヤを統合した画像が合成画像となる。透明度は、レイヤ毎、或いは画像オブジェクト毎に調整されうる。例えば車両画像レイヤＬ４の透明度を調整することで、前向内装付加画像ＰＤｉｆは前向車内視点画像ＰＤｆへと変更されうる。

＜動作モードの切り替えについて＞
画像生成ＥＣＵ１は、動作モードとして、各仮想視点ＶＰの夫々に対応する動作モードを備える。すなわち、前向車内視点モードや、後向車内視点モード、前向鳥瞰視点モード、後向鳥瞰視点モードなどを備える。前向車内視点モードは前向車内視点Ｖｄｆでの合成画像である前向車内視点画像ＰＤｆを表示する動作モードであり、後向車内視点モードは後向車内視点Ｖｄｂでの合成画像である後向車内視点画像を表示する動作モードである。前向鳥瞰視点モードは、前向鳥瞰視点Ｖｂｆでの合成画像である前向鳥瞰視点画像ＰＢｆを表示する動作モードであり、後向鳥瞰視点モードは後向鳥瞰視点Ｖｂｂでの合成画像である後向鳥瞰視点画像を表示する動作モードである。前向車内視点モードや、後向車内視点モードなど車内視点での合成画像を表示する動作モードのことを車内視点モードと称する。また、前向鳥瞰視点モードや後向鳥瞰視点モードなど車室外に配置された仮想視点ＶＰでの合成画像を表示する動作モードのことを車外視点モードとも称する。鳥瞰視点モードは車外視点モードに含まれる。

また、画像生成ＥＣＵ１は、フロントカメラ２Ｆの画像を表示するフロントカメラモードやリアカメラ画像を表示するリアカメラモードなど、各カメラ２の画像をディスプレイ３のメイン画像として表示する動作モードを備える。

さらに画像生成ＥＣＵ１は、各仮想視点ＶＰ及び各カメラ２の夫々に対応する動作モードに加えて、周辺画像を表示しないスタンバイモードを備える。画像生成ＥＣＵ１がスタンバイモードである状態においては、ディスプレイ３には例えばナビゲーションシステムが生成する地図画像や、オーディオシステムが生成する画像など、周辺画像以外の画像が表示される。スタンバイモードは、周辺画像に対応する映像信号をディスプレイ３に出力しないモードに相当する。便宜上、スタンバイモード以外の動作モード、すなわち周辺画像を表示するモードのことを周辺画像表示モードとも総称する。

これらの動作モードは、ユーザのタッチパネル４や操作ボタン５に対する操作や車両の走行状態に応じて表示制御部Ｆ６の制御により切り替えられる。なお、車両の走行状態自体も、シフトレバーやブレーキペダル等の操作部材に対するユーザの操作に基づいて変更される。車両へのユーザの操作とは、車両に搭載されている多様な装置への操作が含まれ、例えば、タッチパネル４や操作ボタン５に対する操作の他に、シフトレバーやブレーキペダルの操作も含まれる。

画像生成ＥＣＵ１は、所定の周辺画像表示条件が充足されると、自車両の進行方向に応じた周辺画像表示モードのうち、最後に有効化された動作モード（いわゆる、ラストモード）に切り替わる。ラストモード情報は、ＲＡＭ１２又はストレージ１３等に保存されている。

例えば、シフトポジションが前進ポジションに設定されている場合には、フロントカメラモード、前向鳥瞰視点モード、前向車内視点モードのうちの最後に有効化された動作モードが適用される。ここでの前進ポジションとは、駆動源のトルクを前進方向に伝達するポジションである。前進ポジションには、例えば、「Ｄ」や、「Ｓ」、「Ｂ」、「１」、「２」、「Ｌ」ポジションなどが含まれる。例えば、スタンバイモードにおいて、シフトポジションが「Ｄ」ポジションであり、且つ、周辺画像表示条件が充足した場合には、前向車内視点モードに設定される。

また、シフトポジションが後退ポジションに設定されている場合には、リアカメラモード、後向鳥瞰視点モード、後向車内視点モードのうちの最後に有効化された動作モードが適用される。後退ポジションは、駆動源のトルクを車両が後退方向に伝達するポジションである。後退ポジションは、いわゆる「Ｒ」ポジションに相当する。

なお、周辺画像表示条件は、例えば、シフトポジションがパーキングポジションやニュートラルポジション以外に設定されてあって、車速が所定の低速閾値未満であることを含む。低速閾値は例えば１０ｋｍ／ｈや１５ｋｍ／ｈ、２０ｋｍ／ｈなどとすることができる。なお、パーキングポジションとは、トランスミッションをロックするポジションであって、いわゆる「Ｐ」ポジションに相当する。また、ニュートラルポジションは、入力と出力軸間のトルク伝達を切断するポジション、換言すれば、駆動源のトルクを駆動輪等に伝達させないポジションであって、いわゆる「Ｎ」ポジションに相当する。

また、周辺画像表示条件は、シフトポジションや車速にかかる上記条件が充足しており、かつ、操作受付部Ｆ２が周辺画像を表示するためのユーザ操作が行われたことを検出した場合とすることもできる。例えば、周辺画像を表示するためのユーザ操作とは、例えば、ユーザによって操作ボタン５の押下や、周辺画像を表示させるためのボタンが表示されている領域へのタッチ操作などを含む。なお、各画像表示モードは操作ボタン５の押下等によって切り替えられる。また、周辺画像表示条件が充足されなくなった場合には、画像生成ＥＣＵ１の動作モードはスタンバイモードに戻る。画像生成ＥＣＵ１は、タッチパネル４やシフトレバー等を含む、車両に搭載された多様な操作部材からの出力信号に基づき、ディスプレイ３の表示画面を切り替えうる。

＜アニメーションの表示＞
本開示のように多様な視点での周辺画像を表示可能な構成によれば、ユーザは所望の視点での映像を見ることが可能となり、利便性が向上する。一方、表示可能な視点が増えると、ディスプレイの表示内容を周辺画像に切り替えた際、表示された周辺画像がいずれの視点からみた周辺画像であるかをユーザが直感的に把握しにくいといった課題が生じうる。特に、前向車内視点画像ＰＤｆや後向車内視点画像ＰＤｂといった車内視点画像ＰＤでは、ユーザはどの方向の周辺画像が表示されているのかが認識しづらい恐れがある。

そこで、本実施形態の画像生成ＥＣＵ１は、車内視点モード以外の動作モードから車内視点モードに切り替える場合には、仮想視点ＶＰを所定の開始位置から目標とする車内視点まで連続的に移動していくシーンを含むアニメーションを表示する。車内視点モード以外の動作モードとは、例えば、スタンバイモードや鳥瞰視点モードなどである。ここでのアニメーションとは動画と言い換える事ができる。以降における目標視点或いは最終視点とは、最終的な表示画面での視点のことを指す。

図９は、車内視点での合成画像を表示する際の画像生成ＥＣＵ１が表示切替処理として実施する一連の処理を示すフローチャートである。図９に示すフローチャートは、例えば、スタンバイモードから、前向車内視点モードや後向車内視点モードなど、車内視点モードに切り替わる際に実行される。本実施形態の表示切替処理は一例としてステップＳ２０１～Ｓ２１０を備える。もちろん、表示切替処理を構成するステップ数や処理順序などは適宜変更可能である。

概略的に、本実施形態の表示切替処理は、視点移動フェーズＦｓ１と、車体透過フェーズＦｓ２と、底部透過フェーズＦｓ３とに区分されうる。視点移動フェーズＦｓ１は、仮想視点を最終視点に応じて定まる開始位置から、最終視点まで移動させるフェーズである。車体透過フェーズＦｓ２は、最終視点に移動完了後においてインストゥルメントパネル等の車両ＣＧの透過率を所定のレベルまで徐々に上げていくフェーズである。底部透過フェーズＦｓ３は、最後にフロア画像Ｐｆを完全透明まで徐々に透過させていくフェーズである。

各フェーズは、例えば１秒など、０．５秒から１．５秒程度で完了するように設定されている。勿論、各フェーズの長さはユーザによって設定可能に構成されていても良い。各フェーズの表示画像は一連のアニメーションとしてディスプレイ３に表示される。ここでのフェーズは、シーンと言い換えることもできる。また、フェーズは、プログラム的には処理のまとまりと解することもできる。故に、視点移動フェーズＦｓ１、車体透過フェーズＦｓ２、底部透過フェーズＦｓ３はそれぞれ視点移動処理、車体透過処理、底部透過処理と呼ぶことができる。

以下では、スタンバイモードから前向車内視点モードに切り替える場合を例にとって、画像生成ＥＣＵ１の作動を説明する。

まずステップＳ２０１では表示制御部Ｆ６が、動作モードに応じた最終的な仮想視点ＶＰである最終視点を設定してステップＳ２０２に移る。例えば前向車内視点モードに切り替える場合には、前向車内視点Ｖｄｆが最終視点ＶＬに設定される。このようなステップＳ２０１は最終視点設定ステップと呼ぶことができる。

ステップＳ２０２では表示制御部Ｆ６が、最終視点ＶＬに応じて、アニメーションの開始視点ＶＳを設定する。例えば最終視点ＶＬが前向車内視点Ｖｄｆである場合には前向鳥瞰視点Ｖｂｆを開始視点ＶＳに設定する。また、最終視点ＶＬが後向車内視点Ｖｄｂである場合には後向鳥瞰視点Ｖｂｂを開始視点ＶＳに設定する。このステップＳ２０２が完了するとステップＳ２０３に移る。

ステップＳ２０３では合成画像生成部Ｆ５が、開始視点ＶＳに応じた合成画像を生成し、表示制御部Ｆ６が当該合成画像をディスプレイ３に表示させる。例えば前向車内視点モードに切り替える場合には、アニメーションの最初に前向鳥瞰視点画像が表示されることとなる。ステップＳ２０３は開始視点ＶＳに応じた鳥瞰画像を表示するステップに相当する。ステップＳ２０３が完了するとステップＳ２０４に移る。

ステップＳ２０４では仮想視点ＶＰを例えば図１０に示すように、開始視点ＶＳとしての前向鳥瞰視点Ｖｂｆから最終視点ＶＬとしての前向車内視点Ｖｄｆに向けて段階的かつ連続的に移動させる処理を開始する。ステップＳ２０５は仮想視点の移動が最終視点ＶＬとしての前向車内視点Ｖｄｆに到達したか否かを判定するステップである。仮想視点ＶＰが最終視点ＶＬまで到達した時点では（Ｓ２０５ ＹＥＳ）、最終視点ＶＬとしての前向車内視点Ｖｄｆからインストゥルメントパネル等の内装部材を見た画像を含む合成画像を表示する（ステップＳ２０６）。ステップＳ２０１～Ｓ２０６が視点移動フェーズＦｓ１及び視点移動処理に相当する。

仮想視点ＶＰの移動過程においては、合成画像生成部Ｆ５は表示制御部Ｆ６の制御のもと、移動先の視点へ向けて１フレーム分に相当する量だけ仮想視点ＶＰを移動させた合成画像を逐次生成する。視点移動中における仮想視点ＶＰである途中視点Ｖｍの視点位置及び視点方向は、開始視点ＶＳの位置及び視線方向と、最終視点ＶＬの位置及び視線方向と、視点移動シーンに用いる合成画像のフレーム数とに基づいて線形補完により導出される。このように合成画像生成部Ｆ５は、仮想視点ＶＰが開始視点ＶＳから最終視点ＶＬに段階的に近づいている合成画像を時間的に連続して生成する。生成された複数の合成画像は、表示制御部Ｆ６によりディスプレイ３に順次に出力される。これにより、合成画像生成部Ｆ５が生成したそれぞれ仮想視点ＶＰの位置が異なる複数の合成画像は、視点が開始視点ＶＳから最終視点ＶＬに向かって移動していく連続的なアニメーションとして表示される。

なお、仮想視点ＶＰの移動速度は一定とすることができる。また仮想視点ＶＰの移動速度は、一定の加速度で増加するように設定されていても良い。また、仮想視点ＶＰが最終視点ＶＬに近づくにつれて減速するように設定されていても良い。上記を組み合わせて、例えば、一定の加速度で加速した後に一定の加速度で減速するように制御されても良い。仮想視点ＶＰの位置及び移動態様は表示制御部Ｆ６によって制御されうる。

車室内を仮想視点ＶＰが移動している過程においては、インストゥルメントパネルなどの内装画像は、それらの構成をユーザが視認可能なように、不透明又は半透明な状態で描画及び表示される。すなわち、仮想視点ＶＰが車室内に存在するシーンにおいては、仮想視点ＶＰから見た外界画像に、仮想視点ＶＰから見た内装画像が重畳された画像が表示される。内装画像を不透明又は半透明な状態で表示することにより、視点の位置及び方向をユーザが直感的に認識しやすくなる。

なお、ここでの半透明には、透明度が５０％である状態に限らず、例えば透明度が３０％である状態や、８０％である状態などを含めることができる。半透明といった表現には、その存在をぼんやりと示すレベルを含めることができる。透明度は、値が高いほど透明であることを指すパラメータである。透明度が１００％の状態は完全透明な状態に相当し、透明度が０％の状態は完全不透明な状態に相当する。画像要素の透明度或いは不透明度は、画素のアルファ値に対応する概念である。アルファ値は例えば０～２５５の２５６段階で設定されうる。一般的にアルファ値は、値が小さいほど透明な度合いが高まるように使用される事が多い。そのような場合においては、透明度が高くすることはアルファ値を小さくすることに対応する。

また、仮想視点の位置に応じて、表示する内装部材の組み合わせや個々の透明度は変更されてもよい。例えば途中視点が車室内の前部座席よりも後方にある場合には、前部座席の背もたれ部を半透明な状態で配置した画像を表示してもよい。背もたれ部の画像はインストゥルメントパネル等の画像の上に重畳配置される。そのような構成によれば移動する仮想視点の位置をユーザがより直感的に把握可能となることが期待できる。

図１１は、前向車内視点モードに切り替える際の視点移動フェーズにおける表示画面の遷移を例示したものである。前向車内視点モードに切り替えた場合には、図１１の（Ａ）に示すように最初に、開始視点ＶＳとして前向鳥瞰視点画像ＰＢｆが表示される。その後、視点が前向鳥瞰視点Ｖｂｆから車両に向かって降下していき、車室内に入って前向車内視点Ｖｄｆへと至る。図１１の（Ｂ）は、例えば図１０の途中視点Ｖｍｎでの表示画像を示している。また、図１１の（Ｃ）は、仮想視点ＶＰが前向車内視点Ｖｄｆに到達した直後の表示画像を示している。図１１中のｔは、アニメーションの表示を開始してからの経過時間の一例を示している。

図１１の（Ａ）に示すように、前向鳥瞰視点画像ＰＢｆにおいては、車両の外観を示すＣＧである車両画像Ｐｖ及びその周辺を示す画像が表示される。図中のＰｒは車両画像Ｐｖのうち、車両Ｈｖの屋根部の画像を示している。仮想視点ＶＰが車両に近づくにつれて、表示画面において屋根部画像Ｐｒは拡大表示されていく。また、図１１の（Ｃ）に示すように、仮想視点ＶＰが最終視点ＶＬである前向車内視点Ｖｄｆに到達した時点では、車両前方を向いていることを示す構成部材のＣＧが、外界画像に重畳されて表示される。車両前方を向いていることを示す構成部材のＣＧとは、例えばインストゥルメントパネル画像Ｐｉやハンドル画像Ｐｈ、前部座席の着座面や背もたれ部の画像、センターコンソールの画像などである。

次にステップＳ２０７として合成画像生成部Ｆ５は表示制御部Ｆ６の制御のもと、フロア画像Ｐｆ以外の車両ＣＧの透明度を所定の速度で段階的に上げていく処理を開始する。つまり、内装画像の透過を開始する。具体的にはインストゥルメントパネル画像Ｐｉやハンドル画像Ｐｈなどとの透明度を、例えば不透明な状態から完全透明となるまで徐々に上昇させていく。

また、内装画像の透過開始から所定時間（例えば０．５秒）経過したタイミングで、タイヤ画像Ｐｔの透明度も０％から所定の速度で所定の目標レベルまで段階的にあげていく。このように内装画像の透過開始とタイヤ画像Ｐｔの透過開始とに時間差を設けることより、内装画像の透過開始に伴ってタイヤ画像Ｐｔが表示されたのちに、当該タイヤ画像Ｐｔも徐々に透過されていくアニメーション表現となる。このように内装画像の透過開始とタイヤ画像Ｐｔの透過開始とに時間差を設けた構成によれば、最終視点ＶＬとしての車内視点Ｖｄに近い部材から消えていくような視覚的印象をユーザに与えることが期待できる。その結果、商品としての魅力、いわゆる商品性を高めることができる。

ステップＳ２０８は、内装画像やタイヤ画像Ｐｔなど、フロア画像Ｐｆ以外の透明度の調整が完了したか否かを判定するステップである。ステップＳ２０７～Ｓ２０８が車体透過フェーズＦｓ２及び車体透過処理に相当する。なお、ステップＳ２０８完了時点におけるタイヤ画像Ｐｔの最終的な透明度は、完全透明であっても良いし、その存在をユーザが認識可能なように６０％～８０％程度にとどめても良い。車両底部以外の部材の透明度の調整が完了するとステップＳ２０９に移る。車体透過フェーズが完了した時点での表示画像は、エンジンルームやドアパネルなど、車体を透過させて車両周辺を示す一方、床下部分はフロア画像Ｐｆで隠された画像となる。

図１２は、前向車内視点モードに切り替える際の車体透過フェーズにおける表示画面の遷移を例示したものである。図１２において半透明な部材は、破線で表現している。車体透過フェーズにおいては図１２の（Ａ）～（Ｂ）に示すように、インストゥルメントパネル画像Ｐｉやハンドル画像Ｐｈなどの内装画像が最初に、透過されていく。それに伴い図１２の（Ｂ）に示すようにタイヤ画像Ｐｔやフロア画像Ｐｆなどが表示され始める。また、内装画像の透過に伴って、内装画像よりも背景側に配置されている車両境界線Ｌｖｃなどのガイド線も表示され始める。

図１２の（Ｃ）は、車体透過フェーズが完了した時点での表示画面を示したものである。車体透過フェーズが完了した時点では、フロア画像Ｐｆ及び車両境界線Ｌｖｃを含む周辺画像が表示されることとなる。なお、ここでは一例として、ステップＳ２０８完了時点におけるタイヤ画像Ｐｔの最終的な透明度は、８０％程度に設定されているものとする。これはその後に表示されるタイヤ境界線Ｌｔがタイヤの位置を示す枠線であることを印象づけるためである。

なお、車体透過フェーズ完了時点においてタイヤ画像Ｐｔは、不透明又は半透明の輪郭線だけで構成されていても良い。つまり、タイヤの輪郭線以外の部分は、無色透明に設定されていても良い。また、タイヤ画像Ｐｔもまた、インストゥルメントパネル画像Ｐｉなどと同様に、完全透明にされても良い。車体透過フェーズ完了時点において表示する構成部材は適宜変更することができる。例えば、画像生成ＥＣＵ１の設計者又はユーザの設定に基づき、前向車内視点画像ＰＤｆにおいてタイヤ画像Ｐｔは非表示となりうる。

車体透過処理が完了すると（Ｓ２０８ ＹＥＳ）、最後にステップＳ２０９として合成画像生成部Ｆ５は表示制御部Ｆ６の制御のもと、フロア画像Ｐｆの透明度を所定の速度で段階的に上げていく処理を開始する。具体的にはフロア画像Ｐｆの透明度を、不透明な状態から完全透明まで徐々に透過させていく。なお、ステップＳ２０９開始時にタイヤ画像Ｐｔがまだ残っている場合には、タイヤ画像の透明度も１００％に向けて所定の速度で高めていく。これにより、床下画像が徐々に表示されていき、最終的には車両底部も含む車両全ての構成部材が透過された前向車内視点画像ＰＤｆが表示されることとなる。

ステップＳ２１０は、フロア画像Ｐｆ等の透明度の調整が完了したか否かを判定するステップである。フロア画像Ｐｆ等の透過処理が完了するとステップＳ２１０が肯定判定されて、表示切替処理を終了する。ステップＳ２０９～Ｓ２１０が底部透過フェーズＦｓ３及び底部透過処理に相当する。最終的な表示画像は、前向車内視点画像ＰＤｆとして、図１３に示すように前向車内視点Ｖｄｆから床下を含む外界画像上に、車両境界線Ｌｖｃやタイヤ境界線Ｌｔなどが重畳された画像となる。すなわち、ドライバ等の視点において、車体及び底部を透過させたように、車両前方及び前輪付近を示す周辺画像が表示される。図１３に示すＬｂは、路面に付与されている駐車枠線であって、カメラ画像に含まれている被写体の一例である。

以上では、前向車内視点モードに切り替える場合について説明した。他方、後向視点に切り替える場合の視点移動フェーズにおいては、例えば図１４に示すように開始視点ＶＳとしての後向鳥瞰視点Ｖｂｂから最終視点ＶＬとしての後向車内視点Ｖｄｂに向けて徐々に視点を移動させていけばよい。仮想視点ＶＰが後向車内視点Ｖｄｂに到達した時点では、例えば後部座席やリアウインドウ、Ｃピラーなどの内装画像が不透明な状態で表示されることが好ましい。そのように後方を向いていることを示す内装画像を表示することにより、ユーザが仮想視点の向き等を理解しやすくなる。

さらに、仮想視点ＶＰが後向車内視点Ｖｄｂに到達した以降の透過処理では、後部座席等の内装画像を所定の速度で透過させていくとともに、所定の時間差を設けて後輪に相当するタイヤ画像Ｐｔやフロア画像Ｐｆの透明度を段階的に上げる。その結果、最終的な後向車内視点画像ＰＤｂとして、後向車内視点Ｖｄｂから後輪付近の地面を見た被写体の上に、車両境界線Ｌｖｃやタイヤ境界線Ｌｔなどのガイド線が重畳された画像が表示されることとなる。

＜上記構成の効果＞
以上のように、周辺表示システムＳｙｓにおいては、ディスプレイ３の表示内容を車内視点画像ＰＤに切り替える場合、車室外に設定される開始視点ＶＳから最終視点ＶＬまで仮想視点が近づいていく複数の合成画像を時間的に連続して生成及び表示する。すなわち、車室外の開始視点ＶＳから最終視点ＶＬまで仮想視点ＶＰの位置が段階的に移動するアニメーション表現がなされる。加えて、最終視点ＶＬに到達した直後は、当該最終視点ＶＬからみた内装画像を表示した上で、徐々にそれらを透過させていく。

このため、最終的にディスプレイ３に表示された周辺画像がどの視点からみた周辺画像であるかを、車両全体を基準にユーザが把握しやすくなる。

また、車両画像を透過させるフェーズにおいては、種々の車両画像のうち、フロア画像Ｐｆを最後に透過させる。換言すれば、フロア画像Ｐｆが所定時間視認可能なレベルで表示された後に非表示となる。このような態様によれば、過去のカメラ画像に基づく床下画像が表示されている範囲や車体が存在している範囲をユーザに印象づけることができる。その結果、ユーザが床下の路面状況や車体が存在する範囲を誤認識する恐れを低減できる。

加えて、上述した構成では、最終視点ＶＬに応じて開始視点ＶＳを異なる位置とする。具体的には、最終視点ＶＬが前向車内視点Ｖｄｆの場合には前向鳥瞰視点Ｖｂｆを開始視点ＶＳに設定する一方、最終視点ＶＬが後向車内視点Ｖｄｂの場合には後向鳥瞰視点Ｖｂｂを開始視点ＶＳとして採用する。つまり車室外において車両中心の真上よりも最終視点ＶＬの反対側となる領域に開始視点ＶＳを設定する。そして当該開始視点ＶＳから最終視点ＶＬに向かって仮想視点ＶＰを移動させていく。当該構成によれば視点移動時の仮想視点の移動方向と最終視点ＶＬの視線方向とが略一致するため、最終的にディスプレイ３に表示された周辺画像がどの方向をみた周辺画像であるかをユーザがより一層直感的に把握可能となる。

また上記構成によれば、車内視点での合成画像として、例えばインストゥルメントパネルや車体底部等といった、車両Ｈｖの構成部材を透過させたように車両周辺を示す合成画像が生成される。このような車内視点での合成画像は、車両の真下及び車両周辺に存在する被写体の像に、車両境界線Ｌｖｃやタイヤ境界線Ｌｔを重畳させた画像に相当する。ユーザは、このような合成画像を確認することで、自車両の周囲の様子を車室内の視点から確認でき、かつ、自車両の周辺の様子を直感的に把握できることになる。

また、ユーザは、合成画像に含まれる車両境界線Ｌｖｃに基づいて、車両付近に存在する岩や縁石、フラップ板などの立体物に対する車体との距離感を認識しやすくなる。よって、意図せずに立体物に車体が接触する恐れを低減することができる。また、合成画像にタイヤ境界線Ｌｔを含めた構成によれば、ユーザは車体下に位置する区画線や縁石、岩などに対する車体及びタイヤの位置を認識しやすくなる。その結果、例えばオフロード走行時には、狙った岩石にタイヤを乗せるなどの細かい運転操作が可能となる。また、オンロード走行時にも縁石などにタイヤがぶつからないように車体を道路端に寄せるなどの細かい運転操作が行いやすくなる。

以上、本開示の実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、以降で述べる種々の変形例も本開示の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。例えば下記の種々の変形例は、技術的な矛盾が生じない範囲において適宜組み合わせて実施することができる。なお、前述の実施形態で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した実施形態の構成を適用することができる。

以上では車体透過処理のあとに底部透過処理を実行する態様を例示したがこれに限らない。車体透過処理と並行して底部透過処理を実施しても良い。また、フロア画像Ｐｆの描画は任意の要素であって省略されてもよい。例えば、車内視点への切り替え時において床下画像を描画可能である場合にはフロア画像Ｐｆは最初から非表示であっても良い。床下画像を描画可能な状態とは、床下画像の生成に必要な画像データが画像メモリＭ１に保存されている状態に相当する。フロア画像Ｐｆは、床下画像として車両領域Ｒ０に投影可能な画像がまだ画像メモリＭ１に蓄積されていない場合にのみ表示されるように構成されていても良い。

また、以上では視点移動フェーズと車体透過フェーズとを完全に別々に実行する態様を開示したがこれに限らない。視点移動フェーズと車体透過フェーズとは一部重なっていても良い。例えば、仮想視点ＶＰが車室内に入ったタイミングなど、仮想視点ＶＰの位置が最終視点ＶＬから所定距離以内となったタイミングで車体透過フェーズを開始してもよい。そのような構成によれば、アニメーションの時間を短くすることができる。

さらに、視点移動フェーズにおいて、仮想視点ＶＰが車両Ｈｖの屋根部を通過するとき、屋根部画像Ｐｒが不透明のままであると、仮想視点ＶＰが屋根部に近接しているシーンにおいて画面に屋根部画像Ｐｒしか映らなくなってしまう。その結果、一瞬画面が真っ白又は真っ黒など、屋根部の色で埋め尽くされることとなる。またその直後においては、急に車室内の画像が表示されることとなる。

このような表示画面の切り替わりは、１つの観点において、仮想視点ＶＰが車室外から車室内に入ったことを明示できるといった効果を奏する。しかしながら、他の側面においては、上記の表示画面の急な移り変わりによってユーザに煩わしさを与える恐れもありうる。そのような懸念に対し、例えば合成画像生成部Ｆ５は表示制御部Ｆ６の制御のもと、図１５に示すように、仮想視点ＶＰが屋根部から所定の透過開始距離Ｈｎ以内となったタイミングで、屋根部画像Ｐｒを透過させ始めてもよい。例えば図１６に示すように途中視点Ｖｍとしての仮想視点ＶＰと屋根部との離隔Ｈｖｐが小さくなるほど屋根部画像Ｐｒの透明度を高めるように構成されていても良い。より具体的には、仮想視点ＶＰと屋根部との離隔Ｈｖｐが所定の閾値Ｈｔｈ以下である場合には透明度を１００％とするように構成されていても良い。なお、図１６の縦軸に示すアルファ値は、屋根部画像Ｐｒの透明度を示すパラメータであって、２５５が完全不透明な状態に相当し、０が完全透明な状態に相当する。

上記構成によれば視点移動フェーズにおいて、仮想視点ＶＰが屋根部から所定距離以内となる時点から屋根部画像Ｐｒが透過され始め、車室内の構成が表示され始める。その結果、仮想視点ＶＰが車室外に存在するときの表示内容と仮想視点ＶＰが車室内に入ったあとの表示内容とが連続するアニメーション表現となり、ユーザに視覚的な煩わしさを与える恐れを低減できる。なお、路面に対する屋根部の高さは一定であるため、仮想視点ＶＰの屋根部に対する離隔Ｈｖｐは、路面に対する仮想視点ＶＰの高さと言い換えることができる。

以上の実施形態では最終的に表示される車内視点での画像を、全ての車両ＣＧを完全透明にした画像とする態様を開示したが、これに限らない。タイヤ画像Ｐｔなど、車両外形を示唆する一部の構成については、ユーザが知覚可能な透明度で表示を残してもよい。ユーザが知覚可能な透明度とは例えば６０％～８５％などである。

以上では車内視点モードに切り替える場合に、視点の移動及び内装部材の透過を含むアニメーションを表示する態様を例示したが、例えばフロントカメラモードやリアカメラモードに切り替える場合にも同様のアニメーションを実施しても良い。フロントカメラモードに切り替える場合の開始視点は前向鳥瞰視点Ｖｂｆとし、リアカメラモードに切り替える場合の開始視点は後向鳥瞰視点Ｖｂｂとすることができる。フロントカメラモードに切り替える場合の開始視点は前向車内視点Ｖｄｆとし、リアカメラモードに切り替える場合の開始視点は後向車内視点Ｖｄｂとしても良い。また、サイドカメラモードに切り替える場合にも同様にアニメーションを表示しても良い。

また、車内視点としては、車両右側に視線を向けた右向き車内視点や、車両左側に視線を向けた左向き車内視点なども採用可能である。右向き車内視点や左向き車内視点の視点位置は、例えばドライバの目の想定位置であってもよいし、室内天井部の中央部などであってもよい。スタンバイモードから右向き車内視点や左向き車内視点の画像を表示する場合にも、上記のアニメーションを伴う表示制御を実施可能である。それら側方車内視点を最終視点ＶＬとする場合の開始視点ＶＳは、車両Ｈｖの真上よりも最終視点ＶＬとは反対側にずれた位置に配置されることが好ましい。なお、以上ではアニメーションの開始視点ＶＳを車両の真上のとなる位置から、前後左右のうち、最終視点とは反対側となる位置に配置する態様を開示したがこれに限らない。開始視点ＶＳは車両の真上となる位置に設定されても良い。

ところで、車内視点画像ＰＤやカメラ画像を表示するたびに毎回上記のアニメーションを表示する構成ではユーザに煩わしさを与えてしまう恐れがある。特に、周辺表示システムＳｙｓに慣れているユーザにとってはその傾向が強まることが想定される。上述した視点切替時の伴うアニメーションは毎回表示するのではなく、走行用電源がオンになってから初めて車内視点画像ＰＤやカメラ画像を表示するときのみとしても良い。換言すれば、走行用電源がオンとなってから２回目以降の視点切替時においては、内装画像等のアニメーションの表示を省略するように構成されていてもよい。走行用電源がオンになってから初めて車内視点画像ＰＤやカメラ画像を表示するときのみ、上記のアニメーションを表示する構成によれば、ユーザに煩わしさを与える恐れを低減できる。また、周辺表示システムＳｙｓに慣れていないユーザにとっては、走行用電源がオンとなってから、少なくとも１回（つまり初回）は、上記アニメーションが表示されるため、車内視点画像ＰＤがどういった視点での画像なのかを理解しやすくなる。

なお、アニメーションの表示／非表示は、設定画面を介してユーザが設定変更可能に構成されていても良い。ただし、設定を変更する操作が面倒に感じるユーザや、そもそも設定変更の方法がわからずにアニメーションは不要と思いながらも設定変更を諦めるユーザも想定されうる。そのような事情を踏まえると、車両Ｈｖの総走行距離が例えば１万ｋｍなどの所定の閾値以上となった時点でアニメーション表示を自動的にオフにするように構成されていても良い。また、同様に、車両Ｈｖの購入日から所定の期間（例えば１年）が経過したタイミングで、アニメーション表示を自動的にオフにするように構成されていても良い。なお、表示制御部Ｆ６は、走行距離の積算値が所定値を超えたこと、及び、車両購入日から所定の期間が経過したことの少なくとも何れか一方に基づいて、アニメーション表示を今後はオフにするか否かをユーザに問い合わせてもよい。当該問い合わせは、所定の確認画面等の表示によって実施されればよい。表示制御部Ｆ６は、当該問い合わせに対するユーザの応答に基づいて、アニメーション表示の継続／オフを切り替えればよい。

その他、上記アニメーションにおいて、仮想視点ＶＰが車室外に存在する間は、周辺画像に最終視点ＶＬでの表示範囲を示す画像である最終表示範囲画像Ｐｘを表示しても良い。例えば、図１７に示すように視点移動フェーズの冒頭など、仮想視点ＶＰがまだ上空に存在するシーンにおいて、最終表示範囲画像Ｐｘを表示させてもよい。また、アニメーションには、最終視点ＶＬまでの仮想視点ＶＰの移動経路を示すＣＧである視点経路線などを表示しても良い。

加えて、以上では表示切替時のアニメーションとして、視点移動フェーズＦｓ１を含める構成を開示したがこれに限らない。視点移動フェーズＦｓ１は必須の要素ではなく、省略されてもよい。つまり、表示切替時のアニメーションは、車体透過フェーズＦｓ２と底部透過フェーズＦｓ３のみで構成されていても良い。また、底部透過フェーズＦｓ３も必須の要素ではなく、省略可能である。アニメーションは、少なくとも内装画像を透過させていく車体透過フェーズＦｓ２を含んでいれば良い。上記アニメーションは、視点移動フェーズＦｓ１と車体透過フェーズＦｓ２のみで構成されていても良いし、車体透過フェーズＦｓ２のみで構成されていても良い。つまり、本開示は床下画像を表示する機能を備えないシステムにも適用可能である。

加えて、上述した実施形態では表示制御部Ｆ６は、最終的にタイヤ画像を非表示とする表示制御を行う態様を開示したがこれに限らない。表示制御部Ｆ６は最終的にタイヤ画像Ｐｔを所定の不透明度を有する態様で表示し続けても良い。具体的には表示制御部Ｆ６は、ステップＳ２０７において内装画像の透過開始に伴ってタイミングで、タイヤ画像Ｐｔの透明度を１００％から所定の速度で所定の目標レベルまで段階的に下げていく。目標レベルは例えば６０％や４０％とすることができる。なお、透明度が６０％の状態は不透明度４０％の状態に相当し、透明度が６０％の状態は不透明度６０％の状態に相当する。目標レベルとしての透明度は、タイヤの画像が所定の閾値（例えば３０％）以上の不透明度で表示される値に設定されれば良い。このようなアニメーション表現によれば、内装画像の透過開始に伴ってタイヤ画像Ｐｔが徐々に表示されるとともに、内装画像の透過開始から所定時間後にはタイヤ画像が所定の不透明さを有する半透明な状態で表示させることとなる。

そして、タイヤ画像Ｐｔの透明度が所定の目標レベルに達した以降は、例えば、ステップＳ２０９以降においてもタイヤ画像Ｐｔの表示は維持する。なお、タイヤ画像Ｐｔは半透明または不透明な状態で表示し続ける一方、フロア画像Ｐｆに関しては上述した実施形態と同様に完全不透明な状態から完全透明な状態へ透明度を段階的に変更しても良い。上記によれば一連のアニメーションが完了した以降もタイヤ画像Ｐｔが表示され続けるため、ドライバは、路面に対するタイヤの位置を認識しやすくなる。

＜付言＞
本開示に記載の装置、システム、並びにそれらの手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。また、本開示に記載の装置及びその手法は、専用ハードウェア論理回路を用いて実現されてもよい。さらに、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。つまり、画像生成ＥＣＵ１等が提供する手段および／又は機能は、実体的なメモリ装置に記録されたソフトウェアおよびそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供できる。例えば画像生成ＥＣＵ１が備える機能の一部又は全部はハードウェアとして実現されても良い。或る機能をハードウェアとして実現する態様には、１つ又は複数のＩＣなどを用いて実現する態様が含まれる。画像生成ＥＣＵ１は、ＣＰＵの代わりに、ＭＰＵやＧＰＵ、ＤＦＰ（Data Flow Processor）を用いて実現されていてもよい。画像生成ＥＣＵ１は、ＣＰＵや、ＭＰＵ、ＧＰＵなど、複数種類の演算処理装置を組み合せて実現されていてもよい。画像生成ＥＣＵ１は、システムオンチップ（ＳｏＣ：System-on-Chip）として実現されていても良い。さらに、各種処理部は、ＦＰＧＡ（Field-Programmable Gate Array）や、ＡＳＩＣ（Application Specific Integrated Circuit）を用いて実現されていても良い。各種プログラムは、非遷移的実体的記録媒体（non- transitory tangible storage medium）に格納されていればよい。プログラムの保存媒体としては、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、フラッシュメモリ、ＳＤ（Secure Digital）カード等、多様な記憶媒体を採用可能である。

Ｓｙｓ 周辺表示システム、１ 画像生成ＥＣＵ（周辺画像表示装置）、２ カメラ、３ ディスプレイ、１１ 処理部、Ｆ１ 画像取得部、Ｆ２ 操作受付部、Ｆ３ 車両状態取得部、Ｆ４ 画像認識部、Ｆ５ 合成画像生成部、Ｆ５１ カメラ画像合成部、Ｆ４２ 車両画像付与部、Ｆ６ 表示制御部、Ｆ７ 画像出力部、Ｍ１ 画像メモリ（メモリ）、Ｆｓ１ 視点移動フェーズ、Ｄｔ 描画用データ、Ｌｖｃ 車両境界線、Ｌｔ タイヤ境界線、Ｐｆ フロア画像、Ｐｒ 屋根部画像、Ｐｖ 車両画像、Ｐｉ インストゥルメント画像（内装画像）、Ｐｈ ハンドル画像（内装画像）、Ｐｘ 最終表示範囲画像Ｐｘ、ＶＰ 仮想視点、Ｖｄｆ 前向車内視点（第１車内視点）、Ｖｄｂ 後向車内視点（第２車内視点）、Ｖｂｆ 前向鳥瞰視点（第１鳥瞰視点）、Ｖｂｂ 後向鳥瞰視点（第２鳥瞰視点）、ＶＳ 開始視点、ＶＬ 最終視点（目標視点）、Ｖｍ 途中視点、ＰＤ 車内視点画像、ＰＤｉ 内装付加画像

Claims (9)

1. 車両で用いられる周辺画像表示装置であって、
   前記車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を用いて、任意の仮想視点からみた前記車両の周辺の領域を示す合成画像である周辺画像を生成する合成画像生成部（Ｆ５）と、
   前記合成画像生成部が生成した前記周辺画像をディスプレイに表示するための処理を実施する表示制御部（Ｆ６）と、を備え、
   前記合成画像生成部は、車室内に位置する前記仮想視点である車内視点（Ｖｄ）からみた前記周辺画像であって前記車両の一部又は全部を透過させて前記車両の周辺を示す車内視点画像（ＰＤ）と、所定の記憶媒体に保存されている内装部材を描画するためのデータ（Ｄｔ）を用いて前記車内視点からみた前記内装部材の画像を含む合成画像である内装付加画像（ＰＤｉ）とを生成可能に構成されており、
   前記表示制御部は、
   前記車両へのユーザの操作に基づき前記ディスプレイの表示画面を前記車内視点画像に切り替える場合には、前記車内視点画像を表示する前に、前記内装付加画像をいったん表示するとともに、前記内装部材の画像の透明度を徐々に上げていくアニメーションを表示するように構成されている周辺画像表示装置。
2. 請求項１に記載の周辺画像表示装置であって、
   前記表示制御部は、前記車内視点画像を表示する場合、
   車室外の所定位置に設定される開始視点として前記仮想視点から、目標視点としての前記車内視点まで、前記仮想視点の位置が段階的に移動させたのちに、前記内装部材の画像の透明度を徐々に上げていくアニメーションを表示するように構成されており、
   前記仮想視点の移動過程においては、前記仮想視点の視界に存在する前記内装部材の画像は、不透明又は半透明な状態で表示するように構成されている周辺画像表示装置。
3. 請求項２に記載の周辺画像表示装置であって、
   前記表示制御部は、
   前記仮想視点が前記目標視点としての前記車内視点に到達すると、前記内装部材の画像の透明度を徐々に上げる処理を開始するとともに、当該内装部材の透過開始から所定時間経過後にはタイヤの画像を所定の閾値以上の不透明度で表示するアニメーション表現を行うように構成されている周辺画像表示装置。
4. 請求項２又は３に記載の周辺画像表示装置であって、
   前記表示制御部は、前記目標視点の位置及び視線方向の少なくとも何れか一方に応じて前記開始視点を異なる位置に設定するように構成されている周辺画像表示装置。
5. 請求項２から４の何れか１項に記載の周辺画像表示装置であって、
   前記表示制御部は、
   前記目標視点としての前記車内視点が車両前方に視線を向けた第１車内視点である場合には、前記車両の上方において前記車両の真上よりも車両後方側に所定量ずれた位置に配置される第１鳥瞰視点を前記開始視点に設定する一方、
   前記目標視点としての前記車内視点が車両後方に視線を向けた第２車内視点である場合には、前記車両の上方において前記車両の真上よりも車両前方側に所定量ずれた位置に配置される第２鳥瞰視点を前記開始視点に設定するように構成されている周辺画像表示装置。
6. 請求項２から５の何れか１項に記載の周辺画像表示装置であって、
   前記表示制御部は、
   前記開始視点を前記車両の上方に配置し、
   前記仮想視点の移動中において、前記仮想視点が車室外に存在する場合には、最終的に前記車内視点画像として表示する路面範囲を示す最終表示範囲画像（Ｐｘ）を含む前記合成画像を表示するように構成されている周辺画像表示装置。
7. 請求項１から６の何れか１項に記載の周辺画像表示装置であって、
   前記表示制御部は、前記車内視点画像として、前記カメラ画像を合成してなる外界画像の上に、車体が存在する範囲の境界を示す車両境界線（Ｌｖｃ）、タイヤが存在する範囲の境界を示すタイヤ境界線（Ｌｔ）、前記タイヤの画像（Ｐｔ）、及び、前記タイヤが地面に接地している領域を示す接地領域画像の少なくとも何れか１つを重畳させた合成画像を表示するように構成されている周辺画像表示装置。
8. 請求項１から７の何れか１項に記載の周辺画像表示装置であって、
   車両電源がオンとなってから初めて前記車内視点画像を表示する場合には、前記アニメーションを表示してから前記車内視点画像を表示する一方、２回目以降においては前記アニメーションの表示を省略するように構成されている周辺画像表示装置。
9. 車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を用いて、任意の仮想視点からみた前記車両の周辺の領域を示す合成画像である周辺画像の表示を制御する、少なくとも１つのプロセッサによって実行される表示制御方法であって、
   前記周辺画像として、車室内に配置された前記仮想視点である車内視点（Ｖｄ）からみた前記周辺画像であって、前記車両の一部又は全部を透過させて前記車両の周辺を示す車内視点画像（ＰＤ）を生成すること（Ｓ１０６Ａ）と、
   所定の記憶媒体に保存されている前記車両の内装部材を描画するためのデータ（Ｄｔ）を用いて前記車内視点からみた前記内装部材の画像を含む前記合成画像である内装付加画像（ＰＤｉ）を生成すること（Ｓ１０６Ｂ）と、
   生成された前記合成画像をディスプレイに表示すること（Ｓ２０３）と、を含み、
   前記車両へのユーザの操作に基づき前記ディスプレイの表示画面を前記車内視点画像に切り替える場合には、前記車内視点画像を表示する前に、前記内装付加画像をいったん表示した上で前記内装付加画像における前記内装部材の画像の透明度を徐々に上げていくアニメーションを表示すること（Ｓ２０６～Ｓ２０８）を含む表示制御方法。

Images