JP2018039295A - 表示装置の表示方法及び表示装置 - Google Patents

Abstract

【課題】乗員に対して表示された画像の中で自車両と対象物との相対的な位置関係を容易に把握することができる視覚支援方法を提供すること。【解決手段】自車両Ｓの周囲の歩行者Ｈを検出し、歩行者Ｈが含まれる仮想視点Ｋからの画像を生成し、前記画像を乗員の視覚支援情報として表示する表示装置の表示方法において、所定の情報に基づいて、自車両Ｓに対する歩行者Ｈの位置４１,４２を特定し、特定した歩行者Ｈの位置４１,４２に応じて、自車両Ｓと歩行者Ｈとの相対位置関係を把握する位置４１ａ,４２ａに前記仮想視点Ｋを設定し、設定した仮想視点Ｋからの画像を生成する構成とした。【選択図】図２

Description

本発明は、自車両の周囲を表示し、乗員の視覚支援を行う表示装置の表示方法及び表示装置に関する発明である。

従来、自車両の現在位置を特定し、特定した現在位置を含む周辺の道路構成情報に基づいて自車両に設けられた複数のカメラの撮影画像のうちのいずれを表示するかを選択し、選択した撮影画像を表示装置に表示する表示方法が知られている（例えば、特許文献１参照）。

特開２００５-３０９８１２号公報

従来の表示装置の表示方法にあっては、自車両の走行状況に応じて、複数のカメラの撮影画像の中からいずれかを表示するというものであり、同じ画像の中でも視点変換をするものではなかった。そのため自車両の周囲に存在する対象物と、自車両との相対的な位置関係が変化した際、表示装置に表示された画像の中で、自車両と対象物との相対的な位置関係を把握することが難しい場合があった。

本発明は、上記問題に着目してなされたもので、乗員に対して表示された画像の中で、自車両と対象物との相対的な位置関係を容易に把握することができる表示装置の表示方法及び表示装置を提供することを目的とする。

上記目的を達成するため、本発明は、自車両の周囲の対象物を検出し、対象物を含んだ仮想視点からの画像を乗員の視覚支援情報として表示する表示装置の表示方法において、対象物位置特定ステップと、仮想視点設定ステップと、仮想画像生成ステップと、を有する。
対象物位置特定ステップでは、所定の情報に基づいて、自車両に対する対象物の位置を特定する。
仮想視点設定ステップでは、特定した対象物の位置に応じて、自車両と対象物との相対位置関係を把握する位置に仮想視点を設定する。
仮想画像生成ステップでは、設定した仮想視点から見たときの画像を生成する。

この結果、表示された画像の中で対象物を容易に把握することができる。

実施例１の表示方法及び表示装置が適用された表示支援システムを示す全体システム構成図である。 実施例１の視覚支援ＣＰＵにて実行される視覚支援制御処理の流れを示すフローチャートである。 自車両と第１位置に存在する歩行者との位置関係及びそのときの仮想視点を示す平面図である。 図３Ａに示す仮想視点から見たときの仮想画像である。 自車両と第２位置に存在する歩行者との位置関係及びそのときの仮想視点を示す平面図である。 図４Ａに示す仮想視点から見たときの仮想画像である。 自車両と第３位置に存在する歩行者との位置関係及びそのときの仮想視点を示す平面図である。 図５Ａに示す仮想視点から見たときの仮想画像である。 自車両と第４位置に存在する歩行者との位置関係及びそのときの仮想視点を示す平面図である。 図６Ａに示す仮想視点から見たときの仮想画像である。 図６Ａに示す状態から所定時間経過後の自車両と歩行者との位置関係及びそのときの仮想視点を示す平面図である。 図６Ｃに示す仮想視点から見たときの仮想画像である。 自車両と第４位置に存在する歩行者との位置関係及びそのときの仮想視点を示す平面図である。 図７Ａに示す仮想視点から見たときの仮想画像である。 図７Ａに示す状態から所定時間経過後の自車両と歩行者との位置関係及びそのときの仮想視点を示す平面図である。 図７Ｃに示す仮想視点から見たときの仮想画像である。 実施例１の表示装置が適用された車両の他の第１例である。 実施例１の表示装置が適用された車両の他の第２例である。 図９に示す自車両と第７位置に存在する歩行者との位置関係及びそのときの仮想視点を示す平面図である。 実施例２の視覚支援ＣＰＵにて実行される視覚支援制御処理の流れを示すフローチャートである。 自車両と第８位置に存在する歩行者との位置関係及びそのときの仮想視点を示す平面図である。 図１２Ａに示す仮想視点から見たときの仮想画像である。 自車両と第９位置に存在する歩行者との位置関係及びそのときの仮想視点を示す平面図である。 図１３Ａに示す仮想視点から見たときの仮想画像である。 自車両と第１０位置に存在する歩行者との位置関係及びそのときの仮想視点を示す平面図である。 図１４Ａに示す状態から、歩行者が車両左方へ移動するときに生成される仮想画像である 図１４Ａに示す状態から、歩行車が車両右方へ移動するときに生成される仮想画像である。 実施例２の表示装置が適用された車両の他の例である。

以下、本発明の表示装置の表示方法及び表示装置を実施するための形態を、図面に示す実施例１に基づいて説明する。

（実施例１）
まず、構成を説明する。
実施例１における表示装置の表示方法及び表示装置は、車両に乗車している乗員の視覚支援を行う視覚支援システムを搭載した運転支援車両に適用したものである。以下、実施例１の構成を、「全体システム構成」、「乗員の視覚支援制御構成」、「視覚支援制御処理構成」に分けて説明する。

［全体システム構成］
図１は、実施例１の表示方法及び表示装置が適用された表示支援システムを示す全体システム構成図である。以下、図１に基づき、全体システム構成を説明する。

実施例１の視覚支援システムは、図１に示すように、物体認識センサ２１と、車載カメラ２２と、舵角センサ２３と、車速センサ２４と、レンジ位置センサ２５と、表示装置Ｄと、を備えている。そして、表示装置Ｄは、視覚支援ＣＰＵ３０（表示コントローラ）と、表示用ディスプレイ２６と、を備えている。

物体認識センサ２１は、自車両に設けられ、車両周囲に存在する対象物の位置を検出するための対象物検出センサである。ここで、「対象物」とは、例えば歩行者や自転車、路面に設けられた区画線（駐車枠線）や縁石、フェンス、壁、対向車両等の乗員の視覚支援に必要となる物体である。
この物体認識センサ２１は、自車両の前部に搭載されて車両前方領域を探索するフロントセンサ２１ａと、自車両の後部に搭載されて車両後方領域を探索するリヤセンサ２１ｂと、自車両の左側面に搭載されて車両左方領域を探索する左側センサ２１ｃと、自車両の右側面に搭載されて車両右方領域を探索する右側センサ２１ｄと、を有している。

物体認識センサ２１としては、一般的に使用されているレーザレンジファインダに代表されるものである。しかし、レーザレンジファインダの他には、超音波を利用するクリアランスソナーを用いて対象物の位置を検出してもよい。レーザレンジファインダは、赤外線レーザーを目標物に照射し、その反射の度合いで目標物までの距離を測定できる装置であり、検出物体のまでの距離情報をポイントクラウド情報として取得できるようになっている。
物体認識センサ２１によって取得された対象物までの距離情報は、視覚支援ＣＰＵ３０に出力される。

車載カメラ２２は、自車両に設けられ、車両周囲に存在する対象物の位置を検出するための対象物検出センサである。この車載カメラ２２は、自車両の前端部中央位置に搭載されて車両前方領域を撮影するフロントカメラ２２ａと、自車両の後端部中央位置に搭載されて車両前方領域を撮影するリヤカメラ２２ｂと、自車両の左サイドミラーの下側左端位置に搭載されて車両左方領域を撮影する左サイドカメラ２２ｃと、自車両の右サイドミラーの下側右端位置に搭載されて車両右方領域を撮影する右サイドカメラ２２ｄと、を有している。

この車載カメラ２２としては、一般的に使用されている単眼カメラに代表されるものである。しかし、単眼カメラの他には複数の撮影部を有するステレオカメラを用いて撮影してもよい。単眼カメラは、一つの撮影部を有するカメラであり、カラーカメラであってもよいし、モノクロカメラであってもよい。
車載カメラ２２によって撮影された撮影画像情報は、視覚支援ＣＰＵ３０に出力される。

舵角センサ２３は、現在のタイヤ操舵角量などを見積もるための操舵角情報を取得するセンサである。舵角センサ信号は、視覚支援ＣＰＵ３０に出力される。

車速センサ２４は、自車両の速度や走行距離を演算するための車速情報を取得するセンサであり、ここでは車輪に設けられた車輪速センサが用いられる。車速センサ信号は、視覚支援ＣＰＵ３０に出力される。

レンジ位置センサ２５は、セレクトレバーにより選択されたレンジポジション（Ｐ（パーキング），Ｒ（リバース），Ｄ（ドライブ），Ｍ（マニュアルモード）等）のレンジ位置情報を得るためのセンサであり、いわゆるインヒビタスイッチである。レンジ位置信号は、視覚支援ＣＰＵ３０に出力される。

視覚支援ＣＰＵ３０は、物体認識センサ２１等の各種センサからのセンサ情報及び車載カメラ２２からの画像情報に基づいて、自車両の周囲に存在する対象物を設定し、自車両に対する当該対象物の位置を特定する。そして、特定した対象物の位置に応じて、自車両と対象物との相対位置関係を把握する位置に仮想視点を設定し、設定した仮想視点からの画像（仮想画像）を生成する。生成した仮想画像情報は、表示用ディスプレイ２６に出力される。

表示用ディスプレイ２６は、一般的に車両に設けられているナビゲーション用の液晶ディスプレイや、遠隔操作端末に設けられたモニタ等を利用することができ、視覚支援ＣＰＵ３０から入力された仮想画像情報を画面上に表示する。

［乗員の視覚支援制御構成］
視覚支援ＣＰＵ３０は、自車両に搭載された表示装置Ｄが有する表示コントローラに相当し、図１に示すように、自車両状態把握部３１及び対象物位置特定部３２を有する画像切替処理部３０Ａと、仮想視点設定部３３、画像生成部３４、画像補正部３５を有する画像生成処理部３０Ｂと、を備えている。

自車両状態把握部３１は、舵角センサ２３、車速センサ２４、レンジ位置センサ２５からの各種のセンサ情報に基づいて、自車両の運転状態を把握する。自車両状態把握部３１によって把握された車両運転情報は、対象物位置特定部３２に出力される。なお、自車両の運転状態は、各種センサ情報から推定してもよい。

対象物位置特定部３２は、自車両状態把握部３１から車両運転情報と、物体認識センサ２１からの対象物までの距離情報と、車載カメラ２２からの撮影画像情報と、に基づいて、自車両の周辺に存在する対象物（例えば縁石や歩行者等）の有無を判断する。そして、対象物が存在すると判断したとき、自車両に対する当該対象物の位置を特定する。
ここでは、対象物が自車両の幅方向中央位置よりも左方に存在していれば、車載カメラ２２のうちの左サイドカメラ２２ｃの位置に対する対象物の位置を特定する。つまり、左サイドカメラ２２ｃの光軸中心位置を基準として、車両左側に存在する対象物の車両前後方向の位置を特定する。また、対象物が自車両の幅方向中央位置よりも右方に存在していれば、車載カメラ２２のうちの右サイドカメラ２２ｄの位置に対する対象物の位置を特定する。つまり、右サイドカメラ２２ｄの光軸中心位置を基準として、車両右側に存在する対象物の車両前後方向の位置を特定する。

なお、対象物の有無の判断は、車載カメラ２２によって撮影される撮影範囲内に、予め設定された特異点を有する物体が撮影されたことで判断する。また、対象物の位置情報は、左サイドカメラ２２ｃと右サイドカメラ２２ｄにより撮影した撮影画像を俯瞰変換して生成された俯瞰映像を解析すると共に、物体認識センサ２１より得られる当該対象物までの距離を勘案することによって取得する。さらに、対象物位置特定部３２には、タイマ３２ａからのタイマ情報が入力され、所定の時間ごとに対象物の位置の特定を繰り返す。対象物位置特定部３２によって特定された対象物の位置情報は、画像生成処理部３０Ｂに入力される。

仮想視点設定部３３は、自車両状態把握部３１から車両運転情報と、対象物位置特定部３２からの対象物の位置情報と、に基づいて、自車両と自車両の周囲に存在する対象物との相対位置関係を把握するために最も適切と判断される仮想視点の位置を設定する。
すなわち、まず、対象物が車両前後方向のいずれのアングルでも表示可能であるか否かを判断する。ここでは、左右サイドカメラ２２ｃ,２２ｄの光軸中心位置を挟んで車両前後方向の所定範囲内に対象物のすべての部分が撮影されているとき（対象物が左右サイドカメラ２２ｃ,２２ｄのほぼ正面に存在するとき）と、対象物がフロントカメラ２２ａ、リヤカメラ２２ｂ及び左右サイドカメラ２２ｃ,２２ｄのいずれか一方によって撮影されているとき（区画線や縁石のように対象物が車両前後方向に長く伸びているとき）に、対象物が車両前後方向のいずれのアングルでも表示可能であると判断する。なお、「左右サイドカメラ２２ｃ,２２ｄの光軸中心を挟んだ所定範囲」は、撮影画像の状態等により任意に設定する。
そして、「車両前方向のアングル」とは、車両後方から車両前方を見たときのアングルであり、「車両後方向のアングル」とは、車両前方から車両後方を見たときのアングルである。

そして、対象物が車両前後方向のいずれかのアングルでしか表示できない場合には、対象物が左右サイドカメラ２２ｃ,２２ｄの光軸中心位置よりも車両前方に存在するか否かを判断する。対象物が左右サイドカメラ２２ｃ,２２ｄの光軸中心位置よりも車両後方に存在すると判断したときには、仮想視点を、対象物と自車両の前後輪を視界に含む位置であって、対象物及び自車両よりも車両前方の位置から車両後方に向けて設定する。また、対象物が左右サイドカメラ２２ｃ,２２ｄの光軸中心位置よりも車両前方に存在すると判断したときには、仮想視点を、対象物と自車両の前後輪を視界に含む位置であって、対象物及び自車両よりも車両後方の位置から車両前方に向けて設定する。
すなわち、仮想視点は、対象物の位置に応じて、自車両と対象物との相対位置関係を把握する位置に設定される。

一方、対象物が車両前後方向のいずれのアングルでも表示可能の場合には、対象物と自車両との相対速度を検出し、当該相対速度がゼロより大きいか否かを判断する。そして、当該相対速度がゼロより大きいと判断したときには、仮想視点を、対象物と自車両の前後輪を視界に含む位置であって、対象物及び自車両よりも車両後方の位置から車両前方に向けて設定する。また、当該相対速度がゼロ以下と判断したときには、仮想視点を、対象物と自車両の前後輪を視界に含む位置であって、対象物及び自車両よりも車両前方の位置から車両後方に向けて設定する。
なお、「相対速度がゼロより大きい場合」とは、自車両よりも対象物の速度が速く、自車両から見たときに対象物が車両前方に向かって移動する場合である。また、「相対速度がゼロ以下の場合」とは、自車両よりも対象物の速度が遅く、自車両から見たときに対象物が車両後方に向かって移動していく場合である。
仮想視点設定部３３によって設定された仮想視点情報は、画像生成部３４に出力される。

画像生成部３４は、車載カメラ２２からの撮影画像情報と、仮想視点設定部３３からの仮想視点情報と、に基づいて、対象物の位置に応じて設定された仮想視点からの画像に視点変換し、自車両と対象物との相対位置関係を把握する仮想画像を生成する。
このとき、仮想視点が車両前方に向けて設定されていれば、左右サイドカメラ２２ｃ,２２ｄのいずれか一方による撮影画像と、フロントカメラ２２ａによる撮影画像とを用いて、対象物と自車両の前後輪、側面及び車両下方領域を含む仮想画像を生成する。また、仮想視点が車両後方に向けて設定されていれば、左右サイドカメラ２２ｃ,２２ｄのいずれか一方による撮影画像と、リヤカメラ２２ｂによる撮影画像とを用いて、対象物と自車両の前後輪、側面及び車両下方領域を含む仮想画像を生成する。
なお、仮想画像は、車載カメラ２２による撮影画像を視点変換、合成、選択して生成するだけでなく、撮影画像から生成した画像に予め記憶したＣＧ画像を重畳させて生成してもよい。ＣＧ画像は、地図情報や路面情報に応じて作成しておき、撮影画像との特異点マッチングを行うことで重畳させる。
画像生成部３４によって生成された仮想画像情報は、画像補正部３５に出力される。

画像補正部３５は、画像生成部３４からの仮想画像情報に基づいて、仮想画像中に重畳された情報や、歪みを生じさせる情報等を補正し、表示可能な仮想画像を生成する。
画像補正部３５によって補正された後の仮想画像情報は、表示用ディスプレイ２６に出力される。

［視覚支援制御処理構成］
図２は、実施例１の視覚支援ＣＰＵにて実行される視覚支援制御処理の流れを示すフローチャートである。以下、視覚支援制御処理構成をあらわす図２の各ステップについて説明する。

ステップＳ101では、舵角センサ２３、車速センサ２４、レンジ位置センサ２５により、車両の運転状態の情報を取得し、自車両の運転状態を把握し、ステップＳ102へ進む。

ステップＳ102では、ステップＳ101での運転状態の把握に続き、車載カメラ２２によって撮影した撮影範囲内に対象物が存在するか否かを判断する。YES（対象物あり）の場合にはステップＳ103に進む。NO（対象物なし）の場合にはステップＳ113へ進む。
ここで、対象物の存在の有無は、車載カメラ２２による撮影画像を解析すると共に、物体認識センサ２１からのセンサ情報を考慮して判断する。

ステップＳ103では、ステップＳ102での対象物ありとの判断に続き、当該対象物が車両前後方向のいずれのアングルでも表示可能であるか否かを判断する。YES（車両前後いずれからも表示可能）の場合にはステップＳ104へ進む。NO（車両前後一方からのみ表示可能）の場合にはステップＳ105へ進む。
ここで、対象物が車両前後方向のいずれのアングルでも表示可能であるか否かは、車載カメラ２２による撮影状態に基づいて判断する。

ステップＳ104では、ステップＳ103での車両前後いずれからも表示可能との判断に続き、ステップＳ102にて存在を確認した対象物と自車両との車両前後方向の相対速度を検出し、検出した相対速度がゼロより大きいか否か、すなわち自車両よりも対象物の速度が速いか否かを判断する。YES（相対速度＞ゼロ）の場合には、ステップＳ108へ進む。NO（相対速度≦ゼロ）の場合には、ステップＳ110へ進む。
ここで、対象物と自車両との相対速度は、タイマ３２ａでカウントした所定時間内での対象物の動き（移動方向）に基づいて検出する。

ステップＳ105（対象物位置特定ステップ）では、ステップＳ103での車両前後一方からのみ表示可能との判断に続き、ステップＳ102にて存在を確認した対象物の位置は、左右サイドカメラ２２ｃ,２２ｄよりも後方位置であるか否かを判断する。YES（サイドカメラよりも後方）の場合には、ステップＳ106に進む。NO（サイドカメラよりも前方）の場合には、ステップＳ108に進む。
このとき、対象物の位置は、左右サイドカメラ２２ｃ,２２ｄの光軸中心の位置を基準として判断され、左右サイドカメラ２２ｃ,２２ｄの撮影画像に基づいて、対象物が当該光軸中心位置よりも車両前方位置に存在するか、車両後方位置に存在するかを判断する。

ステップＳ106（仮想視点設定ステップ）では、ステップＳ105での対象物がサイドカメラよりも後方に位置するとの判断に続き、対象物と自車両の前後輪を視界に含む位置であって、対象物及び自車両（左右サイドカメラ２２ｃ,２２ｄ）よりも車両前方の位置から車両後方に向けて仮想視点を設定し、ステップＳ107に進む。
ここで、対象物が左右サイドカメラ２２ｃ,２２ｄよりも車両後方に位置しているときには、左右サイドカメラ２２ｃ,２２ｄのいずれかによって対象物の前面（車両前方を向いた面）と対象物の後方背景が撮影されていると考えられる。そのため、車両後方に向けて仮想視点を設定することで、左右サイドカメラ２２ｃ,２２ｄの撮影画像を用いて、対象物と自車両の前後輪を含み、自車両と対象物との相対位置関係を把握する仮想画像を生成可能となる。
つまり、このステップＳ106では、対象物の位置に応じて、自車両と対象物との相対位置関係を把握する位置に仮想視点が設定される。

ステップＳ107（画像生成ステップ）では、ステップＳ106での仮想視点の設定に続き、このステップＳ106にて設定した仮想視点から見たときの画像に視点変換した仮想画像を、左右サイドカメラ２２ｃ,２２ｄのいずれか一方と、リヤカメラ２２ｂとの映像を用いて生成し、ステップＳ112へ進む。
このとき、生成する仮想画像は、対象物と、自車両の前後輪、側面及び車両下方領域を含んでおり、自車両と対象物との相対位置関係を把握する仮想画像とする。また、生成する仮想画像に応じて、適宜必要なＣＧ画像等を重畳してもよい。

ステップＳ108（仮想視点設定ステップ）では、ステップＳ104での対象物と自車両との相対速度＞ゼロとの判断、又は、ステップＳ105での対象物がサイドカメラよりも前方に位置するとの判断に続き、対象物と自車両の前後輪を視界に含む位置であって、対象物及び自車両（左右サイドカメラ２２ｃ,２２ｄ）よりも車両後方の位置から車両前方に向けて仮想視点を設定し、ステップＳ109に進む。
ここで、対象物と自車両との相対速度がゼロより大きいときには、自車両から見たときに対象物が車両前方に向かって移動していくと考えられる。そのため、車両前方に向けて仮想視点を設定することで、対象物が移動しても仮想視点の位置を変更することなく自車両と対象物との相対位置関係を把握する仮想画像を生成可能となる。
また、対象物が左右サイドカメラ２２ｃ,２２ｄよりも車両前方に位置しているときには、左右サイドカメラ２２ｃ,２２ｄのいずれかによって対象物の後面（車両後方を向いた面）と対象物の前方背景が撮影されていると考えられる。そのため、車両前方に向けて仮想視点を設定することで、左右サイドカメラ２２ｃ,２２ｄの撮影画像を用いて、対象物と自車両の前後輪を含む、自車両と対象物との相対位置関係を把握する仮想画像を生成可能となる。

ステップＳ109（画像生成ステップ）では、ステップＳ108での仮想視点の設定に続き、このステップＳ108にて設定した仮想視点から見たときの画像に視点変換した仮想画像を、左右サイドカメラ２２ｃ,２２ｄのいずれか一方と、フロントカメラ２２ａとの映像を用いて生成し、ステップＳ112へ進む。
このとき、生成する仮想画像は、対象物と、自車両の前後輪、側面及び車両下方領域を含んでおり、自車両と対象物との相対位置関係を把握する仮想画像とする。また、生成する仮想画像に応じて、適宜必要なＣＧ画像等を重畳してもよい。

ステップＳ110では、ステップＳ104での対象物と自車両との相対速度≦ゼロとの判断に続き、対象物と自車両の前後輪を視界に含む位置であって、対象物及び自車両（左右サイドカメラ２２ｃ,２２ｄ）よりも車両前方の位置から車両後方に向けて仮想視点を設定し、ステップＳ111に進む。
ここで、対象物と自車両との相対速度がゼロ以下のときには、自車両から見たときに対象物が車両後方に向かって移動していくと考えられる。そのため、車両後方に向けて仮想視点を設定することで、対象物が移動しても仮想視点の位置を変更することなく対象物と自車両との相対位置関係を把握する仮想画像を生成可能となる。

ステップＳ111では、ステップＳ110での仮想視点の設定に続き、このステップＳ110にて設定した仮想視点から見たときの画像に視点変換した仮想画像を、左右サイドカメラ２２ｃ,２２ｄのいずれか一方と、リヤカメラ２２ｂとの映像を用いて生成し、ステップＳ112へ進む。
このとき、生成する仮想画像は、対象物と、自車両の前後輪、側面及び車両下方領域を含んでおり、自車両と対象物との相対位置関係を把握する仮想画像とする。また、生成する仮想画像に応じて、適宜必要なＣＧ画像等を重畳してもよい。

ステップＳ112では、ステップＳ107,ステップＳ109,ステップＳ111での仮想画像の生成に続き、これらのステップにて生成された仮想画像を表示用ディスプレイ２６に表示して、リターンへ進む。
これにより、表示用ディスプレイ２６には、対象物と自車両との相対位置関係を把握する仮想画像が表示され、自車両に乗車した乗員の視覚支援が行われる。

ステップＳ113では、ステップＳ102での対象物なしとの判断に続き、表示用ディスプレイ２６に所定の仮想視点からの仮想画像を表示中であるか否かを判断する。YES（仮想画像表示中）の場合には、ステップＳ114へ進む。NO（仮想画像非表示）の場合には、ステップＳ101へ戻る。

ステップＳ114では、ステップＳ113での仮想画像表示中との判断に続き、対象物が存在しないため仮想画像による視覚支援は不要であるとして、表示用ディスプレイ２６における仮想画像の表示を終了し、リターンへ進む。

次に、作用を説明する。
実施例１の作用を、「視覚支援制御処理作用」、「仮想視点設定作用」、「仮想画像生成作用」に分けて説明する。

［視覚支援制御処理作用］
以下、図２のフローチャートに基づき、視覚支援制御処理作用を説明する。
図３Ａに示すように、自車両Ｓは、前端部中央位置に車載カメラ２２のフロントカメラ２２ａが搭載され、後端部中央位置にリヤカメラ２２ｂが搭載され、左サイドミラーに左サイドカメラ２２ｃが搭載され、右サイドミラーに右サイドカメラ２２ｄが搭載されている。
各カメラ２２ａ〜２２ｄの撮影範囲Ａ〜Ｄは、図中に示す破線で囲んだ領域である。

ここで、自車両Ｓの走行中、自車両Ｓの左斜め前方位置である第１位置４１に歩行者Ｈが存在する場合を考える。このとき、図２に示すフローチャートにおいて、ステップＳ101→ステップＳ102へと進み、フロントカメラ２２ａ及び左サイドカメラ２２ｃの撮影範囲Ａ,Ｃ内に存在する歩行者Ｈを、「対象物」として設定する。

次に、ステップＳ103へと進み、対象物である歩行者Ｈが車両前後方向のいずれのアングルでも表示可能か否かを判断する。ここで、歩行者Ｈは、左サイドカメラ２２ｃの光軸中心位置αを挟んで車両前後方向の所定領域Ｘ（図３Ａでは斜線を付した領域）内では撮影されていない。そのため、歩行者Ｈは、車両前後方向のいずれかのアングルでしか表示できないとして、ステップＳ105へと進む。

ステップＳ105へ進んだら、歩行者Ｈの位置が左サイドカメラ２２ｃよりも後方位置であるか否かを判断する。図３Ａの場合では、歩行者Ｈは、左サイドカメラ２２ｃの光軸中心位置αよりも車両前方に位置しているので、ステップＳ108へと進み、歩行者Ｈ及び自車両Ｓ（少なくとも左サイドカメラ２２ｃ）よりも車両後方の位置４１ａから、車両前方に向けて仮想視点Ｋを設定する。このとき、仮想視点Ｋの視界に、歩行者Ｈと自車両Ｓの前後輪１１,１２を含める。

仮想視点Ｋを設定したら、ステップＳ109→ステップＳ112へと進んで、この位置４１ａに設定された仮想視点Ｋから見たときの画像に視点変換した仮想画像を生成した上、生成した仮想画像を表示用ディスプレイ２６に表示する。

このとき、生成される仮想画像は、図３Ｂに示すように、対象物である歩行者Ｈと、自車両Ｓの前後輪１１,１２、側面１３及び車両下方領域を含んでおり、自車両Ｓと歩行者Ｈ（対象物）との相対位置関係を把握する仮想画像となる。また、この仮想画像は、歩行者Ｈよりも後方に位置する左サイドカメラ２２ｃと、歩行者Ｈよりも前方に位置するフロントカメラ２２ａとの映像を用いて生成し、歩行者Ｈの背面が映される。
すなわち、位置４１ａに設定された仮想視点Ｋからの仮想画像を生成する際、歩行者Ｈの直前位置に配置されたフロントカメラ２２ａ（第１カメラ）により得られた第１撮影画像と、歩行者Ｈの直後位置に配置された左サイドカメラ２２ｃ（第２カメラ）により得られた第２撮影画像とを用いて、自車両Ｓの後方から前方を向いた画像を生成する。

なお、図３Ｂに示す仮想画像のうち、例えば自車両Ｓの側面１３の一部（ドットで示す領域）や、路面Ｒの一部（ドットで示す領域）等、撮影画像に含まれていなかったり、含まれていても視点変換することで大きく歪んでしまう領域については、予め生成されたＣＧ画像を重畳してもよい。

また、図４Ａに示すように、自車両Ｓの走行中、自車両Ｓの左側方位置である第２位置４２に歩行者Ｈが存在した場合では、ステップＳ101→ステップＳ102へと進んで歩行者Ｈを「対象物」として設定したら、ステップＳ103へと進み、対象物である歩行者Ｈが車両前後方向のいずれのアングルでも表示可能か否かを判断する。

ここでは、歩行者Ｈが左サイドカメラ２２ｃの光軸中心位置αを挟んで車両前後方向の所定領域Ｘ内で撮影されていないため、歩行者Ｈは、車両前後方向のいずれかのアングルでしか表示できないとして、ステップＳ105へと進む。ステップＳ105へ進んだら、歩行者Ｈの位置が左サイドカメラ２２ｃよりも後方位置であるか否かを判断する。図４Ａの場合では、歩行者Ｈは、左サイドカメラ２２ｃの光軸中心位置αよりもわずかに車両後方に位置しているので、ステップＳ106に進む。これにより、歩行者Ｈ及び自車両Ｓ（左サイドカメラ２２ｃ）よりも車両前方の位置４２ａから、車両後方に向けて仮想視点Ｋを設定する。このとき、仮想視点Ｋの視界に、歩行者Ｈと自車両Ｓの前後輪１１,１２を含める。

仮想視点Ｋを設定したら、ステップＳ107→ステップＳ112へと進んで、この位置４２ａに設定された仮想視点Ｋから見たときの画像に視点変換した仮想画像を生成した上、生成した仮想画像を表示用ディスプレイ２６に表示する。

このとき、生成される仮想画像は、図４Ｂに示すように、対象物である歩行者Ｈと、自車両Ｓの前後輪１１,１２、側面１３及び車両下方領域を含んでおり、自車両Ｓと歩行者Ｈ（対象物）との相対位置関係を把握する仮想画像となる。また、この仮想画像は、歩行者Ｈよりも前方に位置する左サイドカメラ２２ｃと、歩行者Ｈよりも後方に位置するリヤカメラ２２ｂとの映像を用いて生成し、歩行者Ｈの正面が映される。
すなわち、位置４２ａに設定された仮想視点Ｋからの仮想画像を生成する際、歩行者Ｈの直前位置に配置された左サイドカメラ２２ｃ（第１カメラ）により得られた第１撮影画像と、歩行者Ｈの直後位置に配置されたリヤカメラ２２ｂ（第２カメラ）により得られた第２撮影画像とを用いて、自車両Ｓの前方から後方を向けた画像を生成する。

なお、図３Ｂに示す仮想画像と同様に、図４Ｂに示す仮想画像のうち、撮影画像に含まれていない領域等（図４Ｂにおいてドットで示す領域）については、予め生成されたＣＧ画像を重畳してもよい。

さらに、図５Ａに示すように、自車両Ｓの走行中、自車両Ｓの左斜め後方位置である第３位置４３に歩行者Ｈが存在した場合では、ステップＳ101→ステップＳ102へと進んで歩行者Ｈを「対象物」として設定したら、ステップＳ103へと進み、対象物である歩行者Ｈが車両前後方向のいずれのアングルでも表示可能か否かを判断する。

このとき、歩行者Ｈが左サイドカメラ２２ｃの光軸中心位置αを挟んで車両前後方向の所定領域Ｘ内で撮影されていないため、歩行者Ｈは、車両前後方向のいずれかのアングルでしか表示できないとして、ステップＳ105へと進む。ステップＳ105へ進んだら、歩行者Ｈの位置が左サイドカメラ２２ｃよりも後方位置であるか否かを判断する。図５Ａの場合では、歩行者Ｈは、左サイドカメラ２２ｃの光軸中心位置αよりも車両後方に位置しているので、ステップＳ106に進む。これにより、歩行者Ｈ及び自車両Ｓ（左サイドカメラ２２ｃ）よりも車両前方の位置４３ａから、車両後方に向けて仮想視点Ｋを設定する。このとき、仮想視点Ｋの視界に、歩行者Ｈと自車両Ｓの前後輪１１,１２を含める。

仮想視点Ｋを設定したら、ステップＳ107→ステップＳ112へと進んで、この位置４３ａに設定された仮想視点Ｋから見たときの画像に視点変換した仮想画像を生成した上、生成した仮想画像を表示用ディスプレイ２６に表示する。

このとき、生成される仮想画像は、図５Ｂに示すように、対象物である歩行者Ｈと、自車両Ｓの前後輪１１,１２、側面１３及び車両下方領域を含んでおり、自車両Ｓと歩行者Ｈ（対象物）との相対位置関係を把握する仮想画像となる。また、この仮想画像は、歩行者Ｈよりも前方に位置する左サイドカメラ２２ｃと、歩行者Ｈよりも後方に位置するリヤカメラ２２ｂとの映像を用いて生成し、歩行者Ｈの正面が映される。
すなわち、位置４３ａに設定された仮想視点Ｋからの仮想画像を生成する際、歩行者Ｈの直前位置に配置された左サイドカメラ２２ｃ（第１カメラ）により得られた第１撮影画像と、歩行者Ｈの直後位置に配置されたリヤカメラ２２ｂ（第２カメラ）により得られた第２撮影画像とを用いて、自車両Ｓの前方から後方を向いた画像を生成する。

なお、図３Ｂ,図４Ｂに示す仮想画像と同様に、図５Ｂに示す仮想画像のうち、撮影画像に含まれていない領域等（図５Ｂにおいてドットで示す領域）については、予め生成されたＣＧ画像を重畳してもよい。

このように、実施例１の表示方法及び表示装置Ｄでは、自車両Ｓの周囲に視覚支援に必要となる対象物（図３Ａ〜図５Ｂでは歩行者Ｈ）を検出したら、自車両Ｓに対する対象物（歩行者Ｈ）の位置を特定する。そして、特定した対象物（歩行者Ｈ）の位置に応じて、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を把握する位置に仮想視点Ｋを設定する。
つまり、仮想視点Ｋの設定位置は、自車両Ｓに対する対象物（歩行者Ｈ）の位置に応じて変化し、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を把握するために最適な位置にその都度設定される。

この結果、図３Ｂ,図４Ｂ,図５Ｂに示す仮想画像ように、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を容易に把握可能な仮想画像を生成することができる。そして、乗員に対して表示するために表示用ディスプレイ２６に表示された画像の中で、自車両Ｓと対象物（歩行者Ｈ）との相対的な位置関係を容易に把握することができ、自車両Ｓに乗車した乗員の視覚支援を効果的に行うことができる。

また、自車両Ｓに対する対象物（歩行者Ｈ）の位置に応じて仮想視点Ｋの設定位置を変化させるので、自車両側方撮影用のカメラが片側あたり１台であっても、撮像対象が歪んだり、例えば対象物（歩行者Ｈ）の一部が切れるなどの、撮像対象の一部が描画されないといった不具合画像を提供することなく、乗員の視覚支援を行うことができる。

さらに、この実施例１において生成される仮想画像は、対象物である歩行者Ｈと、自車両Ｓの前後輪１１,１２、側面１３及び車両下方領域を含む、いわゆる「サイドダウンビュー」である。そのため、センターラインのない比較的狭い道幅道路環境においても、自車両Ｓの真横周辺に存在する歩行者や自転車、縁石（道路境界）、或いは対向車両等への接近度合いを、分かりやすく表示することができる。そして、自車両Ｓに対する対象物（歩行者Ｈ）の位置に応じて仮想視点Ｋを設定することで、歩行者や自転車を気にしながら縁石と並行に車両を寄せるというシーン等において、乗員が車両の周囲状況を把握しやすい適切なサイドダウンビューを切り替え表示することができる。

また、この実施例１では、対象物（歩行者Ｈ）の位置を検出する対象物検出センサとして、車載カメラ２２（フロントカメラ２２ａ、リヤカメラ２２ｂ、左サイドカメラ２２ｃ、右サイドカメラ２２ｄ）を搭載している。そして、自車両Ｓに対する対象物（歩行者Ｈ）の位置を特定する際、対象物検出センサである左サイドカメラ２２ｃの光軸中心位置αを基準にし、この左サイドカメラ２２ｃの光軸中心位置αに対する対象物（歩行者Ｈ）の位置を特定している。
つまり、左サイドカメラ２２ｃと対象物（歩行者Ｈ）との相対位置関係に応じて仮想視点Ｋの位置を調整する。

これにより、図４Ａに示すように、自車両Ｓの側方に位置する対象物（歩行者Ｈ）であっても、対象物（歩行者Ｈ）位置の特定を容易に行うことができ、仮想視点Ｋの設定を速やかに行って、仮想画像を短時間で生成することができる。そのため、自車両Ｓの速度が速い場合であっても、適切なタイミングで仮想画像を表示することができ、視覚支援効果を向上することができる。

［仮想視点設定作用］
図３Ａ〜図５Ｂに示すシーンでは、対象物である歩行者Ｈが左サイドカメラ２２ｃの光軸中心位置αを挟んで車両前後方向の所定領域Ｘ内で撮影されておらず、この歩行者Ｈは、車両前後方向のいずれかのアングルでしか表示できない例となっている。

これに対し、図６Ａに示すように、左サイドカメラ２２ｃの光軸中心位置αを挟んで車両前後方向の所定領域Ｘ内の第４位置４４に歩行者Ｈが存在し、この所定領域Ｘ内に歩行者Ｈの全ての部分が撮影されているシーンを考える。
このときには、歩行者Ｈは、左サイドカメラ２２ｃの正面に位置することになり、車両前後方向のいずれのアングルでも表示可能となる。
そのため、図２に示すフローチャートにおいて、ステップＳ101→ステップＳ102→ステップＳ103→ステップＳ104へと進み、歩行者Ｈと自車両Ｓとの相対速度を検出し、この検出した相対速度がゼロより大きいか否かを判断する。

ここで、例えば自車両Ｓが走行中である一方、歩行者Ｈが立ち止っているときには、歩行者Ｈよりも自車両Ｓの移動速度が速く、相対速度はゼロ以下になる。そのため、ステップＳ104→ステップＳ110へと進み、歩行者Ｈ及び自車両Ｓ（左サイドカメラ２２ｃ）よりも車両前方の位置４４ａから、車両後方に向けて仮想視点Ｋを設定する。このとき、仮想視点Ｋの視界に、歩行者Ｈと自車両Ｓの前後輪１１,１２を含める。

仮想視点Ｋを設定したら、ステップＳ111→ステップＳ112へと進んで、この位置４４ａに設定された仮想視点Ｋから見たときの画像に視点変換した仮想画像を生成した上、生成した仮想画像を表示用ディスプレイ２６に表示する。

このとき、生成される仮想画像は、図６Ｂに示すように、対象物である歩行者Ｈと、自車両Ｓの前後輪１１,１２、側面１３及び車両下方領域を含んでおり、自車両Ｓと歩行者Ｈ（対象物）との相対位置関係を把握する仮想画像となる。また、この仮想画像は、歩行者Ｈの側方に位置する左サイドカメラ２２ｃと、歩行者Ｈよりも後方に位置するリヤカメラ２２ｂとの映像を用いて生成し、歩行者Ｈの正面が映される。

その後、時間の経過と共に、自車両Ｓと歩行者Ｈとの相対的な位置関係が変化する。具体的には、図６Ｃに示すように、自車両Ｓの速度が高いことから、歩行者Ｈは自車両Ｓの左斜め後方位置である第５位置４５へと相対的に移動する。

ここで、視覚支援のための仮想画像は、位置４４ａから車両後方に向いた状態で設定された仮想視点Ｋからの画像となっており、自車両Ｓを車両前方から後方に向かって見たときの画像となっている。そのため、時間の経過と共に、歩行者Ｈが自車両Ｓの左斜め後方位置へと相対的に移動したときであっても、図６Ｄに示すように、歩行者Ｈを仮想画像中に含め続けることができる。

一方、図７Ａに示すように、左サイドカメラ２２ｃの光軸中心位置αを挟んで車両前後方向の所定領域Ｘ内の第４位置４４に歩行者Ｈが存在し、この所定領域Ｘ内に歩行者Ｈの全ての部分が撮影されている場合であっても、例えば自車両Ｓが停車しており、歩行者Ｈが車両前方に向かって歩いているときには、歩行者Ｈと自車両Ｓとの相対速度がゼロより大きくなる。

このときには、ステップＳ101→ステップＳ102→ステップＳ103→ステップＳ104→ステップＳ108へと進み、歩行者Ｈ及び自車両Ｓ（左サイドカメラ２２ｃ）よりも車両後方の位置４４ｂから、車両前方に向けて仮想視点Ｋを設定する。このとき、仮想視点Ｋの視界に、歩行者Ｈと自車両Ｓの前後輪を含める。
その後、ステップＳ111→ステップＳ112へと進んで、この位置４４ｂに設定された仮想視点Ｋから見たときの画像に視点変換した仮想画像を生成した上、生成した仮想画像を表示用ディスプレイ２６に表示する。

これにより、位置４４ｂに設定された仮想視点Ｋから見たときの画像に視点変換した仮想画像は、図７Ｂに示すように、対象物である歩行者Ｈと、自車両Ｓの前後輪１１,１２、側面１３及び車両下方領域を含んでおり、自車両Ｓと歩行者Ｈ（対象物）との相対位置関係を把握する仮想画像となる。また、この仮想画像は、歩行者Ｈの側方に位置する左サイドカメラ２２ｃと、歩行者Ｈよりも前方に位置するフロントカメラ２２ａとの映像を用いて生成され、歩行者Ｈの背面が映される。

そして、その後時間の経過と共に、自車両Ｓと歩行者Ｈとの相対的な位置関係が変化するが、この場合では歩行者Ｈの速度が高いことから、図７Ｃに示すように、歩行者Ｈは自車両Ｓの左斜め前方位置である第６位置４６へと相対的に移動する。

ここで、視覚支援のための仮想画像では、位置４４ｂから車両前方に向いた状態で設定された仮想視点Ｋからの画像となっており、自車両Ｓを車両後方から前方に向かって見たときの画像となっている。そのため、時間の経過と共に、歩行者Ｈが自車両Ｓの左斜め前方位置へと相対的に移動したときであっても、図７Ｄに示すように、歩行者Ｈを仮想画像中に含め続けることができる。

このように、対象物（歩行者Ｈ）が、車両前後方向のいずれのアングルでも表示可能な場合には、自車両Ｓと対象物（歩行者Ｈ）との相対速度の大きさに応じて仮想視点Ｋの位置を設定する。これにより、時間の経過と共に、自車両Ｓと対象物（歩行者Ｈ）との車両前後方向の相対位置関係が変化しても、仮想視点Ｋの位置を変更することなく対象物（歩行者Ｈ）を仮想画像中に含め続けることができる。この結果、仮想画像のアングルを維持することができ、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を把握する仮想画像に大きな変化が生じず、この相対位置関係を容易に把握可能とすることができる。

これに対し、図３Ａに示すように、対象物（歩行者Ｈ）が左サイドカメラ２２ｃよりも車両前方に存在しているときには、仮想視点Ｋを、対象物（歩行者Ｈ）の後方位置から車両前方に向くように設定する。
これにより、左サイドカメラ２２ｃに対して対象物（歩行者Ｈ）が前方に位置しているときであっても、車両前方を向いた仮想視点Ｋを基準として生成された仮想画像（図３Ｂ参照）の中で、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を把握することができる。

また、図４Ａ及び図５Ａに示すように、対象物（歩行者Ｈ）が左サイドカメラ２２ｃよりも車両後方に存在しているときには、仮想視点Ｋを、対象物（歩行者Ｈ）の前方位置から車両後方に向くように設定する。
これにより、左サイドカメラ２２ｃに対して対象物（歩行者Ｈ）が後方に位置しているときであっても、乗員は、車両後方を向いた仮想視点Ｋを基準として生成された仮想画像（図４Ｂ,５Ｂ参照）の中で、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を把握することができる。

［仮想画像生成作用］
実施例１において、対象物（歩行者Ｈ）の位置に応じて設定した仮想視点Ｋからの仮想画像を生成する際、上述したように、仮想視点Ｋを車両前方に向く位置に設定した場合（図３Ａ,図７Ａ参照）のときには、左サイドカメラ２２ｃと、フロントカメラ２２ａとの映像を用いて生成し、図３Ｂや図７Ｂに示すように仮想画像中に歩行者Ｈの背面が映される。
一方、仮想視点Ｋを車両後方に向く位置に設定した場合（図４Ａ,図５Ａ,図６Ａ参照）のときには、左サイドカメラ２２ｃと、リヤカメラ２２ｂとの映像を用いて生成し、図３Ｂ,図５Ｂや図６Ｂに示すように仮想画像中に歩行者Ｈの背面が映される。

このように、仮想視点Ｋが設定された向きによって、車載カメラ２２の中から適切な位置に設けられたカメラを選定し、当該カメラによる撮影画像を用いて仮想画像を生成する。この結果、歪みや欠けた部分の少ない適切な仮想画像を生成することができ、仮想画像の中で、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を把握することができる。

次に、効果を説明する。
実施例１の表示装置の表示方法及び表示装置にあっては、下記に列挙する効果を得ることができる。

(1) 自車両Ｓの周囲の対象物（歩行者Ｈ）を検出し、前記対象物（歩行者Ｈ）が含まれる仮想視点Ｋからの画像を生成し、前記画像を乗員の視覚支援情報として表示する表示装置の表示方法において、
所定の情報に基づいて、前記自車両Ｓに対する前記対象物（歩行者Ｈ）の位置４１,４２を特定する対象物位置特定ステップ（ステップＳ105）と、
前記対象物（歩行者Ｈ）の位置４１,４２に応じて、前記自車両Ｓと前記対象物（歩行者Ｈ）との相対位置関係を把握する位置４１ａ,４２ａに前記仮想視点Ｋを設定する仮想視点設定ステップ（ステップＳ106,ステップＳ108）と、
前記仮想視点Ｋから見たときの画像を生成する画像生成ステップ（ステップＳ107,ステップＳ109）と、
を有する構成とした。
これにより、乗員に対して表示された画像の中で自車両Ｓと対象物（歩行者Ｈ）との相対的な位置関係を容易に把握することができる。

(2) 前記対象物（歩行者Ｈ）の位置を検出する対象物検出センサ（左サイドカメラ２２ｃ）を前記自車両Ｓに搭載し、
前記対象物位置特定ステップ（ステップＳ105）は、前記対象物検出センサ（左サイドカメラ２２ｃ）の位置（光軸中心位置α）に対する前記対象物（歩行者Ｈ）の位置４１,４２を特定する構成とした。
これにより、(1)の効果に加え、対象物（歩行者Ｈ）の位置を容易に特定し、仮想視点Ｋの設定を速やかに行って、適切なタイミングで仮想画像の表示を行うことができる。

(3) 前記仮想視点設定ステップ（ステップＳ106,ステップＳ108）は、前記対象物（歩行者Ｈ）の位置（第１位置４１）が前記対象物検出センサ（左サイドカメラ２２ｃ）の位置（光軸中心位置α）よりも前方にある場合、前記仮想視点Ｋを、前記対象物（歩行者Ｈ）よりも車両後方の位置４１ａから車両前方に向けて設定する構成とした。
これにより、(2)の効果に加え、対象物検出センサ（左サイドカメラ２２ｃ）に対して対象物（歩行者Ｈ）が前方に位置しているときであっても、仮想画像の中で、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を容易に把握することができる。

(4) 前記画像生成ステップ（ステップＳ107,ステップＳ109）は、車両前方に向けて設定された仮想視点Ｋからの画像を生成する際、前記対象物（歩行者Ｈ）よりも車両後方に位置する対象物検出センサ（左サイドカメラ２２ｃ）によって検出された情報を用いて前記画像を生成する構成とした。
これにより、 (3)の効果に加え、仮想視点Ｋの向きに応じた適切な位置に設けられた対象物検出センサ（左サイドカメラ２２ｃ）からの情報を用いて仮想画像を生成でき、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を把握するための適切な仮想画像を生成することができる。

(5) 前記仮想視点設定ステップ（ステップＳ106,ステップＳ108）は、前記対象物（歩行者Ｈ）の位置（第２位置４２）が前記対象物検出センサ（左サイドカメラ２２ｃ）の位置（光軸中心位置α）よりも後方にある場合、前記仮想視点Ｋを、前記対象物（歩行者Ｈ）よりも車両前方の位置４２ａから車両後方に向けて設定する構成とした。
これにより、(2)の効果に加え、対象物検出センサ（左サイドカメラ２２ｃ）に対して対象物（歩行者Ｈ）が後方に位置しているときであっても、仮想画像の中で、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を容易に把握することができる。

(6) 前記画像生成ステップ（ステップＳ107,ステップＳ109）は、車両後方に向けて設定された仮想視点Ｋからの画像を生成する際、前記対象物（歩行者Ｈ）よりも車両前方に位置する対象物検出センサ（左サイドカメラ２２ｃ）によって検出された情報を用いて前記画像を生成する構成とした。
これにより、仮想視点Ｋの向きに応じた適切な位置に設けられた対象物検出センサ（左サイドカメラ２２ｃ）からの情報を用いて仮想画像を生成でき、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を把握するための適切な仮想画像を生成することができる。

(7) 自車両Ｓの周囲の対象物（歩行者Ｈ）を検出し、前記対象物（歩行者Ｈ）が含まれる仮想視点Ｋからの画像を生成し、乗員の視覚支援情報として表示する表示コントローラ（視覚支援ＣＰＵ３０）を備えた表示装置Ｄにおいて、
前記表示コントローラ（視覚支援ＣＰＵ３０）は、
所定の情報に基づいて、前記自車両Ｓに対する前記対象物（歩行者Ｈ）の位置４１,４２を特定する対象物位置特定部３２と、
前記対象物（歩行者Ｈ）の位置に応じて、前記自車両Ｓと前記対象物（歩行者Ｈ）との相対位置関係を把握する位置４１ａ,４２ａに前記仮想視点Ｋを設定する仮想視点設定部３３と、
前記仮想視点Ｋからの画像を生成する画像生成部３４と、
を有する構成とした。
これにより、乗員に対して表示された画像の中で自車両Ｓと対象物（歩行者Ｈ）との相対的な位置関係を容易に把握することができる。

（実施例１の変形例）
図８は、実施例１の表示方法及び表示装置の第１変形例を適用される自車両Ｓ１の平面図である。
この自車両Ｓ１は、車載カメラ２２として、自車両Ｓ１の前端部中央位置に搭載されて車両前方領域Ａを撮影するフロントカメラ２２ａと、自車両Ｓ１の後端部中央位置に搭載されて車両前方領域Ｂを撮影するリヤカメラ２２ｂと、自車両Ｓ１の左サイドミラーの下側左端位置に搭載されて車両左前方領域Ｃを撮影する第１左サイドカメラ２２ｃと、自車両Ｓ１の左リヤピラーの下端位置に搭載されて車両左後方領域Ｅを撮影する第２左サイドカメラ２２ｅと、自車両Ｓ１の右サイドミラーの下側右端位置に搭載されて車両右前方領域Ｄを撮影する第１右サイドカメラ２２ｄと、自車両Ｓ１の右リヤピラーの下端位置に搭載されて車両右後方領域Ｆを撮影する第２右サイドカメラ２２ｆと、を有している。
すなわち、自車両Ｓ１では、車載カメラ２２が車両全体で６台、車両側方領域を撮影するカメラが片側あたり２台となっている。

また、図９は、実施例１の表示方法及び表示装置の第２変形例を適用される自車両Ｓ２の平面図である。
この自車両Ｓ２は、車載カメラ２２として、自車両Ｓ２の前端部中央位置に搭載されて車両前方領域Ａを撮影するフロントカメラ２２ａと、自車両Ｓ２の後端部中央位置に搭載されて車両前方領域Ｂを撮影するリヤカメラ２２ｂと、自車両Ｓ２の左サイドミラーの下側左端位置に搭載されて車両左前方領域Ｃを撮影する第１左サイドカメラ２２ｃと、自車両Ｓ２の左リヤピラーの下端位置に搭載されて車両左後方領域Ｅを撮影する第２左サイドカメラ２２ｅと、自車両Ｓ２のフロントバンパーの左端位置に搭載されて車両左前方領域Ｇを撮影する第３左サイドカメラ２２ｇと、自車両Ｓ２の右サイドミラーの下側右端位置に搭載されて車両右前方領域Ｄを撮影する第１右サイドカメラ２２ｄと、自車両Ｓ２の右リヤピラーの下端位置に搭載されて車両右後方領域Ｆを撮影する第２右サイドカメラ２２ｆと、自車両Ｓ２のフロントバンパーの右端位置に搭載されて車両右前方領域Ｊを撮影する第３右サイドカメラ２２ｊと、を有している。
すなわち、自車両Ｓ２では、車載カメラ２２が車両全体で８台、車両側方領域を撮影するカメラが片側あたり３台となっている。

この自車両Ｓ１や自車両Ｓ２のように、車両側方領域を撮影する複数のカメラを搭載した車両では、車両側方領域をサイドカメラの数に応じて分割し、左右のサイドカメラによって撮影することができる。そのため、サイドカメラの撮影範囲を実施例１の場合よりも広角（魚眼）にする必要性が低くなり、左右のサイドカメラの１台当たりの撮影範囲を狭角化することができる。
これにより、横方向における広範囲の画像情報を歪み等の違和感を抑制して表示させることができる。さらに、左右サイドカメラが１台の場合において設定した仮想視点の位置よりも、より後方の位置に仮想視点を設定することが可能となる。

また、図８や図９に示すように、サイドカメラの数を複数にしたことで、車両前後方向のいずれからのアングルであっても対象物を表示可能となる所定領域Ｘを拡大することができる。
すなわち、図８に示す場合では、第１左右サイドカメラ２２ｃ,２２ｄの光軸中心位置αと、第２左右サイドカメラ２２ｅ,２２ｆの光軸中心位置βで囲まれた領域と、その前後所定領域を、所定領域Ｘとする。また、図９に示す場合では、第３左右サイドカメラ２２ｇ,２２ｊの光軸中心位置γと、第２左右サイドカメラ２２ｅ,２２ｆの光軸中心位置βで囲まれた領域と、その前後所定領域を、所定領域Ｘとする。

この結果、特に、図９に示すように、車両側方領域を撮影する第１〜第３左右サイドカメラ２２ｃ〜２２ｊを設けた場合では、自車両Ｓ２の側方領域のほぼ全域において、前後いずれの画像アングルであっても可能とすることができる。
そのため、仮想画像の設定自由度が向上し、例えば縁石に等の道路境界線に自車両を寄せながら、当該縁石に対して平行に駐車させるシーン等に効果を発揮し、乗員への視覚支援効果を向上することができる。

すなわち、例えば図１０に示すように、自車両Ｓ２の側方の第７位置４７に歩行者Ｈ（対象物）が存在する場合では、まず、複数のサイドカメラ（第１〜第３左サイドカメラ２２ｃ,２２ｅ,２２ｇ）によって撮影された撮影画像に基づいて歩行者Ｈの位置を特定し、自車両Ｓ２との相対速度に応じて画像アングルを設定する。
つまり、歩行者Ｈと自車両Ｓ２との相対速度がゼロより大きければ、車両前方を向き、歩行者Ｈと自車両Ｓ２の前後輪を視界に含む位置４７ａに仮想視点を設定する。また、当該相対速度がゼロ以下であれば、車両後方を向き、歩行者Ｈと自車両Ｓ２の前後輪を視界に含む位置４７ｂに仮想視点を設定する。

そして、各位置４７ａ,４７ｂからの仮想画像を生成する際、歩行者Ｈの直前に配置された第３左サイドカメラ２２ｇ（第１カメラ）により得られた第１撮影画像と、歩行者Ｈの直後位置に配置された第１左サイドカメラ２２ｃ（第２カメラ）により得られた第２撮影画像とを用いて、前記自車両Ｓ２の側面及び車両下方領域を含む仮想画像を生成する。

これにより、歩行者Ｈの直前に位置する第３左サイドカメラ２２ｇ、歩行者Ｈの直後に位置する第１左サイドカメラ２２ｃの撮影画像を主体にして、自車両Ｓの側面１３及び車両下方領域を含む画像（サイドダウンビュー）を生成し、これと同時に双方の第３,第１左サイドカメラ２２ｇ,２２ｃの撮影画像の相対速度差からアングル（画像方向）を決定することが可能となる。そのため、乗員が自車両Ｓ２と歩行者Ｈとの相対的な位置関係を把握しやすい仮想画像のアングル（画像方向）を制限されにくくなる。

（実施例２）
実施例２は、自車両の周囲に存在する対象物の、自車両の幅方向中央位置に対する左右方向の位置に応じて仮想視点を設定する例である。

図１１は、実施例１の視覚支援ＣＰＵにて実行される視覚支援制御処理の流れを示すフローチャートである、以下、視覚支援制御処理構成をあらわす図１１の各ステップについて説明する。

ステップＳ201では、舵角センサ２３、車速センサ２４、レンジ位置センサ２５により、車両の運転状態の情報を取得し、自車両の運転状態を把握し、ステップＳ202へ進む。

ステップＳ202では、ステップＳ201での運転状態の把握に続き、車載カメラ２２によって撮影した撮影範囲内に対象物が存在するか否かを判断する。YES（対象物あり）の場合にはステップＳ203に進む。NO（対象物なし）の場合にはステップＳ211へ進む。
ここで、対象物の存在の有無は、車載カメラ２２による撮影画像を解析すると共に、物体認識センサ２１からのセンサ情報を考慮して判断する。

ステップＳ203では、ステップＳ202での対象物ありとの判断に続き、当該対象物が車両左右方向のいずれのアングルでも表示可能であるか否かを判断する。YES（車両左右いずれからも表示可能）の場合にはステップＳ204へ進む。NO（車両左右一方からのみ表示可能）の場合にはステップＳ205へ進む。
ここで、対象物が車両左右方向のいずれのアングルでも表示可能であるか否かは、車載カメラ２２による撮影状態に基づいて判断する。

ステップＳ204では、ステップＳ203での車両左右いずれからも表示可能との判断に続き、ステップＳ202にて存在を確認した対象物が自車両の右方に向かって移動しているか否かを判断する。YES（右方への移動あり）の場合には、ステップＳ207へ進む。NO（右方への移動なし）の場合には、ステップＳ208へ進む。
ここで、対象物の移動については、タイマ３２ａでカウントした所定時間内での対象物の動き（移動方向）に基づいて検出する。なお、「右方への移動なし」には、対象物が自車両の左方に移動している場合と、その場で停止している場合を含む。

ステップＳ205（対象物位置特定ステップ）では、ステップＳ203での車両左右一方からのみ表示可能との判断に続き、ステップＳ202にて存在を確認した対象物が、左サイドカメラ２２ｃにて撮影可能であるか否かを判断する。YES（左サイドカメラで撮影可能）の場合には、ステップＳ206へ進む。NO（左サイドカメラで撮影不可能）の場合には、ステップＳ207へ進む。
ここで、「左サイドカメラ２２ｃにて撮影可能」とは、対象物の位置が、自車両の幅方向中心位置よりも左側位置に存在することを意味する。一方、「左サイドカメラ２２ｃにて撮影不可能」ということは、右サイドカメラ２２ｄにて撮影されており、対象物の位置が、自車両の幅方向中央位置よりも右側位置に存在することを意味する。

ステップＳ206（仮想視点設定ステップ）では、ステップＳ205での対象物が左サイドカメラ２２ｃで撮影可能との判断に続き、対象物と自車両の一部を視界に含む位置であって、対象物及び自車両の幅方向中心位置よりも車両前方右側の位置から車両後方左側（車両左方）に向けて仮想視点を設定し、ステップＳ209に進む。
ここで、対象物が左サイドカメラ２２ｃにて撮影されているときには、この左サイドカメラ２２ｃによって対象物の右側面と車両の左方背景が撮影されていると考えられる。そのため、車両左方に向けて仮想視点を設定することで、左サイドカメラ２２ｃの撮影画像を用いて、自車両と対象物との相対位置関係を把握する仮想画像を生成可能となる。
つまり、このステップＳ206では、対象物の位置に応じて、自車両と対象物との相対位置関係を把握する位置に仮想視点が設定される。

ステップＳ207（仮想視点設定ステップ）では、ステップＳ204での対象物が自車両の右方に向かって移動との判断、又は、ステップＳ205での対象物が左サイドカメラで撮影不可能との判断に続き、対象物と自車両の一部を視界に含む位置であって、対象物及び自車両の幅方向中心位置よりも車両前方左側の位置から車両後方右側（車両右方）に向けて仮想視点を設定し、ステップＳ209に進む。
ここで、対象物が自車両の右方に向かって移動するときには、車両右方に向けて仮想視点を設定することで、対象物が移動しても仮想視点の位置を変更することなく自車両と対象物との相対位置関係を把握する仮想画像を生成可能となる。
また、対象物が左サイドカメラ２２ｃにて撮影されていないときには、右サイドカメラ２２ｄによって対象物の左側面と車両の右方背景が撮影されていると考えられる。そのため、車両右方に向けて仮想視点を設定することで、右サイドカメラ２２ｄの撮影画像を用いて、自車両と対象物との相対位置関係を把握する仮想画像を生成可能となる。
つまり、このステップＳ207では、対象物の位置に応じて、自車両と対象物との相対位置関係を把握する位置に仮想視点が設定される。

ステップＳ208では、ステップＳ204での対象物が自車両の左方に向かって移動との判断に続き、対象物と自車両の一部を視界に含む位置であって、対象物及び自車両の幅方向中心位置よりも車両前方右側の位置から車両後方左側（車両左方）に向けて仮想視点を設定し、ステップＳ209に進む。
ここで、対象物が自車両の左方に向かって移動するときには、車両左方に向けて仮想視点を設定することで、対象物が移動しても仮想視点の位置を変更することなく自車両と対象物との相対位置関係を把握する仮想画像を生成可能となる。

ステップＳ209では、ステップＳ206,ステップＳ207,ステップＳ208での仮想視点の設定に続き、いずれかのステップにて設定された仮想視点から見たときの画像に視点変換した仮想画像を、左右サイドカメラ２２ｃ,２２ｄのいずれか一方と、フロントカメラ２２ａ又はリヤカメラ２２ｂとの映像を用いて生成し、ステップＳ210へ進む。
このとき、生成する仮想画像は、対象物と、自車両の一部（例えば、前輪、運転席、車両側面及び車両下方領域）を含んでおり、自車両と対象物との相対位置関係を把握する仮想画像とする。また、生成する仮想画像に応じて、適宜必要なＣＧ画像等を重畳してもよい。

ステップＳ210では、ステップＳ209での仮想画像の生成に続き、このステップＳ209にて生成された仮想画像を表示用ディスプレイ２６に表示して、リターンへ進む。
これにより、表示用ディスプレイ２６には、対象物と自車両との相対位置関係を把握する仮想画像が表示され、自車両に乗車した乗員の視覚支援が行われる。

ステップＳ211では、ステップＳ202での対象物なしとの判断に続き、表示用ディスプレイ２６に所定の仮想視点からの仮想画像を表示中であるか否かを判断する。YES（仮想画像表示中）の場合には、ステップＳ212へ進む。NO（仮想画像非表示）の場合には、ステップＳ201へ戻る。

ステップＳ212では、ステップＳ211での仮想画像表示中との判断に続き、対象物が存在しないため仮想画像による視覚支援は不要であるとして、表示用ディスプレイ２６における仮想画像の表示を終了し、リターンへ進む。

次に、作用を説明する。
実施例２の作用を、「視覚支援制御処理作用」、「仮想視点設定作用」に分けて説明する。

［視覚支援制御処理作用］
以下、図１１のフローチャートに基づき、視覚支援制御処理作用を説明する。
図１２Ａに示すように、自車両Ｓは、前端部中央位置に車載カメラ２２のフロントカメラ２２ａが搭載され、左サイドミラーに左サイドカメラ２２ｃが搭載され、右サイドミラーに右サイドカメラ２２ｄが搭載されている。なお、ここでは、対象物が車両前方に存在する例を説明するため、リヤカメラ２２ｂについては図示しない。
各カメラ２２ａ,２２ｃ,２２ｄの撮影範囲Ａ,Ｃ,Ｄは、図中に示す破線で囲んだ領域である。

ここで、自車両Ｓの左斜め前方位置である第８位置４８に歩行者Ｈが存在する場合を考える。このとき、図１１に示すフローチャートにおいて、ステップＳ201→ステップＳ202へと進み、フロントカメラ２２ａ及び左サイドカメラ２２ｃの撮影範囲Ａ,Ｃ内に存在する歩行者Ｈを、「対象物」として設定する。

次に、ステップＳ203へと進み、対象物である歩行者Ｈが車両左右方向のいずれのアングルでも表示可能か否かを判断する。ここで、歩行者Ｈは、フロントカメラ２２ａの光軸中心位置α´を挟んで車両左右方向の所定領域Ｙ（図１２Ａでは斜線を付した領域）内で撮影されていない。そのため、歩行者Ｈは、車両左右方向のいずれかのアングルでしか表示できないとして、ステップＳ205へと進む。

ステップＳ205へ進んだら、歩行者Ｈが左サイドカメラ２２ｃによって撮影可能であるか否か、つまり自車両Ｓの幅方向中心位置よりも左側位置であるか否かを判断する。図１２Ａの場合では、歩行者Ｈが左サイドカメラ２２ｃの撮影範囲Ｃ内に存在するため、左サイドカメラ２２ｃにて撮影可能である。つまり、歩行者Ｈが自車両Ｓの左側方に存在するとして、ステップＳ206へ進み、歩行者Ｈ及び自車両Ｓの幅方向中央位置よりも車両前方右側の位置４８ａから車両後方左側（車両左方）に向けて仮想視点Ｋを設定する。このとき、仮想視点Ｋの視界に、歩行者Ｈと自車両Ｓの一部を含める。

仮想視点Ｋを設定したら、ステップＳ209→ステップＳ210へと進んで、この位置４８ａに設定された仮想視点Ｋから見たときの画像に視点変換した仮想画像を生成した上、生成した仮想画像を表示用ディスプレイ２６に表示する。

このとき、生成される仮想画像は、図１２Ｂに示すように、対象物である歩行者Ｈと自車両Ｓの一部を含んでおり、自車両Ｓと歩行者Ｈ（対象物）との相対位置関係を把握する仮想画像となる。また、この仮想画像は、歩行者Ｈよりも右側に位置する右サイドカメラ２２ｄと、自車両Ｓの前部に位置するフロントカメラ２２ａとの映像を用いて生成し、歩行者Ｈの右側面が映される。

なお、図１２Ｂに示す仮想画像のうち、例えば自車両Ｓの側面１３の一部や、路面Ｒの一部等、撮影画像に含まれていなかったり、含まれていても視点変換することで大きく歪んでしまう領域については、予め生成されたＣＧ画像を重畳してもよい。

また、図１３Ａに示すように、自車両Ｓの右斜め前方位置である第９位置４９に歩行者Ｈが存在する場合では、ステップＳ201→ステップＳ202へと進んで歩行者Ｈを「対象物」として設定したら、ステップＳ203へと進み、対象物である歩行者Ｈが車両左右方向のいずれのアングルでも表示可能か否かを判断する。

ここでは、歩行者Ｈがフロントカメラ２２ａの光軸中心位置α´を挟んで車両前後方向の所定領域Ｙ内で撮影されていないため、歩行者Ｈは、車両左右方向のいずれかのアングルでしか表示できないとして、ステップＳ205へと進む。ステップＳ205へ進んだら、歩行者Ｈが左サイドカメラ２２ｃによって撮影可能であるか否か、つまり自車両Ｓの幅方向中心位置よりも左側位置であるか否かを判断する。図１３Ａの場合では、歩行者Ｈが右サイドカメラ２２ｄの撮影範囲Ｄ内に存在しているので、左サイドカメラ２２ｃによって撮影不可能としてステップＳ207に進む。これにより、歩行者Ｈが自車両Ｓの右側方に存在するとして、歩行者Ｈ及び自車両Ｓの幅方向中央位置よりも車両前方左側の位置４９ａから車両後方右側（車両右方）に向けて仮想視点Ｋを設定する。このとき、仮想視点Ｋの視界に、歩行者Ｈと自車両Ｓの一部を含める。

仮想視点Ｋを設定したら、ステップＳ209→ステップＳ210へと進んで、この位置４９ａに設定された仮想視点Ｋから見たときの画像に視点変換した仮想画像を生成した上、生成した仮想画像を表示用ディスプレイ２６に表示する。

このとき、生成される仮想画像は、図１３Ｂに示すように、対象物である歩行者Ｈと、自車両Ｓの一部を含んでおり、自車両Ｓと歩行者Ｈ（対象物）との相対位置関係を把握する仮想画像となる。また、この仮想画像は、歩行者Ｈよりも左側に位置する右サイドカメラ２２ｄと、自車両Ｓの前部に位置するフロントカメラ２２ａとの映像を用いて生成し、歩行者Ｈの左側面が映される。

なお、図１２Ｂに示す仮想画像と同様に、図１３Ｂに示す仮想画像のうち、撮影画像に含まれていない領域やゆがみが大きくなる領域等については、予め生成されたＣＧ画像を重畳してもよい。

このように、実施例２の表示方法及び表示装置Ｄであっても、自車両Ｓの周囲に視覚支援に必要となる対象物（図１２Ａ〜図１３Ｂでは歩行者Ｈ）を検出したら、自車両Ｓに対する対象物（歩行者Ｈ）の位置を特定する。そして、特定した対象物（歩行者Ｈ）の位置に応じて、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を把握する位置に仮想視点Ｋを設定する。
つまり、仮想視点Ｋの設定位置は、自車両Ｓに対する対象物（歩行者Ｈ）の位置に応じて変化し、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を把握するために最適な位置にその都度設定される。

この結果、図１２Ｂ,図１３Ｂに示す仮想画像ように、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を容易に把握可能な仮想画像を生成することができる。そして、乗員に対して表示するために表示用ディスプレイ２６に表示された画像の中で、自車両Ｓと対象物（歩行者Ｈ）との相対的な位置関係を容易に把握することができ、自車両Ｓに乗車した乗員の視覚支援を効果的に行うことができる。

また、この実施例２では、対象物（歩行者Ｈ）が左サイドカメラ２２ｃによって撮影可能であり、車両左側方に存在しているときには、仮想視点Ｋを、自車両Ｓの幅方向中央位置よりも右側の位置から車両左方に向くように設定する。
これにより、左サイドカメラ２２ｃに対して対象物（歩行者Ｈ）が左側方に位置しているときであっても、車両左方を向いた仮想視点Ｋを基準として生成された仮想画像（図１２Ｂ参照）の中で、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を把握することができる。

また、図１３Ａに示すように、対象物（歩行者Ｈ）が右サイドカメラ２２ｄによって撮影可能であり、車両右側方に存在しているときには、仮想視点Ｋを、自車両Ｓの幅方向中央位置よりも左側の位置から車両右方に向くように設定する。
これにより、右サイドカメラ２２ｄに対して対象物（歩行者Ｈ）が右側方に位置しているときであっても、車両右方を向いた仮想視点Ｋを基準として生成された仮想画像（図１３Ｂ参照）の中で、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を把握することができる。

［仮想視点設定作用］
図１２Ａ〜図１３Ｂに示すシーンでは、対象物である歩行者Ｈがフロントカメラ２２ａの光軸中心位置α´を挟んで車両前後方向の所定領域Ｙ内で撮影されておらず、この歩行者Ｈは、車両左右方向のいずれかのアングルでしか表示できない例となっている。

これに対し、図１４Ａに示すように、フロントカメラ２２ａの光軸中心位置α´を挟んで車両左右方向の所定領域Ｙ内の第１０位置５０に歩行者Ｈが存在し、この所定領域Ｙ内に歩行者Ｈの全ての部分が撮影されているシーンを考える。
このときには、歩行者Ｈは、フロントカメラ２２ａのほぼ正面に位置することになり、車両左右方向のいずれのアングルでも表示可能となる。
そのため、図１１に示すフローチャートにおいて、ステップＳ201→ステップＳ202→ステップＳ203→ステップＳ204へと進み、歩行者Ｈの移動方向を検出し、自車両Ｓの右方（右側方）に向かって移動しているか否かを判断する。

ここで、例えば歩行者Ｈが自車両Ｓの右方へ移動している場合には、ステップＳ204→ステップＳ207へと進み、歩行者Ｈ及び自車両Ｓの幅方向中央位置よりも車両前方左側の位置５０ａから車両後方右側（車両右方）に向けて仮想視点Ｋを設定する。このとき、仮想視点Ｋの視界に、歩行者Ｈと自車両Ｓの一部を含める。

仮想視点Ｋを設定したら、ステップＳ209→ステップＳ210へと進んで、この位置５０ａに設定された仮想視点Ｋから見たときの画像に視点変換した仮想画像を生成した上、生成した仮想画像を表示用ディスプレイ２６に表示する。

このとき、生成される仮想画像は、図１４Ｂに示すように、対象物である歩行者Ｈと、自車両Ｓの一部を含んでおり、自車両Ｓと歩行者Ｈ（対象物）との相対位置関係を把握する仮想画像となる。

その後、時間の経過と共に、自車両Ｓと歩行者Ｈとの相対的な位置関係が変化する。具体的には、図１４Ａ及び図１４Ｂに二点鎖線で示すように、自車両Ｓの右斜め前方位置５１ａへと歩行者Ｈが移動する。

ここで、視覚支援のための仮想画像は、位置５０ａから車両右方に向いた状態で設定された仮想視点Ｋからの画像となっており、自車両Ｓを車両前方左側から車両右方に向かって見たときの画像となっている。そのため、時間の経過と共に、歩行者Ｈが自車両Ｓの右斜め前方位置５１ａへと相対的に移動したときであっても、図１４Ｂに示すように、歩行者Ｈを仮想画像中に含め続けることができる。

一方、フロントカメラ２２ａの光軸中心位置α´を挟んで車両前後方向の所定領域Ｙ内の第１０位置５０に歩行者Ｈが存在し、この所定領域Ｘ内に歩行者Ｈの全ての部分が撮影されている場合であって、歩行者Ｈが自車両Ｓの左方（左側方）へ移動しているときを考える。このときには、ステップＳ201→ステップＳ202→ステップＳ203→ステップＳ204→ステップＳ208へと進み、歩行者Ｈ及び自車両Ｓの幅方向中央位置よりも車両前方右側の位置５０ｂから車両後方左側（車両左方）に向けて仮想視点Ｋを設定する。このとき、仮想視点Ｋの視界に、歩行者Ｈと自車両Ｓの一部を含める。
その後、ステップＳ209→ステップＳ210へと進んで、この位置５０ｂに設定された仮想視点Ｋから見たときの画像に視点変換した仮想画像を生成した上、生成した仮想画像を表示用ディスプレイ２６に表示する。

これにより、位置５０ｂに設定された仮想視点Ｋから見たときの画像に視点変換した仮想画像は、図１４Ｃに示すように、対象物である歩行者Ｈと自車両Ｓの一部を含んでおり、自車両Ｓと歩行者Ｈ（対象物）との相対位置関係を把握する仮想画像となる。また、この仮想画像は、歩行者Ｈよりも左側に位置する左サイドカメラ２２ｃと、自車両Ｓの前部に位置するフロントカメラ２２ａとの映像を用いて生成し、歩行者Ｈの左側面が映される。

そして、その後時間の経過と共に、自車両Ｓと歩行者Ｈとの相対的な位置関係が変化するが、この場合では図１４Ａ及び図１４Ｃに二点鎖線で示すように、自車両Ｓの左斜め前方位置５１ｂへと歩行者Ｈが移動する。

ここで、視覚支援のための仮想画像は、位置５０ｂから車両左方に向いた状態で設定された仮想視点Ｋからの画像となっており、自車両Ｓを車両前方右側から車両左方に向かって見たときの画像となっている。そのため、時間の経過と共に、歩行者Ｈが自車両Ｓの左斜め前方位置５１ｂへと相対的に移動したときであっても、図１４Ｃに示すように、歩行者Ｈを仮想画像中に含め続けることができる。

このように、対象物（歩行者Ｈ）が、車両左右方向のいずれのアングルでも表示可能な場合には、対象物（歩行者Ｈ）に移動方向に応じて仮想視点Ｋの位置を設定する。これにより、時間の経過と共に、自車両Ｓと対象物（歩行者Ｈ）との車幅方向の相対位置関係が変化しても、仮想視点Ｋの位置を変更することなく対象物（歩行者Ｈ）を仮想画像中に含め続けることができる。この結果、仮想画像のアングルを維持することができ、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を把握する仮想画像に大きな変化が生じず、この相対位置関係を容易に把握可能とすることができる。

次に、効果を説明する。
実施例２の表示装置の表示方法にあっては、下記に列挙する効果を得ることができる。

(8) 前記仮想視点設定ステップ（ステップＳ206,ステップＳ207）は、前記対象物（歩行者Ｈ）の位置（第８位置４８）が前記対象物検出センサ（左サイドカメラ２２ｃ）の位置よりも前記自車両Ｓの左側方に存在する場合、前記仮想視点Ｋを、前記自車両Ｓよりも右側の位置４８ａから車両左方に向けて設定する構成とした。
これにより、(2)の効果に加え、対象物検出センサ（左サイドカメラ２２ｃ）に対して対象物（歩行者Ｈ）が左側方に位置しているときであっても、仮想画像の中で、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を容易に把握することができる。

(9) 前記仮想視点設定ステップ（ステップＳ206,ステップＳ207）は、前記対象物（歩行者Ｈ）の位置（第９位置４９）が前記対象物検出センサ（右サイドカメラ２２ｄ）の位置よりも前記自車両Ｓの右側方に存在する場合、前記仮想視点Ｋを、前記自車両Ｓよりも左側の位置４９ａから車両右方に向けて設定する構成とした。
これにより、(2)の効果に加え、対象物検出センサ（右サイドカメラ２２ｄ）に対して対象物（歩行者Ｈ）が右側方に位置しているときであっても、仮想画像の中で、自車両Ｓと対象物（歩行者Ｈ）との相対位置関係を容易に把握することができる。

以上、本発明の表示装置の表示方法及び表示装置を実施例１及び実施例２に基づいて説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

実施例２では、自車両Ｓの車両前端部に搭載したフロントカメラ２２ａと、左サイドミラーに搭載した左サイドカメラ２２ｃと、右サイドミラーに搭載した右サイドカメラ２２ｄと、を用いて、自車両Ｓの前方に存在する対象物を検出する例を示した。しかしながら、これに限らず、例えば、図１５に示すように、自車両Ｓ３のフロントバンパーの左端部に搭載した左前端カメラ２２ｍと、フロントバンパーの右端部に搭載した右前端カメラ２２ｎとを用いて、自車両Ｓ３の前方に存在する対象物を検出してもよい。

この図１５に示す場合では、対象物が左前端カメラ２２ｍの撮影範囲Ｍと、右前端カメラ２２ｎの撮影範囲Ｎのどちらに存在するかに基づいて、仮想視点の位置を設定する。具体的には、左前端カメラ２２ｍの撮影範囲Ｍ内に対象物が存在するときには、自車両Ｓ３の幅方向中央位置よりも車両前方右側の位置５２ａから車両後方左側（車両左方）に向けて仮想視点Ｋを設定する。また、右前端カメラ２２ｎの撮影範囲Ｎ内に対象物が存在するときには、自車両Ｓ３の幅方向中央位置よりも車両前方左側の位置５２ｂから車両方向右側（車両右方）に向けて仮想視点Ｋを設定する。

また、この図１５に示す場合では、実施例２においてフロントカメラ２２ａにて撮影していた領域（撮影範囲Ａ）を、二台のカメラ（左前端カメラ２２ｍ、右前端カメラ２２ｎ）にて撮影することになる。そのため、各カメラ（左前端カメラ２２ｍ、右前端カメラ２２ｎ）の視野角を、フロントカメラ２２ａよりも狭くすることが可能となり、撮像物の歪みを軽減することができる。

また、実施例２及び図１５では、自車両Ｓの前方領域を対象として、対象物が自車両Ｓの左右いずれかに存在するかを判断し、その位置に応じて仮想視点Ｋを設定する例を示したが、これに限らない。自車両Ｓの後方領域を対象とした場合であっても、対象物の位置を特定して、その特定された対象物の位置に応じて仮想視点を設定することで、対象物と自車両Ｓとの相対的な位置関係を把握する仮想画像を適切に生成することができる。

また、実施例１では、左右サイドカメラ２２ｃ,２２ｄの光軸中心位置αを基準とし、左右サイドカメラ２２ｃ,２２ｄに対する対象物の位置を特定する例を示した。しかしながら、これに限らず、自車両Ｓに対する対象物の位置は、例えば、自車両Ｓの車両中心位置（車室の中央位置）や、運転席等を基準として特定してもよい。

さらに、実施例１及び実施例２では、仮想画像を生成する際、車載カメラ２２によって撮影された画像を画像処理して用いる例を示したが、これに限らない。例えば、物体認識センサ２１によって検出された物体（対象物）と自車両とを含む仮想画像を、カメラ画像を用いることなくＣＧ画像等で生成してもよい。
この場合であっても、自車両の位置に対する物体認識センサ２１によって検出された物体（対象物）位置に基づいて仮想視点が設定される位置や方向を適宜変更することで、自車両と対象物（物体）との相対的な位置関係を把握する仮想画像を生成する。

また、実施例１及び実施例２において生成された仮想画像は、自車両Ｓの車両下部領域を含む、いわゆる「サイドダウンビュー」となっており、仮想視点Ｋが自車両Ｓを見下ろす位置に設定される例を示したが、これに限らない。自車両と対象物との相対的な位置関係を把握する仮想画像が生成される位置であれば、自車両に対する対象物の位置に応じて、地面に対して視界が平行となる位置に仮想視点を設定してもよいし、自車両を見上げる位置に仮想視点を設定してもよい。

Ｓ 自車両
Ｄ 表示装置
２１ 物体認識センサ（対象物検出センサ）
２２ 車載カメラ（対象物検出センサ）
２２ａ フロントカメラ（対象物検出センサ）
２２ｂ リヤカメラ（対象物検出センサ）
２２ｃ 左サイドカメラ（対象物検出センサ）
２２ｄ 右サイドガメラ（対象物検出センサ）
２３ 舵角センサ
２４ 車速センサ
２５ レンジ位置センサ
２６ 表示用ディスプレイ
３０ 視覚支援ＣＰＵ（表示コントローラ）
３１ 自車両状態把握部
３２ 対象物位置特定部
３３ 仮想視点設定部
３４ 画像生成部
３５ 画像補正部
１１ 前輪
１２ 後輪
１３ 側面

Claims (10)

1. 自車両の周囲の対象物を検出し、前記対象物が含まれる仮想視点からの画像を生成し、前記画像を乗員の視覚支援情報として表示する表示装置の表示方法において、
   所定の情報に基づいて、前記自車両に対する前記対象物の位置を特定する対象物位置特定ステップと、
   前記対象物の位置に応じて、前記自車両と前記対象物との相対位置関係を把握する位置に前記仮想視点を設定する仮想視点設定ステップと、
   前記仮想視点から見たときの画像を生成する画像生成ステップと、
   を有することを特徴とする表示装置の表示方法。
2. 請求項１に記載された表示装置の表示方法において、
   前記対象物の位置を検出する対象物検出センサを前記自車両に搭載し、
   前記対象物位置特定ステップは、前記対象物検出センサの位置に対する前記対象物の位置を特定する
   ことを特徴とする表示装置の表示方法。
3. 請求項２に記載された表示装置の表示方法において、
   前記仮想視点設定ステップは、前記対象物の位置が前記対象物検出センサの位置よりも前方にある場合、前記仮想視点を、前記対象物よりも車両後方の位置から車両前方に向けて設定する
   ことを特徴とする表示装置の表示方法。
4. 請求項３に記載された表示装置の表示方法において、
   前記画像生成ステップは、車両前方に向けて設定された仮想視点からの画像を生成する際、前記対象物よりも車両後方に位置する対象物検出センサによって検出された情報を用いて前記画像を生成する
   ことを特徴とする表示装置の表示方法。
5. 請求項２に記載された表示装置の表示方法において、
   前記仮想視点設定ステップは、前記対象物の位置が前記対象物検出センサの位置よりも後方にある場合、前記仮想視点を、前記対象物よりも車両前方の位置から車両後方に向けて設定する
   ことを特徴とする表示装置の表示方法。
6. 請求項５に記載された表示装置の表示方法において、
   前記画像生成ステップは、車両後方に向けて設定された仮想視点からの画像を生成する際、前記対象物よりも車両前方に位置する対象物検出センサによって検出された情報を用いて前記画像を生成する
   ことを特徴とする表示装置の表示方法。
7. 請求項２に記載された表示装置の表示方法において、
   前記仮想視点設定ステップは、前記対象物の位置が前記対象物検出センサの位置よりも前記自車両の左側方に存在する場合、前記仮想視点を、前記自車両よりも右側の位置から車両左方に向けて設定する
   ことを特徴とする表示装置の表示方法。
8. 請求項２に記載された表示装置の表示方法において、
   前記仮想視点設定ステップは、前記対象物の位置が前記対象物検出センサの位置よりも前記自車両の右側方に存在する場合、前記仮想視点を、前記自車両よりも左側の位置から車両右方に向けて設定する
   ことを特徴とする表示装置の表示方法。
9. 請求項１に記載された表示装置の表示方法において、
   前記自車両の側方領域を撮影する複数のカメラを前記自車両に搭載し、
   前記対象物位置特定ステップは、前記複数のカメラによって撮影された撮影画像に基づいて、前記複数のカメラの位置に対する前記対象物の位置を特定し、
   前記仮想視点設定ステップは、前記対象物と前記自車両の前後輪を視界に含む位置に仮想視点を設定し、
   前記画像生成ステップは、前記仮想視点からの画像を生成する際、前記対象物の直前位置に配置された第１カメラにより得られた第１撮影画像と、前記対象物の直後位置に配置された第２カメラにより得られた第２撮影画像とを用いて、前記自車両の側面及び車両下方領域を含む画像を生成する
   ことを特徴とする表示装置の表示方法。
10. 自車両の周囲の対象物を検出し、前記対象物が含まれる仮想視点からの画像を生成し、乗員の視覚支援情報として表示する表示コントローラを備えた表示装置において、
    前記表示コントローラは、
    所定の情報に基づいて、前記自車両に対する前記対象物の位置を特定する対象物位置特定部と、
    前記対象物の位置に応じて、前記自車両と前記対象物との相対位置関係を把握する位置に前記仮想視点を設定する仮想視点設定部と、
    前記仮想視点からの画像を生成する画像生成部と、
    を有することを特徴とする表示装置。