JP2019125193A - 周辺監視装置 - Google Patents

Abstract

【課題】車両の周囲の状況把握の利便性をより向上させることが可能な周辺監視装置を提供する。【解決手段】周辺監視装置４００は、車両に搭載された撮像部により車両の周囲を撮像することで得られる撮像画像を車両の周囲に構成される三次元の仮想的な面を示すモデルに投影することで構成されるモデル画像に基づく仮想空間内の注視点を仮想視点から見た表示画像を生成する画像生成部４０２と、表示画像を表示部に出力する画像出力部４０３と、を備える。画像生成部４０２は、車両の舵角を変化させるための操舵部の操作に応じて、仮想視点および注視点のうち少なくとも一方を、車両の車幅方向の成分を含む方向に移動させる。【選択図】図４

Description

本発明の実施形態は、周辺監視装置に関する。

従来から、車両の周囲を撮像することで得られる撮像画像に基づいて、仮想視点から見た車両の周囲の状況を表す周辺画像を生成し、生成した周辺画像を車両の乗員に提示する技術が検討されている。このような技術として、たとえば、車両の進行方向に障害物が検出された場合に、当該障害物が写り込むような仮想視点から見た周辺画像を乗員に提示する技術が知られている。

特許第５２７３０６８号公報

上述した従来の技術においては、障害物が検出された場合にのみ、仮想視点の変化が発生する。しかしながら、車両の周囲の状況把握の利便性をより向上させるためには、障害物の検出を前提とすることなく、周辺画像の仮想視点（車両の周囲の状況把握を行うための視線の方向）を変化させることが望まれる。

そこで、実施形態の課題の一つは、車両の周囲の状況把握の利便性をより向上させることが可能な周辺監視装置を提供することである。

実施形態の一例としての周辺監視装置は、車両に搭載された撮像部により車両の周囲を撮像することで得られる撮像画像を車両の周囲に構成される三次元の仮想的な面を示すモデルに投影することで構成されるモデル画像に基づく仮想空間内の注視点を仮想視点から見た表示画像を生成する画像生成部と、表示画像を表示部に出力する画像出力部と、を備え、画像生成部は、車両の舵角を変化させるための操舵部の操作に応じて、仮想視点および注視点のうち少なくとも一方を、車両の車幅方向の成分を含む方向に移動させる。

上述した周辺監視装置によれば、操舵部を操作して車両の舵角を変化させるだけで、表示画像の仮想視点および注視点のうち少なくとも一方（車両の周囲の状況把握を行うための視線の方向）を変化させることができるので、車両の周囲の状況把握の利便性をより向上させることができる。

上述した周辺監視装置において、画像生成部は、操舵部の操作によって実現される車両の舵角の大きさに応じて、仮想視点および注視点のうち少なくとも一方の位置を変化させる。この構成によれば、仮想視点から注視点へ向かう視線（車両の周囲の状況把握を行うための視線）の方向が舵角の大きさに応じて設定されるので、車両の周囲の状況把握を適切に行うことができる。

また、上述した周辺監視装置において、画像生成部は、車両の舵角の大きさが第１角度を下回る場合に、仮想視点および注視点のうち少なくとも一方の位置を固定する。この構成によれば、たとえば車両の舵角がゼロから少しでも変化したら仮想視点から注視点へ向かう視線が変化するといった構成と異なり、仮想視点から注視点へ向かう視線の変化が頻繁に起こるのを抑制することができる。

また、上述した周辺監視装置において、画像生成部は、車両の舵角の大きさが第１角度よりも大きい第２角度を上回る場合に、仮想視点および注視点のうち少なくとも一方の位置を固定する。この構成によれば、仮想視点から注視点へ向かう視線の向きが車両の舵角の大きさが第１角度を上回って最大角度に達するまでいつまでも定まらないという事態を回避することができる。

また、上述した周辺監視装置において、画像生成部は、車両の舵角の大きさが第１角度以上の場合に、車両の走行経路の目安となるガイド線を表示画像に重畳する。この構成によれば、仮想視点および注視点のうち少なくとも一方の移動が実際に発生した場合にのみ、ガイド線が表示されるので、車両の舵角が比較的小さい不要な状況でガイド線が表示されるのを回避することができる。

また、上述した周辺監視装置において、画像生成部は、操舵部とは異なる操作入力部を介して任意の方向へ仮想視点および注視点のうち少なくとも一方を移動させる操作が行われた場合、操舵部の操作に応じて仮想視点および注視点のうち少なくとも一方を移動させる第１モードを終了し、操舵部の操作によらず操作入力部の操作に応じて仮想視点および注視点のうち少なくとも一方を移動させる第２モードを実行する。この構成によれば、操作入力部を操作するだけで、仮想視点および注視点のうち少なくとも一方が操舵部の操作に応じて自動で移動する状態から、手動でのみ仮想視点および注視点のうち少なくとも一方を調整可能な状態への移行を実現することができる。

また、上述した周辺監視装置において、画像生成部は、第２モードの実行中に所定の条件が成立した場合に、第２モードを終了し、第１モードを実行する。この構成によれば、手動でのみ仮想視点および注視点のうち少なくとも一方を調整可能な状態から、仮想視点および注視点のうち少なくとも一方が操舵部の操作に応じて自動で移動する状態への移行を容易に実現することができる。

また、上述した周辺監視装置において、所定の条件は、操作入力部の操作が最後に行われてから所定時間が経過したことと、表示部に出力される画像が表示画像から当該表示画像とは異なる別画像に遷移した後に当該別画像から再び表示画像に遷移したことと、仮想視点および注視点のうち少なくとも一方を移動させる操作とは別の所定の操作が行われたことと、のうちいずれか一つを含む。この構成によれば、適切なタイミングで第２モードから第１モードへの移行を実施することができる。

また、上述した周辺監視装置において、画像生成部は、車幅方向において仮想視点と注視点とが互いに逆方向に移動するように、操舵部の操作に応じて、仮想視点と注視点との両方を移動させる。この構成によれば、仮想視点から注視点へ向かう視線の方向をより少ない操作でより大きく変化させることができる。

図１は、実施形態にかかる車両の車室の一部が透視された状態を示した例示的かつ模式的な斜視図である。 図２は、実施形態にかかる車両を上方から俯瞰で見た状態を示した例示的かつ模式的な図である。 図３は、実施形態にかかる車両の内部の概略的なハードウェア構成を示した例示的かつ模式的なブロック図である。 図４は、実施形態にかかる車両のＥＣＵ内に実現される周辺監視装置の機能的構成を示した例示的かつ模式的なブロック図である。 図５は、実施形態にかかるカメラ画モデルの一例を示した例示的かつ模式的な図である。 図６は、実施形態にかかるカメラ画モデルの一例を図５とは異なる視点から示した例示的かつ模式的な図である。 図７は、実施形態にかかる仮想空間の一例を示した例示的かつ模式的な図である。 図８は、実施形態にかかる仮想視点が車両画像の車幅方向の成分を含む方向に移動する様子を示した例示的かつ模式的な図である。 図９は、実施形態にかかる仮想視点が車両画像の高さ方向の成分を含む方向に移動する様子を示した例示的かつ模式的な図である。 図１０は、実施形態にかかる操舵部の操作量と仮想視点の移動の有無との関係を示した例示的かつ模式的な図である。 図１１は、実施形態にかかる表示画像の一例を示した例示的かつ模式的な図である。 図１２は、実施形態において、図１１に示される表示画像に対して仮想視点の移動が発生した状態の一例を示した例示的かつ模式的な図である。 図１３は、実施形態において、図１２に示される表示画像に対して仮想視点のさらなる移動が発生した状態の一例を示した例示的かつ模式的な図である。 図１４は、実施形態において、図１３に示される表示画像に対して仮想視点のさらなる移動が発生した状態の一例を示した例示的かつ模式的な図である。 図１５は、実施形態にかかる周辺監視装置が表示画像を出力する際に実行する処理の流れを示した例示的かつ模式的なフローチャートである。 図１６は、実施形態にかかる周辺監視装置が表示画像の出力後に実行する処理の流れを示した例示的かつ模式的なフローチャートである。 図１７は、変形例において仮想視点と注視点との両方が連動して移動する様子を示した例示的かつ模式的な図である。 図１８は、変形例にかかるカメラ画モデルの一例を示した例示的かつ模式的な図である。 図１９は、変形例にかかるカメラ画モデルの一例を図１８とは異なる視点から示した例示的かつ模式的な図である。

以下、実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果（効果）は、あくまで一例であって、以下の記載内容に限られるものではない。

まず、図１および図２を用いて、実施形態による車両１の概略的な構成について説明する。図１は、実施形態にかかる車両１の車室２ａの一部が透視された状態を示した例示的かつ模式的な斜視図である。また、図２は、実施形態にかかる車両１を上方から俯瞰で見た状態を示した例示的かつ模式的な図である。

図１に示されるように、実施形態による車両１は、車体２と、当該車体２内に構成される車室２ａと、を有している。車室２ａ内には、車両１の乗員（たとえば運転者）が座席２ｂから操作可能な状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７などが設けられている。

操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールである。加速操作部５は、運転者の足下に設けられたアクセルペダルである。制動操作部６は、運転者の足下に設けられたブレーキペダルである。変速操作部７は、センターコンソールから突出したシフトレバーである。

車室２ａ内には、各種の画像を出力可能なディスプレイ８と、各種の音を出力可能な音声出力装置９と、を有するモニタ装置１１が設けられている。モニタ装置１１は、車室２ａ内のダッシュボードの車幅方向（左右方向）の中央部に設けられている。ディスプレイ８は、ＬＣＤ（液晶ディスプレイ）やＯＥＬＤ（有機エレクトロルミネセンスディスプレイ）などで構成され、たとえば、車両１の周囲の状況を表す周辺画像を表示可能に構成されている。周辺画像の具体的内容については後述するが、周辺画像の一例としては、たとえば、車両１の周辺の状況を上から俯瞰で見た俯瞰画像が挙げられる。

ここで、実施形態によるディスプレイ８における画像が表示される領域、すなわち表示画面には、当該表示画面内において指やスタイラスなどの指示体が近接（接触を含む）した位置の座標を検出可能なタッチパネル１０が設けられている。これにより、ユーザ（車両１の乗員）は、ディスプレイ８の表示画面に表示される画像を視認することができるとともに、タッチパネル１０上で指示体を用いた入力操作（たとえばタッチ／タップ操作）を行うことで、各種の操作入力を実行することができる。したがって、タッチパネル１０は、車両１の乗員からの操作入力を受け付ける操作入力部として機能する。

なお、実施形態では、モニタ装置１１が、スイッチや、ダイヤル、ジョイスティック、押しボタンなどといった、各種の物理的な操作入力部を有していてもよい。また、実施形態では、車室２ａ内におけるモニタ装置１１の位置とは異なる位置に、他の音声出力装置が設けられていてもよい。この場合、音声出力装置９および他の音声出力装置の両方から、各種の音情報を出力することができる。また、実施形態では、モニタ装置１１が、ナビゲーションシステムやオーディオシステムなどの各種システムに関する情報を表示可能に構成されていてもよい。

また、図１および図２に示されるように、実施形態による車両１は、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有した四輪の自動車である。以下では、簡単化のため、前輪３Ｆおよび後輪３Ｒを、総称して車輪３と記載することがある。実施形態では、４つの車輪３の一部または全部の横滑り角が、操舵部４の操作などに応じて変化（転舵）する。

車両１は、複数（図１および図２の例では４つ）の撮像部１５ａ〜１５ｄを有する。撮像部１５ａは、車体２の後側の端部２ｅ（たとえば、リヤトランクのドア２ｈの下方）に設けられ、車両１の後方の領域を撮像する。また、撮像部１５ｂは、車体２の右側の端部２ｆのドアミラー２ｇに設けられ、車両１の右側方の領域を撮像する。また、撮像部１５ｃは、車体２の前側の端部２ｃ（たとえば、フロントバンパー）に設けられ、車両１の前方の領域を撮像する。また、撮像部１５ｄは、車体２の左側の端部２ｄのドアミラー２ｇに設けられ、車両１の左側方の領域を撮像する。以下では、簡単化のため、撮像部１５ａ〜１５ｄを、総称して撮像部１５と記載することがある。

撮像部１５は、たとえば、ＣＣＤ（電荷結合素子）やＣＩＳ（ＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ）などといった撮像素子を有したいわゆるデジタルカメラである。撮像部１５は、所定のフレームレートで車両１の周囲の撮像を行い、当該撮像によって得られた撮像画像の画像データを出力する。撮像部１５から出力される画像データは、フレーム画像として動画像を構成することが可能である。

次に、図３を用いて、実施形態による車両１の内部の構成について説明する。図３は、実施形態にかかる車両１の内部の概略的なハードウェア構成を示した例示的かつ模式的なブロック図である。

図３に示されるように、実施形態による車両１には、モニタ装置１１と、操舵システム１３と、撮像部１５と、ブレーキシステム１８と、舵角センサ１９と、アクセルセンサ２０と、シフトセンサ２１と、車輪速センサ２２と、ＥＣＵ（エレクトロニックコントロールユニット）２４と、が設けられている。

上述した各種の構成（モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、およびＥＣＵ２４）は、車載ネットワーク２３を介して電気的に接続されている。なお、車載ネットワーク２３とは、たとえばＣＡＮ（コントローラエリアネットワーク）によって構成される電気通信回線である。

操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（ステアバイワイヤ）システムなどである。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂと、を有する。操舵システム１３は、後述するＥＣＵ２４などの制御のもとでアクチュエータ１３ａを動作させることで、車輪３の一部または全部を転舵する。トルクセンサ１３ｂは、運転者による操舵部４の操作に応じて発生するトルクを検出し、検出結果をＥＣＵ２４に送信する。

ブレーキシステム１８は、ＡＢＳ（アンチロックブレーキシステム）や、横滑り防止装置（ＥＳＣ）、電動ブレーキシステム、ＢＢＷ（ブレーキバイワイヤ）などを含む。ブレーキシステム１８は、アクチュエータ１８ａと、ブレーキセンサ１８ｂと、を有する。ブレーキシステム１８は、後述するＥＣＵ２４などの制御のもとでアクチュエータ１８ａを動作させることで、車輪３に制動力を付与する。ブレーキセンサ１８ｂは、制動操作部６における可動部としてのブレーキペダルの位置（変位）を検出し、検出結果をＥＣＵ２４に送信する。

舵角センサ１９は、運転者による操舵部４の操作量を検出するセンサである。たとえば、舵角センサ１９は、ホール素子などによって構成され、操舵部４の回転部分の回転角度を操舵量として検出し、検出結果をＥＣＵ２４に送信する。また、アクセルセンサ２０は、加速操作部５における可動部としてのアクセルペダルの位置（変位）を検出し、検出結果をＥＣＵ２４に送信する。

シフトセンサ２１は、変速操作部７におけるシフトレバーなどの可動部の位置を検出し、検出結果をＥＣＵ２４に送信する。また、車輪速センサ２２は、車輪３の回転量や、単位時間当たりの車輪３の回転数などを検出し、検出結果をＥＣＵ２４に送信する。

ＥＣＵ２４は、ＣＰＵ（中央演算処理装置）２４ａや、ＲＯＭ（リードオンリーメモリ）２４ｂ、ＲＡＭ（ランダムアクセスメモリ）２４ｃ、表示制御部２４ｄ、音声制御部２４ｅ、ＳＳＤ（ソリッドステートドライブ）２４ｆなどといった、通常のコンピュータと同様のハードウェア構成を有している。

ＣＰＵ２４ａは、車両１全体を制御する制御部である。ＣＰＵ２４ａは、ＲＯＭ２４ｂやＳＳＤ２４ｆなどの記憶装置に記憶されたプログラムを読み出し、当該プログラムに含まれる指令に従って動作することで、各種の処理を実行する。ＲＡＭ２４ｃは、たとえば、ＣＰＵ２４ａが各種の処理を実行する際の作業領域として用いられる。

表示制御部２４ｄは、ディスプレイ８を介した画像出力を制御する。また、音声制御部２４ｅは、音声出力装置９を介した音声出力を制御する。

なお、実施形態によるＥＣＵ２４において、ＣＰＵ２４ａ、ＲＯＭ２４ｂおよびＲＡＭ２４ｃは、１つの集積回路に搭載されていてもよい。また、実施形態によるＥＣＵ２４では、車両１全体を制御する制御部として、ＣＰＵ２４ａに替えて、ＤＳＰ（デジタルシグナルプロセッサ）などのプロセッサや論理回路などが設けられていてもよい。また、実施形態では、ＣＰＵ２４ａにより実行されるプログラムなどを記憶する主記憶装置として、ＳＳＤ２４ｆに替えて（またはＳＳＤ２４ｆに加えて）、ＨＤＤ（ハードディスクドライブ）が設けられていてもよい。さらに、実施形態では、ＥＣＵ２４に接続される外部装置が、主記憶装置としてのＳＳＤ２４ｆを有していてもよい。

以上の構成により、ＥＣＵ２４は、車載ネットワーク２３を介して車両１の各部へ制御信号を送信することで、車両１の各部を統括的に制御する。この際、ＥＣＵ２４は、撮像部１５から得られる画像データや、車載ネットワーク２３を介して取得される各種のセンサの検出結果などを、制御に利用することが可能である。各種のセンサとは、上述したトルクセンサ１３ｂや、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２などである。また、ＥＣＵ２４は、車載ネットワーク２３を介して取得される、タッチパネル１０を用いた入力操作に関する情報も、制御に利用することが可能である。

ところで、従来から、車両１の周囲を撮像することで得られる撮像画像に基づいて、仮想視点から見た車両１の周囲の状況を表す周辺画像を生成し、生成した周辺画像を車両１の乗員に提示する技術が検討されている。このような技術として、たとえば、車両１の進行方向に障害物が検出された場合に、当該障害物が写り込むような仮想視点から見た周辺画像を乗員に提示する技術が知られている。

上述した従来の技術においては、障害物が検出された場合にのみ、仮想視点の変化が発生する。しかしながら、車両１の周囲の状況把握の利便性をより向上させるためには、障害物の検出を前提とすることなく、周辺画像の仮想視点（車両１の周囲の状況把握を行うための視線の方向）を変化させることが望まれる。

そこで、実施形態は、以下に説明するような周辺監視装置４００をＥＣＵ２４内に実現し、車両１の舵角に応じて仮想視点を（連続的に）変化させることを可能にすることで、車両１の周囲の状況把握の利便性をより向上させる。

図４は、実施形態にかかる車両１のＥＣＵ２４内に実現される周辺監視装置４００の機能的構成を示した例示的かつ模式的なブロック図である。

図４に示されるように、周辺監視装置４００は、入力受付部４０１と、画像生成部４０２と、画像出力部４０３と、を有している。図４に示される機能モジュール群は、たとえば、ＣＰＵ２４ａがＲＯＭ２４ｂやＳＳＤ２４ｆなどに記憶された所定のソフトウェア（制御プログラム）を実行した結果としてＥＣＵ２４内に実現される。なお、実施形態では、図４に示される機能モジュール群の一部または全部が専用のハードウェア（回路）によって実現されてもよい。

入力受付部４０１は、車両１の乗員により実施される様々な操作入力を受け付ける。実施形態において、入力受付部４０１は、操作入力として、タッチパネル１０を介した操作に関する情報や、操舵部４の操作に関する情報などを受け付けることが可能なように構成されている。

画像生成部４０２は、撮像部１５により車両１の周囲を撮像することで得られる撮像画像を、撮像部１５から取得する。実施形態において、画像生成部４０２は、ある時刻（以下、過去時刻と言う）の車両１の位置（以下、過去位置と言う）における撮像画像を取得し、取得した撮像画像に基づいて、車両１と当該車両１の周囲の状況（空間）との関係を視認可能な表示画像Ｇ（後述する図１１〜図１４参照）を生成する。なお、表示画像Ｇの具体例については後で説明するため、ここでは説明を省略する。

画像出力部４０３は、画像生成部４０２によって生成された画像（上記の表示画像Ｇなど）をディスプレイ８に出力する。

ここで、実施形態において、画像生成部４０２は、所定の仮想空間内の所定の注視点を所定の仮想視点から見た画像を、表示画像Ｇとして生成する。以下に説明するように、仮想空間は、撮像画像を車両１の周囲に構成される三次元の仮想的な面を示すモデル（カメラ画モデル）に投影する（貼り付ける）ことで構成されるモデル画像と、車両１の外観を三次元で表した車両画像と、に基づいて構成される。

以下、図５〜図７を用いて、実施形態にかかる表示画像Ｇを生成するための手法の一例について説明する。

図５は、実施形態にかかるカメラ画モデルＳの一例を示した例示的かつ模式的な図であり、図６は、実施形態にかかるカメラ画モデルＳの一例を図５とは異なる視点から示した例示的かつ模式的な図である。図５および図６においては、車輪３の接地面（路面）と平行な１つの方向がＺ方向として表され、車輪３の接地面と平行かつＺ方向と直交する方向がＸ方向として表され、車輪３の接地面に対して垂直な方向がＹ方向として表されている。

実施形態において、画像生成部４０２は、図５および図６に示されるような第１面Ｓ１および第２面Ｓ２を含むカメラ画モデルＳを予め生成する。第１面Ｓ１は、車両１が存在する路面に対応する平坦な面である。たとえば、第１面Ｓ１は、楕円形の平坦な面として構成される。また、第２面Ｓ２は、第１面Ｓ１を基準として、第１面Ｓ１の外側（外縁）から、第１面Ｓ１から離れるに従ってＹ方向に徐々に立ち上がる曲面である。たとえば、第２面Ｓ２は、第１面Ｓ１の外側から、Ｙ方向に楕円状または放物線状に立ち上がる曲面として構成される。このように、画像生成部４０２は、第１面Ｓ１および第２面Ｓ２を含んだお椀型または円筒状の三次元の面を表すモデルを、カメラ画モデルＳとして生成する。

なお、実施形態では、三次元の面を表すモデルであれば、上述した第１面Ｓ１および第２面Ｓ２とは異なる形状の面を含んだモデルがカメラ画モデルＳとして生成されてもよい。たとえば、実施形態では、上述した第１面Ｓ１と、当該第１面Ｓ１の外側から当該第１面Ｓ１に対して垂直または徐々に立ち上がる第２面と、の組み合わせによって構成されたモデルが、カメラ画モデルＳとして生成されてもよい。

そして、画像生成部４０２は、過去位置Ｐ１での撮像により得られた撮像画像をカメラ画モデルＳに貼り付けることで、モデル画像を生成する。より具体的に、実施形態において、画像生成部４０２は、過去位置Ｐ１を原点とするワールド座標系で表されるカメラ画モデルＳ内の点（以下、貼付点と言う）の座標（以下、三次元座標と言う）と、当該三次元座標の貼付点に貼り付ける撮像画像内の点（以下、カメラ画点と言う）の座標（以下、カメラ画座標と言う）と、を対応付ける座標テーブルを予め作成する。そして、画像生成部４０２は、撮像画像内のカメラ画点を、座標テーブルにおいて当該カメラ画点のカメラ画座標と対応付けられる三次元座標の貼付点に貼り付けることで、モデル画像を生成する。なお、座標テーブルは、車両１の内燃機関やモータなどがスタートされる度に作成される。

そして、画像生成部４０２は、上記のように生成したモデル画像と、車両１の三次元形状を表す車両画像ＣＧ（図５参照）と、に基づいて、以下の図７に示されるような仮想空間Ａを構成し、当該仮想空間Ａ内の所定の注視点Ｐ３を所定の仮想視点Ｐ４から見た表示画像Ｇを生成する。

図７は、実施形態にかかる仮想空間Ａの一例を示した例示的かつ模式的な図である。

実施形態において、画像生成部４０２は、モデル画像における車両１の現在位置Ｐ２（図５参照）に車両画像ＣＧを配置した空間を、仮想空間Ａとして構成する。仮想空間Ａを構成すると、画像生成部４０２は、車両画像ＣＧの前端から第１面Ｓ１に対して垂直に下した点（図５参照）を注視点Ｐ３として設定する。そして、画像生成部４０２は、所定の仮想視点Ｐ４から注視点Ｐ３を見た表示画像Ｇを生成する。このような表示画像Ｇによれば、車両１の周囲の状況を表す画像を立体的な車両画像ＣＧと同時に視認することが可能になるので、車両１と当該車両１の周囲の状況（空間）との関係を視覚的に容易に把握することが可能になる。なお、車両画像ＣＧは、表示画像Ｇ内で車両１の周囲の状況を透視することが可能なように透過表示される。

ところで、前述したように、実施形態は、車両１の周囲の状況把握の利便性をより向上させるため、車両１の舵角に応じて仮想視点Ｐ４（車両１の周囲の状況把握を行うための視線の方向）を変化させることを可能にする。

したがって、実施形態において、画像生成部４０２は、車両１の舵角を変化させるための操舵部４の操作に応じて、仮想視点Ｐ４の位置を（連続的に）移動させる。より具体的に、画像生成部４０２は、車両１の乗員により操舵部４の操作が実施されると、その操作によって実現される舵角に対応した車両１の進行方向の領域がより明確に表示画像Ｇに写り込むように、仮想視点Ｐ４を、車両画像ＣＧの車幅方向（左右方向）の成分を含む方向に移動させる。この際、仮想視点Ｐ４の移動量は、操舵部４の操作によって実現される車両１の舵角の大きさ（舵角の検出値の絶対値）に応じて変化するように、たとえば車両１の舵角が小さいほど小さくなるように設定されてもよい。

図８は、実施形態にかかる仮想視点Ｐ４が車両画像ＣＧの車幅方向の成分を含む方向に移動する様子を示した例示的かつ模式的な図である。図８に示されるように、画像生成部４０２は、操舵部４によって車両１の進行方向を右に向ける操作が実施されると、車両１の右側の状況がより明確に表示画像Ｇに写り込むように、仮想視点Ｐ４の位置を、中央Ｃから位置Ｘ０および位置Ｘ１を経由して位置Ｘ２へと、曲線状（円弧状、放物線状）の線分Ｌ０に沿って、車両画像ＣＧの左側に連続的に移動させる。これにより、操舵部４を操作するだけで、車両１の周囲（進行方向）の状況をより明確に把握可能な位置にある仮想視点Ｐ４からの表示画像Ｇが生成される（そしてディスプレイ８に出力される）ので、車両１の進行方向の状況把握の利便性をより向上させることができる。

なお、図８には図示されていないが、実施形態において、車両１の進行方向を左に向けるような操舵部４の操作が実施された場合、車両１の左側の状況が表示画像Ｇに写り込むように仮想視点Ｐ４が車両画像ＣＧの右側に移動することは言うまでもない。

また、実施形態において、画像生成部４０２は、車両画像ＣＧの車幅方向（左右方向）における仮想視点Ｐ４の位置を移動させる場合、当該移動に連動するように、車両画像ＣＧの高さ方向（上下方向）における仮想視点Ｐ４の位置も移動させる。より具体的に、画像生成部４０２は、仮想視点Ｐ４が車両画像ＣＧの車幅方向における中央から離れるに従って、当該仮想視点Ｐ４の高さ位置を低く移動させる。

図９は、実施形態にかかる仮想視点Ｐ４が車両画像ＣＧの高さ方向の成分を含む方向に移動する様子を示した例示的かつ模式的な図である。図９は、図８をＺ方向から見た図に対応する。図９に示されるように、画像生成部４０２は、操舵部４によって車両１の進行方向を右に向ける操作が実施されると、車両１の右側の状況がより明確に表示画像Ｇに写り込むように、仮想視点Ｐ４の位置を、中央Ｃから位置Ｘ０および位置Ｘ１を経由して位置Ｘ２へと、曲線状（円弧状、放物線状）の線分Ｌ０に沿って、車両画像ＣＧの下側に連続的に移動させる。これにより、操舵部４を操作するだけで、車両１の進行方向の状況をより明確に把握可能な高さ位置にある仮想視点Ｐ４からの表示画像Ｇが生成される（そしてディスプレイ８に出力される）ので、車両１の進行方向の状況把握の利便性をより向上させることができる。

なお、上記の説明では、車両画像ＣＧの車幅方向（左右方向）における仮想視点Ｐ４の移動と、車両画像ＣＧの高さ方向（上下方向）における仮想視点Ｐ４の移動と、が連動する構成を例示したが、実施形態では、両者が連動していなくてもよい。すなわち、実施形態は、操舵部４の操作が実施された場合、車両画像ＣＧの車幅方向（左右方向）における仮想視点Ｐ４の移動のみが実現される構成であってもよい。

ここで、車両１の舵角がゼロから少しでも変化したら仮想視点Ｐ４を移動させるといった構成を採用すると、仮想視点Ｐ４の移動が頻繁に起こり、車両１の進行方向の状況把握の利便性がかえって損なわれる場合も考えられる。したがって、実施形態は、車両１の舵角の大きさが所定の第１角度を下回る場合、つまり操舵部４としてのステアリングホイールの操作量（回転角度）が第１閾値を下回る場合に、仮想視点Ｐ４の移動を制限して仮想視点Ｐ４を固定するような構成であってもよい。

また、車両１の舵角の大きさが上記の第１角度から最大角度に達するまでは仮想視点Ｐ４を移動させ続けるような構成を採用すると、操舵部４としてのステアリングホイールの操作量（回転角度）が最大になるまで、車両１の進行方向の状況を最大限に把握可能な仮想視点Ｐ４（図８および図９に示される位置Ｘ２参照）が実現されないので、この場合も利便性が損なわれる。したがって、実施形態は、車両１の舵角の大きさが上記の第１角度よりも大きい第２角度を上回る場合、つまり操舵部４としてのステアリングホイールの操作量（回転角度）が上記の第１閾値よりも大きい第２閾値を上回る場合に、仮想視点Ｐ４の移動を制限して仮想視点Ｐ４を固定するような構成であってもよい。この構成においては、車両１の舵角の大きさが第２角度に達した場合、つまり操舵部４としてのステアリングホイールの操作量（回転角度）が第２閾値に達した場合に、車両１の進行方向の状況を最大限に把握可能な仮想視点Ｐ４が実現される。

図１０は、実施形態にかかる操舵部４の操作量と仮想視点Ｐ４の移動の有無との関係を示した例示的かつ模式的な図である。図１０に示される例では、仮想視点Ｐ４の移動は、操舵部４としてのステアリングホイールの操作量（回転角度）の大きさが所定の範囲（９０°〜３６０°の範囲）内にある場合にのみ、仮想視点Ｐ４の移動が実施され、それ以外の場合、仮想視点Ｐ４は移動せずに固定される。なお、９０°や３６０°といった数値は、あくまで例として挙げたものであり、実際には、９０°〜３６０°以外の範囲で仮想視点Ｐ４の移動が実施されてもよい。

ところで、上述したような構成では、操舵部４を操作する以外の他の方法によっても仮想視点Ｐ４の移動を実現することができれば、乗員にとっての利便性がさらに向上する。他の方法としては、たとえば、表示画像Ｇ上に所定のＧＵＩ（グラフィカルユーザインターフェース）を設け、当該ＧＵＩに対するタッチパネル１０を介した操作に応じて仮想視点Ｐ４の移動を実現することが考えられる。しかしながら、操舵部４の操作に応じた仮想視点Ｐ４の移動と、タッチパネル１０を介した操作に応じた仮想視点Ｐ４の移動と、が同時に実行されると、操作が混乱し、利便性が損なわれるおそれがある。

そこで、実施形態において、画像生成部４０２は、操舵部４とは異なる操作入力部（たとえばタッチパネル１０）を介して任意の方向へ仮想視点Ｐ４を移動させる操作が行われた場合、操舵部４の操作に応じて仮想視点Ｐ４を自動で移動させる第１モード（自動モード）を終了し、操舵部４の操作によらずタッチパネル１０の操作に応じて仮想視点Ｐ４を手動で移動させる第２モード（手動モード）を実行する。

そして、画像生成部４０２は、第２モードの実行中に所定の条件が成立した場合に、第２モードを終了し、第１モードを実行する。所定の条件は、タッチパネル１０の操作が最後に行われてから所定時間が経過したことと、ディスプレイ８に出力される画像が表示画像Ｇから当該表示画像Ｇとは異なる別画像に遷移した後に当該別画像から再び表示画像Ｇに遷移したことと、仮想視点Ｐ４を移動させる操作とは別の所定の操作が行われたことと、のうちいずれか一つを含むように設定される。このように設定すれば、適切なタイミングで第２モードから第１モードへの移行を実施することができる。

以下、操舵部４の操作またはタッチパネル１０を介した操作に応じて実現される仮想視点Ｐ４の移動について、ディスプレイ８に出力される表示画像Ｇの具体例とともに説明する。

図１１は、実施形態にかかる表示画像Ｇの一例を示した例示的かつ模式的な図である。この図１１に示される表示画像Ｇの仮想視点Ｐ４は、図８および図９に示される中央Ｃに対応する。

画像生成部４０２は、たとえば、仮想視点Ｐ４を移動させるための上記の２種類の操作のいずれもがまだ実行されていない場合に、図１１に示される表示画像Ｇを生成する。そして、画像生成部４０２は、仮想視点Ｐ４の移動を含む操作を受け付けるためのＧＵＩとして、仮想視点Ｐ４を左側に移動させるための左ボタンＢ１と、仮想視点Ｐ４を右側に移動させるための右ボタンＢ２と、仮想視点Ｐ４からの視野角を広げるためのマイナスボタンＢ３と、仮想視点Ｐ４からの視野角を狭めるためのプラスボタンＢ４と、を表示画像Ｇに重畳する。

そして、画像生成部４０２は、図１１に示される表示画像Ｇが表示された状態で、操舵部４としてのステアリングホイールの左回りの回転操作、またはタッチパネル１０を介した左ボタンＢ１の操作が検出されると、仮想視点Ｐ４の位置を連続的に移動させ、次の図１２に示されるような表示画像Ｇを生成する。

図１２は、実施形態において、図１１に示される表示画像Ｇに対して仮想視点Ｐ４の移動が発生した状態の一例を示した例示的かつ模式的な図である。この図１２に示される表示画像Ｇの仮想視点Ｐ４は、図８および図９に示される位置Ｘ０に対応する。

ここで、図１２に示される表示画像Ｇには、車両１の走行経路の目安となるガイド線Ｌ１およびＬ２が表示されている。ガイド線Ｌ１は、現状の舵角で車両１が走行した場合に車両１の左側の前端部が辿ると想定される軌跡を表し、ガイド線Ｌ２は、現状の舵角で車両１が走行した場合に車両１の左側の後輪が辿ると想定される軌跡を表す。このようなガイド線Ｌ１およびＬ２は、仮想視点Ｐ４の移動が実際に発生した場合にのみ表示される。したがって、実施形態において、前述したような仮想視点Ｐ４の移動の制限、より具体的には車両１の舵角の大きさが第１角度を下回る際における仮想視点Ｐ４の移動の制限が実施される場合、ガイド線Ｌ１およびＬ２は、車両１の舵角の大きさが第１角度以上の場合にのみ表示される。

画像生成部４０２は、図１２に示される表示画像Ｇが表示された状態で、操舵部４としてのステアリングホイールの左回りのさらなる回転操作、またはタッチパネル１０を介した左ボタンＢ１のさらなる操作が検出されると、仮想視点Ｐ４の位置をさらに連続的に移動させ、次の図１３および図１４に示されるような表示画像Ｇを順次生成する。

図１３は、実施形態において、図１２に示される表示画像Ｇに対して仮想視点Ｐ４の移動が発生した状態の一例を示した例示的かつ模式的な図である。この図１３に示される表示画像Ｇの仮想視点Ｐ４は、図８および図９に示される位置Ｘ１に対応する。また、図１４は、実施形態において、図１３に示される表示画像Ｇに対して仮想視点Ｐ４の移動が発生した状態の一例を示した例示的かつ模式的な図である。この図１４に示される表示画像Ｇの仮想視点Ｐ４は、図８および図９に示される位置Ｘ２に対応する。

前述したように、実施形態では、車両画像ＣＧの車幅方向における仮想視点Ｐ４の移動が発生すると、それに連動して、車両画像ＣＧの高さ方向における仮想視点Ｐ４の移動も発生する。より具体的に、実施形態では、仮想視点Ｐ４は、車両画像ＣＧの車幅方向の中央Ｃ（図８および図９参照）から離れるほど、車両画像ＣＧの高さ方向において低くなる。したがって、図１１〜図１４に示される例では、図１１〜図１４へと表示画像Ｇが遷移するに伴い、仮想視点Ｐ４の高さが徐々に低くなっている。

なお、図１１〜図１４に示される表示画像Ｇは、たとえば停車からの発進時や低速走行中など、車両１の速度が所定以下の状況で手動または自動で車両１の周辺監視機能がオンになり、図４に示される周辺監視装置４００がＥＣＵ２４内に実現された場合にディスプレイ８に出力される。

次に、実施形態において実行される処理の流れについて説明する。

図１５は、実施形態にかかる周辺監視装置４００が表示画像Ｇを出力する際に実行する処理の流れを示した例示的かつ模式的なフローチャートである。この図１５に示される処理フローは、車両１の速度が所定以下の状況で手動または自動で車両１の周辺監視機能がオンになった場合に繰り返し実行される。

図１５に示される処理フローでは、まず、Ｓ１５０１において、周辺監視装置４００は、撮像部１５によって撮像された撮像画像を取得する。この撮像画像は、車両１の周辺の状況を表す画像である。

そして、Ｓ１５０２において、周辺監視装置４００は、Ｓ１５０１で取得された撮像画像をカメラ画モデルＳに貼り付けることで構成されるモデル画像と、車両１の外観を三次元で表した車両画像ＣＧと、に基づいて、画像生成部４０２を用いて表示画像Ｇを生成する。

そして、Ｓ１５０３において、周辺監視装置４００は、Ｓ１５０２で生成された表示画像Ｇを、画像出力部４０３を用いてディスプレイ８に出力する。そして、処理が終了する。

図１６は、実施形態にかかる周辺監視装置４００が表示画像Ｇの出力後に実行する処理の流れを示した例示的かつ模式的なフローチャートである。この図１６に示される処理フローは、表示画像Ｇがディスプレイ８に出力されている間繰り返し実行される。

図１６に示される処理フローでは、まず、Ｓ１６０１において、周辺監視装置４００は、操舵部４やタッチパネル１０などといった各種の操作入力部を介した車両１の乗員による操作の入力を、入力受付部４０１を用いて受け付ける。

そして、Ｓ１６０２において、周辺監視装置４００は、操舵部４の操作が検出されたか否か、より具体的にはＳ１６０１で受け付けられた操作が操舵部４を用いた仮想視点Ｐ４を移動させるための操作に該当するか否かを判断する。

Ｓ１６０２において、操舵部４の操作が検出されたと判断された場合、Ｓ１６０３に処理が進む。そして、Ｓ１６０３において、周辺監視装置４００は、操舵部４の操作によらずタッチパネル１０の操作に応じて仮想視点Ｐ４を手動で移動させる第２モードが既に実行中か否かを判断する。

Ｓ１６０３において、第２モードが既に実行中であると判断された場合、そのまま処理が終了する。一方、Ｓ１６０３において、第２モードが実行中でないと判断された場合、Ｓ１６０４に処理が進む。

Ｓ１６０４において、周辺監視装置４００は、操舵部４の操作に応じて仮想視点Ｐ４を自動で移動させる第１モードを実行する。つまり、周辺監視装置４００は、Ｓ１６０１で受け付けられた操舵部４の操作量に応じて、表示画像Ｇの仮想視点Ｐ４を連続的に移動させる。そして、処理が終了する。

一方、Ｓ１６０２において、操舵部４の操作が検出されていないと判断された場合、つまりＳ１６０１で受け付けられた操作が操舵部４の操作ではないと判断された場合、Ｓ１６０５に処理が進む。そして、Ｓ１６０５において、周辺監視装置４００は、タッチパネル１０の操作が検出されたか否か、より具体的にはＳ１６０１で受け付けられた操作がタッチパネル１０を用いた仮想視点Ｐ４を移動させるための操作に該当するか否かを判断する。

Ｓ１６０５において、タッチパネル１０の操作が検出されていないと判断された場合、Ｓ１６０１で受け付けられた操作は仮想視点Ｐ４を移動させるための操作に該当しないため、そのまま処理が終了する。一方、Ｓ１６０５において、タッチパネル１０の操作が検出されたと判断された場合、Ｓ１６０６に処理が進む。

Ｓ１６０６において、周辺監視装置４００は、操舵部４の操舵によらずタッチパネル１０の操作に応じて仮想視点Ｐ４を手動で移動させる第２モードを実行する。つまり、周辺監視装置４００は、Ｓ１６０１で受け付けられたタッチパネル１０の操作に応じて、表示画像Ｇの仮想視点Ｐ４を移動させる。

そして、Ｓ１６０７において、周辺監視装置４００は、第２モードを終了して第１モードを実行するか否かの判断基準となる所定の条件が満たされたか否かを判断する。前述したように、所定の条件は、タッチパネル１０の操作が最後に行われてから所定時間が経過したことと、ディスプレイ８に出力される画像が表示画像Ｇから当該表示画像Ｇとは異なる別画像に遷移した後に当該別画像から再び表示画像Ｇに遷移したことと、仮想視点Ｐ４を移動させる操作とは別の所定の操作が行われたことと、のうちいずれか一つを含むように設定される。

Ｓ１６０７において、所定の条件が満たされたと判断された場合、Ｓ１６０４に処理が進み、第１モードへの移行が実施される。そして、Ｓ１６０４において、周辺監視装置４００は、第１モードを実行し、処理が終了する。

なお、Ｓ１６０７において、所定の条件が満たされていないと判断された場合、第１モードへの移行は実施されることなく第２モードがそのまま維持され、処理が終了する。

以上説明したように、実施形態にかかる周辺監視装置４００は、モデル画像と車両画像ＣＧとに基づく仮想空間Ａ内の注視点Ｐ３を仮想視点Ｐ４から見た表示画像Ｇを生成する画像生成部４０２と、表示画像Ｇをディスプレイ８に出力する画像出力部４０３と、を有しており、画像生成部４０２は、車両１の舵角を変化させるための操舵部４の操作に応じて、仮想視点Ｐ４を、車両画像ＣＧの車幅方向の成分を含む方向に移動させる。この構成によれば、操舵部４を操作して車両１の舵角を変化させるだけで、表示画像Ｇの仮想視点Ｐ４（車両１の周囲の状況把握を行うための視線の方向）を変化させることができるので、車両１の周囲の状況把握の利便性をより向上させることができる。

また、実施形態にかかる画像生成部４０２は、操舵部４の操作によって実現される車両１の舵角の大きさに応じて、仮想視点Ｐ４の位置を変化させうる。このように構成すれば、仮想視点Ｐ４から注視点Ｐ３に向かう視線（車両１の周囲の状況把握を行うための視線）の方向が舵角の大きさに応じて設定されるので、車両１の周囲の状況把握を適切に行うことができる。

また、実施形態にかかる画像生成部４０２は、車両１の舵角の大きさが所定の第１角度を下回る場合に、仮想視点Ｐ４の位置を固定しうる。このように構成すれば、たとえば車両１の舵角がゼロから少しでも変化したら仮想視点Ｐ４を移動させるといった構成と異なり、仮想視点Ｐ４の移動が頻繁に起こるのを抑制することができる。

また、実施形態にかかる画像生成部４０２は、車両１の舵角の大きさが上記の第１角度よりも大きい所定の第２角度を上回る場合にも、仮想視点Ｐ４の位置を固定しうる。このように構成すれば、仮想視点Ｐ４から注視点Ｐ３へ向かう視線の向きが車両１の舵角の大きさが第１角度を上回って最大角度に達するまでいつまでも定まらないという事態を回避することができる。特に、車両１の舵角の大きさが第２角度に達した場合に車両１の進行方向の状況を最大限に把握可能な仮想視点Ｐ４が実現される構成を採用すれば、操舵部４を最大限に操作して車両１の舵角を最大角度にしなくても、車両１の進行方向の状況を最大限に把握可能な仮想視点Ｐ４を実現することができるので、利便性を向上させることができる。

また、実施形態にかかる画像生成部４０２は、車両１の舵角の大きさが上記の第１角度以上の場合に、車両１の走行経路の目安となるガイド線Ｌ１およびＬ２を表示画像Ｇに重畳しうる。このように構成すれば、仮想視点Ｐ４の移動が実際に発生した場合にのみ、ガイド線Ｌ１およびＬ２が表示されるので、車両１の舵角が比較的小さい不要な状況でガイド線Ｌ１およびＬ２が表示されるのを回避することができる。

また、実施形態にかかる画像生成部４０２は、操舵部４とは異なる操作入力部（タッチパネル１０）を介して任意の方向へ仮想視点Ｐ４を移動させる操作が行われた場合、操舵部４の操作に応じて仮想視点Ｐ４を移動させる第１モードを終了し、操舵部４の操作によらずタッチパネル１０の操作に応じて仮想視点Ｐ４を移動させる第２モードを実行する。このように構成すれば、タッチパネル１０を操作するだけで、仮想視点Ｐ４が操舵部４の操作に応じて自動で移動する状態から、手動でのみ仮想視点Ｐ４を調整可能な状態への移行を実現することができる。

また、実施形態にかかる画像生成部４０２は、第２モードの実行中に所定の条件が成立した場合に、第２モードを終了し、第１モードを実行する。このように構成すれば、手動でのみ仮想視点Ｐ４を調整可能な状態から、仮想視点Ｐ４が操舵部４の操作に応じて自動で移動する状態への移行を容易に実現することができる。

なお、上記の構成において、所定の条件は、タッチパネル１０の操作が最後に行われてから所定時間が経過したことと、ディスプレイ８に出力される画像が表示画像Ｇから当該表示画像Ｇとは異なる別画像に遷移した後に当該別画像から再び表示画像Ｇに遷移したことと、仮想視点Ｐ４を移動させる操作とは別の所定の操作が行われたことと、のうちいずれか一つを含むように設定される。このように構成すれば、適切なタイミングで第２モードから第１モードへの移行を実施することができる。

＜変形例＞
上述した実施形態では、仮想視点Ｐ４のみが移動し、注視点Ｐ３は移動しない構成（図８参照）が例示されている。しかしながら、変形例として、仮想視点Ｐ４が移動することなく注視点Ｐ３のみが上述した実施形態と同様の技術的思想で移動する構成も考えられるし、以下に説明するような、仮想視点Ｐ４と注視点Ｐ３との両方が連動して移動する構成も考えられる。

図１７は、変形例において仮想視点Ｐ４と注視点Ｐ３との両方が連動して移動する様子を示した例示的かつ模式的な図である。図１７に示される例では、仮想視点Ｐ４は、曲線状（円弧状、放物線状）の線分Ｌ１１に沿って移動し、注視点Ｐ３は、直線状の線分Ｌ１２に沿って移動する。なお、操舵部４の操作などが行われる前の初期状態においては、仮想視点Ｐ４は、車両画像ＣＧの車幅方向における線分Ｌ１１の中央Ｃ１に位置し、注視点Ｐ３は、車両画像ＣＧの車幅方向における線分Ｌ１２の中央Ｃ２に位置する。

ここで、図１７に示される例では、車両画像ＣＧの車幅方向において仮想視点Ｐ４と注視点Ｐ３とが互いに逆方向に移動する。たとえば、仮想視点Ｐ４が線分Ｌ１１の中央Ｃ１に対して右側の位置Ｘ１１に移動した場合、注視点Ｐ３は、線分Ｌ１２の中央Ｃ２に対して左側の位置Ｘ１２に移動する。また、仮想視点Ｐ４が線分Ｌ１１の中央Ｃ１に対して左側の端部の位置Ｘ２１に移動した場合、注視点Ｐ３は、線分Ｌ１２の中央Ｃ２に対して右側の端部の位置Ｘ２２に移動する。

このように、変形例において、画像生成部４０２は、車両画像ＣＧの車幅方向において仮想視点Ｐ４と注視点Ｐ３とが互いに逆方向に移動するように、操舵部４の操作（タッチパネル１０の操作であってもよい）に応じて、仮想視点Ｐ４と注視点Ｐ３との両方を移動させうる。このように構成すれば、仮想視点Ｐ４から注視点Ｐ３へ向かう視線の方向をより少ない操作でより大きく変化させることができる。

なお、図１７に示される変形例では、仮想視点Ｐ４と注視点Ｐ３とが車両画像ＣＧの車幅方向において互いに逆方向に移動しているが、さらに他の変形例として、仮想視点Ｐ４と注視点Ｐ３とが車両画像ＣＧの車幅方向において互いに同方向に移動する構成も考えられる。

また、上述した実施形態および変形例では、操舵部４としてのステアリングホイールの操作方向（回転方向）と、仮想視点Ｐ４から注視点Ｐ３へ向かう視線の向きの移動方向と、が一致する構成が例示されている。つまり、上述した実施形態および変形例では、操舵部４としてのステアリングホイールが右回りに操作（回転）された場合には仮想視点Ｐ４から注視点Ｐ３へ向かう視線が右を向くように移動し、操舵部４としてのステアリングホイールが左回りに操作（回転）された場合には仮想視点Ｐ４から注視点Ｐ３へ向かう視線が左を向くように移動する構成が例示されている。しかしながら、さらに他の変形例として、操舵部４としてのステアリングホイールの操作方向（回転方向）と、操舵部４の操作に応じて変化した後の仮想視点Ｐ４から注視点Ｐ３へ向かう視線の向きと、が一致しない（逆になる）構成も考えられる。この構成によれば、操舵部４を操作した場合に、当該操作によって実現される車両１の旋回の外側の状況（たとえば旋回の外側に位置するフロント側角部の周囲の状況）を確認することができる。

さらに、上述した実施形態では、過去位置Ｐ１での撮像により得られた撮像画像（過去画像）を所定のカメラ画モデルＳに投影することで表示画像Ｇを生成する構成が例示されている（図５〜図７参照）。しかしながら、変形例として、リアルタイムの撮像により得られた画像を以下に説明するようなお椀型のカメラ画モデルＳ１８００に投影することで表示画像Ｇを生成する構成も考えられる。

図１８は、変形例にかかるカメラ画モデルＳ１８００の一例を示した例示的かつ模式的な図であり、図１９は、変形例にかかるカメラ画モデルＳ１８００の一例を図１８とは異なる視点から示した例示的かつ模式的な図である。図１８および図１９に示されるように、この変形例では、路面に沿った平坦面からなる底面Ｓ１８０１と、当該底面Ｓ１８０１の端部から曲線上に立ち上がる側面Ｓ１８０２と、を有したお椀型のカメラ画モデルＳ１８００が使用される。底面Ｓ１８０１は、その中央に車両画像ＣＧが配置されるように構成され、側面Ｓ１８０２は、底面Ｓ１８０１に配置された車両画像ＣＧの周囲を取り囲むように構成される。なお、仮想視点Ｐ４および注視点Ｐ３（いずれも図１８および図１９には不図示）は、底面Ｓ１８０１および側面Ｓ１８０２によって囲まれた空間内の任意の位置に設定される。変形例では、このような底面Ｓ１８０１および側面Ｓ１８０２を有したカメラ画モデルＳ１３００にリアルタイムの撮像により得られた画像が投影されることで、上述した実施形態と同様の表示画像Ｇが生成される。

なお、リアルタイムの撮像により得られた画像を投影するために使用されるカメラ画モデルは、図１８および図１９に示されるようなお椀型のカメラ画モデルＳ１８００に制限されるものではない。他のカメラ画モデルの例として、たとえば、底面と側面との境界が無い半球状のカメラ画モデルも考えられるし、側面が底面の端部から直線状に立ち上がる円錐台状のカメラ画モデルも考えられる。

以上、本発明の実施形態および変形例を説明したが、上述した実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態および変形例は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態および変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 車両
４ 操舵部
８ ディスプレイ（表示部）
１０ タッチパネル（操作入力部）
１５ 撮像部
４００ 周辺監視装置
４０２ 画像生成部
４０３ 画像出力部
Ａ 仮想空間
ＣＧ 車両画像
Ｇ 表示画像
Ｌ１、Ｌ２ ガイド線
Ｐ３ 注視点
Ｐ４ 仮想視点
Ｓ、Ｓ１８００ カメラ画モデル

Claims (9)

1. 車両に搭載された撮像部により前記車両の周囲を撮像することで得られる撮像画像を前記車両の周囲に構成される三次元の仮想的な面を示すモデルに投影することで構成されるモデル画像に基づく仮想空間内の注視点を仮想視点から見た表示画像を生成する画像生成部と、
   前記表示画像を表示部に出力する画像出力部と、
   を備え、
   前記画像生成部は、前記車両の舵角を変化させるための操舵部の操作に応じて、前記仮想視点および前記注視点のうち少なくとも一方を、前記車両の車幅方向の成分を含む方向に移動させる、
   周辺監視装置。
2. 前記画像生成部は、前記操舵部の操作によって実現される前記車両の舵角の大きさに応じて、前記仮想視点および前記注視点のうち少なくとも一方の位置を変化させる、
   請求項１に記載の周辺監視装置。
3. 前記画像生成部は、前記車両の舵角の大きさが第１角度を下回る場合に、前記仮想視点および前記注視点のうち少なくとも一方の位置を固定する、
   請求項２に記載の周辺監視装置。
4. 前記画像生成部は、前記車両の舵角の大きさが前記第１角度よりも大きい第２角度を上回る場合に、前記仮想視点および前記注視点のうち少なくとも一方の位置を固定する、
   請求項３に記載の周辺監視装置。
5. 前記画像生成部は、前記車両の舵角の大きさが前記第１角度以上の場合に、前記車両の走行経路の目安となるガイド線を前記表示画像に重畳する、
   請求項３または４に記載の周辺監視装置。
6. 前記画像生成部は、前記操舵部とは異なる操作入力部を介して任意の方向へ前記仮想視点および前記注視点のうち少なくとも一方を移動させる操作が行われた場合、前記操舵部の操作に応じて前記仮想視点および前記注視点のうち少なくとも一方を移動させる第１モードを終了し、前記操舵部の操作によらず前記操作入力部の操作に応じて前記仮想視点および前記注視点のうち少なくとも一方を移動させる第２モードを実行する、
   請求項１〜５のいずれか１項に記載の周辺監視装置。
7. 前記画像生成部は、前記第２モードの実行中に所定の条件が成立した場合に、前記第２モードを終了し、前記第１モードを実行する、
   請求項６に記載の周辺監視装置。
8. 前記所定の条件は、前記操作入力部の操作が最後に行われてから所定時間が経過したことと、前記表示部に出力される画像が前記表示画像から当該表示画像とは異なる別画像に遷移した後に当該別画像から再び前記表示画像に遷移したことと、前記仮想視点および前記注視点のうち少なくとも一方を移動させる操作とは別の所定の操作が行われたことと、のうちいずれか一つを含む、
   請求項７に記載の周辺監視装置。
9. 前記画像生成部は、前記車幅方向において前記仮想視点と前記注視点とが互いに逆方向に移動するように、前記操舵部の操作に応じて、前記仮想視点と前記注視点との両方を移動させる、
   請求項１〜８のいずれか１項に記載の周辺監視装置。

Images