JP2017065552A - 周辺監視装置 - Google Patents

Abstract

【課題】車両の発進前に車両の周辺状況を適切に把握させやすい周辺監視装置を提供する。【解決手段】周辺監視装置は、車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する画像取得部３０と、車両の車室内に設けられ画像を表示する表示装置と、車両の発進準備状態の間に、画像取得部によって取得される第一次の撮像画像データを用いて車両の周辺状況を示す第一次画像を表示するとともに、当該第一次画像の表示終了後に所定条件が満たされた場合に、第一次の撮像画像データよりも後に画像取得部によって取得された第二次の撮像画像データを用いた第二次画像を自動的に表示する制御部３６と、を備える。【選択図】図５

Description

本発明の実施形態は、周辺監視装置に関する。

従来、車載カメラで撮像した車両の周辺映像に視点変換処理を施して車室内に配置された表示装置に表示する技術が知られている。例えば、車両の発進前に車両の周辺状況を示す画像を表示装置に表示する周辺監視装置の開発が進められている。

特許第５６２７２５３号明細書

しかしながら、周辺画像は主として車両が停止している場合、例えばイグニッションスイッチ等がＯＮされて、表示装置が起動された直後に表示される場合が多い。そのため、車両の起動または表示装置の起動から実際に車両が発進するまでに時間を要した場合、表示装置に表示された周辺画像と実際の周辺状況とが異なってしまっている場合がある。例えば、周辺画像の表示後にすぐに発進せずにナビゲーション装置で目的地の設定等を行う場合がある。この場合、周辺画像から当該周辺画像が含まれない別画像に切り替えて目的地等の設定作業を行うことになる。つまり、その設定操作の間に歩行者の接近や、他車の駐車等により周辺状況が変化してしまう場合がある。その結果、表示された周辺画像の信頼性が低下してしまう場合がある。このように、折角周辺画像を表示しても車両の発進前に周辺状況を適切にユーザに把握させられない場合がある。したがって、車両の発進前に車両の周辺状況を適切に把握させやすい周辺監視装置が提供できれば安全性の向上や運転操作の容易化の点において有意義である。

本発明の実施形態にかかる周辺監視装置は、例えば、車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する画像取得部と、上記車両の車室内に設けられ画像を表示する表示装置と、上記車両の発進準備状態の間に、上記画像取得部によって取得される第一次の撮像画像データを用いて上記車両の周辺状況を示す第一次画像を表示するとともに、当該第一次画像の表示終了後に所定条件が満たされた場合に、上記第一次の撮像画像データよりも後に上記画像取得部によって取得された第二次の撮像画像データを用いた第二次画像を自動的に表示する制御部と、を備える。この構成によれば、例えば、第一次の撮像画像データによる第一次画像が表示された後、所定条件が満たされれば、既に表示された第一次画像より後の周囲状況を示す第二次の撮像画像データを用いた第二次画像が自動的に表示されるので、車両の発進前に車両の周辺状況をユーザに適切に把握させやすくなる。

また、上記周辺監視装置において、例えば、上記撮像画像データを、上記車両に臨む撮像方向となる複数の仮想視点による仮想画像データに変換する画像変換部をさらに備え、上記制御部は、上記仮想画像データに基づく上記第一次画像および上記第二次画像を表示してもよい。この構成によれば、例えば、車両を客観的に見るような周辺画像が提供できるとともに、第一次画像より後の周囲状況を示す第二次の撮像画像データ（仮想画像データ）を用いた第二次画像が表示されるので、車両の発進前に車両の周辺状況をユーザにさらに詳細に把握させやすくなる。

また、上記周辺監視装置の上記制御部は、例えば、上記所定条件として、上記第一次画像の表示終了後に上記車両が発進することなく所定期間経過した場合に上記第二次画像を表示してもよい。この構成によれば、例えば、第一次画像の表示の後にすぐに車両が発進しない場合でも、所定期間が経過すれば、既に表示された第一次画像より後の周囲状況を示す第二次の撮像画像データを用いた第二次画像が自動的に表示されるので、車両の発進前に車両の周辺状況を適切に把握させやすくなる。なお、第二次画像が表示され所定期間が経過した場合、この第二次画像を第一次画像と見なし、この第一次画像より後の周囲状況を示す撮像画像データを第二の撮像画像データと見なし、この第二次の撮像画像データを用いた新たな第二次画像が表示されるようにしてもよい。

また、上記周辺監視装置の上記制御部は、例えば、上記所定条件として、上記第一次画像の表示終了後で上記車両が発進するまで上記第一次画像と、この第一次画像より後の周囲状況を示す撮像画像データとの間に所定値以上の差異が生じた場合に上記第二次画像を表示してもよい。この構成によれば、例えば、車両の周辺状況に所定値以上の変化が生じた場合のみ、既に表示された第一次画像より後の周囲状況を示す第二次の撮像画像データを用いた第二次画像が自動的に表示される。つまり、周辺状況に所定値以上の変化が生じない場合には、第二次画像は表示されないようにすることができる。その結果、必要以上に周辺画像の再表示が実行されることが抑制できる。

また、上記周辺監視装置の上記制御部は、例えば、上記所定条件として、上記第一次画像の表示終了後で上記車両の発進準備操作が開始された場合、上記発進準備操作が全て完了する前に上記第二次画像を表示してもよい。この構成によれば、例えば、車両の発進の直前に既に表示された第一次画像より後の周囲状況を示す第二次の撮像画像データを用いた第二次画像が自動的に表示されるので、車両の発進直前の周辺状況をユーザに把握させやすくなる。

また、上記周辺監視装置の上記制御部は、例えば、上記第二次画像を表示する場合に表示開始情報を出力してもよい。この構成によれば、例えば、第二次画像が自動的に表示されていることをユーザに認識させやすくできる。

図１は、実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる周辺監視装置を搭載する車両の一例が示された平面図である。 図３は、実施形態にかかる周辺監視装置を搭載する車両のダッシュボードの一例であり、車両後方からの視野での図である。 図４は、実施形態にかかる周辺監視装置を含む画像制御システムの一例が示されたブロック図である。 図５は、実施形態にかかる周辺監視装置のＥＣＵ内に実現される第一次画像および第二次画像を表示するための制御部の構成の一例を示すブロック図である。 図６は、実施形態にかかる周辺監視装置における仮想視点の移動の一例を説明する説明図である。 図７は、実施形態にかかる周辺監視装置を搭載する車両の周囲の状態の一例を示す説明図である。 図８は、実施形態にかかる周辺監視装置の表示処理の一例を説明するフローチャートである。 図９は、実施形態にかかる周辺監視装置における曲面投影の表示例であり、第１の仮想視点位置における仮想画像データを用いて表示装置に表示した一例を示す図である。 図１０は、実施形態にかかる周辺監視装置における曲面投影の表示例であり、第１の仮想視点位置から第２の仮想視点位置に仮想視点を移動させた状態の仮想画像データを用いて表示装置に表示した一例を示す図である。 図１１は、実施形態にかかる周辺監視装置における曲面投影の表示例であり、第２の仮想視点位置で回転処理を実行して、第３の仮想視点位置に仮想視点を移動させる準備が整った状態の仮想画像データを用いて表示装置に表示した一例を示す図である。 図１２は、実施形態にかかる周辺監視装置における曲面投影の表示例であり、第３の仮想視点位置における仮想画像データを用いて表示装置に表示した一例を示す図である。 図１３は、実施形態にかかる周辺監視装置における平面投影の表示例であり、第１の仮想視点位置における仮想画像データを用いて表示装置に表示した一例を示す図である。 図１４は、実施形態にかかる周辺監視装置における平面投影の表示例であり、第１の仮想視点位置から第２の仮想視点位置に仮想視点を移動させた状態の仮想画像データを用いて表示装置に表示した一例を示す図である。 図１５は、実施形態にかかる周辺監視装置における平面投影の表示例であり、第２の仮想視点位置で回転処理を実行して、第３の仮想視点位置に仮想視点を移動させる準備が整った状態の仮想画像データを用いて表示装置に表示した一例を示す図である。 図１６は、実施形態にかかる周辺監視装置における平面投影の表示例であり、第３の仮想視点位置における仮想画像データを用いて表示装置に表示した一例を示す図である。 図１７は、実施形態にかかる周辺監視装置において、第二次画像を表示するために処理を説明するフローチャートである。 図１８は、実施形態にかかる周辺監視装置において、第二次画像の表示例であり、画像上の差異部分を明確に提示する一例を示す図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

本実施形態において、周辺監視装置を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４や、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。

また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、車室２ａ内には、表示装置８とは別の表示装置１２が設けられている。図３に例示されるように、表示装置１２は、例えば、ダッシュボード２４の計器盤部２５に設けられ、計器盤部２５の略中央で、速度表示部２５ａと回転数表示部２５ｂとの間に位置されている。表示装置１２の画面１２ａの大きさは、表示装置８の画面８ａ（図３）の大きさよりも小さい。この表示装置１２には、主として車両１の駐車支援に関する情報を示す画像が表示されうる。表示装置１２で表示される情報量は、表示装置８で表示される情報量より少なくてもよい。表示装置１２は、例えば、ＬＣＤや、ＯＥＬＤ等である。なお、表示装置８に、表示装置１２で表示される情報が表示されてもよい。

また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図４に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜１９０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている。よって、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車両１の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパー等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側の突出部としてのドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。

また、ＥＣＵ１４は、撮像部１５から提供される撮像画像データを、車両１に臨む撮像方向となる複数の仮想視点から撮像したような仮想画像データに変換することができる。また、この複数の仮想画像データを表示装置８に順次表示して、ユーザ（運転者、利用者）が乗り込んでいる車両１を中心に周囲遠方より当該車両１を臨むような視点変換画像（実質的な動画）を表示させることができる。仮想画像データの表示の詳細については後述する。また、ＥＣＵ１４は、撮像部１５から提供される撮像画像データから車両１の周辺の路面に示された区画線等を識別し、区画線等に示された駐車区画を検出（抽出）して、駐車支援を実行することもできる。

図１、図２に例示されるように、車体２には、複数の測距部１６，１７として、例えば四つの測距部１６ａ〜１６ｄと、八つの測距部１７ａ〜１７ｈとが設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器、超音波ソナーとも称されうる。測距部１６は、本実施形態において、車両１を駐車する際に、車両１と並ぶ第一の障害物（隣接車両）や駐車するためのスペースの奥側に存在する第二の障害物（例えば、縁石や段差、壁、フェンス等）を検出し、その障害物までの距離を測定することができる。また、測距部１７は、車両１に対して障害物（物体）が所定距離を超えて接近した場合、接近する障害物（物体）を検出し、その障害物までの距離を測定することができる。特に、車両１の後方両側に配置された測距部１７ａ，１７ｄは、車両１が後退しながら縦列駐車のスペースに進入する場合の車両１の後方コーナ部と第一の障害物（隣接車両）との距離や、進入後さらに後方コーナ部と第二の障害物（壁等）との距離を測定するセンサ（クリアランスソナー）として機能する。ＥＣＵ１４は、測距部１６，１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離を取得することができる。すなわち、測距部１６，１７は、物体を検出する検出部の一例である。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられ、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部１７は、例えば、車両１の前方および後方の物体の検出に用いられ、測距部１６は、車両１の側方の物体の検出に用いられうる。測距部１７は、物体（障害物）が所定の距離まで接近したことを検出する接近センサとして機能しうる。

また、図４に例示されるように、周辺監視システム１００（周辺監視装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８，１２で表示される画像に関連した画像処理や、車両１の移動目標位置（駐車目標位置、目標位置）の決定、車両１の誘導経路（誘導経路、駐車経路、駐車誘導経路）の演算、物体との干渉の有無の判断、車両１の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。

アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。また、車輪速センサ２２は、車両１が走行していることを示す走行確認情報または車両１が停止していることを示す停止確認情報を出力することができる。停止確認情報は、例えば、車輪速センサ２２からの信号が未出力であることを示す情報であり、後述する視点変換画像の表示を許可するか否かを示す許可情報とすることができる。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

ＥＣＵ１４は、周辺監視システムを実現する。例えば、車両１を中心として当該車両１を遠方から見たような画像（視点変換画像）を撮像画像データを視点変換した仮想画像データに基づいて生成する。そして、この視点変換画像を用いた表示態様として、例えば、仮想視点を車両１の一方側（例えば正面域、フロント領域）から車両１の上空域を経て、車両１の反対側（例えば後面域、リア領域）に移動させながら実質的な動画表示を行う。この表示を行うことで、車両１の周囲に存在する物体の位置関係やその姿勢、大きさ等をユーザに認識させやすくしている。

ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したような視点変換画像の実質的な動画表示を実現するために、図５に示されるように画像取得部３０、画像変換部３２、操作受付部３４、画像制御部３６（制御部）等を含む。そして、ＣＰＵ１４ａは、例えば、撮像部１５で得られた撮像画像データを用いた画像処理を実行する。画像取得部３０、画像変換部３２、操作受付部３４、画像制御部３６は、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。

画像取得部３０は、車両１に設けられて当該車両１の周辺を撮像する撮像部１５から出力された撮像画像データを表示制御部１４ｄを介して取得する。なお、表示制御部１４ｄは、撮像部１５で撮像した撮像画像データをそのままの状態で表示装置８や表示装置１２に出力してもよい。この場合、操作部１４ｇ等の入力装置を用いてユーザに希望する表示内容を選択させるようにしてもよい。つまり、表示制御部１４ｄは、操作部１４ｇの操作により選択された画像を選択的に表示する。例えば撮像部１５ａで撮像した車両１の後方画像を表示させたり、撮像部１５ｄで撮像した左側方画像を表示させたりすることができる。

画像変換部３２は、画像取得部３０が取得した撮像画像データを、例えば車両１を遠方から臨む撮像方向となる複数の仮想視点による仮想画像データに変換する。仮想視点による仮想画像データの変換は、周知の種々の処理手法で実行することができる。一例として、画像変換部３２は、撮像部１５により撮像された車両１の外部の環境を表した撮像画像データと、例えばＲＯＭ１４ｂ等に保持されたマッピングテーブルの変換情報とに基づいて、車両１の周囲外部の環境を車両１から離間して当該車両１を臨む視点位置から見た場合の仮想画像データ（視点変換画像）を生成する。本実施形態の場合、ＲＯＭ１４ｂは、例えば、車両１を中心に半径数ｍ（例えば５ｍ）の半円軌道から車両１を臨む仮想視点が移動した場合に得られる仮想画像データが得られるような変換情報（マッピングテーブル）を複数種類予め保持している。なお、マッピングテーブルの変換情報は、仮想視点の位置ごとに準備することが望ましい。また、本実施形態の場合、視点変換画像は、連続性のあるスムーズな動画で表示されることが望ましい。そのため、マッピングテーブルの変換情報は、仮想視点が例えばα°移動するごと仮想画像データを生成できるように準備される。なお、マッピングテーブルの変換情報の数を増やせば、生成される仮想画像データの数（フレーム数）は増加して滑らかな動画が作成できるが、ＣＰＵ１４ａの処理負荷が増加する傾向がある。逆に、マッピングテーブルの変換情報の数を少なくすれば生成される仮想画像データの数も減少し動画品質が低下する場合があるが、ＣＰＵ１４ａの処理負荷は軽減可能となる。したがって、要求される視点変換画像（実質的な動画）の品質に応じて、マッピングテーブルの変換情報の数を決定することができる。なお、マッピングテーブルの変換情報の数を少なくする場合、動画を作成する際に前後の仮想画像データに基づく補間処理等を行い動画の修正（コマ落ち補正）を行うようにしてもよい。

操作受付部３４は、操作部１４ｇの操作入力による信号を取得する。操作部１４ｇは、例えば、押しボタンやスイッチ等であり、ユーザによる視点変換画像の表示の要求やキャンセルを行うことができる。また、操作受付部３４は、図示しないイグニッションスイッチのＯＮ信号を受け付け、そのＯＮ信号を契機に視点変換画像の表示要求を取得したと見なしてもよい。例えば、ユーザが車両１に乗り込み、イグニッションスイッチをＯＮすることにより、車両１を発進させるのに先立ち、車両１の周囲の状況をユーザに通知するように視点変換画像を自動的に表示するようにしてもよい。

画像制御部３６は、データ制御部３６ａ、経時計測部３６ｂ、差分抽出部３６ｃ、発進操作受付部３６ｄ等を含む。データ制御部３６ａは、画像変換部３２が生成した複数の仮想画像データを、仮想視点が車両１の周囲を移動しているような動画になるように配列し、表示制御部１４ｄに供給して表示装置８に表示させる。例えば、データ制御部３６ａは、図６に示すように、仮想視点３８が第１の仮想視点位置Ａから第２の仮想視点位置Ｂを経て第３の仮想視点位置Ｃの順に移動したように仮想画像データを表示するように準備する。第１の仮想視点位置Ａは、車両１の一方側から車両１を挟んで反対側（他方側）を臨む位置である。図６の場合、車両１のフロント側に設定されている例が示されている。第２の仮想視点位置Ｂは、車両１の上空域から当該車両１を臨む位置である。第３の仮想視点位置Ｃは、第１の仮想視点位置Ａの反対側から車両１を挟んで一方側を臨む位置である。図６の場合、車両１のリア側に設定されている例が示されている。

また、データ制御部３６ａは、仮想視点３８が第２の仮想視点位置Ｂを通過するように仮想画像データを表示する間に仮想視点３８の視線（車両１の上空域から当該車両１を臨む視線（例えば鉛直軸Ｏ））を中心に仮想画像データを回転させる。仮想視点３８を第１の仮想視点位置Ａから第３の仮想視点位置Ｃに移動させる場合、仮想画像データをそのまま連続的に表示した場合、第２の仮想視点位置Ｂを通過する前後で車両１の周囲に存在する物体の天地が逆転してしまう。その結果、物体の位置や姿勢が把握し難くなる。そこで、データ制御部３６ａは、車両１の周囲全体が見渡せる車両１の直上位置（第２の仮想視点位置Ｂ）で仮想画像データを１８０°回転させている。その結果、第２の仮想視点位置Ｂを通過した以降も物体の天地は第１の仮想視点位置Ａで表示していた状態と同じ方向で、車両１の周囲の状況が把握しやすい状態で、物体の位置関係の認識度の低下を抑制しつつ、第３の仮想視点位置Ｃへの画像の移行をスムーズに行うことができる。つまり、第３の仮想視点位置Ｃで仮想画像データによる画像を表示する際に天地が適切な表示態様になるので現実世界の再現性を向上することができる。また、仮想画像データの回転に伴い車両１の周囲に存在する物体の表示位置が変化するので、その物体の存在に注目させやすくなり、物体の認識度を向上させることができる。すなわち、物体の存在を気づかせ易くすることができる。なお、車両１の周囲全体が見渡せる車両１の直上位置とは、例えば、車両１のフロントバンパの鉛直延長線上の位置でもよいし、ルーフの鉛直延長線上の位置でもよいし、リアバンパの鉛直延長線上の位置でもよい。また、それらの間の位置でもよい。この中で、ルーフの鉛直延長線上の位置が、車両１と周辺の物体との位置関係を把握させやすい表示ができる点、仮想画像データを回転させる場合に車両１の偏心回転が少なく違和感なく表示できる点等で好ましい。

ところで、仮想画像データは、車両１に搭載された撮像部１５で撮像された撮像画像データに基づき生成されているため、撮像画像データには自車（車両１）は一部しか存在しない場合がある。例えば、バンパの一部やドアの一部しか映り込んでいない場合がある。その結果、撮像画像データに基づいて生成する仮想画像データには車両１の全体像は反映されない場合がある。そこで、データ制御部３６ａは、例えばＲＯＭ１４ｂやＳＳＤ１４ｆに予め記憶しておいた自車（車両１）の車両外形データを仮想画像データに重畳して、表示装置８に表示する視点変換画像に車両１が存在するようにして表示するようにしてもよい。その結果、車両１（自車）の周囲に存在する物体と車両１との位置関係をより容易にユーザに理解させやすい表示ができる。なお、仮想視点３８の移動に対応して車両１の見え方も刻々と変化するので、車両外形データはマッピングテーブルの変換情報の数に対応して準備しておくことが望ましい。

車両外形データは、実際の車両１の撮影データを用いて作成してもよいし、アニメーションでもよい。また、車両外形データは、車両１を半透明や線図で表現したものを用いてもよい。車両外形データを半透明や線図で表現する場合、車両の奥側に存在する物体の存在や形状、大きさ等も把握させやすくすることができる。一方、車両外形データを実体表現で表示した場合、現実世界（現実空間）との乖離を少なくできるので、ユーザに受け入れられ易い画像を提供することができる。

データ制御部３６ａは、仮想視点３８を移動させる場合、その移動開始位置を予め決定することができる。データ制御部３６ａは、例えば第３の仮想視点位置Ｃを車両１が発進する際の進行予定方向に対して後ろ側に位置するように決定することができる。図６は、車両１が前進発進する場合の第１の仮想視点位置Ａ、第２の仮想視点位置Ｂ、第３の仮想視点位置Ｃの設定位置を示している。逆に、車両１が後退発進する場合は、車両１のリア側に第１の仮想視点位置Ａが設定され、フロント側に第３の仮想視点位置Ｃが設定される。このように、第３の仮想視点位置Ｃを設定することにより、車両１を発進させるときに最終的に注意を払う可能性の高い視認方向の画像を最後に提供できるので、ユーザに車両１の周囲の状況をより理解させやすい表示ができる。

なお、データ制御部３６ａは、車両１が発進する際の進行予定方向を、例えば車両１のイグニッションスイッチのＯＦＦ操作直前、すなわち駐車直前の変速操作部７の位置をＳＳＤ１４ｆ等に記憶しておくことにより判定することができる。つまり、イグニッションスイッチＯＦＦ直前の変速操作部７の位置が「Ｒレンジ」で後退走行により駐車した場合、車両１は駐車状態から発進するとき前進発進する可能性が高い。したがって、視点変換画像の最後に車両１の前方の状況が認識しやすいようにリア側に第３の仮想視点位置Ｃを設定することが望ましい。逆にイグニッションスイッチＯＦＦ直前の変速操作部７の位置が「Ｄレンジ」で前進走行により駐車した場合、車両１は駐車状態から発進するとき後退発進する可能性が高い。したがって、視点変換画像の最後に車両１の後方の状況が認識しやすいようにフロント側に第３の仮想視点位置Ｃを設定することが望ましい。また、車両１を駐車支援システムを用いて駐車した場合、車両１のＥＣＵ１４は、駐車時の車両１の進入方向や出庫時の進出方向をＳＳＤ１４ｆに記憶している場合がある。この場合は、ＳＳＤ１４ｆに記憶された駐車支援時の情報を用いて車両１が発進する際の進行予定方向を判定してもよい。なお、車両１の駐車中に当該車両１の周囲の状況が変化して、発進時の進行予定方向を変更した方がよい場合がある。この場合、データ制御部３６ａは、イグニッションスイッチのＯＮのときに、車両１の発進方向をユーザに問い合わせるメッセージを表示装置８や表示装置１２に表示して、操作部１４ｇから進行予定方向、つまり視点変換画像をどの方向からどの方向に見たいかを入力させるようにしてもよい。

周辺監視システム１００は、一例として上述のように仮想視点３８が移動することにより取得される複数の仮想画像データを順次表示することで一連の動画表示を実現するが、この一連の動画表示は、一度表示が終了した後でも所定条件が満たされれば、複数回表示される。本実施形態において、例えば、始めに表示される一連の画像を「第一次画像」(第一次の撮像画像データ（仮想画像データ）によって形成される画像)と称し、この「第一次画像」の表示終了後に同様な一連の画像が表示される場合、この一連の画像を「第二次画像」（第一次画像より後の周囲状況を示す第二次の撮像画像データ（仮想画像データ）によって形成される画像）と称する。また、この「第二次画像」の表示終了後に、再び所定条件が満たされて同様な一連の画像が表示される場合、当該「第二次画像」が「第一次画像」と見なされ、その後に表示さる同様な一連の画像が「第二次画像」と見なされる。以下、所定条件が満たされれば、同様な表示が繰り返される。なお、周辺監視システム１００により表示される画像は、上述したような仮想画像データを順次表示することにより得られる動画のみならず、一つの仮想画像データを用いた静止画像、例えばトップビュー画像でもよい。また、撮像画像データに視点変換処理を加えず、例えばフロント画像やリア画像等をそのままの状態で表示してもよい。これらの場合も、先に表示される画像を「第一次画像」と称し、それに続いて表示される画像を「第二次画像」と称する。なお、第一次の撮像画像データは、第一の撮像画像データ、第一の撮像データと称する場合もある。第一次画像は、第一の画像と称する場合もある。同様に、第二次の撮像画像データは、第二の撮像画像データ、第二の撮像データと称する場合もある。第二次画像は、第二の画像と称する場合もある。

経時計測部３６ｂは、車両１が停止している場合（車輪速センサ２２からの停止確認情報を画像制御部３６が取得している状態）において、「第一次画像」の表示が終了してからの経過期間（例えば経過時間）を計測する。そして、経時計測部３６ｂは、所定期間が経過した場合に経過情報をデータ制御部３６ａに提供する。データ制御部３６ａは、経過情報を取得すると「第二次画像」を表示するための所定条件が満たされたか否かを判定する。そして、データ制御部３６ａは、「第一次画像」と同様な画像、例えば上述したような仮想視点３８が第１の仮想視点位置Ａから第２の仮想視点位置Ｂを経て第３の仮想視点位置Ｃに移動したように見えるように、第一次画像より後の周囲状況を示す撮像画像データ（好ましくは、所定条件が満たされたときに撮像された撮像画像データに基づく最新の仮想画像データ）に基づく順次表示（動画表示）を実行する。つまり、「第二次画像」として表示する。経時計測部３６ｂは、この「第二次画像」の表示終了後にこの「第二次画像」を「第一次画像」と見なし、再び経時計測を実行する。そして、所定期間の経過が計測された場合、第二次の撮像画像データ（好ましくは、所定条件が満たされたときの最新の撮像画像データに基づく仮想画像データ）に基づく「第二次画像」の表示を実行する。なお、所定期間の経過前に車両１が発進した場合（車輪速センサ２２からの走行確認情報を画像制御部３６が取得している場合）、データ制御部３６ａは、「第二次画像」の表示は行わない。ここで、「第二次画像」を表示するための所定条件とは、車両１の停止状態で「第一次画像」の表示終了後、例えば「６０秒」が経過したこととすることができる。なお、所定期間の設定は、「６０秒」に限らず、適宜設定することができる。例えば、車両１の起動後、ナビゲーションシステム等の操作をいつも行うユーザの場合、ナビゲーションシステムの設定に要する時間を考慮して、長めの所定期間の設定、例えば、「１８０秒」を設定してもよい。逆に、車両１の起動後から発進までの時間がいつも短いユーザの場合、短めの所定時間の設定、例えば「２０秒」を設定してもよい。

このように、周辺監視システム１００は、「第一次画像」の表示終了後、所定期間（所定時間）の経過後に、第二次の撮像画像データ（例えば、所定条件が満たされたときに撮像された新たな（最新の）撮像画像データに基づく仮想画像データ）に基づく「第二次画像」の表示を自動的に行う。すなわち、車両１が起動（イグニッションスイッチのＯＮ等）され、「第一次画像」が表示され後に、車両１を発進させることなく時間が経過した場合でも、所定期間経過後に自動的に「第二次画像」が表示される。その結果、ユーザにより新しい仮想画像データに基づく車両１の周辺状況を示す画像情報（「第二次画像」）を確実に提供することができる。

差分抽出部３６ｃは、「第一次画像」の表示終了後で車両１が発進するまでを条件として、上述したように車両１の周辺状況を示す画像（動画）を表示するための仮想画像データまたは撮像画像データに生じる差分を抽出する。例えば、「第一次画像」の表示終了後に、当該「第一次画像」を形成した仮想画像データのそれぞれについて、同じ視点位置の現在の仮想画像データとを比較する。そして、差分抽出部３６ｃは、所定値以上の差異が検出された場合に差分情報をデータ制御部３６ａに提供する。データ制御部３６ａは、差分情報を取得すると「第二次画像」を表示するための所定条件が満たされた判定する。つまり、データ制御部３６ａは、車両１の周辺状況に注目すべき変化（例えば、移動物体の接離）が生じたと判定して、「第二次画像」を表示する。そして、データ制御部３６ａは、第一次画像より後の周囲状況を示す撮像画像データ（好ましくは、所定条件が満たされたときに撮像された撮像画像データに基づく新たな仮想画像データ（最新の画像データ））に基づき「第一次画像」と同様な画像である「第二次画像」を表示する。なお、差分抽出部３６ｃによる差分検出は、例えば、仮想画像データや撮像画像データの画素単位で行ってもよいし、仮想画像データや撮像画像データにおける表示領域をマトリックス状に複数の分割領域に分割し、この分割領域ごとに比較するようにしてもよい。画素単位で比較を行う場合は詳細な差分検出が実行できるが処理負荷が高くなる。一方、分割領域単位の比較の場合、分割数で差分検出の精度調整ができるとともに、分割数に応じて処理負荷の調整が可能になる。なお、仮想画像データ（撮像画像データ）に注目すべき変化が生じたか否かを判定する所定値とは、例えば、画素単位の比較の場合、全体の１０％以上の画像が変化した場合に変化ありと判定してもよい。また、分割領域ごとの比較の場合、分割領域ごとに二値化を行い、変化の有無を判定するようにしてもよい。

このように、「第一次画像」の表示終了後、車両１が発進するまでの間に仮想画像データ（表示画像）に所定値以上の差異が発見された場合に、新たな仮想画像データに基づく「第二次画像」の表示を自動的に行う。すなわち、車両１の周辺状況に大きな変化（注目すべき変化）が生じるごとに「第二次画像」が表示される。前述した経時計測部３６ｂからの情報を「第二次画像」を表示するための所定条件とする場合、車両１が起動した後、発進するまで所定期間（所定時間）ごとに「第二次画像」が表示される。そのため、必要以上に「第二次画像」が表示される場合がある。一方、差分抽出部３６ｃからの情報を「第二次画像」を表示するための所定条件とする場合、車両１の周辺状況に大きな変化（注目すべき変化）が生じた場合のみ「第二次画像」が表示されるので、必要最小限の「第二次画像」の表示ができる。

発進操作受付部３６ｄは、「第一次画像」の表示終了後で、車両１の発進準備操作が開始された場合、その操作内容に関する情報を取得する。車両１を起動（例えばイグニッションスイッチをＯＮ）させた後、ユーザが実行する発進準備操作としては、例えば、変速操作部７（シフトレバー）の操作（Ｄポジション、またはＲポジションへの移動）と、パーキングブレーキの解除操作等がある。発進操作受付部３６ｄは、シフトレバーの操作とパーキングブレーキの解除操作の有無を受け付け、データ制御部３６ａに提供する。そして、データ制御部３６ａは、いずれか一方の操作が実行され、かつ他方の操作が未実行である場合に、「第二次画像」を表示するための所定条件が満たされた判定する。つまり、データ制御部３６ａは、車両１が発進直前状態であると判定して、第一次画像より後の周囲状況を示す撮像画像データ（好ましくは、所定条件が満たされたときに撮像された撮像画像データに基づく新たな（最新の）仮想画像データ）に基づき「第一次画像」と同様な画像である「第二次画像」を表示する。なお、シフトレバーの操作とパーキングブレーキの解除操作の両方が実行された場合、車両１は実質的に発進してしまったと見なし、「第二次画像」の表示は行わない。

このように、「第一次画像」の表示終了後、車両１の発進準備操作が開始され、かつその発進準備操作が全て完了する前に所定条件が満たされたときの最新の仮想画像データに基づく「第二次画像」の表示を自動的に行う。すなわち、発進直前に、発進操作の一連の動作の間に最新の「第二次画像」の表示を実行するように割り込み処理を行う。なお、データ制御部３６ａは、発進準備操作が全て完了する前、すなわち、車両１が動き出す前に「第二次画像」の表示を行うので、当該第二次画像の表示が直接運転操作に影響することが抑制できる。

データ制御部３６ａは、経時計測部３６ｂ、差分抽出部３６ｃ、発進操作受付部３６ｄの全てからの情報を取得可能とし、いずれかの情報を取得した場合に「第二次画像」を表示するか否かを判定してもよいし、いずれか１つの構成またはいくつかの構成を用いて、「第二次画像」を表示するタイミングを決定するようにしてもよい。例えば、経時計測部３６ｂの設定期間を例えば１８０秒等のように長めに設定し、その間に差分抽出部３６ｃからの情報（差分情報）が取得された場合に所定条件が満たされたと判定してもよい。この場合、頻繁に「第二次画像」が表示されることを抑制しつつ、車両１の周辺状況に所定値を越える注目すべき変化が生じた場合には迅速に「第二次画像」を表示することができる。また、車両１の周辺状況に所定値を越える注目すべき変化が生じない場合でも、所定期間（例えば、１８０秒）が経過した場合、ユーザに煩わしさを感じさせない程度に「第二次画像」を定期的に表示し、注意喚起することができる。また、発進操作受付部３６ｄからの情報と経時計測部３６ｂや差分抽出部３６ｃからの情報とを組み合わせて利用することにより、発進直前に「第二次画像」が確実に表示できるので、車両１が起動してから実際に発進するまでの間の適切なタイミングで「第二次画像」の表示ができる。

なお、車両１の起動とともに表示される「第一次画像」は、発進準備操作を行っているユーザに見落とされる可能性がある。そこで、「第二次画像」を表示する場合、データ制御部３６ａは「第二次画像」の表示に先立ち表示開始情報を出力させるようにしてもよい。表示開始情報は、例えば、音声メッセージにより「新たな（最新の）周辺画像を表示します。ご確認ください。」等である。また、表示開始情報は、ピープ音や所定の警告音等でもよい。特に、差分抽出部３６ｃまたは発進操作受付部３６ｄからの情報により「第二次画像」を表示する場合は、ユーザが周辺状況を再確認することが望ましいので、表示開始情報の出力は有効である。

なお、図６の場合、車両１のフロント側に第１の仮想視点位置Ａを設定し、車両１の上空域に第２の仮想視点位置Ｂを設定し、リア側に第３の仮想視点位置Ｃを設定した例を示した。第１の仮想視点位置Ａ、第３の仮想視点位置Ｃの設定位置は、仮想画像データが第２の仮想視点位置Ｂ（車両１の上空域）で例えば鉛直軸Ｏの周りを１８０°回転させられればよく適宜選択することが可能で同様の効果を得ることができる。例えば、別の実施形態では、車両１の右側方に第１の仮想視点位置Ａを設定し、車両１の上空域に第２の仮想視点位置Ｂを設定し、車両１の左側方に第３の仮想視点位置Ｃを設定して、視点変換画像（実質的な動画）を表示してもよい。この場合、車両１の側方の状況に注意を払わせやすい周辺監視情報の提供ができる。また、車両１の左斜め前方を第１の仮想視点位置Ａとし、車両１の上空域である第２の仮想視点位置Ｂを経て、車両１の右斜め後方を第３の仮想視点位置Ｃとしてもよい。同様に、車両１の右斜め前方を第１の仮想視点位置Ａとし、車両１の上空域である第２の仮想視点位置Ｂを経て、車両１の左斜め後方を第３の仮想視点位置Ｃとしてもよい。この場合、車両１のコーナ部分の状況に注意を払わせやすい周辺監視情報の提供ができる。

このように構成される周辺監視システム１００の動作を以下に説明する。図７は、車両１が駐車されている現実世界（現実空間）の一例を示す斜視図である。図７の場合、車両１は、フロント側の物体４０およびリア側の物体４２、物体４４に挟まれた空間に駐車されている例を示している。なお、物体４０と物体４２は小径の円柱物体であり、物体４４は、物体４０，４２より大径の円柱物体である。以下の説明では、図７の状態から車両１を前進発進させようとする場合の視点変換画像の表示処理を一例として説明する。

ＣＰＵ１４ａ（ＥＣＵ１４）は、まず、視点変換画像の表示要求があるか否かを判定する（Ｓ１００）。例えば、イグニッションスイッチの操作状態を確認し、イグニッションスイッチがＯＮされた場合、車両１は発進準備中であり、表示要求ありと判定する。この場合、イグニッションスイッチの操作に伴い視点変換画像は自動表示モードで表示されることになる。また、別の実施形態では、操作部１４ｇ等を介してユーザが視点変換画像の表示を要求した場合、表示要求ありと判定する。この場合、視点変換画像は手動表示モードで表示されることになる。

ＣＰＵ１４ａは、「表示要求なし」と判定した場合（Ｓ１００のＮｏ）、このフローを一旦終了する。一方、ＣＰＵ１４ａは、「表示要求あり」と判定した場合（Ｓ１００のＹｅｓ）、データ制御部３６ａは、車両１の発進予定方向を取得する（Ｓ１０２）。データ制御部３６ａは、例えば、ＳＳＤ１４ｆ等に記録されていた駐車直前の変速操作部７のシフト位置や駐車支援を行ったときの駐車状況等に基づき、車両１の発進予定方向を取得する。データ制御部３６ａは、さらに、取得した発進予定方向に基づき、表示開始視点位置を決定する（Ｓ１０４）。例えば、車両１が前進発進すると判定した場合、データ制御部３６ａは、第３の仮想視点位置Ｃを車両１のリア側、第１の仮想視点位置Ａを車両１のフロント側に設定する。逆に車両１が後退発進すると判定した場合、データ制御部３６ａは、第３の仮想視点位置Ｃを車両１のフロント側、第１の仮想視点位置Ａを車両１のリア側に設定する。

続いて、画像取得部３０は、表示制御部１４ｄを介して各撮像部１５ａ〜１５ｄが撮像した車両１の周辺の撮像画像データ（現在画像）を取得する（Ｓ１０６）。そして、画像変換部３２は、取得された撮像画像データをＲＯＭ１４ｂが記憶するマッピングテーブルの変換情報を用いて、仮想画像データを生成（変換）する（Ｓ１０８）。なお、本実施形態では、画像変換部３２は、撮像画像データを車両１の位置を中心とする曲面に投影するように仮想画像データに変換している。

データ制御部３６ａは、Ｓ１０４で決定した表示開始視点位置（例えば、図６の第１の仮想視点位置Ａ）に仮想視点３８が存在する場合の仮想画像データから表示を開始する。そして、データ制御部３６ａは、仮想視点３８が第２の仮想視点位置Ｂに向かい移動するように仮想画像データを所定のフレームレートで順次表示して、視点変換画像の実質的な動画表示を開始する（Ｓ１１０）。本実施形態の場合、前述したように、画像変換部３２は、撮像画像データを曲面投影を用いて仮想画像データを生成する。例えば、平面投影を用いて仮想画像データを生成した場合、車両１に対して水平方向に第１の仮想視点位置Ａを設定すると、車両１の周囲の物体に対応する画素は水平線上に並び（直線で表現されてしまい）、物体を表現することが困難になる。一方、曲面投影を用いて仮想画像データを生成した場合、車両１に対して水平方向に第１の仮想視点位置Ａを設定すると、第１の仮想視点位置Ａに近い位置に存在する物体は、路面に寝転がった状態に表示される。また、奥側（第１の仮想視点位置Ａから遠い側）に存在する物体は、立像として立体的に表示される。図９は、仮想視点３８が第１の仮想視点位置Ａに存在する場合に曲面投影を用いた仮想画像データにより表示される視点変換画像の一例である。この場合、車両１の前方に物体４０が存在し、車両１の後方に物体４２，４４が存在することをユーザに認識させることができる。

データ制御部３６ａは、順次表示する仮想画像データ（実質的な動画）が第２の仮想視点位置Ｂの位置における仮想画像データ、すなわち、仮想画像データを鉛直軸Ｏの周りを１８０°回転させる位置の仮想画像データの表示タイミングになったか否かを判定する（Ｓ１１２のＮｏ）。仮想画像データを回転する位置（タイミング）に到達した場合（Ｓ１１２のＹｅｓ）、データ制御部３６ａは、仮想視点３８の移動を一時的に停止して仮想画像データの回転を行う（Ｓ１１４）。図１０は、仮想視点３８が、第２の仮想視点位置Ｂに到達した場合の仮想画像データに基づき表示装置８に表示された視点変換画像である。図１０に示しように、仮想画像データの回転前においては、車両１のフロント側が表示装置８の画面下端側に向いているとともに、物体４０が表示装置８の画面下端側に存在し、物体４２，４４が表示装置８の画面上端側に存在する状態で表示される。図１１は、仮想視点３８が、第２の仮想視点位置Ｂに到達した後、そこで鉛直軸Ｏ（図６参照）を中心として水平方向に１８０°回転させた後の仮想画像データに基づき表示装置８に表示された視点変換画像である。図１１に示すように、仮想画像データの回転後においては、車両１のリア側が表示装置８の画面下端側に向いているとともに、物体４２，４４が表示装置８の画面下端側に存在し、物体４０が表示装置８の画面上端側に存在する状態で表示される。このように、車両１の周囲の全体状況が把握しやすい状態で仮想画像データを回転させることで、物体４０〜４４の存在や車両１との位置関係をユーザに認識させやすくするとともに、注意を払う物体に対する注目度を向上させることができる。

データ制御部３６ａは、第２の仮想視点位置Ｂにおいてデータ制御部３６ａの回転が完了したか否かを確認し（Ｓ１１６のＮｏ）、回転が完了した場合（Ｓ１１６のＹｅｓ）、仮想視点３８の第３の仮想視点位置Ｃに向かう移動を開始する（Ｓ１１８）。なお、仮想画像データは、第２の仮想視点位置Ｂで１８０°回転しているので、仮想視点３８を第３の仮想視点位置Ｃに向けて移動させても車両１の天地は逆転せず、第３の仮想視点位置Ｃで仮想画像データによる画像を表示する際に天地が適切な表示態様になるので現実世界の再現性が向上できる。

次に、データ制御部３６ａは、仮想視点３８の位置が表示最終位置に到達したか否か判定する（Ｓ１２０のＮｏ）。仮想視点３８が第３の仮想視点位置Ｃ（Ｃ１）に到達した、つまり、第３の仮想視点位置Ｃ（Ｃ１）に対応する仮想画像データの表示を実行した場合（Ｓ１２０のＹｅｓ）、ＣＰＵ１４ａ（操作受付部３４）は、このフローを一旦終了し、次の視点変換画像の表示要求の受け付けを待つ。この時点で「第一次画像」の表示が終了したことになる。

このように、データ制御部３６ａは、仮想画像データを表示する場合に、仮想視点３８を第１の仮想視点位置Ａ、第２の仮想視点位置Ｂ、第３の仮想視点位置Ｃに連続的に移動させるとともに、第２の仮想視点位置Ｂの位置で、仮想画像データを水平方向に１８０°回転させる。その結果、車両１の周囲の状況を仮想視点３８から見た視点変換画像により実質的な動画によりユーザに提供することが可能になり、車両１の周囲の状況（現実世界、現実空間）をより容易にユーザに把握させることができる。また、仮想視点３８の位置を高さ方向および第１の仮想視点位置Ａから第３の仮想視点位置Ｃの方向に連続的に移動させることにより、車両１の周囲に存在する物体（例えば物体４０〜４４）の見え方が刻々と変化する。その変化の過程（連続変化の過程）で物体（立体物）の特徴が分かり易くなる。さらに、視点変換画像を連続的に実質的な動画として表示することにより物体の形状変化を把握し易くすることができる。つまり、視点変換画像を間欠的、または個別に表示する場合に比べ、車両１の周囲の状況をユーザに理解させやすく表示することができる。

また、第３の仮想視点位置Ｃを車両１が発進する際の進行予定方向に対して後ろ側に位置するように設定して、仮想画像データの表示を終わらせることにより、図１２に示すように、発進方向の状況をユーザに印象付け易くなり、発進時の注意喚起をより強く行うことができる。

ところで、画像変換部３２が曲面投影を用いて撮像画像データから仮想画像データを生成する場合、ＣＰＵ１４ａの処理負荷が増大してしまう場合がある。一方、平面投影を用いて撮像画像データから仮想画像データを生成する場合、ＣＰＵ１４ａの処理負荷は曲面投影の場合に比べ軽減できる場合がある。前述したように平面投影を用いた場合、仮想視点３８が車両１と水平の位置にある場合、物体の表示が困難になる場合がある。そこで、図６に示すように、仮想視点３８の移動開始位置および移動終了位置を車両１に対する水平の位置より上方に移動して、第１の仮想視点位置Ａ１、第３の仮想視点位置Ｃ１とする。例えば、水平に対する第１の仮想視点位置Ａ１の仰角をα＝１５°とする。同様に水平に対する第３の仮想視点位置Ｃ１の仰角をβ＝１５°とする。このように、仮想視点３８の移動開始位置および移動終了位置を変更するのみで、物体が表示し難いという不都合を容易に回避することができる。さらに、ＣＰＵ１４ａの処理負荷を容易に軽減することができる。

図１３〜図１６は、平面投影を用いて生成した仮想画像データを用いた視点変換画像による表示例を示している。図１３に示すように、第１の仮想視点位置Ａ１に仮想視点３８が存在する場合、重畳される車両１は前方やや上方から俯瞰した状態となる。その結果、物体４０は、水平線から起き上がった状態で表示され、物体４０の存在をユーザに認識させ易くなる。データ制御部３６ａは、仮想視点３８が第２の仮想視点位置Ｂに到達した場合に、曲面投影で仮想画像データを生成した場合と同様に、仮想画像データを鉛直軸Ｏの周りで水平方向に１８０°回転させる（図１４、図１５）。平面投影を用いた場合、第２の仮想視点位置Ｂにおける仮想画像データで表示される物体４０〜４４は、ほぼ上面視像となり、物体４０〜４４と車両１との位置関係が曲面投影を用いた場合に比べて明確になる。仮想画像データの回転が完了すると、データ制御部３６ａは、仮想視点３８が第３の仮想視点位置Ｃ１に向かい移動を再開したように見えるように仮想画像データの順次表示を再開し、第３の仮想視点位置Ｃ１に対応する仮想画像データの表示を行い（図１６）、一連の表示処理を完了させる。図１６に示すように、第３の仮想視点位置Ｃ１に仮想視点３８が存在する場合、重畳される車両１は後方やや上方から俯瞰した状態となる。

このように、平面投影を用いて仮想画像データを生成して表示する場合も、仮想視点３８を第１の仮想視点位置Ａ１、第２の仮想視点位置Ｂ、第３の仮想視点位置Ｃ１に連続的に移動させるとともに、第２の仮想視点位置Ｂの位置で、仮想画像データを水平方向に１８０°回転させる。その結果、車両１の周囲の状況を仮想視点３８から見た視点変換画像による実質的な動画によりユーザに提供することが可能になり、車両１の周囲の状況（現実世界、現実空間）をより容易に把握させることができる。また、仮想視点３８の位置を高さ方向および第１の仮想視点位置Ａ１から第３の仮想視点位置Ｃ１の方向に連続的に移動させることにより、車両１の周囲に存在する物体（例えば物体４０〜４４）の見え方が刻々と変化する。その変化の過程（連続変化の過程）で物体（立体物）の特徴が分かり易くなる。さらに、視点変換画像を連続的に実質的な動画として表示することにより物体の形状変化が把握し易くすることができる。つまり、視点変換画像を間欠的、または個別に表示する場合に比べ、車両１の周囲の状況をユーザに理解させやすく表示することができる。

また、第３の仮想視点位置Ｃ１を車両１が発進する際の進行予定方向に対して後ろ側に位置するように設定して、仮想画像データの表示を終わらせることにより、図１６に示すように、発進方向の状況をユーザに印象付け易くなり、発進時の注意喚起をより強く行うことができる。

図１７は、図９〜図１２または図１３〜図１６に示す「第一次画像」の表示終了後に「第二次画像」の表示を行う場合の処理を説明するフローチャートである。

まず、データ制御部３６ａは、「第一次画像」の表示が終了していない場合（Ｓ２００のＮｏ）、つまり、図８に示すフローチャートが終了している場合、図１７のフローを一旦終了する。一方、「第一次画像」の表示が終了している場合（Ｓ２００のＹｅｓ）、画像制御部３６は、車輪速センサ２２からの情報に基づき車両１が停止中か否かを確認する（Ｓ２０２）。すなわち、画像制御部３６は、停止確認情報の取得確認、言い換えれば、車輪速センサ２２が未出力状態であることの確認を行う。車両１が停止中でない場合（Ｓ２０２のＮｏ）、すなわち、既に発進済みの場合は、一旦このフローを終了する。

Ｓ２０２において、車両１が停止中の場合（Ｓ２０２のＹｅｓ）、データ制御部３６ａは、「第二次画像」を表示するための所定条件が満たされているか否かを確認する（Ｓ２０４）。例えば、経時計測部３６ｂからの情報により所定条件が満たされているか否かを判定する場合、「第一次画像」の表示終了後に所定期間（例えば６０秒）が経過した場合、画像の再表示条件、すなわち、「第一次画像」の表示終了後に所定条件が満たされたときの最新の第二次の撮像画像データによる仮想画像データに基づく「第二次画像」の表示条件が満たされたと見なす（Ｓ２０４のＹｅｓ）。データ制御部３６ａは車輪速センサ２２からの情報に基づき車両１が所定条件の成立待ちの間に発進していないか否かを確認し（Ｓ２０６）、発進済みでない場合（Ｓ２０６のＮｏ）、「第二次画像」の表示を行う（Ｓ２０８）。この場合、図８において、Ｓ１００を「第二次画像」の表示要求あり？」と読み替え、Ｓ１０２の発進予定方向およびＳ１０４の表示開始視点位置は、「第一次画像」の表示を行ったときの値をそのまま使用し、Ｓ１０６以降の処理を実行する。その結果、所定条件が満たされたときの最新の第二次の仮想画像データを用いた「第二次画像」の表示が実行される。また、「第二次画像」の表示に先立ち、データ制御部３６ａは、音声制御部１４ｅを介して表示開始情報（表示メッセージ）を出力する（Ｓ２１０）。表示開始情報は、例えば、音声メッセージによる「新たな（最新の）周辺画像を表示します。ご確認ください。」等である。なお、Ｓ２０６において車両１が既に発進している場合（Ｓ２０６のＹｅｓ）、Ｓ２０８、Ｓ２１０の処理をスキップして一旦このフローを終了する。また、Ｓ２０４において、所定条件が満たされていない場合（Ｓ２０４のＮｏ）、一旦このフローを終了する。

なお、Ｓ２０４において、所定条件の成立の有無を、例えば差分抽出部３６ｃからの情報や発進操作受付部３６ｄからの情報で判定する場合、それぞれの条件が成立した場合に最新の（第二次の）仮想画像データに基づく「第二次画像」の表示条件が満たされたと見なす。そして、上述と同様な処理を実行して、「第二次画像」の表示を行う。また、この「第二次画像」の表示終了後、再び所定条件が成立した場合、再度最新の（第二次の）仮想画像データに基づく「第二次画像」を実行する。なお、車両１が発進されない場合、複数回「第二次画像」が表示される場合があるが、それぞれの「第二次画像」を表示するための所定条件は、毎回同じでもよいし、一定の規則にしたがって異ならせてもよい。例えば、初回の「第二次画像」の表示は経時計測部３６ｂからの情報を用いて所定期間が経過したら実行する。それ以降は、差分抽出部３６ｃからの情報を用いて、車両１の周辺状況に注目すべき変化が確認できた場合にのみ「第二次画像」を表示するようにしてもよい。また、初回の「第二次画像」の表示は経時計測部３６ｂからの情報を用いて所定期間が経過したら実行する。それ以降は、発進操作受付部３６ｄからの情報を用いて、車両１の発進準備操作が行われ、かつ、その発進準備操作が全て完了していないことが確認できた場合にのみ「第二次画像」を表示するようにしてもよい。このような所定条件の使い分けを行うことにより、必要以上に「第二次画像」が表示されることを抑制しつつ、適切なタイミングで「第二次画像」を提供する周辺監視システム１００が実現できる。

なお、差分抽出部３６ｃからの情報を用いて「第二次画像」を表示する場合、図１８に示すように、仮想画像データにおける表示領域をマトリックス状に複数の分割領域４８に分割し、「第一次画像」で用いた第一次の仮想画像データと最新の第二次の仮想画像データとを分割領域４８ごとに比較して差分を検出してもよい。また、検出された変化部分（物体４６）を強調表示、例えば強調枠５０で囲って表示してもよい。例えば、図１８の場合、「第一次画像」に存在していた物体４０、物体４２、物体４４の加え、新たに物体４６が仮想画像データ上出現した（車両１に接近してきた移動物体、歩行者等が出現した）場合が示されている。差分抽出部３６ｃは物体４６の位置を特定する情報をデータ制御部３６ａに提供し、データ制御部３６ａは、該当する分割領域４８を強調枠５０で囲むように表示制御部１４ｄに強調枠５０の重畳表示要求信号を提供する。強調枠５０は、「赤色」表示されたり、点滅表示され、ユーザの注意喚起を行いやすい態様で表示されることが望ましい。また、データ制御部３６ａは、音声制御部１４ｅを介して、例えば「新たに接近した物体を検出しました。注意してください。」等の音声メッセージを出力するようにしてもよい。

このように、車両１が発進準備状態の間、つまり車両１が起動したもののまだ発進していない状態のときに、第一次の撮像画像データ（仮想画像データ）を用いて車両１の周辺状況を示す「第一次画像」を表示する。そして、この「第一次画面」の表示終了後に所定条件が満たされた場合に、新たな（最新の）第二次の撮像画像データ（仮想画像データ）を用いた「第二次画像」を表示する。その結果、車両１の発進前のユーザに車両１の周辺状況の認識をさせやすくすることができる。

データ制御部３６ａは、仮想視点３８の移動速度、つまり、視点変換画像の動画表示速度を変更してもよい（可変できるようにしてもよい）。例えば、操作部１４ｇを介してユーザの希望する表示速度を受け付け、その表示速度に設定してもよい。この場合、ユーザの好みに沿う表示ができる。また、「第一次画像」を表示する場合と「第二次画像」を表示する場合で、仮想視点３８の移動速度（仮想画像データの順次表示の速度、動画速度）を変えてもよい。例えば、初回の「第一次画像」の表示では標準的な第１速度で表示し、２回目以降の「第二次画像」の表示では、第１速度より遅い第２速度で表示するようにしてもよい。この場合、車両１の周囲の状況をより理解させやすい表示ができる。

なお、上述した各実施形態では、仮想画像データを回転させる第２の仮想視点位置Ｂの位置を車両１の上空域のうち車両１を基準とした鉛直軸Ｏを含む位置（直上位置）として説明した。別の実施形態では、仮想画像データを回転させる位置は、鉛直軸Ｏを含む位置に限られず、鉛直軸Ｏの位置から所定量前後にずれた位置でもよく、同様の効果を得ることができる。また、仮想視点３８が第１の仮想視点位置Ａ（Ａ１）、第２の仮想視点位置Ｂ、第３の仮想視点位置Ｃ（Ｃ１）を移動しているように仮想画像データを表示する場合、実質的に動画として表示することが望ましいが、仮想画像データの表示は第１の仮想視点位置Ａ（Ａ１）から第３の仮想視点位置Ｃ（Ｃ１）に至るまで必ずしも連続していなくてもよい。例えば、動画の途中に静止画が存在するように表示してもよい。また、ユーザが操作部１４ｇ等を操作することにより、注目したい仮想視点の位置で仮想画像データによる表示を静止させてもよい。例えば、車両１の周辺の状況を表示しているときに、注目したい場面で仮想画像データによる表示を一時的に静止画とすることで、車両１と物体との位置関係や発進経路を検討し易くすることができる。

また、図６において、仮想視点３８は、車両１を中心とするほぼ半円軌道で移動する例を示したが、仮想視点３８が第２の仮想視点位置Ｂの位置またはその前後位置で１８０°回転すれば、その移動態様は適宜変更可能である。例えば、仮想視点３８が第１の仮想視点位置Ａ（Ａ１）から所定の高さに上昇した後、仮想視点３８を車両１の上空域を水平移動させる。その水平移動の間に仮想視点３８を水平方向に１８０°回転させて、その後、第３の仮想視点位置Ｃ（Ｃ１）に向けて下降させてもよい。この場合、車両１を俯瞰している状態が長くなり車両１と物体との位置関係をより把握させやすい表示ができる。

上述した実施形態では、撮像画像データから仮想画像データを生成する場合に曲面投影か平面投影かのいずれかを用いる例を示したがこれに限らない。曲面投影と平面投影とを適宜組み合わせて用いてもよい。例えば、第１の仮想視点位置Ａや第３の仮想視点位置Ｃの付近では曲面投影を用い、その他の部分では平面投影を用いてもよい。この場合、表示開始および終了位置の変更による視点変換画像の表示範囲の拡大ができるとともに、画像変換部３２における処理負荷の軽減が可能になる。

また、上述した実施形態では、撮像部１５が撮像した現在画像（リアルタイム画像）により仮想画像データを生成する例を示したが、撮像画像データを一時的にＲＡＭ１４ｃ等に保存して仮想画像データをタイミングを遅らせて生成するようにしてもよい。この場合、表示のリアルタイム性は僅かに低下する場合があるが、処理速度の遅いＣＰＵ１４ａの利用も可能になり、周辺監視装置のコスト削減に寄与できる。また、撮像部１５で撮像してＲＡＭ１４ｃ等に保存しておいた過去画像を用いて、本実施形態で示した視点変換画像を表示するようにしてもよい。この場合、現在の車両１の周囲のみならず、移動してきた領域（現在の車両１の位置から離れた位置）の状況（過去の状況）の把握も可能になり、周辺監視装置の利用機会を増やすことができる。

また、上述した実施形態では、仮想画像データを用いた視点変換画像（動画）を「第一次画像」および「第二次画像」として表示する例を示した。他の実施形態では、例えば、仮想画像データを用いた静止画像、例えば、トップビュー画像を「第一次画像」および「第二次画像」として表示するようにしてもよく、本実施形態と同様の効果を得ることができる。また、撮像部１５で撮像した撮像画像データをそのまま用いた動画や静止画像、または一部加工した動画や静止画像を用いて「第一次画像」および「第二次画像」を提供してもよい。例えば、撮像部１５ｃで撮像した車両１の前方向を示す撮像画像データを用いて「第一次画像」および「第二次画像」を表示してもよく、本実施形態と同様の効果を得ることができる。また、別の実施形態では、「第一次画像」を静止画像で表示し、「第二次画像」を動画で表示するようにしてもよい。この場合、「第一次画像」を表示するための処理が簡略化され、ＣＰＵ１４ａの処理負荷が低減できる。

なお、図５の説明では、画像制御部３６の構成が機能ごとに分割されたデータ制御部３６ａ、経時計測部３６ｂ、差分抽出部３６ｃ、発進操作受付部３６ｄを含む場合を説明した。別の実施形態では、複数の機能を統合したり、逆に機能を分割してもよい。また、画像制御部３６が全ての機能を実行するものとしてもよい。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、２…車体、８…表示装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｄ…表示制御部、１４ｇ…操作部、１５，１５ａ，１５ｂ，１５ｃ，１５ｄ…撮像部、３０…画像取得部、３２…画像変換部、３４…操作受付部、３６…画像制御部、３６ａ…データ制御部、３６ｂ…経時計測部、３６ｃ…差分抽出部、３６ｄ…発進操作受付部、３８…仮想視点、４０，４２，４４，４６…物体、４８…分割領域、５０…強調枠、１００…周辺監視システム（周辺監視装置）、Ａ，Ａ１…第１の仮想視点位置、Ｂ…第２の仮想視点位置、Ｃ，Ｃ１…第３の仮想視点位置、Ｏ…鉛直軸。

Claims (6)

1. 車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する画像取得部と、
   前記車両の車室内に設けられ画像を表示する表示装置と、
   前記車両の発進準備状態の間に、前記画像取得部によって取得される第一次の撮像画像データを用いて前記車両の周辺状況を示す第一次画像を表示するとともに、当該第一次画像の表示終了後に所定条件が満たされた場合に、前記第一次の撮像画像データよりも後に前記画像取得部によって取得された第二次の撮像画像データを用いた第二次画像を自動的に表示する制御部と、
   を備える周辺監視装置。
2. 前記撮像画像データを、前記車両に臨む撮像方向となる複数の仮想視点による仮想画像データに変換する画像変換部をさらに備え、
   前記制御部は、前記仮想画像データに基づく前記第一次画像および前記第二次画像を表示する請求項１に記載の周辺監視装置。
3. 前記制御部は、前記所定条件として、前記第一次画像の表示終了後に前記車両が発進することなく所定期間経過した場合に前記第二次画像を表示する請求項１または請求項２に記載の周辺監視装置。
4. 前記制御部は、前記所定条件として、前記第一次画像の表示終了後で前記車両が発進するまで前記第一次画像と、この第一次画像より後の周囲状況を示す撮像画像データとの間に所定値以上の差異が生じた場合に前記第二次画像を表示する請求項１または請求項２に記載の周辺監視装置。
5. 前記制御部は、前記所定条件として、前記第一次画像の表示終了後で前記車両の発進準備操作が開始された場合、前記発進準備操作が全て完了する前に前記第二次画像を表示する請求項１または請求項２に記載の周辺監視装置。
6. 前記制御部は、前記第二次画像を表示する場合に表示開始情報を出力させる請求項１から請求項５のいずれか１項に記載の周辺監視装置。

Images