JP2012046124A - 画像表示システム、画像処理装置、および、画像表示方法 - Google Patents

Abstract

【課題】車両と駐車スペースとの位置関係を明確にする技術を提供する。
【解決手段】車両に配置された複数のカメラで得られる撮影画像から、車両及び車両の周辺領域を仮想視点から俯瞰した俯瞰画像を生成して、車両の周辺領域をほぼリアルタイムに示す俯瞰画像を表示する。そして、車両と相対的な位置に設けられて車両の大きさに対応した広さを有する駐車領域を俯瞰画像中に表示する。これにより、ユーザは車両と駐車スペースとの位置関係を一目で直感的に認識して駐車の可否判断を行える。
【選択図】図１

Description

本発明は、車両における画像表示技術に関する。

従来、車両を駐車する場合にユーザの目測で駐車スペースの広さを判断していた。そして、駐車スペースへの車両の駐車を開始した結果、車両の大きさよりも駐車スペースが狭いことにより駐車を断念せざるを得ない場合があった。また、車両の大きさと駐車スペースの広さとが略同一である場合、運転に慣れないユーザが駐車の際に車体を駐車スペースの外の障害物に衝突させてしまう可能性があった。

これに対して、駐車スペースへの駐車の可否を判断する技術が特許文献１に開示されている。この技術では、車両の前方に備えられたカメラにより車両前方の画像を撮影して表示装置に表示する。そして、車両の全長と車両の高さとの寸法をもとにした枠線（駐車領域）を表示装置の中央に表示し、駐車スペースと駐車領域とが重なりあう位置で車両を一旦停止させて駐車スペースが駐車領域を収める大きさか否かを対比する。

特開２００３−１２７８１３号公報

しかしながら、特許文献１に開示されている技術では、車両前方に備えられたカメラにより車両前方を撮影した画像に基づいて、駐車スペースと駐車領域とを対比する。このため、画像中に車両は表示されておらず、車両と駐車スペースとの位置関係が明確ではなく、ユーザは駐車スペースに車両を駐車できるか否かを明確には判断ではなかった。

本発明は、車両の駐車領域への駐車が可能か否かを明確にすることを目的とする。

上記課題を解決するために、請求項１の発明は、車両に搭載される画像表示システムであって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を仮想視点から俯瞰した俯瞰画像を生成する生成手段と、前記車両の周辺領域を前記俯瞰画像を表示し、前記車両の位置と異なる位置に前記車両の大きさに対応する駐車領域を前記俯瞰画像中に表示する表示手段と、を備える。

また、請求項２の発明は、請求項１に記載の画像表示システムにおいて、ユーザの操作を受け付ける受付手段をさらに備え、前記表示手段は、前記ユーザの操作に応答して前記駐車領域を含まない前記俯瞰画像と、前記駐車領域を含む前記俯瞰画像とを切替えて表示をする。

また、請求項３の発明は、請求項２に記載の画像表示システムにおいて、前記表示手段は、前記ユーザの操作に応答して前記駐車領域を含む前記俯瞰画像中の領域を前記ユーザの操作を行う前よりも拡大する。

また、請求項４の発明は、請求項２乃至３のいずれかに記載の画像表示システムにおいて、前記表示手段は、前記ユーザの操作に応答してユーザの任意の位置に前記駐車領域を移動して表示する。

また、請求項５の発明は、請求項１乃至４のいずれかに記載の画像表示システムにおいて、前記表示手段は、少なくとも一の前記駐車領域の全体領域を前記俯瞰画像中に表示する。

また、請求項６の発明は、請求項１乃至５のいずれかに記載の画像表示システムにおいて、前記表示手段は、前記車両前方の左右方向の少なくとも一方で前記駐車領域を表示する。

また、請求項７の発明は、 請求項１乃至６のいずれかに記載の画像表示システムにおいて、前記表示手段は、前記車両後方の左右方向の少なくとも一方で前記駐車領域を表示する。

また、請求項８の発明は、車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を仮想視点から俯瞰した俯瞰画像を生成する生成手段と、前記俯瞰画像を前記表示装置に出力して表示させ、前記車両の位置と異なる位置に前記車両の大きさに対応する駐車領域を前記俯瞰画像中に出力して前記表示装置に表示させる出力手段と、
を備える。

さらに、請求項９の発明は、車両に搭載される画像表示方法であって、前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を仮想視点から俯瞰した俯瞰画像を生成する工程と、前記車両の周辺領域を前記俯瞰画像を表示し、前記車両の位置と異なる位置に前記車両の大きさに対応する駐車領域を前記俯瞰画像中に表示する工程と、を備える。

請求項１ないし９の発明によれば、車両の周辺領域を前記俯瞰画像を表示し、車両の位置と異なる位置に車両の大きさに対応する駐車領域を俯瞰画像中に表示することで、ユーザは車両と駐車スペースとの位置関係を一目で直感的に認識して駐車の可否判断を行える。

また、特に請求項２の発明によれば、表示手段は、ユーザの操作に応答して駐車領域を含まない俯瞰画像と、駐車領域を含む俯瞰画像とを切替えて表示をすることで、ユーザが駐車したい位置に車両が到達した際に即座に駐車領域を表示させられる。

また、特に請求項３の発明によれば、表示手段は、ユーザの操作に応答して駐車領域を含む俯瞰画像中の領域をユーザの操作を行う前よりも拡大することで、ユーザは駐車スペースの詳細な状況を確認して駐車の可否を判断できる。

また、特に請求項４の発明によれば、表示手段は、ユーザの操作に応答してユーザの任意の位置に駐車領域を移動して表示することで、道路の形状などの周辺環境に応じて画像中の駐車領域の位置を変更でき、これにより車両と駐車スペースとの位置関係を明確にして、車両の駐車の可否を判断できる。

また、特に請求項５の発明によれば、表示手段は、少なくとも一の前記駐車領域の全体領域を前記俯瞰画像中に表示することで、ユーザは駐車領域の状態を詳細に確認できる。

また、特に請求項６の発明によれば、表示手段は、車両前方の左右方向の少なくとも一方で駐車領域を表示することで、ユーザは車両を進行させながら車両と駐車スペースとの位置関係を一目で直感的に認識して駐車の可否を判断できる。

さらに、特に請求項７の発明によれば、表示手段は、車両後方の左右方向の少なくとも一方で駐車領域を表示することで、ユーザは車両と駐車スペースとの位置関係を一目で直感的に認識した後、ユーザは駐車スペースに対してすぐにステアリングを操作して駐車動作を開始できる。

図１は、画像表示システムのブロック図である。 図２は、車載カメラが車両に配置される位置を示す図である。 図３は、合成画像を生成する手法を説明するための図である。 図４は、画像表示システムの動作モードの遷移を示す図である。 図５は、車両前方の左側に駐車領域の画像を表示する合成画像を示す図である。 図６は、拡大画像を表示する合成画像を示す図である。 図７は、駐車領域が右方向に移動した画像を表示する合成画像を示す図である。 図８は、駐車領域が左方向に回転した画像を表示する合成画像を示す図である。 図９は、画像処理装置の処理フローチャートである。 図１０は、車両後方の左側に駐車領域を表示する合成画像を示す図である。 図１１は、車両の前方の左右及び後方の左右の位置に駐車領域を表示する合成画像を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜第１の実施の形態＞
＜１−１．システム構成＞
図１は、画像表示システム１２０のブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内のナビゲーション装置２０などの表示装置に出力する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。

図１に示すように、画像表示システム１２０は、車両の周辺を示す周辺画像を生成してナビゲーション装置２０などの表示装置に画像情報を出力する画像処理装置１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に備えている。

ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。

ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００で生成された車両の周辺の様子を示す周辺画像や、車両９及び車両９の周辺領域を俯瞰した俯瞰画像が表示される。また、ディスプレイ２１に表示される俯瞰画像は周辺領域をほぼリアルタイムに示すことになる。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。

画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Electronic Control Unit）であり、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。これらの撮影部５が備える複数の車載カメラ５１，５２，５３は、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。

画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。

ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作に応答した動作が可能となっている。

また、画像処理装置１００は、駐車支援ボタン２０１を備えている。この駐車支援ボタン２０１がユーザに操作されると、ユーザの指示を示す信号が制御部１に入力されて、後述するフロントモードＭ２（図４に示す。）の画像が表示される。なお、この駐車支援ボタン４５はハードボタンとして画像処理装置１００やナビゲーション装置２０に設けられてもよいし。また、駐車支援ボタン４５は、ナビゲーション装置２０のディスプレイ２１にユーザが指などをディスプレイ２１に接触させて操作するタッチパネルのボタンとして表示されるようにしてもよい。

画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、合成画像生成部３１、画像範囲選択部３２、及び、画像情報出力部３３を主な機能として備えている。

合成画像生成部３１は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３１が仮想視点からみた合成画像を生成する手法については後述する。

また、画像情報出力部３３は合成画像生成部３１において生成された合成画像情報をナビゲーション装置２０へ出力する。これにより、車両の周辺を示す周辺画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。

制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す画像制御部１１は、このようにして実現される制御部１の機能のうちの一部を示している。

画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３１が生成する合成画像の生成に必要な各種パラメータなどを指示する。また、画像範囲選択部３２がサイドカメラ５３により撮影した画像の所定範囲を選択するための指示を車種ごとのパラメータの情報に基づいて行う。

また、画像制御部１１は、後述する縦列駐車ボタン２０２（図４に示す。）のユーザの操作に応答して、ナビゲーション装置２０のディスプレイ２１に表示される俯瞰画像中に車両９と異なる位置に車両９の大きさに対応する駐車領域ＲＦ１１（図４に示す。）を俯瞰画像中に表示するための制御を行う。

また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。

不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、合成画像生成部３１が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。また、縦列駐車モードで表示させる駐車領域のデータも記憶されている。

カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。

メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＣに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像表示システム１２０を異なる種別の車両に対応させることも可能である。

また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速センサ８２、及び、方向指示器８３などから、各種情報を示す信号が制御部１に入力される。

シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。

方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。

＜１−２．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。

撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５１，５２，５３はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。

図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。

フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。

＜１−３．画像変換処理＞
次に、画像生成部３の合成画像生成部３１が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図３は、合成画像を生成する手法を説明するための図である。

撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。

次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。

撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。

また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像を仮想的に備えている。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。

さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。

そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。

例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。

なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。

＜１−４．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図４は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ１、フロントモードＭ２、バックモードＭ３、及び、縦列駐車モードＭ４の４つの動作モードを有している。これらの動作モードは、ユーザの操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。

ナビモードＭ１は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像ＮＰを主にディスプレイ２１に表示する動作モードである。ナビモードＭ１では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。

フロントモードＭ２、バックモードＭ３、及び、縦列駐車モードＭ４は、画像処理装置１００の機能を利用して、撮影画像ＰＰ、合成画像ＣＰ及びＣＱ０、運転サポート画像ＰＨ０などをディスプレイ２１に表示して、車両９の周辺の状況をほぼリアルタイムでユーザに示す動作モードである。

また、フロントモードＭ２は、前進時に必要となる車両９の前方や側方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰと、フロントカメラ５１での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。この合成画像ＣＰの仮想視点の位置は、車両９の直上に限らず、ユーザの操作に応じて車両９の後方側などへ切り替えられるようになっていてもよい。さらに、フロントモードＭ２は、自車の中心に周囲２〜３ｍの範囲を俯瞰画像として表示したモードである。

なお、フロントモードＭ２の合成画像ＣＰでは、駐車領域ＲＦ１１は表示されておらず、フロントモードＭ２から縦列駐車モードＭ４に切り替えられた場合に駐車領域ＲＦ１１が表示される。つまり、画像制御部１１は、ユーザの操作に応答して駐車領域ＲＦ１１を含まない俯瞰画像と駐車領域ＲＦ１１を含む俯瞰画像とを切替えて表示する。これにより、ユーザが駐車したい位置に車両が到達した際に即座に駐車領域を表示させられる。

また、バックモードＭ３は、後退時に必要となる車両９の後方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰと、バックカメラ５２での撮影により得られる撮影画像ＰＰとが同時にディスプレイ２１に表示される。この合成画像ＣＰの仮想視点の位置は、車両９の直上に限らず、ユーザの操作に応じて車両９の前方側などへ切り替えられるようになっていてもよい。

さらに、縦列駐車モードＭ４は、ユーザが車両９を縦列駐車する際にユーザの運転操作をサポートするモードである。例えば、図中に示すように、車両９の直上の仮想視点からみた車両９の周辺領域をほぼリアルタイムに示し、車両９の位置と異なる位置に車両９の大きさに対応する駐車領域ＲＦ１１を表示する画像が合成画像俯瞰画像）ＣＱ０として表示される。

また、縦列駐車モードＭ４は、フロントモードＭ２の縦列駐車ボタン２０２をユーザが操作することにより開始される。そして、縦列駐車モードＭ４では、フロントモードＭ２で表示されていた車両９と車両９の周辺の様子を示す合成画像俯瞰画像）ＣＰに、車両９の位置と異なる位置に設けられて車両９の大きさに対応する駐車領域ＲＦ１１の画像の表示が加わり、合成画像ＣＱ０として表示される。なお、縦列駐車モードＭ４は、フロントモードＭ２から仮想視点の位置を上方の位置に移動させて自車と駐車領域ＲＦ１１とがディスプレイ２１の１画面内で表示されるようにしている。

また、フロントモードＭ２の縦列駐車ボタン２０２をユーザが操作すると、フロントモードＭ２で表示されていた撮影画像ＰＰは縦列駐車モードＭ４では表示せずに、画像ＣＱ０をディスプレイ２１の略中央に表示する。なお、ユーザの選択に応じて合成画像ＣＱ０と共に撮影画像ＰＰを表示してもよい。

各モードの遷移は、ナビモードＭ１において、ナビゲーション装置２０のディスプレイ２１に表示される駐車支援ボタン２０１をユーザが操作した場合、または、ユーザが操作部２２を操作した場合など、所定操作によりフロントモードＭ２に切り替えられる。また、フロントモードＭ２において、ユーザの操作部２２による操作などの所定操作により、ナビモードＭ１に切り替えられる。なお、ナビモードＭ１とフロントモードＭ２とは、車速センサ８２から入力される走行速度に応じて切り替えてもよい。

また、ナビモードＭ１あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトポジションが”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、シフトポジションが”Ｒ（後退）”の場合は、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。また、バックモードＭ３の場合に、シフトポジションが”Ｒ（後退）”以外となったときは、バックモードＭ３に切り替えられる直前の動作モードに戻ることになる。なお、バックモードＭ３において、ディスプレイ２１に表示される駐車支援ボタン２０１をユーザが操作した場合は、フロントモードＭ２となる。

そして、フロントモードＭ２において、ディスプレイ２１に表示された縦列駐車ボタン２０２をユーザが操作すると、縦列駐車モードＭ４の画像が画像処理装置１００から出力され、ディスプレイ２１に表示される。また、縦列駐車モードＭ４においてディスプレイ２１の戻るボタン２０３をユーザが操作した場合は、フロントモードＭ２に遷移する。

＜１−５縦列駐車モード＞
以下では、縦列駐車モードＭ４で画像処理装置１００から出力されて、ナビゲーション装置２０のディスプレイ２１に表示される合成画像の詳細について図５〜図８を用いて説明する。図５は、車両前方の左側に駐車領域の画像を表示する合成画像ＣＱ０及びＣＱ１を示す図である。フロントモードＭ２で縦列駐車ボタン２０２がユーザにより操作されると、縦列駐車モードＭ４の合成画像ＣＱ０（以下、「画像ＣＱ０」ともいう。）が画像処理装置１００から出力され、ディスプレイ２１に表示される。
合成画像ＣＱ０は、略中心に車両９の画像が表示されている俯瞰画像であり、車両の周辺領域を略リアルタイムに示している。そして、車両９の前方の左方向に駐車領域ＲＦ１１を表示している。この駐車領域ＲＦ１１は、車両９の進行方向の長さが車両９の全長の約１．５倍で、車幅方向の長さが車両９の車幅の約１．２倍の広さを備えている略長方形の領域である。そして、駐車領域ＲＦ１１は車両９と相対的な位置にあり、駐車領域ＲＦ１１の後端の一辺が車両９の先端部から左方向に延びる略同一線上の位置にあり、車両９と駐車領域ＲＦ１１との間隔は約１ｍとなっている。画像ＣＱ０では車両９前方の左方向の駐車エリアＳＥ１の範囲内に駐車している他車両１９ａ全体を略覆う位置に駐車領域ＲＦ１１は表示されている。

これにより、ユーザは車両９と駐車スペースとの位置関係を一目で直感的に認識して駐車の可否判断を行える。つまり、ユーザは車両９と他車両１９ａが駐車している駐車エリアＳＥ１との位置関係を認識して、駐車領域ＲＦ１１に含まれる車両の走行路と区分けされた駐車エリアＳＥ１の領域に車両９の駐車は不可能であることを判断する。なお、駐車領域ＲＦ１１はこのように車両９の大きさに対応した広さと車両９との相対的な位置を維持した状態で、車両９の移動に伴って移動する。

図５に示す合成画像ＣＱ１（以下「画像ＣＱ１」ともいう。）は画像ＣＱ０の車両９が移動した状態を示している。車両９と相対的な位置にある駐車領域ＲＦ１１は車両９の移動に伴い、他車両１９ａ全体を略覆う位置から駐車エリアＳＥ１内で、他車両１９ａと他車両１９ｂとの間の駐車スペースＳＡ１０１（以下「スペースＳＡ１０１」ともいう。）に移動している。

このスペースＳＡ１０１は、車両９の駐車領域ＲＦ１１の大きさよりも広い場所であることが画像ＣＱ１に表示されている。これにより、ユーザは車両９とスペースＳＡ１０１との位置関係を一目で直感的に認識して、車両９のスペースＳＡ１０１への駐車が可能であることを判断できる。また、駐車領域ＲＦ１１の位置が車両９の前方となっていることにより、ユーザが車両９を進行させながら、スペースＳＡ１０１との位置関係を一目で直感的に認識して駐車の可否を判断できる。
図６は、拡大画像を表示する合成画像ＣＱ１ａを示す図である。画像ＣＱ１を表示している際に、ユーザのディスプレイ２１のタッチパネル操作や操作部２２のハードスイッチの操作などによる画像拡大の操作に応答して図６に示す合成画像ＣＱ１ａ（以下、「画像ＣＱ１ａ」ともいう。）が画像処理装置１００から出力され、ディスプレイ２１に出力される。
画像ＣＱ１ａは、ユーザの操作に応答して駐車領域ＲＦ１１を含む俯瞰画像中の領域をユーザが操作する前の画像ＣＱ１よりも拡大して表示する。詳細には、俯瞰画像を生成する仮想視点の位置を駐車領域ＲＦ１１と駐車領域ＲＦ１１に含まれる範囲全体が画像ＣＱ１においてユーザの操作を行う前よりも拡大される位置で画像処理装置１００が画像を生成する。

そして、画像ＣＱ１の全体を拡大した場合に、駐車領域ＲＦ１１と駐車領域ＲＦ１１内に含まれる領域全体が拡大して表示されるように画像処理装置１００から出力してディスプレイ２１に表示する。これにより、ユーザは駐車スペースの詳細な状況を確認して駐車の可否を判断できる。
図７は、駐車領域が右方向に移動した画像を表示する合成画像ＣＱ１ｂを示す図である。画像ＣＱ１を表示している際に、ユーザのディスプレイ２１のタッチパネル操作や操作部２２のハードスイッチの操作などによる画像移動の操作に応答して図７に示す合成画像ＣＱ１ｂ（以下、「画像ＣＱ１ｂ」ともいう。）が画像処理装置１００から出力され、ディスプレイ２１に出力される。
画像ＣＱ１ｂは、駐車エリアＳＥ１内のスペースＳＡ１０１を領域内に含む駐車領域ＲＦ１１が、ユーザの操作に応答して車両前方の右側の相対的な位置に移動する画像を画像処理装置１００から出力して、ディスプレイ２１に表示している。

そして、ユーザの操作に応答して移動した駐車領域ＲＦ１１は、車両９の前方の右側に位置する車両の走行路と区分けされた駐車エリアＳＥ２内のスペースＳＡ１０２を領域内に含む駐車領域ＲＦ１１ａとなる。ここで、車両前方の右側の相対的な位置は、駐車領域ＲＦ１１ａの後端の一辺が車両９の先端部から右方向に延びる略同一線上の位置にあり、車両９と駐車領域ＲＦ１１ａとの間隔は約１ｍの位置である。このように、周辺の駐車スペースの位置などの周辺環境に応じて画像中の駐車領域の位置を変更でき、これにより車両と駐車スペースとの位置関係を明確にして、車両の駐車の可否を判断できる。

なお、移動させた駐車領域ＲＦ１１ａは、車両９の移動に伴い、車両９と相対的な位置にある駐車領域ＲＦ１１ａの位置から車両９と同方向に移動する。
図８は、駐車領域が左方向に回転した画像を表示する合成画像ＣＱ１ｃを示す図である。画像ＣＱ１を表示している際に、ユーザのディスプレイ２１のタッチパネル操作や操作部２２のハードスイッチの操作などによる画像回転の操作に応答して図８に示す合成画像ＣＱ１ｃ（以下、「画像ＣＱ１ｃ」ともいう。）が画像処理装置１００から出力され、ディスプレイ２１に出力される。
画像ＣＱ１ｃは、車両９前方の左側の相対的な位置にある駐車領域ＲＦ１１が、車両９の向きにより、駐車エリアＳＥ１内のスペースＳＡ１０１と対応する駐車領域ＲＦ１１の各辺が平行な状態ではないことにより車両９の駐車の可否を判断できない。

このような場合に、ユーザの操作に応答して駐車領域ＲＦ１１がスペースＳＡ１０１と平行となるように駐車領域ＲＦ１１の向きを回転させて、駐車領域ＲＦ１１ｂとした画像を画像処理装置１００から出力して、ディスプレイ２１に表示する。このように、車両の向きや道路の形状などの周辺環境に応じて画像中の駐車領域の位置を変更でき、これにより車両と駐車スペースとの位置関係を明確にして、車両の駐車の可否を判断できる。

なお、回転させた駐車領域ＲＦ１１ｂは、車両９の移動に伴い回転前の車両９と相対的な位置にある駐車領域ＲＦ１１ａの位置に戻り、駐車領域ＲＦ１１ａは車両９と同方向に移動する。
＜２．処理＞
次に、画像処理装置１００の処理について説明する。図９は画像処理装置１００の処理フローチャートである。画像処理装置１００は、ユーザからの駐車支援ボタン２０１の操作信号を受信した場合（ステップＳ１０１がＹｅｓ）、フロントモードＭ２の画像を出力して（ステップＳ１０２）、ステップＳ１０３の処理へ進む。なお、画像処理装置１００がユーザからの駐車支援ボタン２０１の操作信号を受信していない場合（ステップＳ１０１がＮｏ）は、処理を終了する。

ステップＳ１０３では、画像処理装置１００がユーザからの縦列駐車ボタン２０２の操作信号を受信した場合（ステップＳ１０３がＹｅｓ）、縦列駐車モードＭ４の画像を出力して（ステップＳ１０４）、ステップＳ１０５の処理へ進む。縦列駐車モードＭ４では、車両９の周辺領域を略リアルタイムに示す俯瞰画像（画像ＣＱ０）を表示して、車両９の位置と異なる位置に設けられて車両９の大きさに対応する駐車領域ＲＦ１１を俯瞰画像（画像ＣＱ０）中に表示する。なお、縦列駐車ボタン２０２の操作信号を画像処理装置１００が受信していない場合（ステップＳ１０３がＮｏ）は、フロントモードＭ２の画像出力を継続する。

ステップＳ１０５では、ユーザの操作により画像処理装置１００が画像ＣＱ１の画像拡大信号を受信している場合（ステップＳ１０５がＹｅｓ）は、ユーザの操作に応答して駐車領域ＲＦ１１を含む俯瞰画像中の領域をユーザが操作する前の画像ＣＱ１よりも拡大した画像ＣＱ１ａを出力し（ステップＳ１０６）、次の処理であるステップＳ１０７へ進む。

ステップＳ１０５において、画像処理装置１００が画像拡大信号を受信していな場合（ステップ１０５がＮｏ）の場合は、ステップＳ１０６の処理は行わず、次の処理であるステップＳ１０７へ進む。

ステップＳ１０７では、ユーザの操作により画像処理装置１００が画像ＣＱ１の駐車領域ＲＦ１１の画像移動信号を受信している場合（ステップＳ１０７がＹｅｓ）は、車両９前方の左側の相対的な位置にある駐車領域ＲＦ１１が、ユーザの操作に応答して車両前方の右側の相対的な位置に移動して駐車領域ＲＦ１１ａを含む画像を画像処理装置１００から出力して（ステップＳ１０８）、次の処理であるステップＳ１０９へ進む。

ステップＳ１０７において、画像処理装置１００が画像移動信号を受信していな場合（ステップ１０７がＮｏ）の場合は、ステップＳ１０８の処理は行わず、次の処理であるステップＳ１０９へ進む。

ステップＳ１０９では、ユーザの操作により画像処理装置１００が画像ＣＱ１の駐車領域ＲＦ１１の画像回転信号を受信している場合（ステップＳ１０９がＹｅｓ）は、駐車領域ＲＦ１１をユーザの操作に応答して回転させた駐車領域ＲＦ１１ｂを含む画像を画像処理装置１００から出力して（ステップＳ１１０）、次の処理であるステップＳ１１１へ進む。

ステップＳ１０７において、画像処理装置１００が画像回転信号を受信していな場合（ステップ１１０がＮｏ）の場合は、ステップＳ１１１の処理は行わず、次の処理であるステップＳ１１１へ進む。

ステップＳ１１１で戻るボタン２０３をユーザが操作した場合（ステップＳ１１１がＹｅｓ）は、画像処理装置１００は、フロントモードＭ２の画像を出力して（ステップＳ１１２）処理を終了する。また、戻るボタン２０３をユーザが操作していない場合（ステップＳ１１１がＮｏ）は、ステップＳ１０５の処理に戻り、縦列駐車モードＭ４における各処理を継続して行う。
＜変形例＞
以下、変形例について説明する。なお、上記の実施の形態、及び、下記で説明する形態を含む全ての形態は適宜に組み合わせ可能である。

また、上記の実施の形態では、縦列駐車の場合の処理について述べたが、これらの各実施の形態の内容を並列駐車の場合に適用することも可能である。

また、画像制御部１１は、駐車領域ＲＦ１１の全体領域を俯瞰画像中に表示する。また、複数の駐車領域が俯瞰画像中に表示されている場合でも、少なくとも一の駐車領域の全体領域を俯瞰画像中に表示する。これにより、ユーザは駐車領域の状態を詳細に確認できる。

また、上記の実施の形態では、駐車領域ＲＦ１１及びＲＦ１１ａは車両９の前方の左右いずれかに表示するようにしたが、前方の左右両方でもよいし、
さらに、駐車領域の表示は車両９の後方に表示してもよい。図１０は、車両後方の左側に駐車領域ＲＦ１２を表示する合成画像ＣＱ２を示す図である。

合成画像ＣＱ２は、車両９の後方の相対的な位置に駐車領域ＲＦ１２を表示している。駐車領域ＲＦ１２は、駐車領域ＲＦ１１と同じ広さで車両９の進行方向の長さが車両９の全長の約１．５倍、車幅方向の長さが車両９の車幅の約１．２倍の広さを備えている略長方形の領域である。
そして、駐車領域ＲＦ１２は車両９と相対的な位置にあり、駐車領域ＲＦ１２の先端の一辺が車両９の後端部から左方向に延びる略同一線上の位置にあり、車両９と駐車領域ＲＦ１２との間隔は約１ｍとなっている。画像ＣＱ２では車両９後方の左方向の駐車エリアＳＥ１内のスペースＳＡ１０１の全体を覆う位置に駐車領域ＲＦ１２は表示されている。これにより、ユーザは車両９とスペースＳＡ１０１との位置関係を一目で直感的に認識した後、ユーザはスペースＳＡ１０１に対してすぐにステアリングを操作して駐車動作を開始できる。
なお、図１０では車両９の後方の左側の駐車領域ＲＦ１２について述べたが車両９の後方の右側に駐車領域を設けてもよいし、左右両方に駐車領域を設けてもよい。

さらに、車両９の周囲に駐車領域を設けてもよい。図１１は、車両の前方の左右及び後方の左右の位置に駐車領域を表示する合成画像ＣＱ３を示す図である。合成画像ＣＱ３は、車両９の前方左側には駐車領域ＲＦ１１、前方右側には駐車領域ＲＦ１１ａ、後方左側には駐車領域ＲＦ１２、後方右側には駐車領域ＲＦ１２ａをそれぞれ車両９と相対的な位置に表示している。

そして、駐車領域ＲＦ１１はその領域内に駐車エリアＳＥ１内の他車両１９ｂの一部が含まれていることから、車両９の駐車は不可能であるとユーザは判断できる。また、その他の駐車領域ＲＦ１１ａ、ＲＦ１２、及び、ＲＦ１２ａはそれぞれ駐車エリアＳＥ１内のスペースＳＡ１０１と、駐車エリアＳＥ２内の駐車スペースＳＡ１０２、及び、駐車スペースＳＡ１０３を領域内に含んでおり、車両９の駐車が可能であるとユーザは判断できる。このように車両の周囲に複数の駐車領域を表示することで、車両９と複数の駐車エリアとの位置関係を一目で直感的に認識して、車両９の駐車の可否を判断できる。

また、図７を用いて述べた駐車領域ＲＦ１１の移動は一例であり、車両９の位置とは関係なく、ユーザの操作によりユーザ任意の位置に駐車領域を移動させることができる。これにより、ユーザは自身が選択した位置での車両９の駐車の可否を判断できる。なお、車両９と相対的な位置ではないユーザの任意の位置に移動させた駐車領域は、車両の移動に伴い、元の車両９との相対的な位置に戻り、車両９との相対的な位置を保った状態で車両９の移動方向と同方向に移動する。

また、図８を用いて述べた駐車領域ＲＦ１１の回転方向は一例であり、ユーザの操作によりユーザの任意の方向に駐車領域を回転させることができる。なお、車両９と相対的な位置ではないユーザの任意の方向に回転させた駐車領域は、車両の移動に伴い、元の車両９との相対的な位置に戻り、車両９との相対的な位置を保った状態で車両９の移動方向と同方向に移動する。

また、駐車領域の表示を透過表示としたり、点滅表示としてもよい。これにより、駐車領域に含まれる駐車スペースなどの領域の画像をユーザが確認しやすくなる。

また、表示されている合成画像よりも更に広い範囲を表示する場合は、俯瞰画像を生成する仮想視点の位置を現在の画像を生成する位置よりも上方向の位置に移動させることで、車両９から離れた駐車スペースをユーザが確認することもできる。

また、駐車領域内に含まれる駐車スペースに車両９を駐車する場合は、ユーザの操作により、駐車領域が表示されている位置に車両９の駐車位置を確定した後、駐車支援の画像をディスプレイ２１に表示して、駐車スペースに車両９を駐車することも可能である。

さらに、上記の実施の形態の俯瞰画像は複数のカメラの撮影画像により生成された合成画像以外に一のカメラにより生成された俯瞰画像であってもよい。

１・・・・制御部
３・・・・画像生成部
５・・・・撮影部
２０・・・ナビゲーション装置
４０・・・不揮発性メモリ
４１・・・信号入力部
４２・・・ナビ通信部
８１・・・シフトセンサ
８２・・・車速センサ
８３・・・方向指示器

Claims (9)

1. 車両に搭載される画像表示システムであって、
   前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を仮想視点から俯瞰した俯瞰画像を生成する生成手段と、
   前記車両の周辺領域を前記俯瞰画像中に表示し、前記車両の位置と異なる位置に前記車両の大きさに対応する駐車領域を前記俯瞰画像中に表示する表示手段と、
   を備えることを特徴とする画像表示システム。
2. 請求項１に記載の画像表示システムにおいて、
   ユーザの操作を受け付ける受付手段をさらに備え、
   前記表示手段は、前記ユーザの操作に応答して前記車両の俯瞰画像と、前記車両及び前記駐車領域を含む俯瞰画像とを切替えて表示すること、
   を特徴とする画像表示システム。
3. 請求項１に記載の画像表示システムにおいて、
   ユーザの操作を受け付ける受付手段をさらに備え、
   前記表示手段は、前記ユーザの操作に応答して前記車両及び前記駐車領域を含む前記俯瞰画像と、前記車両の一部と少なくとも一の前記駐車領域の全体領域を含む俯瞰画像とを切り替えて表示すること、
   を特徴とする画像表示システム。
4. 請求項１に記載の画像表示システムにおいて、
   ユーザの操作を受け付ける受付手段をさらに備え、
   前記表示手段は、前記ユーザの操作に応答して前記駐車領域を含む前記俯瞰画像中の領域を前記ユーザの操作を行う前よりも拡大すること、
   を特徴とする画像表示システム。
5. 請求項１乃至４のいずれかに記載の画像表示システムにおいて、
   ユーザの操作を受け付ける受付手段をさらに備え、
   前記表示手段は、前記ユーザの操作に応答してユーザの任意の位置に前記駐車領域を移動して表示すること、
   を特徴とする画像表示システム。
6. 請求項１乃至５のいずれかに記載の画像表示システムにおいて、
   前記表示手段は、前記車両前方の左右方向の少なくとも一方で前記駐車領域を表示すること、
   を特徴とする画像表示システム。
7. 請求項１乃至６のいずれかに記載の画像表示システムにおいて、
   前記表示手段は、前記車両後方の左右方向の少なくとも一方で前記駐車領域を表示すること、
   を特徴とする画像表示システム。
8. 車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、
   前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を仮想視点から俯瞰した俯瞰画像を生成する生成手段と、
   前記俯瞰画像を前記表示装置に出力して表示させ、前記車両の位置と異なる位置に前記車両の大きさに対応する駐車領域を前記俯瞰画像中に出力して前記表示装置に表示させる出力手段と、
   を備えることを特徴とする画像処理装置。
9. 車両に搭載される画像表示方法であって、
   前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を仮想視点から俯瞰した俯瞰画像を生成する工程と、
   前記車両の周辺領域を前記俯瞰画像中に表示し、前記車両の位置と異なる位置に前記車両の大きさに対応する駐車領域を前記俯瞰画像中に表示する工程と、
   を備えることを特徴とする画像表示方法。

Images