JP2011035729A - 車両周辺画像表示装置および車両周辺画像表示方法 - Google Patents

Abstract

【課題】トップビュー画像と共に表示される車両側方画像がどの方向で撮影された画像なのかを直感的に分かりやすくできる「車両周辺画像表示装置および車両周辺画像表示方法」を提供する。
【解決手段】前方サイドビュー画像４１や後方ミラービュー画像４２などの車両側方画像をトップビュー画像４０と共に表示させるときに、車両側方画像とトップビュー画像内における当該車両側方画像の撮影方向との対応関係を示す識別画像（４０ａ，４１ａ），（４０ｂ，４２ｂ）を、車両側方画像およびトップビュー画像の双方に重畳して表示させることにより、識別画像が表示された車両側方画像およびトップビュー画像の双方を見ることで、トップビュー画像と共に表示される車両側方画像がどの方向で撮影された画像なのかを直感的に把握できるようにする。
【選択図】図２

Description

本発明は、車両周辺画像表示装置および車両周辺画像表示方法に関し、特に、自車両を上方の仮想視点から見た状態のトップビュー画像と共に、ドアミラーの視点から前方または後方を見た状態の車両側方画像を表示する装置に関するものである。

従来、自車両の前後左右に複数のカメラを設置し、当該複数のカメラにより撮影した自車両周囲の画像を視点変換処理することにより、自車両を上方の仮想視点から見た状態の画像（以下、トップビュー画像という）を生成し、当該トップビュー画像をディスプレイ等の表示装置に表示する技術が提案されている（例えば、特許文献１参照）。

また、自車両の左右のカメラをドアミラーに設置し、ドアミラーのカメラにより撮影した自車両周囲の画像に対して別の視点変換処理を施すことにより、自車両の側方でドアミラーより前方側を見た状態の画像（以下、前方サイドビュー画像という）や、自車両の側方でドアミラーより後方側をミラー越しに見た状態の画像（以下、後方ミラービュー画像という）を生成する。そして、前方サイドビュー画像や後方ミラービュー画像をトップビュー画像と併せて表示装置に表示する技術も提案されている。

これらのトップビュー画像、前方サイドビュー画像、後方ミラービュー画像（以下、これらを合わせて車両周辺画像という）を生成して表示する技術によれば、運転者は、自車両の表示装置に表示された車両周辺画像を確認することで、自車両とその周囲の障害物との位置関係を把握し、自車両と障害物との衝突等を防ぐように運転することができる。

特許第３３００３３４号公報

トップビュー画像は、自車両をその上方から見た状態で自車両の全体とその周囲を含む領域をカバーする画像であるため、自車両とその周囲の位置関係が一目で分かりやすい。しかしながら、前方サイドビュー画像や後方ミラービュー画像（以下、これら２つを合わせて車両側方画像という）は、どの方向で撮影された画像なのかが直感的に分かりにくいという問題があった。

すなわち、車両側方画像は左右とも２つずつ（前方側および後方側）存在するが、何れも自車両の一部（側面部分）だけしか画像内に写っていない。自車両は左右対称の構造を有しているため、左右の車両側方画像に写っている自車両の一部分は極めて似たものとなっており、区別がしにくい。また、後方ミラービュー画像は、ミラー越しに見た画像で左右が反転した状態に見えるため、左右の後方ミラービュー画像を混同しやすい。そのため、どの方向で撮影された画像なのかが直感的に分かりにくいという問題があった。

本発明は、このような問題を解決するために成されたものであり、トップビュー画像と共に表示される車両側方画像がどの方向で撮影された画像なのかを直感的に分かりやすくできるようにすることを目的とする。

上記した課題を解決するために、本発明では、車両の左右で撮像装置の設置位置より前方側を見た状態の車両側方画像および後方側を見た状態の車両側方画像の少なくとも１つをトップビュー画像と共に表示装置に表示させるときに、車両側方画像とトップビュー画像内における当該車両側方画像の撮影方向との対応関係を示す識別画像を、車両側方画像およびトップビュー画像の双方に重畳して表示させるようにしている。

上記のように構成した本発明によれば、自車両とその周囲の位置関係が一目で理解しやすいトップビュー画像上に車両側方画像の撮影方向を示す識別画像が表示されるとともに、その撮影方向に対応する車両側方画像上にも対応関係を示す識別画像が表示される。これによりユーザは、識別画像が表示された車両側方画像およびトップビュー画像の双方を見ることで、トップビュー画像と共に表示される車両側方画像がどの方向で撮影された画像なのかを直感的に把握することができるようになる。

本実施形態による車両周辺画像表示装置を適用した画像処理システムの構成例を示す図である。 本実施形態においてハンドルが左側に切られたときに表示装置に表示される画像の一例を示す図である。 本実施形態においてハンドルが右側に切られたときに表示装置に表示される画像の一例を示す図である。 自車両のドアが開かれても識別画像の表示を消去させない場合の画像例を示す図である。 自車両のドアが開かれているときに識別画像の表示を消去させるようにした場合の画像例を示す図である。 自車両のドアが開かれているときに車両側方画像および識別画像の表示を消去させるようにした場合の画像例を示す図である。 本実施形態において表示装置に表示される画像の他の例を示す図である。 本実施形態において表示装置に表示される画像の他の例を示す図である。 本実施形態による車両周辺画像表示装置を適用した画像処理システムの動作例を示すフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による車両周辺画像表示装置を適用した画像処理システムの構成例を示す図である。図１に示すように、本実施形態の画像処理システムは、車載カメラ１、画像処理部２、表示装置３、制御部４、ギア検出部５、操舵角検出部６およびドア開閉検出部７を備えて構成されている。これらのうち、画像処理部２が本発明の車両周辺画像表示装置に相当する。

車載カメラ１は、車両の前後左右の異なる場所に設置された複数の撮像装置であり、車両の前方を撮影するためのフロントカメラ１ａ、車両の左側方を撮影するための左サイドカメラ１ｂ、車両の右側方を撮影するための右サイドカメラ１ｃおよび車両の後方を撮影するためのリアカメラ１ｄにより構成されている。本実施形態において、左サイドカメラ１ｂおよび右サイドカメラ１ｃは、左右のドアミラーにそれぞれ設置されている。

画像処理部２は、その機能構成として、画像入力部２１、トップビュー画像生成部２２、第１のマッピングテーブル記憶部２３、車両画像記憶部２４、車両側方画像生成部２５、第２のマッピングテーブル記憶部２６、識別画像生成部２７、車両周辺画像表示制御部２８、識別画像表示制御部２９および画像合成部３０を備えている。

画像入力部２１は、複数の車載カメラ１ａ〜１ｄによって撮影された自車両の前後左右の画像をそれぞれ入力する。トップビュー画像生成部２２は、画像入力部２１により複数の車載カメラ１ａ〜１ｄから入力された前後左右の画像を視点変換処理することにより、車両を上方から見たトップビュー画像を生成する。

具体的に、トップビュー画像生成部２２はまず、第１のマッピングテーブル記憶部２３に記憶されている変換情報に従って視点変換処理することにより、自車両の周囲を上方から見たときの背景画像を生成する。この背景画像は、フロントカメラ１ａにより撮影された画像を視点変換して生成されたフロント車両周囲画像と、左サイドカメラ１ｂにより撮影された画像を視点変換して生成された左サイド車両周囲画像と、右サイドカメラ１ｃにより撮影された画像を視点変換して生成された右サイド車両周囲画像と、リアカメラ１ｄにより撮影された画像を視点変換して生成されたリア車両周囲画像とを合成することによって生成する。

第１のマッピングテーブル記憶部２３は、各車載カメラ１ａ〜１ｄにより撮影された画像の画素データと、自車両の周囲を上方の仮想視点から見た背景画像の画素データとの対応関係を記憶したテーブルであり、車載カメラ１ａ〜１ｄにより撮影された画像のある画素が背景画像のどの画素に対応するかを示す変換情報を記憶している。車両画像記憶部２４は、自車両を上方から見たときの形体を示す車両画像を記憶しており、トップビュー画像生成部２２により読み出される。トップビュー画像生成部２２は、上述した背景画像の略中央に車両画像を合成することにより、トップビュー画像を生成する。

車両側方画像生成部２５は、左サイドカメラ１ｂおよび右サイドカメラ１ｃにより入力された左右の画像を視点変換処理することにより、自車両の左右で当該左右のサイドカメラ１ｂ，１ｃ（左右のドアミラー）より前方側を見た状態の前方サイドビュー画像と、自車両の左右で当該左右のサイドカメラ１ｂ，１ｃ（左右のドアミラー）より後方側をミラー越しに見た状態の後方ミラービュー画像との少なくとも１つを生成する。

具体的に、車両側方画像生成部２５は、第２のマッピングテーブル記憶部２６に記憶されている変換情報に従って視点変換処理することにより、自車両の左右でドアミラーより前方側を見たときの前方サイドビュー画像または自車両の左右でドアミラーより後方側をミラー越しに見たときの後方ミラービュー画像を生成する。これらの車両側方画像内には、自車両の一部が写り込んでいる（当該自車両の一部の画像も視点変換処理の対象となっている）。

第２のマッピングテーブル記憶部２６は、左右のサイドカメラ１ｂ，１ｃにより撮影された画像の画素データと、ドアミラーから前方側または後方側に自車両の周囲を見た車両側方画像の画素データとの対応関係を記載したテーブルであり、左右のサイドカメラ１ｂ，１ｃにより撮影された画像のある画素が車両側方画像（前方サイドビュー画像、後方ミラービュー画像）のどの画素に対応するかを示す変換情報を記憶している。

なお、左側の前方サイドビュー画像、右側の前方サイドビュー画像、左側の後方ミラービュー画像、右側の後方ミラービュー画像の何れを生成するかは、後述するように制御部４により制御される。

車両周辺画像表示制御部２８は、車両側方画像生成部２５により生成された少なくとも１つの車両側方画像を、トップビュー画像生成部２２により生成されたトップビュー画像と共に表示装置３に表示させるように制御する。具体的には、車両周辺画像表示制御部２８は、トップビュー画像生成部２２により生成されたトップビュー画像および車両側方画像生成部２５により生成された少なくとも１つの車両側方画像を画像合成部３０に出力する。

識別画像生成部２７は、車両周辺画像表示制御部２８により表示装置３に表示される車両側方画像と、車両周辺画像表示制御部２８により表示装置３に表示されるトップビュー画像内における当該車両側方画像の撮影方向との対応関係を示す識別画像を生成する。識別画像表示制御部２９は、識別画像生成部２７により生成された識別画像を車両側方画像およびトップビュー画像の双方に重畳して表示させる。具体的には、識別画像表示制御部２９は、識別画像生成部２７により生成された識別画像を画像合成部３０に出力する。

本実施形態において、識別画像は、ドアミラーより前方側の場合は車両のヘッドライト部に重畳して表示させるためのヘッドライト画像であり、ドアミラーより後方側の場合は車両のブレーキランプ部に重畳して表示させるためのブレーキランプ画像である。ここで、前方側と後方側とを容易に識別できるようにするために、ヘッドライト画像とブレーキランプ画像とは異なる色とすることが好ましい。例えば、ヘッドライト画像は青色、ブレーキランプ画像は赤色とする。

識別画像表示制御部２９は、車両側方画像に含まれる車両の一部（前方サイドビュー画像の場合はヘッドライト部、後方ミラービュー画像の場合はブレーキランプ部）と、トップビュー画像に含まれる車両の一部であって当該車両側方画像に含まれる車両の一部に対応する部分（ヘッドライト部またはブレーキランプ部）とに対して同じ識別画像を表示させるように制御する。

すなわち、識別画像表示制御部２９は、車両周辺画像表示制御部２８によりトップビュー画像と共に左側の前方サイドビュー画像を表示するときは、左側の前方サイドビュー画像におけるヘッドライト部およびトップビュー画像における左側のヘッドライト部の双方に青色のヘッドライト画像を重畳して表示させる。また、識別画像表示制御部２９は、車両周辺画像表示制御部２８によりトップビュー画像と共に右側の前方サイドビュー画像を表示するときは、右側の前方サイドビュー画像におけるヘッドライト部およびトップビュー画像における右側のヘッドライト部の双方に青色のヘッドライト画像を重畳して表示させる。

同様に、識別画像表示制御部２９は、車両周辺画像表示制御部２８によりトップビュー画像と共に左側の後方ミラービュー画像を表示するときは、左側の後方ミラービュー画像におけるブレーキランプ部およびトップビュー画像における左側のブレーキランプ部の双方に赤色のブレーキランプ画像を重畳して表示させる。また、識別画像表示制御部２９は、車両周辺画像表示制御部２８によりトップビュー画像と共に右側の後方ミラービュー画像を表示するときは、右側の後方ミラービュー画像におけるブレーキランプ部およびトップビュー画像における右側のブレーキランプ部の双方に赤色のブレーキランプ画像を重畳して表示させる。

上述のように、トップビュー画像内における車両画像は所定の位置に描画されており、この車両画像は車両画像記憶部２４にあらかじめ用意されたものである。したがって、トップビュー画像における自車両のヘッドライト部とブレーキランプ部の位置は何れも固定の位置であり、既知である。また、車両側方画像において部分的な車両画像が写り込む位置は常に固定であるから、車両側方画像における自車両のヘッドライト部とブレーキランプ部の位置も固定の位置であり、既知である。識別画像表示制御部２９は、その既知の位置に対してヘッドライト画像やブレーキランプ画像を重畳して表示させるように制御する。

図２は、本実施形態において表示装置３に表示される画像の一例を示す図である。図２に示す例において、車両周辺画像表示制御部２８は、トップビュー画像４０を画面中央に表示させるとともに、左側の前方サイドビュー画像４１をトップビュー画像４０の左側上方に、右側の後方ミラービュー画像４２をトップビュー画像４０の右側下方にそれぞれ表示させている。

また、識別画像表示制御部２９は、トップビュー画像４０における左側のヘッドライト部および左側の前方サイドビュー画像４１におけるヘッドライト部の双方に青色のヘッドライト画像４０ａ，４１ａをそれぞれ重畳して表示させている。また、識別画像表示制御部２９は、トップビュー画像４０における右側のブレーキランプ部および右側の後方ミラービュー画像４２におけるブレーキランプ部の双方に赤色のブレーキランプ画像４０ｂ，４２ｂをそれぞれ重畳して表示させている。

制御部４は、ギア検出部５、操舵角検出部６およびドア開閉検出部７における各種検出結果に基づいて、トップビュー画像生成部２２、車両側方画像生成部２５および識別画像生成部２７の動作を制御する。ギア検出部５、操舵角検出部６、ドア開閉検出部７は、何れも車内ＬＡＮ１０を介して制御部４に接続されており、それぞれの検出結果を車内ＬＡＮ１０を介して制御部４に伝えるようになっている。

ギア検出部５は、自車両のギアがバックギアに入っているか否かを検出し、その検出結果を制御部４に通知する。制御部４は、ギア検出部５によりバックギアに入っていることが検出されたときに限り、トップビュー画像生成部２２、車両側方画像生成部２５および識別画像生成部２７を動作させるように制御する。これにより、バックギアに入っているときに限り、トップビュー画像および車両側方画像が識別画像と共に表示装置３に表示されるようになっている。

操舵角検出部６は、自車両のハンドル操舵角を検出し、その検出結果を制御部４に通知する。制御部４は、操舵角検出部６により検出されたハンドル操舵角に基づいて、左側の前方サイドビュー画像、右側の前方サイドビュー画像、左側の後方ミラービュー画像、右側の後方ミラービュー画像の何れを車両側方画像生成部２５において生成するかを制御する。

例えば、ハンドルが左側に切られているとき、制御部４は、左側の前方サイドビュー画像と右側の後方ミラービュー画像とを車両側方画像生成部２５において生成するように制御する。一方、ハンドルが右側に切られているとき、制御部４は、右側の前方サイドビュー画像と左側の後方ミラービュー画像とを車両側方画像生成部２５において生成するように制御する。

また、制御部４は、操舵角検出部６により検出されたハンドル操舵角に基づいて、左右のヘッドランプ画像、左右のブレーキランプ画像の何れを識別画像生成部２７において生成するかを制御する。例えば、ハンドルが左側に切られているとき、制御部４は、左側のヘッドランプ画像と右側のブレーキランプ画像とを識別画像生成部２７において生成するように制御する。一方、ハンドルが右側に切られているとき、制御部４は、右側のヘッドランプ画像と左側のブレーキランプ画像とを識別画像生成部２７において生成するように制御する。

上述した図２の画像例は、ハンドルが左側に切られていることが操舵角検出部６により検出されたときに表示される画像の例を示している。これに対して、次に示す図３は、ハンドルが右側に切られていることが操舵角検出部６により検出されたときに表示される画像の例を示している。すなわち、図３において、車両周辺画像表示制御部２８は、トップビュー画像４０を画面中央に表示させるとともに、左側の後方ミラービュー画像４３をトップビュー画像４０の左側下方に、右側の前方サイドビュー画像４４をトップビュー画像４０の右側上方にそれぞれ表示させている。

また、識別画像表示制御部２９は、トップビュー画像４０における左側のブレーキランプ部および左側の後方ミラービュー画像４３におけるブレーキランプ部の双方に赤色のブレーキランプ画像４０ｃ，４３ｃをそれぞれ重畳して表示させている。また、識別画像表示制御部２９は、トップビュー画像４０における右側のヘッドライト部および右側の前方サイドビュー画像４４におけるヘッドライト部の双方に青色のヘッドライト画像４０ｄ，４４ｄをそれぞれ重畳して表示させている。

ドア開閉検出部７は、自車両のフロントドア（左右の車載カメラ１ｂ，１ｃを備えたドアミラーが付いているドア）の開閉を検出し、その検出結果を制御部４に通知する。制御部４は、自車両のフロントドアが開かれたことがドア開閉検出部７により検知された場合、当該フロントドアが開かれている方向に対応する識別画像の表示を消去させるように識別画像生成部２７を制御する。

具体的には、識別画像生成部２７は、当該フロントドアが開いている方向の前方サイドビュー画像に重畳して表示させるための識別画像と、それに対応してトップビュー画像上に重畳して表示させるための識別画像とを除いて、他の方向に対応する識別画像を生成する。識別画像表示制御部２９は、当該生成された識別画像をトップビュー画像および車両側方画像に重畳して表示させる。

図４は、自車両のフロントドアが開かれても識別画像の表示を消去させない場合の画像例を示す図である。図４に示す例では、トップビュー画像４０を画面中央に表示させるとともに、左側の前方サイドビュー画像４１をトップビュー画像４０の左側上方に、右側の後方ミラービュー画像４２をトップビュー画像４０の右側下方に表示させている。また、図４に示す例では、トップビュー画像４０および左側の前方サイドビュー画像４１の双方に青色のヘッドライト画像４０ａ，４１ａをそれぞれ重畳して表示させるとともに、トップビュー画像４０および右側の後方ミラービュー画像４２の双方に赤色のブレーキランプ画像４０ｂ，４２ｂをそれぞれ重畳して表示させている。

図４に示すように、トップビュー画像４０上におけるヘッドライト画像４０ａは、自車両の左側のヘッドライト部に相当する位置にきちんと重畳して表示されている。また、トップビュー画像４０上におけるブレーキランプ画像４０ｂや右側の後方ミラービュー画像４２におけるブレーキランプ画像４２ｂも、自車両の右側のブレーキランプ部に相当する位置にきちんと重畳して表示されている。これに対して、左側の前方サイドビュー画像４１上におけるヘッドライト画像４１ａは、自車両の左側のヘッドライト部とは異なる不適切な位置に重畳して表示されている。これは、左側のフロントドアが開いていて、ドアミラーに設置された左サイドカメラ１ｂにより撮影される自車両の画像が大きく変化しているにもかかわらず、ドアが開いていなければ左側のヘッドライト部が存在する固定の位置にヘッドライト画像４１ａが表示されてしまっているからである。

図５は、自車両の左側のフロントドアが開かれているときに識別画像の表示を消去させるようにした場合の画像例を示す図である。図５の例では、自車両の左側のフロントドアが開かれたことがドア開閉検出部７により検知されたために、トップビュー画像４０および左側の前方サイドビュー画像４１の双方においてヘッドライト画像の表示を消去させている。このように、左側のフロントドアが開かれたときにはその方向の識別画像の表示を消去させることにより、図４のような表示の違和感をなくすことができる。

なお、制御部４は、ドア開閉検出部７の検出結果に基づいて識別画像生成部２７の動作を制御する代わりに、車両側方画像生成部２５および識別画像生成部２７の動作を制御するようにしても良い。すなわち、制御部４は、自車両のフロントドアが開かれたことがドア開閉検出部７により検知された場合、開かれたドア側の車両側方画像の表示を消去させるように車両側方画像生成部２５を制御するとともに、識別画像の表示も消去させるように識別画像生成部２７を制御する。

図６は、自車両の左側のフロントドアが開かれているときに左側の前方サイドビュー画像および識別画像の表示を消去させるようにした場合の画像例を示す図である。なお、ドアが開かれる前までは、トップビュー画像４０と左側の前方サイドビュー画像４１とが表示され、それぞれの画像における自車両のヘッドライト部にヘッドライト画像４０ａ，４１ａが表示されていたものとする。これに対して図６の例では、自車両の左側のフロントドアが開かれたことがドア開閉検出部７により検知されたために、トップビュー画像４０は表示しているものの、左側の前方サイドビュー画像もヘッドライト画像も表示を消去させている。

なお、本実施形態では、ヘッドライト画像およびブレーキランプ画像を識別画像として用いる例について説明したが、本発明はこれに限定されない。例えば、図７に示すように、識別画像生成部２７および識別画像表示制御部２９は、車両側方画像（図７の場合は左側の前方サイドビュー画像４１および右側の後方ミラービュー画像４２）に重畳して、表示枠４１ｅ，４２ｆをそれぞれ識別画像として所定色で表示させる。また、識別画像生成部２７および識別画像表示制御部２９は、車両側方画像の撮影方向を示す図形４０ｅ，４０ｆを識別画像として、それぞれ表示枠４１ｅ，４２ｆと同じ所定色でトップビュー画像４０に重畳して表示させる。

ここで、前方側と後方側とを容易に識別できるようにするために、前方サイドビュー画像４１の表示枠４１ｅおよびトップビュー画像４０上における当該前方サイドビュー画像４１の撮影方向を示す図形４０ｅの所定色（例えば、青色）と、後方ミラービュー画像４２の表示枠４２ｆおよびトップビュー画像４０上における当該後方ミラービュー画像４２の撮影方向を示す図形４０ｆの所定色（例えば、赤色）とを互いに異ならせるのが好ましい。

また、図８に示すように、識別画像生成部２７および識別画像表示制御部２９は、操舵角検出部６により検出される自車両のステアリング操舵角に基づいて自車両の予測走行軌跡を示す軌跡画像を生成し、当該軌跡画像を識別画像として表示させるようにしても良い。すなわち、車両側方画像（図８の場合は左側の前方サイドビュー画像４１および右側の後方ミラービュー画像４２）に重畳させるように軌跡画像４１ｇ，４２ｈを所定色で表示させるとともに、トップビュー画像４０に重畳させるように軌跡画像４０ｇ，４０ｈを車両側方画像上の軌跡画像４１ｇ，４２ｈと同じ所定色で表示させる。

ここで、前方側と後方側とを容易に識別できるようにするために、前方サイドビュー画像４１上の軌跡画像４１ｇおよびそれに対応するトップビュー画像４０上の軌跡画像４０ｇの所定色（例えば、青色）と、後方ミラービュー画像４２上の軌跡画像４２ｈおよびそれに対応するトップビュー画像４０上の軌跡画像４０ｈの所定色（例えば、赤色）とを互いに異ならせるのが好ましい。

次に、上記のように構成した本実施形態による車両周辺画像表示装置を適用した画像処理システムの動作を説明する。図９は、本実施形態による画像処理システムの動作例を示すフローチャートである。なお、この図９に示すフローチャートは、例えば、画像処理システムの電源が投入されたときにスタートする。本実施形態においては特に関係ないので図示は省略するが、画像処理システムの電源が投入された直後は、例えばナビゲーション画像などのあらかじめ決められた画像が表示装置３に表示される。

ナビゲーション画像などが表示されている状態で、ギア検出部５は、自車両のギアがバックギアに入っているか否かを検出し、その検出結果を制御部４に通知する。この通知に基づいて制御部４は、自車両のギアがバックギアに入っているか否か判定する（ステップＳ１）。ここで、ギアがバックギアに入っていないと判断した場合、制御部４は、ナビゲーション画像などを表示した状態のまま、ステップＳ１の判定を継続して行う。

一方、ギアがバックギアに入っていると制御部４にて判断した場合、操舵角検出部６は、自車両のハンドル操舵角を検出し、その検出結果を制御部４に通知する。この通知に基づいて制御部４は、ハンドルが左側に切られているか右側に切られているかを特定する（ステップＳ２）。次に、画像入力部２１は、複数の車載カメラ１ａ〜１ｄによって撮影された前後左右の画像をそれぞれ入力する（ステップＳ３）。

そして、トップビュー画像生成部２２は、制御部４からの制御に従って、ステップＳ３で入力された前後左右の画像を視点変換処理することによりトップビュー画像を生成する（ステップＳ４）。また、車両側方画像生成部２５は、ステップＳ３で入力された左右の画像を視点変換処理することにより、ハンドルが切られている方向（ステップＳ２で特定した方向）に応じてあらかじめ決められた方向の車両側方画像（左右の前方サイドビュー画像または左右の後方ミラービュー画像の少なくとも１つ）を生成する（ステップＳ５）。

次に、車両周辺画像表示制御部２８は、それまで表示されていたナビゲーション画像に代えて、ステップＳ４でトップビュー画像生成部２２により生成されたトップビュー画像と、ステップＳ５で車両側方画像生成部２５により生成された少なくとも１つの車両側方画像とを表示装置３に表示させる（ステップＳ６）。

ここで、ドア開閉検出部７は、自車両のドアの開閉を検出し、その検出結果を制御部４に通知する。この通知に基づいて制御部４は、車両側方画像が表示されている方向のフロントドアが開いているか否か判定する（ステップＳ７）。そして、当該フロントドアが開いていないと制御部４にて判断した場合、識別画像生成部２７は、制御部４からの制御に従い、トップビュー画像および車両側方画像に重畳して表示させるための識別画像を生成する。また、識別画像表示制御部２９は、この生成された識別画像をトップビュー画像および車両側方画像に重畳して表示させる（ステップＳ８）。

一方、当該フロントドアが開いていると制御部４にて判断した場合、識別画像生成部２７は、制御部４からの制御に従い、当該フロントドアが開いている方向の前方サイドビュー画像に重畳して表示させるための識別画像と、それに対応してトップビュー画像上に重畳して表示させるための識別画像とを除いて、他の方向に対応する識別画像を生成する。また、識別画像表示制御部２９は、この生成された識別画像をトップビュー画像および車両側方画像に重畳して表示させる（ステップＳ９）。

最後に、制御部４は、画像処理システムの電源がオフにされたか否かを判定する（ステップＳ１０）。電源がオフになっていない場合はステップＳ１の処理に戻る。一方、電源がオフにされた場合は、本フローチャートの処理を終了する。

以上詳しく説明したように、本実施形態では、車両側方画像をトップビュー画像と共に表示装置３に表示させるときに、車両側方画像とトップビュー画像内における当該車両側方画像の撮影方向との対応関係を示す識別画像を、車両側方画像およびトップビュー画像の双方に重畳して表示させるようにしている。

このように構成した本実施形態によれば、自車両とその周囲の位置関係が一目で理解しやすいトップビュー画像上に車両側方画像の撮影方向を示す識別画像が表示されるとともに、その撮影方向に対応する車両側方画像上にも対応関係を示す識別画像が表示される。これによりユーザは、識別画像が表示された車両側方画像およびトップビュー画像の双方を見ることで、トップビュー画像と共に表示される車両側方画像がどの方向で撮影された画像なのかを直感的に把握することができるようになる。

なお、上記実施形態では、自車両のフロントドアが開かれたことが検知された場合、当該フロントドアが開いている方向の前方サイドビュー画像に重畳して表示させるための識別画像と、それに対応してトップビュー画像上に重畳して表示させるための識別画像との双方の表示を消去する例について説明したが、本発明はこれに限定されない。例えば、当該フロントドアが開いている方向の前方サイドビュー画像に重畳して表示させるための識別画像だけを消去し、トップビュー画像上の識別画像は表示するようにしてもよい。このようにすれば、ユーザは、識別画像が表示されたトップビュー画像を見ることで、フロントドアが開かれた方向の前方サイドビュー画像上の不適切な位置に識別画像が表示されることによる違和感を持つことなく、トップビュー画像と共に表示される車両側方画像がどの方向で撮影された画像なのかを直感的に把握することができる。

また、上記実施形態では、識別画像生成部２７により識別画像を生成する例について説明しているが、本発明はこれに限定されない。生成する識別画像は固定であるので、車両画像記憶部２４と同じように固定の識別画像をあらかじめ記憶しておくようにしてもよい。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

２ 画像処理部
４ 制御部
５ ギア検出部
６ 操舵角検出部
７ ドア開閉検出部
２１ 画像入力部
２２ トップビュー画像生成部
２５ 車両側方画像生成部
２７ 識別画像生成部
２８ 車両周辺画像表示制御部
２９ 識別画像表示制御部

Claims (11)

1. 車両の前後左右の異なる場所に設置された複数の撮像装置によって撮影された前後左右の画像をそれぞれ入力する画像入力部と、
   上記画像入力部により入力された上記前後左右の画像を視点変換処理することにより、上記車両を上方から見た状態のトップビュー画像を生成するトップビュー画像生成部と、
   上記画像入力部により入力された左右の画像を視点変換処理することにより、上記車両の左右で上記撮像装置より前方側を見た状態の車両側方画像および上記車両の左右で上記撮像装置より後方側を見た状態の車両側方画像の少なくとも１つを生成する車両側方画像生成部と、
   上記車両側方画像生成部により生成された少なくとも１つの車両側方画像を、上記トップビュー画像生成部により生成されたトップビュー画像と共に表示装置に表示させる車両周辺画像表示制御部と、
   上記車両周辺画像表示制御部により表示された車両側方画像と、上記車両周辺画像表示制御部により表示されたトップビュー画像内における上記車両側方画像の撮影方向との対応関係を示す識別画像を、上記車両周辺画像表示制御部により表示された車両側方画像およびトップビュー画像に重畳して表示させる識別画像表示制御部とを備えたことを特徴とする車両周辺画像表示装置。
2. 上記識別画像表示制御部は、上記車両周辺画像表示制御部により表示された車両側方画像に含まれる車両の一部と、上記車両周辺画像表示制御部により表示されたトップビュー画像に含まれる車両の一部であって上記車両側方画像に含まれる車両の一部に対応する部分とに対して同じ識別画像を表示させることを特徴とする請求項１に記載の車両周辺画像表示装置。
3. 上記車両の一部は、上記車両の左右で上記撮像装置より前方側を見た状態の車両側方画像の場合は車両のヘッドライト部であり、上記車両の左右で上記撮像装置より後方側を見た状態の車両側方画像の場合は車両のブレーキランプ部であることを特徴とする請求項２に記載の車両周辺画像表示装置。
4. 上記識別画像表示制御部は、上記車両のヘッドライト部に対する上記識別画像とブレーキランプ部に対する上記識別画像とを異なる色で表示させることを特徴とする請求項３に記載の車両周辺画像表示装置。
5. 上記車両のドアが開かれたことを検知した場合、上記識別画像表示制御部は、開かれたドア側の撮影方向に対応する上記識別画像の表示を消去させることを特徴とする請求項２に記載の車両周辺画像表示装置。
6. 上記車両のドアが開かれたことを検知した場合、上記車両周辺画像表示制御部は、開かれたドア側の車両側方画像の表示を消去させるとともに、上記識別画像表示制御部は、開かれたドア側の撮影方向に対応する上記識別画像の表示を消去させることを特徴とする請求項２に記載の車両周辺画像表示装置。
7. 上記識別画像表示制御部は、上記車両側方画像表示制御部により表示された車両側方画像に重畳させるように表示枠を上記識別画像として所定色で表示させるとともに、上記車両周辺画像表示制御部により表示されたトップビュー画像に重畳させるように上記車両側方画像の撮影方向を示す図形を上記識別画像として上記表示枠と同じ所定色で表示させることを特徴とする請求項１に記載の車両周辺画像表示装置。
8. 上記識別画像表示制御部は、上記車両の左右で上記撮像装置より前方側を見た状態の車両側方画像の表示枠およびトップビュー画像上で当該前方側を見た状態の車両側方画像の撮影方向を示す図形の所定色と、上記車両の左右で上記撮像装置より後方側を見た状態の車両側方画像の表示枠およびトップビュー画像上で当該後方側を見た状態の車両側方画像の撮影方向を示す図形の所定色とを異ならせたことを特徴とする請求項７に記載の車両周辺画像表示装置。
9. 上記識別画像表示制御部は、上記車両のステアリング操舵角に基づいて上記車両の予測走行軌跡を示す軌跡画像を生成し、上記車両側方画像表示制御部により表示された車両側方画像に重畳させるように上記軌跡画像を上記識別画像として所定色で表示させるとともに、上記車両周辺画像表示制御部により表示されたトップビュー画像に重畳させるように上記軌跡画像を上記識別画像として上記車両側方画像上の軌跡画像と同じ所定色で表示させることを特徴とする請求項１に記載の車両周辺画像表示装置。
10. 上記識別画像表示制御部は、上記車両の左右で上記撮像装置より前方側を見た状態の車両側方画像上の軌跡画像およびそれに対応するトップビュー画像上の軌跡画像の所定色と、上記車両の左右で上記撮像装置より後方側を見た状態の車両側方画像上の軌跡画像およびそれに対応するトップビュー画像上の軌跡画像の所定色とを異ならせたことを特徴とする請求項９に記載の車両周辺画像表示装置。
11. 車両の前後左右の異なる場所に設置された複数の撮像装置によって撮影された前後左右の画像をそれぞれ入力する画像入力ステップと、
    上記画像入力ステップで入力された上記前後左右の画像を視点変換処理することにより、上記車両を上方から見た状態のトップビュー画像を生成するトップビュー画像生成ステップと、
    上記画像入力ステップで入力された左右の画像を視点変換処理することにより、上記車両の左右で上記撮像装置より前方側を見た状態の車両側方画像および上記車両の左右で上記撮像装置より後方側を見た状態の車両側方画像の少なくとも１つを生成する車両側方画像生成ステップと、
    上記車両側方画像生成ステップで生成された少なくとも１つの車両側方画像を、上記トップビュー画像生成部により生成されたトップビュー画像と共に表示装置に表示させる車両周辺画像表示ステップと、
    上記車両周辺画像表示ステップで表示された車両側方画像と、上記車両周辺画像表示ステップで表示されたトップビュー画像内における上記車両側方画像の撮影方向との対応関係を示す識別画像を、上記車両側方画像および上記トップビュー画像に重畳して表示させる識別画像表示ステップとを有することを特徴とする車両周辺画像表示方法。

Images