JP2008213744A - 車輌周辺視認装置 - Google Patents

Abstract

【課題】車輌に撮像手段を搭載して周辺の撮像を行って車内の表示手段に表示する場合に、撮像した車輌周辺の画像を表示する必要があるか否かを適切に判断し、車輌の走行状態及び周辺状態に適した加工を施した画像を表示することができる車輌周辺視認装置を提供する。
【解決手段】車速センサ６１及びシフトレバー６２等の状態を車輌の走行に係る走行情報として取得し、車輌が走行中であるか又は停車中であるか等の走行状態を判定する。また、撮像部５から車輌の周辺を撮像した画像を取得し、この画像を基に車輌の周辺の状況を判定する。走行状態のみでなく周辺状況を考慮して撮像した画像をディスプレイ２に表示するか否かをＥＣＵ３のＣＰＵ３５が判断する。また、撮像した画像を表示する場合には、走行状態及び周辺状況に応じて画像処理部３１が画像を加工し、加工後の画像をディスプレイ２に表示する。
【選択図】図２

Description

本発明は、車輌に一又は複数のカメラを搭載して車輌の周辺を撮像し、撮像により取得した画像を車内に設けられたディスプレイに表示することができる車輌周辺視認装置に関する。

従来、車輌の前側、後側又は左右側等にカメラを搭載して車輌の周辺を撮像し、取得した画像を車輌内の運転席近傍に配設されたディスプレイに表示することによって、運転者へ種々の情報を提供し、運転者の運転を支援する車輌周辺視認装置が実用化されている。例えば、車輌が幅の狭い道路を走行する場合、見通しの悪い交差点を走行する場合、又は駐車場に車輌を駐車する場合等に、車輌の運転席から死角となる部分をカメラで撮像してディスプレイに表示することができるため、事故を未然に防ぐことが可能となる。

車輌内に配設されたディスプレイは、このように車輌の周辺を撮像して表示する場合にのみに用いられるわけではなく、例えばカーナビゲーション装置が現在位置及び案内経路等を運転者に通知するための地図画像などを表示する場合に用いられ、また、車輌に搭載されたチューナにより受信したテレビ番組を表示する場合に用いられるなど、多種の目的に利用されることが多い。よって、ディスプレイに表示する画像を切り替える必要が生じるが、従来の場合では、運転者がスイッチ又はボタン等を操作して直接的に画像を切り替えるか、又は車速及びシフトレバー等の状態を基に自動的に切り替えるかしていた。

また近年では、車輌に搭載されるカメラの数が増しており、車輌の周辺を複数のカメラによって広範囲に亘って撮像を行うことによって、運転者へより多くの情報を提供することが可能となっている。車輌に複数のカメラを搭載する場合には、車輌内のディスプレイにいずれのカメラが撮像した画像を表示するかを選択する必要が生じる。例えば、車輌の前後にそれぞれカメラを搭載している場合、車輌のシフトレバーの状態を取得して、車輌が前進する状態では前側に搭載されたカメラによる画像をディスプレイに表示し、車輌が後退する状態では後側に搭載されたカメラによる画像をディスプレイに表示する、のようなカメラの選択及びディスプレイの表示の切り替えが行われる。運転者のスイッチ操作に基づいてカメラを選択し、ディスプレイの表示を切り替える構成とすることもできる。

特許文献１においては、車輌に複数のテレビカメラを搭載し、変速装置のシフト情報、操舵装置の操舵角情報、方向指示装置の指示方向情報及び走行速度情報等の車輌情報を検出し、記憶されたテレビカメラの搭載情報及び検出した車輌情報に基づいてテレビカメラからの画像データを選択する構成の車載映像表示装置が提案されている。
特開２００４−４２８２４６号公報

しかしながら、従来の車輌周辺視認装置では、車輌内のディスプレイに表示する画像を運転者がスイッチ又はボタン等を操作して切り替える構成の場合、運転者が操作を行う必要があり、操作が煩わしく、運転者の負担が大きいという問題があった。このため、運転者が切り替えの操作を行わない虞があり、必要な画像がディスプレイに表示されない虞があった。また、車速及びシフトレバー等の状態を基にディスプレイに表示する画像を自動的に切り替える構成の場合、画像の切り替えが強制的に行われ、車速及びシフトレバー等の状態が所定の条件のときには常にカメラが撮像した車輌周辺の画像が表示される。よって、車速及びシフトレバー等の状態が変化するまで必要のない画像がディスプレイに表示され続け、カーナビゲーション装置の地図画像の表示又はテレビ番組の視聴等を不必要に妨げる虞があり、運転者にとって煩わしいという問題があった。このため、カメラが撮像した画像をディスプレイに表示する機能を運転者が停止させる虞があり、車輌の周辺を撮像した画像を必要な状況でディスプレイに表示することができない虞があった。特許文献１に記載の車載映像表示装置についても同様である。

また、ディスプレイに表示する画像は、車輌に搭載したカメラが撮像により取得した無加工の画像が運転者にとって最適であるとは限らない。近年、車輌に搭載するカメラは、１８０°程度の広い画角を有する広角カメラが用いられる場合が多い。広角カメラを用いることによって、１つのカメラで車輌の周囲を広範囲に亘って撮像することができ、例えば車輌の前後左右にそれぞれカメラを搭載することによって、車輌の周辺を全周に亘って撮像することも可能である。しかし、広角カメラが撮像した画像をそのまま表示した場合、車輌周辺の広範囲の画像がディスプレイに表示されるため、運転者が広範囲の画像から必要な情報を探索して取得しなければならない。例えば、遠方から接近する他の車輌を確認する場合と、駐車場に車輌を駐車するために駐車枠を確認する場合とでは、運転者が必要とする画像の範囲は異なる。また、広角カメラが撮像して取得した画像は、画像の周辺部分、即ちカメラから遠方の部分が湾曲した画像となるため、運転者が認識し難いという問題がある。

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、車輌の走行情報を取得して走行状態を判定すると共に、撮像して取得した画像を基に車輌の周辺状況を判定し、これらの判定結果を基に画像を表示するか否かを判定すると共に撮像した画像の加工を行い、表示する必要がある場合には加工を行った画像を表示する構成とすることにより、撮像した車輌周辺の画像を表示する必要があるか否かを適切に判断し、車輌の走行状態及び周辺状態に適した加工を施した画像を表示することができる車輌周辺視認装置を提供することにある。

また本発明の他の目的とするところは、車輌が所定速度より高速に走行している状態から所定速度より低速に走行している状態に変化し、車輌の周辺に駐車場が存在する場合に、撮像して取得した画像から駐車場を含む画像を切り出す加工を行って、加工後の画像を表示する構成とすることにより、運転者が車輌を駐車場に駐車する状況を適切に判断し、駐車に適した画像を表示することができる車輌周辺視認装置を提供することにある。

また本発明の他の目的とするところは、撮像して取得した画像から駐車場を含む画像を切り出し、切り出した画像に車輌及び駐車場の位置関係を示す案内画像を重畳して表示する構成とすることにより、車輌を駐車する際の運転者の運転を支援することができる車輌周辺視認装置を提供することにある。

また本発明の他の目的とするところは、車輌が所定速度より高速に走行している状態から所定速度より低速に走行している状態に変化し、車輌の前方に停車した他車輌が存在する場合には、撮像した車輌周辺の画像を表示しない構成とすることにより、車輌周辺の画像を表示する必要がない状況を適切に判断し、他の機器の表示を妨げることがない車輌周辺視認装置を提供することにある。

また本発明の他の目的とするところは、車輌の前方から左右側方に亘っての範囲を撮像できる撮像手段を搭載して、車輌が所定速度より高速に走行している状態から所定速度より低速に走行している状態に変化し、車輌の周辺に駐車場が存在せず、且つ、車輌の前方に停車した他車輌が存在しない場合には、撮像手段が撮像して取得した画像から車輌の前方部分より左右側方部分を強調した画像を生成し、この画像を表示する構成とすることにより、見通しの悪い交差点などを車輌が走行する状況を適切に判断し、左右の遠方から接近する他車輌などを表示することができる車輌周辺視認装置を提供することにある。

また本発明の他の目的とするところは、車輌の周辺に移動物体が存在する場合には、この移動物体が撮像された画像を表示する構成とすることにより、車輌周辺の歩行者又は他車輌等を自動的に表示することができる車輌周辺視認装置を提供することにある。

また本発明の他の目的とするところは、車輌周辺の物体までの距離を測定する手段を備えて、車輌の周辺に移動物体が存在し、この移動物体までの距離が所定距離以内の場合に、この移動物体が撮像された画像を表示する構成とすることにより、車輌の走行により接触又は衝突等の虞がある車輌近傍の移動物体を自動的に表示することができる車輌周辺視認装置を提供することにある。

また本発明の他の目的とするところは、車輌が後退する状態であり、車輌の周辺に駐車場が存在する場合に、撮像して取得した画像から駐車場を含む画像を切り出す加工を行って、加工後の画像を表示する構成とすることにより、運転者が車輌を駐車場に駐車する状況を適切に判断し、駐車に適した画像を表示することができる車輌周辺視認装置を提供することにある。

また本発明の他の目的とするところは、撮像して取得した画像から直線を抽出し、抽出した２つの直線の間の距離が所定範囲内の場合に、車輌の周辺に駐車場が存在すると判定する構成とすることにより、撮像した画像のみから簡単に駐車場が存在するか否かを判定することができる車輌周辺視認装置を提供することにある。

また本発明の他の目的とするところは、撮像して取得した画像から赤色部分を抽出し、２つの赤色部分の間の距離が所定距離範囲内の場合に、車輌の前方にて他車輌が停車したと判定する構成とすることにより、撮像した画像のみから簡単に車輌の前方に停車した他車輌が存在するか否かを判定することができる車輌周辺視認装置を提供することにある。

第１発明に係る車輌周辺視認装置は、車輌に搭載され、該車輌の周辺を撮像して画像を取得する撮像手段と、該撮像手段が撮像して取得した画像を表示する表示手段とを備える車輌周辺視認装置において、前記車輌の走行に係る情報を取得する走行情報取得手段と、該走行情報取得手段が取得した走行情報を基に、前記車輌の走行状態を判定する走行状態判定手段と、前記撮像手段が撮像して取得した画像を基に、前記車輌の周辺状況を判定する周辺状況判定手段と、前記走行状態判定手段の判定結果及び前記周辺状況判定手段の判定結果を基に、前記撮像手段が撮像した画像を前記表示手段に表示するか否かを判定する表示判定手段と、前記走行状態判定手段の判定結果及び前記周辺状況判定手段の判定結果に応じて、前記撮像手段が撮像した画像を加工する画像加工手段と、前記表示判定手段が表示すると判定した場合に、前記画像加工手段が加工した画像を前記表示手段に表示させる表示制御手段とを備えることを特徴とする。

本発明においては、車速、シフトレバーの状態、ブレーキの状態及び操舵角等の車輌の走行に係る走行情報を取得し、車輌が走行中であるか、停車中であるか、所定速度より高速に走行中であるか、又は所定速度より低速に走行中であるか等の走行状態を判定する。これと同時に、車輌に搭載したカメラなどの撮像手段から車輌の周辺を撮像した画像を取得し、この画像を基に車輌の周辺の状況を判定する。車輌の周辺状況として、例えば、車輌の周辺に駐車場が存在するか否か、車輌の前方に停車中の他車輌が存在するか否か、又は車輌の周辺に歩行者若しくは他車輌等の移動物体が存在するか否か等を画像から判定することができる。走行情報から判定される車輌の走行状態のみでなく、撮像した画像から判定される車輌の周辺状況を用いることによって、撮像した画像をディスプレイなどの表示手段に表示するか否かをより適切に判断することが可能となる。また、画像の表示を行う必要がある場合には、車輌の走行状態及び周辺状況に応じて撮像した画像を加工して表示する。例えば、撮像して取得した画像から一部を切り出す加工、拡大若しくは縮小する加工、又は案内線若しくは警告メッセージ等を画像に重畳する加工等を、車輌の走行状態及び周辺状況に応じて施すことにより、運転者の運転を支援することができる。

また、第２発明に係る車輌周辺視認装置は、前記走行状態判定手段が前記車輌は所定速度より高速に走行している状態から前記所定速度より低速に走行している状態に変化したと判定し、且つ、前記周辺状況判定手段が前記車輌の周辺に駐車場が存在すると判定した場合に、前記表示判定手段は、画像を表示すると判定し、前記画像加工手段は、前記撮像手段が撮像して取得した画像から前記駐車場を含む所定範囲の画像を切り出す加工を行うようにしてあることを特徴とする。

本発明においては、車輌が所定速度より高速に走行している状態から低速に走行している状態に変化し、車輌の周辺に駐車場が存在する場合には、運転者は車輌を駐車場に駐車させる可能性が高い。このため、撮像した画像から駐車場を含む所定範囲の画像を切り出して表示することによって、車輌の駐車のために運転者が行う運転操作を効率的に支援することが可能となる。

また、第３発明に係る車輌周辺視認装置は、前記画像加工手段が、切り出した画像に前記駐車場と前記車輌との位置関係を示す案内画像を重畳する加工を行うようにしてあることを特徴とする。

本発明においては、撮像して取得した画像から駐車場を含む所定範囲を切り出した画像に、車輌及び駐車場の位置関係を示す案内画像を重畳して表示する。案内画像として、例えば、車輌の車体又はタイヤ等の位置を示す画像又は車輌の進行方向を示す矢印等を表示することができる。これにより、運転者は表示された案内画像を参考にして車輌の駐車を行うことができるため、駐車のための運転操作をより効率的に支援することが可能となる。

また、第４発明に係る車輌周辺視認装置は、前記走行状態判定手段が前記車輌は所定速度より高速に走行している状態から前記所定速度より低速に走行している状態に変化したと判定し、且つ、前記周辺状況判定手段が前記車輌の前方に停車した他車輌が存在すると判定した場合に、前記表示判定手段は、画像を表示しないと判定するようにしてあることを特徴とする。

本発明においては、車輌が所定速度より高速に走行している状態から低速に走行している状態に変化し、車輌の前方に停車した他車輌が存在する場合には、車輌は信号待ちなどで他車輌の後に停車した可能性が高い。また、渋滞などにより走行と停車とを繰り返している可能性もある。このような場合には、車輌の周辺の画像を表示する必要性は低く、画像を表示することによってカーナビゲーション装置の地図表示又はテレビ番組の表示等を妨げる虞があるため、車輌の周辺の画像は表示しない。

また、第５発明に係る車輌周辺視認装置は、前記撮像手段が、前記車輌の前方から左右側方に亘っての範囲を撮像することが可能にしてあり、前記走行状態判定手段が前記車輌は所定速度より高速に走行している状態から前記所定速度より低速に走行している状態に変化したと判定し、前記周辺状況判定手段が前記車輌の周辺に駐車場が存在しないと判定し、且つ、前記周辺状況判定手段が前記車輌の前方に停車した他車輌が存在しないと判定した場合に、前記表示判定手段は、画像を表示すると判定し、前記画像加工手段は、前記撮像手段が撮像して取得した画像から、前記車輌の前方部分より左右側方部分を強調した画像を生成するようにしてあり、前記表示制御手段は、前記画像加工手段が生成した画像を前記表示手段に表示させるようにしてあることを特徴とする。

本発明においては、広角カメラなどの広範囲に亘って撮像を行うことができる撮像手段を車輌に搭載し、車輌の前方から左右側方に亘っての範囲を撮像する。車輌が所定速度より高速に走行している状態から低速に走行している状態に変化したときに、車輌の周辺に駐車場が存在せず、且つ、車輌の前方に停車した車輌が存在しない場合、例えば車輌が交差点で先頭に停車した場合などがこれに相当するが、運転者は車輌を発進させて走行を継続する可能性が高い。このため、車輌を発進させる前に車輌の左右側を強調した画像を表示することによって、車輌の左右側から接近する他車輌などを運転者に示すことができ、発進前の左右確認を確実に行わせることができる。

また、第６発明に係る車輌周辺視認装置は、前記周辺状況判定手段が前記車輌の周辺に移動物体が存在すると判定した場合に、前記表示判定手段は、画像を表示すると判定するようにしてあることを特徴とする。

本発明においては、車輌の周辺に歩行者又は他車輌等の移動物体が存在するか否かを判定する。例えば、所定期間を開けて撮像された２つの画像の差分を算出することによって、撮像された画像のみから車輌の周辺に移動物体が存在するか否かを判定することができる。移動物体が存在する場合には車輌の走行によって接触又は衝突等の危険があるため、この移動物体が撮像された画像を表示し、運転者に警告を与える。

また、第７発明に係る車輌周辺視認装置は、前記車輌周辺の物体までの距離を測定する測定手段を備え、前記周辺状況判定手段が前記車輌の周辺に移動物体が存在すると判定し、前記測定手段が測定した前記車輌から前記移動物体までの距離が所定距離以内の場合に、前記表示判定手段は、画像を表示すると判定するようにしてあることを特徴とする。

本発明においては、車輌に超音波センサなどを搭載して車輌から周辺の物体までの距離を測定する。撮像により取得した画像を基に、例えばステレオ測距方式を用いて距離の測定を行う構成であってもよい。車輌の周辺に移動物体が存在し、且つ、この移動物体までの距離が所定距離以内の場合には、車輌の走行によって接触又は衝突等が発生する危険性が高いため、この移動物体を確実に表示して運転者に警告を与える。

また、第８発明に係る車輌周辺視認装置は、前記走行状態判定手段が前記車輌は後退状態であると判定し、前記周辺状況判定手段が前記車輌の周辺に駐車場が存在すると判定した場合に、前記表示判定手段は、画像を表示すると判定し、前記画像加工手段は、前記撮像手段が撮像して取得した画像から前記駐車場を含む所定範囲の画像を切り出す加工を行うようにしてあることを特徴とする。

本発明においては、例えばシフトレバーの状態などを基に車輌が後退する状態であるか否かを判定する。車輌が後退する状態であり、且つ、車輌の周辺に駐車場が存在する場合、運転者は車輌を駐車場に駐車させる可能性が高い。このため、撮像した画像から駐車場を含む所定範囲の画像を切り出して表示することによって、車輌の駐車のために運転者が行う運転操作を効率的に支援することが可能となる。

また、第９発明に係る車輌周辺視認装置は、前記周辺状況判定手段が、前記撮像手段が撮像して取得した画像から直線を抽出する抽出手段を有し、前記抽出手段が抽出した２つの直線の間の距離が所定の距離範囲内の場合に、前記車輌の周辺に駐車場が存在すると判定するようにしてあることを特徴とする。

本発明においては、車輌の周辺に駐車場が存在するか否かの判定は、撮像して取得した画像から直線を抽出し、抽出した２つの直線の間の距離が所定範囲内であるか否かにより行う。駐車場は白色の直線にて左右又は前後左右が囲まれた構成である場合が多く、道路の左右に描かれた白線と比較して間隔が狭い。よって、２つの直線の距離を調べることによって、撮像した画像のみから判定を行うことが可能である。

また、第１０発明に係る車輌周辺視認装置は、前記撮像手段が、前記車輌の前方を撮像するようにしてあり、前記周辺状況判定手段は、前記撮像手段が撮像して取得した画像から赤色部分を抽出する抽出手段を有し、該抽出手段が抽出した２つの赤色部分の間の距離が所定の距離範囲内の場合に、前記車輌の前方に停車した他車輌が存在すると判定するようにしてあることを特徴とする。

本発明においては、撮像手段により車輌の前方を撮像する。車輌の前方に停車中の他車輌が存在するか否かの判定は、撮像して取得した画像から赤色部分を抽出し、抽出した２つの赤色部分の間の距離が所定範囲内であるか否かにより行う。交差点などで停車している車輌は赤色のブレーキランプが点灯している場合が多く、ブレーキランプは車輌後部の左右に設けられているため、ある程度の距離範囲内に収まる。よって、撮像した画像に所定距離範囲内の２つの赤色部分が存在するか否かを調べることにより、撮像した画像のみから判定を行うことが可能である。

第１発明による場合は、車輌の走行情報を取得して走行状態を判定すると共に、撮像して取得した画像を基に車輌の周辺状況を判定し、これらの判定結果を基に画像を加工して表示を行う構成とすることにより、走行情報から判定される車輌の走行状態のみでなく、撮像した画像から判定される車輌の周辺状況を用いることによって、撮像した画像を表示手段に表示するか否かをより適切に判断することができるため、運転者の運転に必要な画像を表示することができ、必要のない画像が表示されることを抑制できる。また、表示手段には車輌の走行状態及び周辺状態に適した加工が施された画像が表示されるため、効率的に運転者の運転の支援を行うことができる。よって、車輌周辺を撮像した画像が強制的に表示手段に表示されることに伴う煩わしさが解消されて車輌周辺視認装置の利便性が向上し、車輌周辺の画像を表示する機能が運転者により停止されることがなく、必要な状況で確実に画像を表示することができるため、車輌の運転を確実に支援することができ、車輌の走行の安全性を高めることができる。

また、第２発明による場合は、車輌が所定速度より高速に走行している状態から所定速度より低速に走行している状態に変化し、車輌の周辺に駐車場が存在する場合には、撮像した画像から駐車場を含む所定範囲の画像を切り出して表示する構成とすることにより、運転者が車輌を駐車場に駐車させる可能性が高い場合に駐車に適した画像を表示することができるため、運転者を効率的に支援することができる。よって、駐車場近辺での車輌の走行の安全性を高めることができる。

また、第３発明による場合は、撮像して取得した画像から駐車場を含む所定範囲を切り出した画像に案内画像を重畳して表示する構成とすることにより、運転者は表示された案内画像を参考にして車輌の駐車を行うことができるため、車輌を駐車する際の運転者の運転をより効率的に支援することができる。よって、車輌周辺視認装置の利便性をより向上することができる。

また、第４発明による場合は、車輌が所定速度より高速に走行している状態から所定速度より低速に走行している状態に変化し、車輌の前方に停車した他車輌が存在する場合には、撮像した車輌周辺の画像を表示しない構成とすることにより、車輌周辺の画像を表示する必要性が低い場合に他の装置の表示を妨げることを抑制できるため、車輌周辺の画像が強制的に表示されることに伴う煩わしさをより確実に解消することができ、車輌周辺視認装置の利便性をより向上することができる。

また、第５発明による場合は、車輌の前方から左右側方に亘って撮像を行う撮像手段を搭載し、車輌が所定速度より高速に走行している状態から所定速度より低速に走行している状態に変化し、車輌の周辺に駐車場が存在せず、且つ、車輌の前方に停車した他車輌が存在しない場合には、撮像手段が撮像して取得した画像から車輌の前方部分より左右側方部分を強調した画像を生成し、この画像を表示する構成とすることにより、車輌を発進させる前などに車輌の左右側の画像を表示することができ、車輌の左右側から接近する他車輌などを運転者に示すことができるため、運転者をより効率的に支援することができ、車輌の走行の安全性をより高めることができる。

また、第６発明による場合は、車輌の周辺に歩行者又は他車輌等の移動物体が存在するか否かを判定し、移動物体が存在する場合には、この移動物体が撮像された画像を表示する構成とすることにより、車輌周辺の移動物体を自動的に表示することができ、運転者に警告を与えて車輌と移動物体との接触又は衝突等が生じることを防止できるため、車輌の走行の安全性をより高めることができる。

また、第７発明による場合は、車輌周辺の物体までの距離を測定する手段を備え、車輌の周辺に移動物体が存在し、且つ、この移動物体までの距離が所定距離以内の場合には、この移動物体が撮像された画像を表示する構成とすることにより、車輌の走行によって接触又は衝突等が発生する危険性が高い状況において、車輌周辺の移動物体を自動的に表示することができ、運転者に警告を与えて車輌と移動物体との接触又は衝突等が生じることを防止できるため、車輌の走行の安全性をより高めることができる。

また、第８発明による場合は、車輌が後退する状態であり、車輌の周辺に駐車場が存在する場合に、撮像した画像から駐車場を含む所定範囲の画像を切り出して表示する構成とすることにより、運転者が車輌を駐車場に駐車させる可能性が高い場合に駐車に適した画像を表示することができるため、運転者を効率的に支援することができ、車輌周辺視認装置の利便性をより高めることができる。

また、第９発明による場合は、撮像して取得した画像から直線を抽出し、抽出した２つの直線の間の距離が所定範囲内の場合に、車輌の周辺に駐車場が存在すると判定する構成とすることにより、撮像した画像のみから簡単に駐車場が存在するか否かを判定することができるため、駐車場の判定のために特別なハードウェアなどを搭載する必要はなく、この機能を搭載することによる車輌周辺視認装置のコストの増加を抑制することができる。

また、第１０発明による場合は、撮像して取得した画像から赤色部分を抽出し、２つの赤色部分の間の距離が所定距離範囲内の場合に、車輌の前方にて他車輌が停車したと判定する構成とすることにより、撮像した画像のみから簡単に車輌の前方に停車した他車輌が存在するか否かを判定することができるため、前方の車輌を判定するための特別なハードウェアなどを搭載する必要はなく、この機能を搭載することによる車輌周辺視認装置のコストの増加を抑制することができる。

以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。図１は、本発明に係る車輌周辺視認装置を搭載した車輌の一構成例を示す模式的平面図である。図において１は車輌であり、車輌１は周辺を撮像するための２つのカメラ５ａ、５ｂを備えている。車輌１の前部には前方から左右側方に亘って約１８０°の範囲で撮像を行うカメラ５ａが搭載してあり、後部には後方から左右側方に亘って約１８０°の範囲で撮像を行うカメラ５ｂが搭載してある。これらのカメラ５ａ、５ｂを用いることにより、撮像した画像を車輌１の運転席近傍に配設されたディスプレイ２（図２にて図示する）に表示し、運転者にとって死角となる車輌１の周辺の部分を間接的に目視して運転を行うことができるようにしてある。なお、図１においてはカメラ５ａ、５ｂの撮像範囲を破線で囲む領域として図示してある。

図２は、本発明に係る車輌周辺視認装置の構成を示すブロック図である。車輌１に搭載される車輌周辺視認装置は、上述の２つのカメラ５ａ、５ｂを有する撮像部５と、撮像部５のカメラ５ａ、５ｂにより撮像された画像、カーナビゲーション装置の地図画像又はチューナが受信したテレビ番組等の表示を行うディスプレイ２と、このディスプレイ２に表示する画像を選択して切り替える処理及び表示する画像を加工する処理等を行うＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３と、車輌１の走行に係る情報を取得してＥＣＵ３へ与える走行情報取得部６と、音声出力を行うスピーカ７とを備えている。これらの各構成要素は車輌１の適宜の位置に配設されて、接続ケーブル又は通信ケーブル等により接続してあり、データ又は信号の授受を行うことができるようにしてある。

撮像部５のカメラ５ａ、５ｂは、ＣＣＤ又はＣＭＯＳ等の撮像素子と、この撮像素子へ光を集光する一又は複数のレンズとをそれぞれ有しており、レンズが集光した光を撮像素子が検知することによって、１秒間に３０回程度の頻度で撮像を行う装置である。カメラ５ａ、５ｂのレンズには広角レンズ又は魚眼レンズ等の画角が広いレンズが用いられており、車輌１にカメラ５ａ、５ｂが搭載された場合には、車輌１の水平方向に約１８０°の範囲でそれぞれ撮像を行うことができる。カメラ５ａ、５ｂはＥＣＵ３にそれぞれ接続してあり、撮像により取得した画像をＥＣＵ３へそれぞれ与えるようにしてある。

ＥＣＵ３は、撮像部５からカメラ５ａ、５ｂが撮像した画像を与えられ、与えられた画像に対して歪み補正、視点変換、拡大、縮小、一部の切り出し、及び他の画像の重畳等の画像の加工処理を行う画像処理部３１を有している。画像処理部３１には、カメラ５ａ、５ｂから与えられた画像及び加工処理を行った画像等の種々の画像を一時的に蓄積するための画像メモリ３２と、歪み補正又は視点変換等の画像の加工処理を行う際に用いる各種のテーブルが記憶されたテーブル用メモリ３３とが接続してある。画像メモリ３２は、ＳＲＡＭ又はＤＲＡＭ等の書き換え可能な大容量のメモリ素子により構成してあり、テーブル用メモリ３３は、マスクＲＯＭ又はＥＥＰＲＯＭ等の不揮発性のメモリ素子により構成してある。また、画像処理部３１には、車輌１の運転席近傍に配設された液晶などによるディスプレイ２が接続してあり、加工処理を施した画像をディスプレイ２へ与えて表示を行わせることができるようにしてある。

撮像部５のカメラ５ａ、５ｂは広角レンズ又は魚眼レンズ等のレンズにより撮像を行うため、撮像により得られる画像は中央から端部へ向けて徐々に湾曲度合が大きくなる画像である。例えば、画像処理部３１は撮像部５から与えられた画像の湾曲部分を補正する処理を行うことができ、この補正処理を行う場合にはテーブル用メモリ３３に予め記憶してある補正テーブルを用いるようにしてある。補正処理は、与えられた画像の各画素を予め定められた位置へ移動させることで行うことができ、補正テーブルには画像の各画素と画素の移動先とが対応付けて記憶してある。画像処理部３１は、テーブル用メモリ３３から補正テーブルを読み出して、撮像部５から与えられた画像の各画素を補正テーブルにて定められた位置に移動させることにより補正処理を行うようにしてある。

また、撮像部５のカメラ５ａ、５ｂは光軸が路面と略平行となるように車輌１に搭載してあり、車輌１の前方及び後方を上下左右の広い範囲に亘って撮像することができるが、運転の状況によってはディスプレイ２に表示する画像を限られた範囲とすることが好ましい場合がある。このため、画像処理部３１は撮像部５から与えられた画像から一部分を切り出してディスプレイ２へ表示することができるようにしてある。特に、車輌１の周辺の路面をディスプレイ２に表示するために、画像処理部３１は撮像部５から与えられた画像を俯瞰方向の画像に変換するＴｏｐｖｉｅｗ変換を行って、車輌１の周囲の路面を上から見た画像をディスプレイ２に表示することができるようにしてある。Ｔｏｐｖｉｅｗ変換は、テーブル用メモリ３３に予め記憶してある変換テーブルを用いて行うようにしてあり、変換テーブルには画像の各画素と画素の移動先とが対応付けて記憶してある。画像処理部３１は、テーブル用メモリ３３から変換テーブルを読み出して、撮像部５から与えられた画像の各画素を変換テーブルにて定められた位置に移動させることによりＴｏｐｖｉｅｗ変換を行うようにしてある。

また、カーナビゲーション装置又はテレビ番組を受信するチューナ等の他の機器が車輌１に搭載されている場合には、車輌１の現在位置及び案内経路等を示す地図画像又はテレビ番組等の他の画像をディスプレイ２に表示することができるようにしてある。図示は省略するが、他の機器が出力する画像は画像処理部３１に与えられ、画像処理部３１はＥＣＵ３のＣＰＵ３５からの指示に従って、撮像部５のカメラ５ａ、５ｂが撮像した画像又は他の機器から与えられた画像等のいずれかを選択してディスプレイ２へ与えることによって、ディスプレイ２の表示を切り替えることができるようにしてある。

また、ＥＣＵ３には、車輌１の走行に係る情報を取得する走行情報取得部６から、取得した走行情報が与えられている。走行情報取得部６では、車輌１の走行速度を検知する車速センサ６１から車速を取得し、車輌１のシフトレバー６２の状態を取得し、車輌１のサイドブレーキ６３及びフットブレーキ６４の状態を取得し、舵角センサ６５が検知する車輌１のハンドルの舵角を取得するようにしてある。更に、図示は省略するが、加速度センサが検知する車輌１の加速度を取得し、ヘッドライトの点灯状態を取得し、ワイパーの動作状態を取得する等、種々の情報を取得することができる。

ＥＣＵ３は、走行情報取得部６から与えられる情報を基にＥＣＵ３内の各部の動作を制御するＣＰＵ３５を備えており、ＣＰＵ３５にはＲＯＭ３４及びＲＡＭ３６が接続してある。ＲＯＭ３４は、ＣＰＵ３５にて実行される種々のプログラム及びデータ等が予め記憶してあり、マスクＲＯＭ又はＥＥＰＲＯＭ等の不揮発性メモリ素子により構成してある。ＲＡＭ３６は、ＣＰＵ３５が制御処理及び演算処理等を行う際に生じる一時的なデータを記憶するものであり、ＳＲＡＭ又はＤＲＡＭ等の書き換え可能なメモリ素子により構成してある。ＣＰＵ３５は、ＲＯＭ３４から制御プログラムを読み出して実行することによって、走行情報取得部６から与えられた走行情報を基にＥＣＵ３内の各部の動作を制御し、ディスプレイ２に表示する画像を選択し、画像処理部３１に適切な画像の加工処理を行わせるなど、ディスプレイ２の表示に係る種々の制御処理を行うようにしてある。

また、車輌１の適所には一又は複数のスピーカ７が配設してあり、ＥＣＵ３のＣＰＵ３５からの出力指示に応じて音声出力を行うことができるようにしてある。スピーカ７は、カーナビゲーション装置の経路案内の音声メッセージ又はチューナが受信したテレビ番組の音声等を出力することができると共に、運転者への警告音又は警告メッセージ等を出力することもできる。

本発明に係る車輌周辺視認装置は、走行情報取得部６が取得する各種の情報を基に、車輌１が停車しているか、走行しているか、低速で徐行しているか、又は後退しているか等の走行状態をＣＰＵ３５が判定すると共に、撮像部５のカメラ５ａ、５ｂが撮像して取得した画像を基に、車輌１の周辺に歩行者などの移動物体が存在するか、駐車場が存在するか、又は停車中の他車輌が存在するか等の周辺状況を画像処理部３１が判定してＣＰＵ３５へ通知するようにしてある。即ち、ＣＰＵ３５は走行情報取得部６から与えられる走行情報を基に車輌１の走行状態を判定する手段として動作し、画像処理部３１は撮像部５が撮像した画像を基に車輌１の周辺状況を判定する手段として動作する。また、ＣＰＵ３５は、この走行状態及び周辺状況に応じて撮像部５が撮像した画像をディスプレイ２に表示するか否かを判定する手段として動作し、ディスプレイ２に表示する画像を選択すると共に、走行状態及び周辺状況に応じて画像処理部３１にて行う画像の加工処理の種類を選択するようにしてある。画像処理部３１はＣＰＵ３５からの指示に応じて画像に加工を施す画像加工手段として動作すると共に、ディスプレイ２に画像を表示させる表示制御手段として動作する。これにより、ディスプレイ２には走行状態及び周辺状況に応じて適切な画像が適切な加工処理を施されて表示されるようにしてある。

本実施の形態においては、走行状態として、（１）エンジンの始動から発車までの間の停車状態、（２）発車後の低速走行状態、（３）所定速度以上の高速走行状態から減速した低速走行状態、（４）後退状態、（５）その他の状態の５つの状態を走行情報取得部６が取得した走行情報を基にＣＰＵ３５が判定する。また、周辺状況として、（Ａ）車輌１の周辺に駐車場が存在する状況、（Ｂ）車輌１の周辺に歩行者又は他車輌等の移動物体が存在する状況、（Ｃ）車輌１の前方に停車中の他車輌が存在する状況、（Ｄ）その他の状況の４つの状況を撮像部５から与えられる画像を基に判定する。ディスプレイ２にはこれらの判定結果に応じた画像が表示される。図３乃至図５は、走行状態及び周辺状況に応じたディスプレイ２の表示例である。

（１）エンジンの始動から発車までの間の停車状態
この状態は、エンジンの始動後にシフトレバー６２の状態が「Ｐ（パーキング）」又は「Ｎ（ニュートラル）」であるか否か、サイドブレーキ６３又はフットブレーキ６４がオン状態であるか否か、及び車速センサ６１の検知する車速が０ｋｍ／ｈであるか否か等により判定することができる。この状態においては、車輌１が発車する直前の状態であり、既に車輌１が駐車場に停車している可能性が高いため、車輌１の周辺に駐車場が存在するか否かの判定及び駐車場への案内等は行わず、カーナビゲーション装置の地図表示又はチューナが受信したテレビ番組等の表示を行う。ただし、車輌１が発車する可能性があるため、車輌１の周辺に移動物体が存在するか否かの判定を行い、移動物体が存在する場合にはこれを撮像した画像をディスプレイ２に優先して表示する。図３（ａ）に示す画像は、移動物体が撮像された画像をディスプレイ２に表示した例であり、例えば車輌１の前部に搭載されたカメラ５ａが撮像した画像に移動体を囲む警告枠８１を重畳して表示したものである。

（２）発車後の低速走行状態
この状態は、シフトレバー６２の状態が「Ｄ（ドライブ）」であるか否か、サイドブレーキ６３又はフットブレーキ６４がオフ状態であるか否か、及び車速センサ６１が検知する車速が０ｋｍ／ｈより大きく６ｋｍ／ｈ以下であるか否か等により判定することができる。この状態においては、車輌１の前部に搭載したカメラ５ａが撮像した画像を直接的に表示し、車輌１の前方から左右の側方に亘っての広範囲をディスプレイ２に表示する（図示は省略する）。また、車輌１の周辺に移動物体が存在するか否かの判定を行い、移動物体が存在する場合にはこれを撮像した画像をディスプレイ２に優先して表示する（図３（ａ）参照）。

（３）所定速度以上の高速走行状態から減速した低速走行状態、
この状態は、車速センサ６１の検知する車速が、所定速度（例えば６ｋｍ／ｈなど）より高速な状態から低速な状態へ変化したか否かにより判定することができる。この状態においては、車輌１が信号待ちなどのために一時的に停車した場合、駐車場に駐車するために停車した場合、交差点にて右折又は左折するために一時的に停車した場合、渋滞により停車した場合等の様々な可能性がある。そこで、撮像部５から与えられる画像に基づく車輌１の周辺状況の判定結果に応じて、いくつかの表示方法を切り替える。

車輌１の周辺に駐車場が存在する場合、運転者が車輌１を駐車場に駐車する可能性が高いため、撮像部５から与えられた画像から駐車場が撮像された部分を切り出して拡大表示する。図３（ｂ）に示す画像は、駐車場を含む所定範囲の画像を拡大してディスプレイに表示した例であり、例えば車輌１の前部に搭載されたカメラ５ａが撮像した画像の一部を切り出して拡大し、車輌１の走行予想経路などを案内する案内画像８２を重畳して表示したものである。図３（ｂ）の例では案内画像８２として、例えば舵角センサ６５が検知するハンドルの舵角に応じた車輌１の進行方向を示す矢印、車輌１の車幅を示す２つの直線、車輌１の前輪の位置を示すタイヤの画像、及び車輌１の車体の前側端を示す線などを表示している。なお、車輌１の周辺に駐車場が存在するか否かを判定する方法については後述する。

また、車輌１の前方に停車した他車輌が存在する場合、車輌１は渋滞などで一時的に停車した状況又は信号待ちにより一時的に停車した状況等である可能性が高い。運転者は前方の他車輌の発車に応じて車輌１を発車させればよいため、ディスプレイ２に車輌１の周辺を表示する必要性は低い。よって、この場合には車輌１に搭載されたカーナビゲーション装置の地図画像又はチューナが受信したテレビ番組等の表示を行う。例えば、カーナビゲーション装置の地図画像を表示した状態を図４（ａ）に示してある。なお、車輌１の周辺に他車輌が存在するか否かを判定する方法については後述する。

また、車輌１の周辺に駐車場が存在せず、車輌１の前方に停車した他車輌が存在しないその他の状況の場合、車輌１が交差点を左折若しくは右折するために一時的に停車した状況、又は信号待ちのために交差点の先頭で一時的に停車した状況等である可能性が高い。この状況では、車輌１の左右側方から他車輌が接近するか否かを運転者に視認させて確認させることが事故対策として効果的であるため、車輌１の前部に搭載されたカメラ５ａが約１８０°の画角で撮像した画像から、前方部分より左右側方部分を強調した画像を生成してディスプレイ２に表示する。図４（ｂ）の例では、車輌１の左右側方に向けて搭載された２つの異なるカメラが車輌１の左右側方をそれぞれ撮像した２つの画像を並べて表示する態様で、カメラ５ａが撮像した広角画像の左右の歪みを補正し、歪みを補正した画像を左右に分割してディスプレイ２に左右に並べて表示すると共に、車輌１の前側の左右側方の画像が表示されていることを運転者に示すアイコン８３を上部に表示している。

また、上述の３つの周辺状況のいずれの場合であっても、車輌１の周辺に移動物体が存在するときには、図３（ａ）に示すように移動物体を撮像した画像の表示を最優先に行う。しかし、車輌１が交差点に停車しているような状況においては、周囲を走行する他車輌が多数存在する可能性がある。よって、移動物体が存在するか否かを判定する範囲を車輌１の近傍に限定する、又は移動物体までの距離を測定する手段を設けて車輌１から所定距離以内に近づいた移動物体のみを表示するなどの処理を行うことが望ましい。

（４）後退状態
この状態は、シフトレバー６２の状態が「Ｒ（リバース）」であるか否かにより判定することができる。車輌１が後退状態の場合、運転者が車輌１を駐車場に駐車する状況、又は進路変更などのため道路上を後退する状況のいずれかである可能性が高い。よって、この状態においては、車輌１の後部に搭載されたカメラ５ｂが撮像した画像を基に、車輌１の周辺に駐車場が存在するか否かの判定を行う。判定の結果、駐車場が存在する場合には、図３（ｂ）と同様に、カメラ５ｂが撮像した画像の一部を切り出して拡大し、車輌１の走行予想経路などを案内する案内画像８４を重畳して表示する（図５（ａ）参照）。駐車場が存在しない場合には、カメラ５ｂが撮像した画像を直接的に表示する（図５（ｂ）参照）。

（５）その他の状態
例えば、車輌１が高速（車速が６ｋｍ／ｈより速い状態）で走行している場合などがその他の状態に相当する。この状態では、撮像部５のカメラ５ａ、５ｂが撮像した車輌１の周辺の画像を表示する必要性は低いため、車輌１の周辺の画像をディスプレイ２に表示せず、カーナビゲーション装置の地図画像などをディスプレイ２に表示する（図４（ａ）参照）。

このように、走行情報取得部６が取得する車輌１の種々の情報から判定できる車輌１の走行状態のみでなく、撮像部５にて撮像した画像を基に判定できる車輌１の周辺状況を基に、ディスプレイ２に表示する画像の選択及び表示方法（画像の加工方法）の選択を行うことによって、運転の状況に適した画像を適した方法で運転者に示すことができる。以下において、車輌１の周辺に駐車場が存在するか否か、車輌１の前方に停車中の他車輌が存在するか否か、及び車輌１の周辺に移動物体が存在するか否かを判定する方法について説明する。

（駐車場判定方法）
図６及び図７は、本発明に係る車輌周辺視認装置が行う車輌１の周辺に駐車場が存在するか否かを判定する方法を説明するための説明図であり、（ａ）から（ｄ）にアルファベット順で処理を時系列に示してある。本実施の形態に係る車輌周辺視認装置では、車輌１の周辺に有無を判定する駐車場は、路面に略平行に描かれた２つの白色の直線の間の領域を駐車場と判定するようにしてある。車輌１が走行する道路にも車線を仕切るための白線が描かれているが、駐車場のための２つの白線の間の距離と車線を仕切るために描かれた２つの白線の間の距離とを比較すると、駐車場の白線間の距離は短いため、白線間の距離が閾値を超えるか否かに応じて区別することが可能である。なお、車輌１の前部に搭載されたカメラ５ａが撮像した画像を基に駐車場の有無を判定する場合を例に説明を行うが、車輌１の後部に搭載されたカメラ５ｂの場合についても同様である。

カメラ５ａは、広角レンズ又は魚眼レンズ等のレンズを用いて撮像を行うため約１８０°の画角を有しており、車輌１の周辺を広範囲に亘って撮像することが可能であるが、得られる画像は端部が大きく湾曲した画像となる（図６（ａ）参照）。例えば、図６（ａ）に示す画像では、画像の端部に撮像された路面の白線及び建物の屋根等が湾曲している。このような画像では、本来は直線であっても画像の端部では湾曲して撮像され、直線として抽出することができないため、画像処理部３１は、まず、カメラ５ａから与えられた画像の湾曲部分を補正し、俯瞰方向の画像に変換するＴｏｐｖｉｅｗ変換を行うようにしてある。

Ｔｏｐｖｉｅｗ変換は、テーブル用メモリ３３に予め記憶された変換テーブルを用いて行われる。画像処理部３１は、カメラ５ａから与えられた画像の各画素を変換テーブルに定められた位置に移動させることによって、正面から撮像され、端部が湾曲した画像を、俯瞰方向の画像に変換するようにしてある。画像処理部３１がＴｏｐｖｉｅｗ変換を行うことによって、図６（ａ）に示した画像を、図６（ｂ）に示すような路面を上から見下ろした画像、即ち俯瞰方向の画像に変換することができる。例えば、図６（ｂ）は、略平行に並べられた６つの白色の直線９１と、２つの直方体状の立体物（輪止め）９２とが路面上に配された画像を、Ｔｏｐｖｉｅｗ変換により取得した例である。

次いで、画像処理部３１は、Ｔｏｐｖｉｅｗ変換後の画像の２値化を行う。２値化は、画像の各画素の輝度が予め定められた閾値より大きいか否かを判定し、各画素の輝度を最高輝度又は最低輝度に変換する処理である。即ち、画素の輝度が２５６階調で定められている場合に、処理対象の画素の輝度が閾値より大きい場合にはこの画素の輝度を２５５とし、閾値より小さい場合にはこの画素の輝度を０とすることにより２値化を行うことができる。図６（ｂ）の画像を２値化したものが図７（ｃ）に示す画像である。閾値を適正に定めることによって、２値化により画像から白線のみを抽出することができる。

画像の２値化を行った後、画像処理部３１は、ハフ変換により得られた画像から直線の抽出処理を行う。ハフ変換は、画像の各点（ｘ、ｙ）をｘｙ平面からρθ平面上でρ＝ｘｃｏｓθ＋ｙｓｉｎθというハフ曲線に変換する処理である。画像の全ての点についてこの処理を行った後、ρθ平面でハフ曲線が多く交わる点（ρ、θ）を抽出することによって、直線の抽出を行うことができる。図７（ｄ）は、図７（ｃ）の画像をハフ変換し、ハフ曲線が多く交わる６つの点９３を抽出したものであり、ρθ平面を図示したものである。

ハフ変換によるρθ平面で抽出した各点の間の距離は、元の画像のｘｙ平面での直線間の距離に比例する。画像処理部３１には、ρθ平面の各点の距離について予め最大距離及び最小距離の２つの閾値が定めてあり、抽出した複数の点９３間の距離がこの最大距離及び最小距離の範囲内であるか否かを調べ、この範囲内の２つの点９３が存在する場合に、車輌１の周辺に駐車場が存在すると判定するようにしてある。

なお、駐車場の有無を判定する方法は上述のものに限らない。その他の方法として、例えば、図７（ｄ）の画像を逆ハフ変換して得られる直線の間に、輪止めなどの立体物９２が存在するか否かにより駐車場の有無を判定することもできる。この場合には、立体物９２を検出する手段が必要であるが、車輌１に超音波センサを搭載して立体物９２を検出することが可能であり、また、カメラ５ａから取得した画像を基に立体物９２を画像処理で検出することが可能である。

（前方車輌判定方法）
図８は、本発明に係る車輌周辺視認装置のカメラ５ａが撮像した他車輌の画像例であり、図９は、本発明に係る車輌周辺視認装置が行う車輌１の前方に他車輌が存在するか否かを判定する方法を説明するための説明図である。信号待ち又は渋滞等により車輌１の前方に停車している他車輌はブレーキランプが点灯しており、ブレーキランプは車輌の後部の左右にそれぞれ設けられ、赤色に発光する。本実施の形態に係る車輌周辺視認装置では、車輌１の前側に搭載したカメラ５ａが撮像した画像からブレーキランプの発光色に相当する赤色部分を抽出することによって、車輌１の前方に停車中の他車輌が存在するか否かを判定するようにしてある。図８（ａ）及び（ｂ）に示すように、ブレーキランプの配設位置は車種及び車間距離等により若干異なるが、信号待ち又は渋滞等により車輌１の前方に停車している他車輌のプレーキランプについては、カメラ５ａにより特定の範囲内に撮像される。

そこで、画像処理部３１は、カメラ５ａから与えられた画像からこの特定範囲内に限定して赤色部分の抽出を行うようにしてある。図９（ａ）には、白色の矩形枠にてこの抽出範囲９５を図示してある。また、カメラ５ａが撮像した画像にはその他にも赤色の部分がノイズとして含まれている可能性があるため、赤色部分を抽出した画像を収縮及び膨張する画像処理を画像処理部３１が更に施すことによって、ノイズを除去する。収縮処理は、ある画素Ｐ０の周囲の８つの画素Ｐ１〜Ｐ８中に少なくとも１つの背景画素（赤色部分でない画素）が含まれている場合、画素Ｐ０を背景画素に変換する処理である。また、膨張処理は、ある画素Ｐ０の周囲の８つの画素Ｐ１〜Ｐ８の中に少なくとも１つの抽出画素（赤色部分の画素）が含まれている場合、画素Ｐ０を抽出画素に変換する処理である。赤色部分を抽出した画像に収縮処理を行い、更に膨張処理を行うことによって、小さな抽出画素を除去することができる。

図９（ｂ）は赤色部分を抽出し、収縮及び膨張処理を行ってノイズを除去した画像であり、２つの赤色部分９６を抽出している。ブレーキランプは車輌の後部の左右に、路面から同じ高さの位置で配設してあり、また、左右のブレーキランプ間の距離は車幅と同程度であるため異なる車種であってもある程度の範囲内に収まる。画像処理部３１は、赤色部分９６の抽出結果から、路面に平行な直線９７上に２つの赤色部分９６が存在し、且つ、２つの赤色部分９６の距離Ｌが予め定められた最小距離及び最大距離の範囲内である場合に、２つの赤色部分９６が他車輌のブレーキランプであると判定し、車輌１の前方に停車中の他車輌が存在すると判定するようにしてある。

なお、車輌１の前方に停車中の他車輌が存在するか否かを判定する方法は上述のものに限らない。その他の方法として、例えば、車輌１の前部に超音波センサを搭載して他車輌を検知する構成とすることもできる。また、上述の赤色部分を抽出する方法と超音波センサとを併用する構成としてもよい。

（移動物体判定処理）
図１０及び図１１は、本発明に係る車輌周辺視認装置が行う移動物体が存在するか否かを判定する方法を説明するための説明図である。なお、車輌１の前部に搭載されたカメラ５ａが撮像した画像を基に移動物体の有無を判定する場合を例に説明を行うが、車輌１の後部に搭載されたカメラ５ｂの場合についても同様である。カメラ５ａは車輌１の周辺を１秒間に３０回程度の頻度で撮像しており、撮像により取得した画像はＥＣＵ３の画像メモリ３２に蓄積するようにしてある。画像処理部３１は、画像メモリ３２から所定の時間間隔で撮像された２つの画像を読み出し、２つの画像を比較して変化があった場合に、カメラ５ａにより移動物体が撮像され、車両１の周辺に移動物体が存在すると判定するようにしてある。図１０には画像処理部３１が画像メモリ３２から読み出した２つの画像の一例が示してあり、（ａ）に時刻ｔに撮像された画像を示し、（ｂ）に所定の時間間隔Δｔ後の時刻ｔ＋Δｔに撮像された画像を示してある。

画像処理部３１は、画像メモリ３２から読み出した２つの画像での変化の有無を調べるために、画像の各画素の輝度値を比較して差分を算出するようにしてあり、算出した差分が所定の閾値以上であるか否かに応じて変化の有無を判定するようにしてある。図１１（ｃ）には差分の算出結果の一例を図示してあり、差分が所定の閾値以上の画素を白色で示し、それ以外の画素を黒色で示してある。

また、２つの画像での変化の有無の判定は、予め定められた判定領域９８内でのみ行うようにしてある。図１０（ａ）、図１０（ｂ）、図１１（ｃ）には白色の破線で囲まれた領域として判定領域９８が図示してある。カメラ５ａは広角レンズ又は魚眼レンズ等により広範囲の撮像を行うため、取得した画像の全領域で判定を行った場合には車輌１から遠く離れた場所で移動する物体により２つの画像に変化が生じる。このため、判定領域９８を図示のように画像の中央より下側に設けられた略台形の領域とすることで、車輌１の近傍を移動する物体のみを判定の対象とすることができる。本例では、図１１（ｃ）に示すように、判定領域９８内に差分が閾値以上の画素が存在しているため、画像処理部３１は２つの画像に変化が生じていると判定することができ、車輌１の周辺に移動物体が存在すると判定することができる。

なお、車輌１の周辺に移動物体が存在するか否かを判定する方法は上述のものに限らない。その他の方法として、例えば、車輌１の前後左右に超音波センサを搭載して車輌１に接近する物体を検知する構成としてもよい。また、上述の画像処理による方法と超音波センサとを併用する構成としてもよい。

次に、以上の処理をフローチャートを用いて説明する。図１２及び図１３は、本発明に係る車輌周辺視認装置のＥＣＵ３が行うディスプレイ２への表示制御処理の手順を示すフローチャートである。図２において図示は省略してあるが、走行情報取得部６は車輌１のエンジンの状態を取得することができるようにしてあり、まず、ＥＣＵ３のＣＰＵ３５は、車輌１のエンジンが始動されたか否かを調べる（ステップＳ１）。車輌１のエンジンが始動されていない場合には（Ｓ１：ＮＯ）、エンジンが始動されるまで待機し、エンジンが始動された場合には（Ｓ１：ＹＥＳ）、シフトレバー６２の状態が「Ｄ」であるか否かを調べる（ステップＳ２）。シフトレバー６２の状態が「Ｄ」でない場合（Ｓ２：ＮＯ）、ステップＳ１へ戻り、エンジンが始動されてシフトレバー６２の状態が「Ｄ」となるまで待機する。

シフトレバー６２の状態が「Ｄ」の場合（Ｓ２：ＹＥＳ）、上述の移動物体判定処理を行って車輌１の周辺に存在する移動物体をディスプレイ２に表示する移動物体表示処理を行う（ステップＳ３）。移動物体表示処理では、車輌１の周辺に移動物体が存在しない場合には、移動物体の表示を行うことはない。移動物体表示処理の終了後、車輌１の車速センサ６１が検知する車速が０ｋｍ／ｈより大きく、且つ、サイドブレーキ６３及びフットブレーキ６４がオフ状態であるか否かを調べることにより、車輌１が走行を開始したか否かを調べ（ステップＳ４）、走行を開始していない場合には（Ｓ４：ＮＯ）、走行を開始するまでステップＳ１〜Ｓ３の処理を繰り返し行う。

車輌１が走行を開始した場合（Ｓ４：ＹＥＳ）、撮像部５のカメラ５ａから与えられた画像を撮像した全領域についてディスプレイ２に表示し（ステップＳ５）、移動物体判定処理を行って車輌１の周辺に存在する移動物体をディスプレイ２に表示する移動物体表示処理を行う（ステップＳ６）。移動物体表示処理の終了後、車輌１の車速センサ６２から車速を取得して、車速が所定速度以上であるか否かを調べる（ステップＳ７）。車速が所定速度より遅い場合（Ｓ７：ＮＯ）、更に、車輌１のエンジンが停止されたか否かを調べる（ステップＳ８）。車輌１のエンジンが停止された場合には（Ｓ８：ＹＥＳ）、表示制御処理を終了し、エンジンが停止されていない場合には（Ｓ８：ＮＯ）、ステップＳ５〜Ｓ７の処理を繰り返し行う。

車輌１の車速が所定速度以上の場合（Ｓ７：ＹＥＳ）、カメラ５ａから与えられた画像の表示をオフとし（ステップＳ９）、カーナビゲーション装置の地図表示又はチューナによるテレビ番組の表示等を行う。次いで、車輌１の車速が所定速度未満であるか否かを調べ（ステップＳ１０）、車速が所定速度未満でない場合、即ち所定速度以上の場合は（Ｓ１０：ＮＯ）、ステップＳ９へ戻ってカーナビゲーション装置の地図表示又はチューナによるテレビ番組の表示等を車輌１が停車するまで継続して行う。

車輌１の車速が所定速度未満の場合（Ｓ１０：ＹＥＳ）、車輌１の周辺に駐車場が存在するか否かを判定する駐車場判定処理を行って（ステップＳ２１）、駐車場が存在するか否かを調べる（ステップＳ２２）。車輌１の周辺に駐車場が存在する場合（Ｓ２２：ＹＥＳ）、カメラ５ａから与えられた画像から駐車場を含む所定範囲の画像を切り出すと共に、切り出した画像に案内画像８２を重畳してディスプレイ２に表示する駐車場表示処理を行って（ステップＳ２３）、ステップＳ２８へ進む。

車輌１の周辺に駐車場が存在しない場合（Ｓ２２：ＮＯ）、更に、車輌１の前方に停車中の他車輌が存在するか否かを判定する前車判定処理を行って（ステップＳ２４）、前方に停車中の他車輌が存在するか否かを調べる（ステップＳ２５）。前方に停車中の他車輌が存在しない場合（Ｓ２５：ＮＯ）、カメラ５ａから与えられた画像から車輌１の左右側方の画像を切り出してディスプレイ２に表示し（ステップＳ２６）、ステップＳ２８へ進む。車輌１の前方に停車中の他車輌が存在する場合（Ｓ２５：ＹＥＳ）、カメラ５ａから与えられた画像の表示をオフとし（ステップＳ２７）、カーナビゲーション装置の地図表示又はチューナによるテレビ番組の表示等を行って、ステップＳ２８へ進む。

ステップＳ２３、Ｓ２６又はＳ２７の処理終了後、移動物体判定処理を行って車輌１の周辺に存在する移動物体をディスプレイ２に表示する移動物体表示処理を行う（ステップＳ２８）。移動物体表示処理の終了後、車速センサ６１が検知する車速が０ｋｍ／ｈより大きく、且つ、サイドブレーキ６３及びフットブレーキ６４がオフ状態であるか否かを調べることにより、車輌１が走行を開始したか否かを調べる（ステップＳ２９）。走行を開始した場合には（Ｓ２９：ＹＥＳ）、更に、車輌１の車速が１０ｋｍ／ｈ以上であるか否かを調べる（ステップＳ３０）。車速が１０ｋｍ／ｈより遅い場合（Ｓ３０：ＮＯ）、ステップＳ２１へ戻り、ステップＳ２１〜Ｓ２９までの処理を繰り返し行う。車速が１０ｋｍ／ｈ以上の場合（Ｓ３０：ＹＥＳ）、ステップＳ９へ戻り、カメラ５ａから与えられた画像の表示をオフして車輌１が停車するまで待機する。

ステップＳ２９にて車輌１が走行を開始していない場合（Ｓ２９：ＮＯ）、更に、車輌１のエンジンが停止されたか否かを調べる（ステップＳ３１）。車輌１のエンジンが停止されていない場合には（Ｓ３１：ＮＯ）、ステップＳ２１へ戻り、ステップＳ２１〜Ｓ２９までの処理を繰り返して行う。車輌１のエンジンが停止された場合には（Ｓ３１：ＹＥＳ）、表示制御処理を終了する。

図１４は、本発明に係る車輌周辺視認装置のＥＣＵ３が車輌１の後退時に行うディスプレイ２への表示制御処理の手順を示すフローチャートである。ＥＣＵ３のＣＰＵ３５は、シフトレバー６２の状態が「Ｒ」であるか否かを調べ（ステップＳ４１）、シフトレバー６２の状態が「Ｒ」でない場合（Ｓ４１：ＮＯ）、シフトレバー６２の状態が「Ｒ」となるまで待機する。シフトレバー６２の状態が「Ｒ」の場合（Ｓ４１：ＹＥＳ）、車輌１の周辺に駐車場が存在するか否かを判定する駐車場判定処理を行って（ステップＳ４２）、駐車場が存在するか否かを調べる（ステップＳ４３）。車輌１の周辺に駐車場が存在しない場合（Ｓ４３：ＮＯ）、撮像部５のカメラ５ｂから与えられた画像を撮像した全領域についてディスプレイ２に表示し（ステップＳ４４）、ステップＳ４６へ進む。車輌１の周辺に駐車場が存在する場合（Ｓ４３：ＹＥＳ）、カメラ５ｂから与えられた画像から駐車場を含む所定範囲の画像を切り出すと共に、切り出した画像に案内画像８４を重畳してディスプレイ２に表示する駐車場表示処理を行って（ステップＳ４５）、ステップＳ４６へ進む。

ステップＳ４４又はＳ４５の処理終了後、移動物体判定処理を行って車輌１の周辺に存在する移動物体をディスプレイ２に表示する移動物体表示処理を行う（ステップＳ４６）。移動物体表示処理の終了後、シフトレバー６２の状態が「Ｒ」以外であるか否かを調べ（ステップＳ４７）、シフトレバー６２の状態が「Ｒ」以外でない場合（Ｓ４７：ＮＯ）、即ちシフトレバー６２の状態が「Ｒ」の場合、ステップＳ４２へ戻り、シフトレバー６２の状態が「Ｒ」以外となるまでステップＳ４２〜Ｓ４６の処理を繰り返し行う。シフトレバー６２の状態が「Ｒ」以外の場合（Ｓ４７：ＹＥＳ）、後退時の表示制御処理を終了する。

図１５は、本発明に係る車輌周辺視認装置のＥＣＵ３が行う移動物体表示処理の手順を示すフローチャートであり、ステップＳ３、Ｓ６、Ｓ２８及びＳ４６にて行う処理である。なお、移動物体表示処理は撮像部５のカメラ５ａ、５ｂについてそれぞれ行われるが同じ処理であるので、以下ではカメラ５ａの場合について説明を行い、カメラ５ｂの場合については説明を省略する。移動物体表示処理では、まず、カメラ５ａにて撮像を行って画像を取得し（ステップＳ６１）、画像メモリから所定時間Δｔ前に撮像された画像を読み出して（ステップＳ６２）、２つの画像の判定領域９８内の各画素について差分を算出する（ステップＳ６３）。

次いで、各画素について算出した差分と予め定められた閾値とを比較し（ステップＳ６４）、差分が閾値を超えたか否かを調べる（ステップＳ６５）。各画素について算出した差分が閾値を超えた場合（Ｓ６５：ＹＥＳ）、閾値を超えた画素を囲むように警告枠８１をステップＳ６１にて取得した画像に重畳する画像加工処理を行って（ステップＳ６６）、加工後の画像をディスプレイ２に表示し（ステップＳ６７）、ステップＳ６１へ戻る。また、ステップＳ６５にて、各画素について算出した差分が閾値を超えない場合（Ｓ６５：ＮＯ）、移動物体は存在しないため、移動物体表示処理を終了する。

図１６は、本発明に係る車輌周辺視認装置のＥＣＵ３が行う駐車場判定処理の手順を示すフローチャートであり、ステップＳ２１及びＳ４２にて行う処理である。なお、駐車場判定処理は撮像部５のカメラ５ａ、５ｂにてそれぞれ行うことができるが、処理の手順は同じであるため、以下ではカメラ５ａの場合について説明を行い、カメラ５ｂの場合については説明を省略する。駐車場判定処理では、まず、カメラ５ａにて撮像を行って画像を取得し（ステップＳ８１）、テーブル用メモリ３３から変換テーブルを読み出して、撮像により取得した画像を変換テーブルを用いてＴｏｐｖｉｅｗ変換する（ステップＳ８２）。次いで、変換後の画像の各画素値を閾値と比較することにより２値化し（ステップＳ８３）、２値化された画像をハフ変換する（ステップＳ８４）。

ハフ変換によりｘｙ平面の各点がρθ平面のハフ曲線に変換されるため、このハフ曲線が多く交わる点（即ち、ｘｙ平面での直線）を抽出し（ステップＳ８５）、抽出した各点の間の距離を算出する（ステップＳ８６）。算出した各点の間の距離が所定距離の範囲内であるか否かを調べ（ステップＳ８７）、少なくとも一組の点の間の距離が所定距離の範囲内である場合（Ｓ８７：ＹＥＳ）、カメラ５ａが撮像した画像内に駐車場が存在すると判定する（ステップＳ８８）。また、全組の点の間の距離が所定距離の範囲外である場合（Ｓ８７：ＮＯ）、カメラ５ａが撮像した画像内に駐車場が存在しないと判定する（ステップＳ８９）。ステップＳ８８又はＳ８９にて駐車場の有無を判定した後、駐車場判定処理を終了して元の処理へ戻る。

図１７は、本発明に係る車輌周辺視認装置のＥＣＵ３が行う駐車場表示処理の手順を示すフローチャートであり、ステップＳ２３及びＳ４５にて行う処理である。なお、以下ではカメラ５ａの場合について説明を行い、カメラ５ｂの場合については同様の手順であるため説明を省略する。駐車場表示処理では、まず、駐車場判定処理を行った際に撮像した画像を画像メモリ３２から読み出し（ステップＳ１０１）、読み出した画像から所定範囲の画像を切り出す加工を行って（ステップＳ１０２）、駐車場近傍の画像を取得する。なお、カメラ５ａから与えられる画像中において、駐車場が写される範囲はカメラ５ａの搭載位置及び画角等により定まる限られた範囲であるので、画像から切り出す範囲は予め定められた範囲とすればよい。ただし、図７（ｄ）に示すρθ平面の画像を逆ハフ変換によりｘｙ平面の画像に変換し、駐車場判定処理にて駐車場の枠線をなす白線と判定された２つの直線を含む所定範囲の画像を切り出す構成としてもよく、この構成ではより確実に駐車場近傍の画像を取得することができる。画像の切り出し加工終了後、切り出した画像に案内画像８２を重畳する加工を行って（ステップＳ１０３）、加工後の画像をディスプレイ２に表示し（ステップＳ１０４）、処理を終了する。

図１８は、本発明に係る車輌周辺視認装置のＥＣＵ３が行う前車判定処理の手順を示すフローチャートであり、ステップＳ２４にて行う処理である。前車判定処理では、まず、カメラ５ａにて撮像を行って画像を取得し（ステップＳ１２１）、取得した画像の所定の抽出範囲９５から赤色の部分を抽出する（ステップＳ１２２）。次いで、赤色部分を抽出した画像に対して収縮及び膨張の画像処理を行ってノイズを除去し（ステップＳ１２３）、この画像に少なくとも２つの赤色部分が存在するか否かを調べる（ステップＳ１２４）。２つの赤色部分が存在する場合（Ｓ１２４：ＹＥＳ）、この２つの赤色部分が画像中にて平行線上に存在するか否かを更に調べる（ステップＳ１２５）。２つの赤色部分が平行線上に存在する場合（Ｓ１２５：ＹＥＳ）、この２つの赤色部分の間の距離が所定距離範囲内であるか否かを更に調べる（ステップＳ１２６）、２つの赤色部分の間の距離が所定距離範囲内の場合（Ｓ１２６：ＹＥＳ）、カメラ５ａが撮像した画像中に、即ち車輌１の前方に停車中の他車輌が存在すると判定し（ステップＳ１２７）、前車判定処理を終了する。また、赤色部分の抽出を行った結果、画像中に２つの赤色部分が存在しない場合（Ｓ１２４：ＮＯ）、２つの赤色部分が平行線上に存在しない場合（Ｓ１２５：ＮＯ）、又は２つの赤色部分の間の距離が所定距離範囲外の場合（Ｓ１２６：ＮＯ）、車輌１の前方に停車中の他車輌が存在しないと判定し（ステップＳ１２８）、前車判定処理を終了する。

図１２〜図１８に示した手順により、ＥＣＵ３は車輌１の走行状態及び車輌１の周辺状態に応じたディスプレイ２の表示切替を行うことができる。なお、図１２〜図１８に示す手順は一例であって、これに限るものではなく、種々の変形を行うことが可能である。

以上の構成の車輌周辺視認装置は、車輌１の走行状態のみでなく、撮像部５のカメラ５ａ、５ｂが撮像した画像を基に判定する車輌１の周辺状況を基にディスプレイ２に表示する画像を判断する構成であるため、車輌１の走行状態のみに応じて表示する画像を判断する場合と比較して、運転者が必要とする画像をより適切なタイミングでディスプレイ２に表示することができると共に、不必要な画像が表示されてカーナビゲーション装置の地図表示又はチューナが受信したテレビ番組の表示等が妨げられることがない。よって、車輌周辺視認装置の利便性が向上し、車輌１の周辺の画像を表示する機能が運転者により停止されることがなく、必要な状況で確実に画像を表示することができるため、車輌１の運転を確実に支援することができ、車輌１の走行の安全性を高めることができる。

また、車輌１が停車した場合又は後退する場合に、車輌１の周辺に駐車場が存在するか否かを判定し、駐車場が存在する場合にはこれをディスプレイ２に表示する構成とすることにより、運転者が車輌１を駐車場に駐車させる可能性が高い場合に駐車に適した画像を表示することができる。また、撮像部５のカメラ５ａ、５ｂが撮像した画像から駐車場を含む所定範囲を切り出して案内画像８２、８４を重畳して表示することにより、駐車の際の支援を効率的に行うことができる。また、車輌１が停車した際に前方に他車輌が存在する場合には、撮像部５にて撮像した画像をディスプレイ２に表示せず、カーナビゲーション装置の地図表示又はチューナが受信したテレビ番組の表示を行うことにより、車輌１の周辺の画像を表示する必要性が低い場合に他の表示を妨げることを抑制できるため、車輌１の周辺の画像が表示されることに伴う煩わしさを解消することができる。

また、撮像部５のカメラ５ａとして広角レンズ又は魚眼レンズ等を用いた１８０°程度の画角を有するカメラを用い、車輌１が停車し、駐車場及び前方の他車輌が存在しない場合に、カメラ５ａが撮像した画像から左右側方の画像を切り出して、ディスプレイ２に並べて表示することにより、車輌１の左右側から接近する他車輌などを運転者に示すことができ、交差点などにおける運転の支援を効率的に行うことができる。また、車輌１の周辺に歩行者又は他車輌等の移動物体が存在する場合には、これを最優先でディスプレイ２に表示することにより、運転者に警告を与えることができ、車輌１の走行によって車輌１と移動物体との接触又は衝突等が生じることを防止できる。

なお、本実施の形態においては、車輌１に２つのカメラ５ａ、５ｂを搭載する構成としたが、これに限るものではなく、１つ又は３つ以上のカメラを搭載する構成としてもよい。また、カメラ５ａ、５ｂを搭載する位置についても、車輌１の前部及び後部に限らない。また、図３〜図５に示した画像は、ディスプレイ２に表示する画像の一例であって、これに限るものではない。また、車輌１の走行状態として、（１）エンジンの始動から発車までの間の停車状態、（２）発車後の低速走行状態、（３）走行している状態から停車した場合の停車状態、（４）後退状態、（５）その他の状態の５つの状態を判定する構成としたが、これに限るものではなく、走行情報取得部６が取得する走行情報からより多くの走行状態を判定する構成としてもよい。また、車輌１の周辺状況として、（Ａ）車輌１の周辺に駐車場が存在する状況、（Ｂ）車輌１の周辺に歩行者又は他車輌等の移動物体が存在する状況、（Ｃ）車輌１の前方に停車中の他車輌が存在する状況、（Ｄ）その他の状況の４つの状況を判定する構成としたが、これに限るものではなく、撮像部５にて撮像された画像を基により多くの周辺状況を判定する構成としてもよい。

（変形例）
図１９は、本発明の変形例に係る車輌周辺視認装置の構成を示すブロック図である。変形例に係る車輌周辺視認装置は、車輌１の周辺に存在する物体までの距離を測定する距離測定部１０を備えている。距離測定部１０は、車輌１の前側左角部に搭載された超音波センサ１０ａ、前側中央部に搭載された超音波センサ１０ｂ、及び前側右角部に搭載された超音波センサ１０ｃと、車輌１の後側左角部に搭載された超音波センサ１０ｄ、後側中央部に搭載された超音波センサ１０ｅ、及び後側右角部に搭載された超音波センサ１０ｆとの６つの超音波センサを有している。超音波センサ１０ａ〜１０ｆは、超音波を放出して物体からの反射波を検知することにより物体までの距離を測定することができるが、カメラ５ａ、５ｂの撮像範囲と比較した場合に超音波センサ１０ａ〜１０ｆの検知範囲は狭い。そこで、車輌１の前側に搭載された３つの超音波センサ１０ａ〜１０ｃにて、車輌１の前部に搭載されたカメラ５ａの撮像範囲に存在する物体までの距離を測定し、同様に車輌１の後ろ側に搭載された３つの超音波センサ１０ｄ〜１０ｆにて、車輌１の後部に搭載されたカメラ５ｂの撮像範囲に存在する物体までの距離を測定するようにしてある。

距離測定部１０の超音波センサ１０ａ〜１０ｆによる測定結果はＥＣＵ３のＣＰＵ３５に与えられており、ＣＰＵ３５は、車輌１の周辺状況を判定する際に、撮像部５から与えらた画像を基に判定を行うのみでなく、距離測定部１０の測定結果を用いて判定を行うようにしてある。例えば、車輌１の周辺に歩行者又は他車輌等の移動物体が存在するか否かを判定する場合に距離測定部１０の超音波センサ１０ａ〜１０ｆを利用することができる。

図２０は、本発明の変形例に係る車輌周辺視認装置のＥＣＵ３が行う移動物体表示処理の手順を示すフローチャートである。なお、移動物体表示処理は撮像部５のカメラ５ａ、５ｂについてそれぞれ行われるが、同じ処理であるので以下ではカメラ５ａの場合について説明を行い、カメラ５ｂの場合については説明を省略する。移動物体表示処理では、まず、カメラ５ａにて撮像を行って画像を取得し（ステップＳ１４１）、画像メモリから所定時間Δｔ前に撮像された画像を読み出して（ステップＳ１４２）、２つの画像の各画素について差分を算出する（ステップＳ１４３）。

次いで、各画素について算出した差分と予め定められた閾値とを比較し（ステップＳ１４４）、差分が閾値を超えたか否かを調べる（ステップＳ１４５）。各画素について算出した差分が閾値を超えた場合（Ｓ１４５：ＹＥＳ）、距離測定部１０の超音波センサ１０ａ〜１０ｃにて車輌１の前方に存在する物体までの距離を測定する（ステップＳ１４６）。測定の結果として得られる距離が所定の距離範囲内であるか否かを調べ（ステップＳ１４７）、所定の距離範囲の場合（Ｓ１４７：ＹＥＳ）、閾値を超えた画素を囲むように警告枠８１をステップＳ１４１にて取得した画像に重畳する画像加工処理を行って（ステップＳ１４８）、加工後の画像をディスプレイ２に表示し（ステップＳ１４９）、ステップＳ１４１へ戻る。また、ステップＳ１４５にて差分が閾値を超えない場合（Ｓ１４５：ＮＯ）、又はステップＳ１４７にて物体までの距離が所定の距離範囲外の場合（Ｓ１４７：ＮＯ）、移動物体表示処理を終了する。

以上のように、車輌１の周辺に移動物体が存在する場合に移動物体までの距離を測定し、車輌１から所定の距離範囲内に移動物体が接近した場合にのみ、移動物体を撮像した画像をディスプレイ２に表示することによって、車輌１から遠い位置に存在する移動物体がディスプレイ２に表示されることを防止できる。なお、距離測定部１０による距離測定を移動物体の表示に利用する構成としたが、更に車輌１の前方に停車中の他車輌が存在するか否かを判定する際にも距離測定部１０による距離測定を利用することができる。

本発明に係る車輌周辺視認装置を搭載した車輌の一構成例を示す模式的平面図である。 本発明に係る車輌周辺視認装置の構成を示すブロック図である。 走行状態及び周辺状況に応じたディスプレイの表示例である。 走行状態及び周辺状況に応じたディスプレイの表示例である。 走行状態及び周辺状況に応じたディスプレイの表示例である。 本発明に係る車輌周辺視認装置が行う車輌の周辺に駐車場が存在するか否かを判定する方法を説明するための説明図である。 本発明に係る車輌周辺視認装置が行う車輌の周辺に駐車場が存在するか否かを判定する方法を説明するための説明図である。 本発明に係る車輌周辺視認装置のカメラが撮像した他車輌の画像例である。 本発明に係る車輌周辺視認装置が行う車輌の前方に他車輌が存在するか否かを判定する方法を説明するための説明図である。 本発明に係る車輌周辺視認装置が行う移動物体が存在するか否かを判定する方法を説明するための説明図である。 本発明に係る車輌周辺視認装置が行う移動物体が存在するか否かを判定する方法を説明するための説明図である。 本発明に係る車輌周辺視認装置のＥＣＵが行うディスプレイへの表示制御処理の手順を示すフローチャートである。 本発明に係る車輌周辺視認装置のＥＣＵが行うディスプレイへの表示制御処理の手順を示すフローチャートである。 本発明に係る車輌周辺視認装置のＥＣＵが車輌の後退時に行うディスプレイへの表示制御処理の手順を示すフローチャートである。 本発明に係る車輌周辺視認装置のＥＣＵが行う移動物体表示処理の手順を示すフローチャートである。 本発明に係る車輌周辺視認装置のＥＣＵが行う駐車場判定処理の手順を示すフローチャートである。 本発明に係る車輌周辺視認装置のＥＣＵが行う駐車場表示処理の手順を示すフローチャートである。 本発明に係る車輌周辺視認装置のＥＣＵが行う前車判定処理の手順を示すフローチャートである。 本発明の変形例に係る車輌周辺視認装置の構成を示すブロック図である。 本発明の変形例に係る車輌周辺視認装置のＥＣＵが行う移動物体表示処理の手順を示すフローチャートである。

符号の説明

１ 車輌
２ ディスプレイ（表示手段）
３ ＥＣＵ（走行状態判定手段、周辺状況判定手段、表示判定手段、画像加工手段、表示制御手段、抽出手段）
５ 撮像部（撮像手段）
５ａ、５ｂ カメラ
６ 走行情報取得部（走行情報取得手段）
７ スピーカ
１０ 距離測定部（測定手段）
１０ａ〜１０ｆ 超音波センサ
３１ 画像処理部
３５ ＣＰＵ
６１ 車速センサ
６２ シフトレバー
６３ サイドブレーキ
６４ フットブレーキ
６５ 舵角センサ
８１ 警告枠
８２、８４ 案内画像

Claims (10)

1. 車輌に搭載され、該車輌の周辺を撮像して画像を取得する撮像手段と、該撮像手段が撮像して取得した画像を表示する表示手段とを備える車輌周辺視認装置において、
   前記車輌の走行に係る情報を取得する走行情報取得手段と、
   該走行情報取得手段が取得した走行情報を基に、前記車輌の走行状態を判定する走行状態判定手段と、
   前記撮像手段が撮像して取得した画像を基に、前記車輌の周辺状況を判定する周辺状況判定手段と、
   前記走行状態判定手段の判定結果及び前記周辺状況判定手段の判定結果を基に、前記撮像手段が撮像した画像を前記表示手段に表示するか否かを判定する表示判定手段と、
   前記走行状態判定手段の判定結果及び前記周辺状況判定手段の判定結果に応じて、前記撮像手段が撮像した画像を加工する画像加工手段と、
   前記表示判定手段が表示すると判定した場合に、前記画像加工手段が加工した画像を前記表示手段に表示させる表示制御手段と
   を備えることを特徴とする車輌周辺視認装置。
2. 前記走行状態判定手段が前記車輌は所定速度より高速に走行している状態から前記所定速度より低速に走行している状態に変化したと判定し、且つ、前記周辺状況判定手段が前記車輌の周辺に駐車場が存在すると判定した場合に、
   前記表示判定手段は、画像を表示すると判定し、
   前記画像加工手段は、前記撮像手段が撮像して取得した画像から前記駐車場を含む所定範囲の画像を切り出す加工を行うようにしてあること
   を特徴とする請求項１に記載の車輌周辺視認装置。
3. 前記画像加工手段は、切り出した画像に前記駐車場と前記車輌との位置関係を示す案内画像を重畳する加工を行うようにしてあること
   を特徴とする請求項２に記載の車輌周辺視認装置。
4. 前記走行状態判定手段が前記車輌は所定速度より高速に走行している状態から前記所定速度より低速に走行している状態に変化したと判定し、且つ、前記周辺状況判定手段が前記車輌の前方に停車した他車輌が存在すると判定した場合に、
   前記表示判定手段は、画像を表示しないと判定するようにしてあること
   を特徴とする請求項１乃至請求項３のいずれか１つに記載の車輌周辺視認装置。
5. 前記撮像手段は、前記車輌の前方から左右側方に亘っての範囲を撮像することが可能にしてあり、
   前記走行状態判定手段が前記車輌は所定速度より高速に走行している状態から前記所定速度より低速に走行している状態に変化したと判定し、前記周辺状況判定手段が前記車輌の周辺に駐車場が存在しないと判定し、且つ、前記周辺状況判定手段が前記車輌の前方に停車した他車輌が存在しないと判定した場合に、
   前記表示判定手段は、画像を表示すると判定し、
   前記画像加工手段は、前記撮像手段が撮像して取得した画像から、前記車輌の前方部分より左右側方部分を強調した画像を生成するようにしてあり、
   前記表示制御手段は、前記画像加工手段が生成した画像を前記表示手段に表示させるようにしてあること
   を特徴とする請求項１乃至請求項４のいずれか１つに記載の車輌周辺視認装置。
6. 前記周辺状況判定手段が前記車輌の周辺に移動物体が存在すると判定した場合に、
   前記表示判定手段は、画像を表示すると判定するようにしてあること
   を特徴とする請求項１乃至請求項５のいずれか１つに記載の車輌周辺視認装置。
7. 前記車輌周辺の物体までの距離を測定する測定手段を備え、
   前記周辺状況判定手段が前記車輌の周辺に移動物体が存在すると判定し、前記測定手段が測定した前記車輌から前記移動物体までの距離が所定距離以内の場合に、
   前記表示判定手段は、画像を表示すると判定するようにしてあること
   を特徴とする請求項１乃至請求項６のいずれか１つに記載の車輌周辺視認装置。
8. 前記走行状態判定手段が前記車輌は後退状態であると判定し、前記周辺状況判定手段が前記車輌の周辺に駐車場が存在すると判定した場合に、
   前記表示判定手段は、画像を表示すると判定し、
   前記画像加工手段は、前記撮像手段が撮像して取得した画像から前記駐車場を含む所定範囲の画像を切り出す加工を行うようにしてあること
   を特徴とする請求項１乃至請求項７のいずれか１つに記載の車輌周辺視認装置。
9. 前記周辺状況判定手段は、
   前記撮像手段が撮像して取得した画像から直線を抽出する抽出手段を有し、
   前記抽出手段が抽出した２つの直線の間の距離が所定の距離範囲内の場合に、前記車輌の周辺に駐車場が存在すると判定するようにしてあること
   を特徴とする請求項１乃至請求項８のいずれか１つに記載の車輌周辺視認装置。
10. 前記撮像手段は、前記車輌の前方を撮像するようにしてあり、
    前記周辺状況判定手段は、
    前記撮像手段が撮像して取得した画像から赤色部分を抽出する抽出手段を有し、
    該抽出手段が抽出した２つの赤色部分の間の距離が所定の距離範囲内の場合に、前記車輌の前方に停車した他車輌が存在すると判定するようにしてあること
    を特徴とする請求項１乃至請求項９のいずれか１つに記載の車輌周辺視認装置。

Images