JP2007267343A - 車両周辺画像提供装置および方法 - Google Patents

Abstract

【課題】車両周辺の立体物の有無を判定することが可能な車両周辺画像提供装置および方法を提供する。
【解決手段】車両周辺画像提供装置１は、画像検出部５４によって俯瞰画像データ上に特徴点を設定し、この特徴点の移動量と自車両の変化とから特徴点が立体物上に設定されているか否かを判断する。ここで、自車両が移動した場合、特徴点が移動することとなる。この特徴点の移動による変化は、特徴点が基準面である地面上に存在する場合と、特徴点が立体物Ｏに設定されている場合とで異なる。このため、特徴点の変化によって特徴点が立体物上に設定されているかを判断することができる。
【選択図】図１

Description

本発明は、車両周辺画像提供装置および方法に関する。

従来、車両周囲を複数のカメラにより撮影し、得られた画像を座標変換して仮想視点から車両を眺めたような画像を生成して運転者に提示する車両周辺画像提供装置が知られている。このような車両周辺画像提供装置は、座標変換の基準面を地面とし、俯瞰画像を生成するものが多く、俯瞰画像を運転者に提示することで、地面上の白線等と自車両との位置関係を運転者に客観的に認識させ、駐車運転や幅寄運転を支援するようになっている（例えば特許文献１参照）。
特開２００３−１６９３２３号公報

しかしながら、従来の車両周辺画像提供装置では地面を基準面とするため立体物については俯瞰画像上において正確に表現されず、地面に存在する白線等と区別が付き難くなってしまう。

本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、車両周辺の立体物の有無を判定することが可能な車両周辺画像提供装置および方法を提供することにある。

本発明に係る車両周辺画像提供装置は、車両周辺の画像を運転者に提供するものである。この車両周辺画像提供装置は、車両周辺を撮影する撮影手段と、地面を基準面とし撮影手段により撮影された車両周辺の画像を座標変換して得られる俯瞰画像データ上に特徴点を設定する特徴点設定手段とを備えている。さらに、車両周辺画像提供装置は、自車両の移動量を検出する移動量検出手段と、自車両が移動した場合に、移動量検出手段により検出された自車両の移動量と特徴点設定手段により設定された特徴点の俯瞰画像データにおける変化とから、特徴点が立体物上に設定されているか否かを判断する立体判断手段とを備えている。

本発明によれば、俯瞰画像データ上に特徴点を設定し、この特徴点の移動量と自車両の変化とから特徴点が立体物上に設定されているか否かを判断する。ここで、自車両が移動した場合、特徴点が移動することとなる。この特徴点の移動による変化は、特徴点が基準面である地面上に存在する場合と、特徴点が立体物に設定されている場合とで異なる。このため、特徴点の変化によって特徴点が立体物上に設定されているかを判断することができ、これにより車両周辺の立体物の有無を判定することが可能となる。従って、車両周辺の立体物の有無を判定することが可能な車両周辺画像提供装置を提供することができる。

以下、本発明の好適な実施形態を図面に基づいて説明する。

図１は、本発明の実施形態に係るの車両周辺画像提供装置の構成図である。同図に示すように、本実施形態に係る車両周辺画像提供装置１は、車両周辺の画像を運転者に提供するものであって、カメラモジュール（撮影手段）１０と、車速センサ２０と、操舵角センサ３０と、シフト信号センサ４０と、画像処理装置５０と、モニタ（表示手段）６０と、スピーカ（音声出力手段）７０とを備えている。

カメラモジュール１０は、車両周辺を撮影するものであり、例えばＣＣＤカメラやＣＭＯＳカメラが用いられる。このカメラモジュール１０は、図１に示すように、第１カメラモジュール１０ａと第２カメラモジュール１０ｂとの２つからなっており、それぞれが撮影により得られた画像データを画像処理装置５０に送信する構成となっている。なお、カメラモジュール１０は２つに限ることなく、少なくとも１つ設けられていればよい。

車速センサ２０は、自車両の車速を検出するものである。操舵角センサ３０は、自車両の操舵角を検出するものである。シフト信号センサ４０は、自車両のシフト位置（ギヤポジションの位置）を検出するものである。これら各部２０，３０，４０は、画像処理装置５０に検出結果を出力するようになっている。

画像処理装置５０は、カメラモジュール１０により撮影された車両周辺の画像を処理するものであり、第１入力バッファ５１ａと、第２入力バッファ５１ｂと、テーブル記憶部５２と、画像変換部５３と、画像検出部（特徴点設定手段、移動量検出手段、立体判断手段）５４と、ＣＰＵ５５と、出力バッファ５６とからなっている。

第１入力バッファ５１ａは、第１カメラモジュール１０ａからの画像データを入力して記憶しておくものである。また、第２入力バッファ５１ｂも第１入力バッファ５１ａと同様に、第２カメラモジュール１０ｂからの画像データを入力して記憶しておくものである。

テーブル記憶部５２は、カメラモジュール１０により撮影された車両周辺の画像を地面を基準面として座標変換するアドレス変換テーブルを記憶したものである。画像変換部５３は、テーブル記憶部５２に記憶されるアドレス変換テーブルを用いて、カメラモジュール１０により撮影された車両周辺の画像を座標変換するものである。この画像変換部５３の座標変換によって、自車両を上空から眺めたような俯瞰画像が得られることとなる。

ここで、俯瞰画像の生成についてより詳しく説明する。図２は、図１に示す画像変換部５３の座標変換によって得られる俯瞰画像の一例を示す図である。なお、図２の説明において、カメラモジュール１０は車両前方、両側方および後方にそれぞれ１つずつ設けられて４方向を撮影可能となっているものとする。

まず、車両が駐車枠内に停車している場合、まず、前方側のカメラモジュール１０によって、フロント画像１０１が得られる。フロント画像１０１には、自車両の車体１０１ａと前側の駐車枠１０１ｂとが映っている。また、後方側のカメラモジュール１０によって、リア画像１０２が得られる。リア画像１０２には、自車両の車体１０２ａと前側の駐車枠１０２ｂとが映っている。

また、右側方側のカメラモジュール１０によって右サイド画像１０３が得られ、左側方側のカメラモジュール１０によって左サイド画像１０４が得られる。右サイド画像１０３には、自車両の車体１０３ａと前側の駐車枠１０３ｂとが映っており、左サイド画像１０４には、自車両の車体１０４ａと前側の駐車枠１０４ｂとが映っている。

画像変換部５３は、このような画像１０１〜１０４をテーブル記憶部５２に記憶されるアドレス変換テーブルに基づいてそれぞれ座標変換する。すなわち、画像変換部５３は、フロント画像１０１を座標変換して自車両前方側を上空から眺めた画像２０１を生成し、同様に、リア画像１０２から自車両後方側を上空から眺めた画像２０２を生成する。また、右サイド画像１０３から自車両右側方側を上空から眺めた画像２０３を生成し、左サイド画像１０４から自車両左側方側を上空から眺めた画像２０４を生成する。

そして、画像変換部５３は、生成した画像２０１〜２０４を結合し、自車両周辺を上空から眺めた俯瞰画像２０５を生成する。なお、画像変換部５３は、俯瞰画像２０５の中央部に自車両のオブジェクト２０６を配置することとする。

再度、図１を参照する。画像検出部５４は、特徴点設定機能、移動量検出機能、および立体判断機能を備えたものである。特徴点設定機能は、俯瞰画像データ上に特徴点を設定する機能である。特徴点設定機能によって、画像検出部５４は、まず、俯瞰画像データ上の各画素の色情報または明るさ情報から俯瞰画像データ内のエッジ線分を検出する。そして、画像検出部５４は、同機能によって、検出したエッジ線分上または検出したエッジ線分によって囲まれる領域内に特徴点を設定する。

図３は、図１に示した画像検出部５４の特徴点設定機能による特徴点の設定の様子を示す図である。まず、画像検出部５４は、エッジ検出を行う。これにより、同図に示すように俯瞰画像内に白線Ｌや立体物Ｏが映っている場合には、白線Ｌや立体物Ｏのエッジ線分が検出されることとなる。そして、画像検出部５４は、白線Ｌや立体物Ｏのエッジ線分上、またはエッジ線分によって囲まれる領域に特徴点を設定する。すなわち、画像検出部５４は、白線Ｌや立体物Ｏの縁部分または内側に特徴点を設定することとなる。

再度、図１を参照する。移動量検出機能は、自車両の移動量を検出する機能である。画像検出部５４は、車速センサ２０からの車速情報、操舵角センサ３０からの操舵角情報、およびシフト信号センサからのシフト位置情報を読み込んで、移動量検出機能によって演算を行い、自車両の移動量を検出する。

立体判断機能は、俯瞰画像データ上に設定された特徴点が立体物上に設定されているか否かを判断する機能である。画像検出部５４は、自車両が移動した場合に、特徴点設定機能により設定された特徴点の俯瞰画像データにおける変化（第１実施形態では移動量）を求める。そして、画像検出部５４は、この移動量と、移動量検出機能により検出された自車両の移動量とを比較して、特徴点が立体物上に設定されているか否かを立体判定機能によって判断する。

立体判断機能ついて詳細に説明する。図４は、図１に示す画像検出部５４の立体判定機能の詳細を示す第１の図であり、（ａ）は車両左側方の様子を３次元にて示し、（ｂ）は俯瞰画像を示している。同図（ａ）に示すように、カメラモジュール１０が車両左側方に設置されており、３次元座標系にてカメラ位置を表すと座標値が（０，０，ｈ＋α）となるとする。また、車両の左側方には立体物Ｏが存在し、その立体物Ｏの下端の座標値が（ｘｔ１，ｙｔ１，０）であり、上端の座標値が（ｘｔ１，ｙｔ１，ｈ）であるとする。このとき、立体物Ｏを真上から眺めると（ｘｔ１，ｙｔ１）の位置に立体物Ｏが存在することとなる。故に、俯瞰画像では座標変換した位置（Ｘｔ１，Ｙｔ１）に立体物Ｏが存在するはずである。

ところが、図４（ｂ）に示すように、立体物Ｏは、下端が座標（Ｘｔ１，Ｙｔ１）に表現されるのみで、上端は他の座標（Ｘ’ｔ１，Ｙ’ｔ１）に表現されてしまう。これは、以下の理由による。図４（ａ）に示すように、カメラ位置から立体物Ｏの上端を撮影した場合、立体物Ｏの上端は、カメラ位置から立体物Ｏの上端を通る直線ｌが地面と交差する点Ｐ（ｘ’ｔ１，ｙ’ｔ１，０）として把握されてしまう。このため、図４（ｂ）に示すように、俯瞰画像では点Ｐ（ｘ’ｔ１，ｙ’ｔ１，０）を座標変換した（Ｘ’ｔ１，Ｙ’ｔ１）に立体物Ｏの上端が表現されてしまう。

図５は、図１に示す画像検出部５４の立体判定機能の詳細を示す第２の図であり、（ａ）は車両左側方の様子を３次元にて示し、（ｂ）は俯瞰画像を示している。また、図６は、図１に示す画像検出部５４の立体判定機能の詳細を示す第３の図であり、（ａ）は車両左側方の様子を３次元にて示し、（ｂ）は俯瞰画像を示している。

まず、車両が図４の状態からやや前方に移動したとする。この場合、図５（ａ）に示すように、立体物Ｏの下端の座標値は（ｘｔ２，ｙｔ２，０）となり、上端の座標値は（ｘｔ２，ｙｔ２，ｈ）となる。そして、俯瞰画像上では、図５（ｂ）に示すように、立体物Ｏの下端は（Ｘｔ２，Ｙｔ２）に表現され、上端は（Ｘ’ｔ２，Ｙ’ｔ２）に表現される。

さらに、車両が図５の状態から前方に移動したとすると、図６（ａ）に示すように、立体物Ｏの下端の座標値は（ｘｔ３，ｙｔ３，０）となり、上端の座標値は（ｘｔ３，ｙｔ３，ｈ）となる。また、俯瞰画像上では、図６（ｂ）に示すように、立体物Ｏの下端は（Ｘｔ３，Ｙｔ３）に表現され、上端は（Ｘ’ｔ３，Ｙ’ｔ３）に表現される。

図７は、図４〜図６に示した俯瞰画像を比較する図である。図７に示すように、車両が前方に移動する場合、俯瞰画像上に表現された立体物Ｏの下端移動量と上端移動量とに差があることがわかる。すなわち、立体物Ｏの下端は、自車両の移動量分（俯瞰画像データ上での移動量分）だけ移動するが、立体物Ｏの上端は、自車両の移動量分よりも大きく移動する。立体判定機能は、図７に示すように自車両の移動量よりも特徴点が大きく移動したか否かに基づいて、特徴点が立体物Ｏに設定されているか否かを判断することとなる。

再度、図１を参照する。ＣＰＵ５５は、画像処理装置５０の全体を制御するものであり、画像変換部５３および画像検出部５４を制御するものであり、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）や、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）や、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のデバイスから構成されている。

出力バッファ５６は、画像変換部５３によって座標変換された俯瞰画像を記憶するものである。この出力バッファ５６は、記憶した俯瞰画像の情報をモニタ６０に出力する構成となっている。

モニタ６０は、座標変換して得られた俯瞰画像を表示するものである。また、モニタ６０は、画像検出部５４によって特徴点が立体物Ｏに設定されていると判断された場合、その立体物Ｏについて強調表示する構成となっている。

図８は、図１に示すモニタ６０による強調表示の一例を示す図である。図８に示すように、自車両の左側方に立体物Ｏが存在し、画像検出部５４が俯瞰画像上の立体物Ｏに特徴点を設定したとする。この場合、自車両がやや前進したことにより画像検出部５４は特徴点が立体物Ｏに設定されていると判断する。これにより、モニタ６０は、俯瞰画像上の立体物Ｏにオーバレイ画像Ｏ’を重畳し、立体物Ｏを強調して表示する。

再度、図１を参照する。スピーカ７０は、画像検出部５４によって特徴点が立体物Ｏに設定されていると判断された場合、その立体物Ｏの存在を所定の音声にて運転者に知らせる構成となっている。具体的にスピーカ７０は、「ピッ、ピッ、ピッ」といったピープ音や、「左側方に障害物があります」などの会話音で立体物Ｏの存在を運転者に知らせる。

次に、本実施形態に係る車両周辺画像提供方法の概略を説明する。まず、カメラモジュール１０は、車両周辺を撮影する。次いで、画像変換部５３は、カメラモジュール１０によって撮影された画像を座標変換して俯瞰画像を作成する。

また、画像検出部５４は、特徴点設定機能によって、俯瞰画像データ上に特徴点を定める。このとき、画像検出部５４は、エッジ検出を行い、検出したエッジ線分上またはエッジ線分によって囲まれる領域内に特徴点を設定する。なお、画像検出部５４は、特徴点を１つだけでなく複数設定することで、立体物Ｏである可能性がある部分のすべてに対して特徴点を設定することが望ましい。

次に、画像検出部５４は、車速センサ２０、操舵角センサ３０およびシフト信号センサ４０からの信号を読み込んで、移動量検出機能により自車両の移動量を検出する。そして、画像検出部５４は、移動量検出機能により検出された自車両の移動量をもとに、特徴点が地面に設定されていたなら俯瞰画像上において移動するであろう量（以下基準移動量という）を算出する。次に、画像検出部５４は、俯瞰画像上での各特徴点の移動量と、基準移動量とを比較する。次いで、画像検出部５４は、立体判定機能によって、基準移動量よりも大きい移動量を示す特徴点を抽出し、この抽出した特徴点が立体物Ｏに設定されていると判断する。

その後、モニタ６０は、画像検出部５４による立体判断結果に基づいて立体物Ｏを強調表示する。さらに、スピーカ７０は、立体物Ｏの存在を所定の音声にて運転者に通知する。

なお、上記において、特徴点はエッジ線分上またはエッジ線分によって囲まれる領域内に１画素のみ設定されてもよいが、これに限らず、エッジ線分上またはエッジ線分によって囲まれる領域内に複数画素設定されてもよい。さらに、エッジ線分そのものを特徴点として設定するようにしてもよい。

次に、本実施形態に係る車両周辺画像提供方法の詳細を説明する。図９は、本実施形態に係る車両周辺画像提供方法の一例を示すフローチャートである。なお、図９に示す処理は、カメラモジュール１０によって撮影した画像から俯瞰画像を作成して出力バッファ５６に記憶させた時点で開始するものとする。

まず、画像処理装置５０は、車速センサ２０の情報に基づいて、自車両が移動したか否かを判断する（ＳＴ１）。自車両が移動していないと判断した場合（ＳＴ１：ＮＯ）、移動したと判断するまで、この処理を繰り返す。一方、自車両が移動したと判断した場合（ＳＴ１：ＹＥＳ）、画像検出部５４は、自車両の挙動を検出する（ＳＴ２）。このとき、画像検出部５４は、移動量検出機能によって自車両の移動量を随時検出する。また、移動量だけでなく、自車両の移動方向についても随時検出する。この処理において、画像検出部５４は、例えば「車両が前方にａ〔ｍｍ〕移動」といった情報を検出することとなる。

次いで、画像検出部５４は、エッジ検出を行う（ＳＴ３）。このエッジ検出は、出力バッファ５６に記憶される複数枚の俯瞰画像が対象とされる。また、エッジ検出は、俯瞰画像上において隣り合う画素同士の色信号（ＲＧＢ）、色差信号（Ｃｂ，Ｃｒ）または輝度信号（Ｙ）を比較することで行われる。そして、画像検出部５４は、エッジ検出の結果をもとに、特徴点設定機能によって特徴点を設定することとなる。なお、図９に示す例において、特徴点はエッジ線分に設定されるものとする。

次に、画像検出部５４は、立体判定機能によって、自車両の移動とエッジの移動と合致しているか否かを判断する（ＳＴ４）。ここで、自車両の移動とエッジの移動と合致していると判断した場合（ＳＴ４：ＹＥＳ）、画像検出部５４は、エッジが座標変換の基準面である地面に存在していると判断し、処理はステップＳＴ１に移行する。一方、自車両の移動とエッジの移動と合致していないと判断した場合（ＳＴ４：ＮＯ）、画像検出部５４は、エッジが座標変換の基準面である地面よりも鉛直上方側にあると判断し、エッジによって構成される俯瞰画像上の物体が白線等のラインＬでなく立体物Ｏであると判断する。より具体的に説明すると、例えば車両が俯瞰画像上に換算して３画素分だけ前進した場合、上記白線等のラインＬのエッジ線分は同様に３画素分だけ移動する。これに対し、別のエッジ線分が６画素分移動した場合、画像検出部５４は、エッジによって構成される物体が白線等でなく立体物Ｏであると判断する。

そして、モニタ６０は、立体物Ｏについて強調表示を行うと共に、スピーカ７０は、立体物Ｏの存在を所定の音声にて運転者に通知する（ＳＴ５）。その後、車両周辺画像提供装置１は、自車両のイグニッションスイッチがオフされたか否かを判断する（ＳＴ６）。イグニッションスイッチがオフされていないと判断した場合（ＳＴ６：ＮＯ）、処理はステップＳＴ１に移行する。一方、イグニッションスイッチがオフされたと判断した場合（ＳＴ６：ＹＥＳ）、処理は終了する。

なお、図９に示す処理は、俯瞰画像を作成して出力バッファ５６に記憶させた時点で開始するものとして説明したが、これに限らず、例えばアドレス変換テーブルを使用して座標変換する際に開始されてもよいし、カメラモジュール１０によって撮影された画像が入力バッファ５１ａ，５１ｂに記憶された時点で開始されてもよい。

このようにして、第１実施形態に係る車両周辺画像提供装置１および方法によれば、俯瞰画像データ上に特徴点を設定し、この特徴点の移動量と自車両の変化とから特徴点が立体物上に設定されているか否かを判断する。ここで、自車両が移動した場合、特徴点が移動することとなる。この特徴点の移動による変化は、特徴点が基準面である地面上に存在する場合と、特徴点が立体物Ｏに設定されている場合とで異なる。このため、特徴点の変化によって特徴点が立体物上に設定されているかを判断することができ、これにより車両周辺の立体物Ｏの有無を判定することが可能となる。従って、車両周辺の立体物Ｏの有無を判定することが可能な車両周辺画像提供装置１を提供することができる。また、同様に車両周辺の立体物Ｏの有無を判定することが可能な車両周辺画像提供方法を提供することができる。

また、特徴点の移動量と自車両の移動量とから特徴点が立体物上に設定されているか否かを判断することとしている。特徴点の移動量は、特徴点が基準面である地面上に存在する場合、自車両の移動量分（俯瞰画像データ上での移動量分）と同じになる。これに対し、特徴点が立体物Ｏに設定されて基準面よりも鉛直上側に存在する場合、特徴点は自車両の移動量分よりも大きく移動することとなる。このため、特徴点の移動量が自車両の移動量分だけ移動しているかによって特徴点が立体物上に設定されているかを判断することができ、これにより車両周辺の立体物Ｏの有無を判定することが可能となる。従って、車両周辺の立体物Ｏの有無を判定することが可能な車両周辺画像提供装置１を提供することができる。

また、俯瞰画像データ上の各画素の色情報または明るさ情報から俯瞰画像データ内のエッジ線分を検出し、検出したエッジ線分上または検出したエッジ線分によって囲まれる領域内に特徴点を設定する。これにより、地面に描かれる白線等のラインＬや立体物Ｏの縁または内側に特徴点を設定することとなる。従って、立体物Ｏである可能性がある箇所に特徴点を確実に設定することができる。

また、特徴点が立体物上に設定されていると判断された場合、その立体物Ｏについて強調表示するため、表示される俯瞰画像中の立体物Ｏを運転者に対して分かり易く通知することができる。

また、特徴点が立体物上に設定されていると判断した場合、その立体物Ｏの存在を所定の音声にて運転者に知らせるため、立体物Ｏの有無を運転者に聴覚的に通知することができる。

次に、本発明の第２実施形態を説明する。第２実施形態に係る車両周辺画像提供装置２は、第１実施形態のものと同様であるが、処理内容が一部異なっている。以下、第１実施形態との相違点を説明する。

第２実施形態に車両周辺画像提供装置２は、第１実施形態のものの機能に加えて、特徴点の高さを検出する機能が追加されている。さらに、第２実施形態に車両周辺画像提供装置２は、立体物Ｏの高さに応じて表示および音声出力を変化させる機能を有している。

図１０は、第２実施形態に係る車両周辺画像提供装置２による特徴点の高さの検出方法を示す図であり、（ａ）は俯瞰画像を示し、（ｂ）は車両左側方の様子を３次元にて示している。なお、図１０の説明において、特徴点は立体物Ｏの上端に設定されているものとし、立体物Ｏの高さを検出する場合を例に説明するものとする。

まず、図１０（ａ）に示すように、画像検出部５４は、特徴点が立体物上に設定されていると判断した場合、俯瞰画像データ上における立体物Ｏと地面との接触位置（Ｘｔ，Ｙｔ）を求める。さらに、画像検出部５４は、俯瞰画像データ上におけるカメラモジュール１０の撮影位置（Ｘｃ，Ｙｃ）および立体物Ｏの上端（俯瞰画像データ上における特徴点）の位置（Ｘ’ｔ，Ｙ’ｔ）を求める。そして、画像検出部５４は、これらの３点の情報から、俯瞰画像上におけるカメラモジュール１０から立体物Ｏと地面との接触位置までの距離Ａと、俯瞰画像上における立体物Ｏと地面との接触位置から立体物Ｏの上端（俯瞰画像データ上における特徴点）の位置までの距離Ｂを求める。

次に、画像検出部５４は、アドレス変換テーブルをもとに、上記３点の座標を３次元での座標値に置き換える。なお、カメラモジュール１０の高さｚは予め記憶されており、この高さを利用して３点の座標値を求める。ここで、カメラモジュール１０の座標値を（０，０，ｚ）とした場合、３次元での立体物Ｏと地面との接触位置の座標値は（−ｂ，０，０）となり、立体物Ｏの上端位置であると誤って認識される点Ｐの座標値は（−（ａ＋ｂ），０，０）となる。

画像検出部５４は、この３点の座標値により、立体物Ｏの高さを検出する。すなわち、画像検出部５４は、立体物Ｏの高さｈを（ａ：（ａ＋ｂ）＝ｈ：ｚ）の関係式から求める。これにより、第２実施形態に係る画像検出部５４は、立体物Ｏの高さを検出する。なお、図１０では、立体物Ｏの上端の高さを検出する場合を例に設定したが、これに限らず、単に特徴点の高さについて検出する場合も同様にして求めることができる。また、特徴点を立体物Ｏの上端に設定して立体物Ｏの高さを検出する場合には、一端立体物Ｏの存在を検出した後に、立体物Ｏのうち俯瞰画像上において自車両から最も遠い側に特徴点を再設定すれば、確実に立体物Ｏの上端に設定することができる。

また、第２実施形態に係る車両周辺画像提供装置２において、モニタ６０は、立体物Ｏの上端高さが自車両のバンパーの高さ以上であるとき、その立体物Ｏについて第１実施形態に示した強調表示と異なる強調表示を行う。例えば、モニタ６０は、オーバレイ画像Ｏ’を大きくしたり色を変えたりする。また、モニタ６０は、オーバレイ画像Ｏ’を点滅させたり、オーバレイ画像Ｏ’を用いずに立体物Ｏ自体を点滅させたりする。このように、第２実施形態に係る車両周辺画像提供装置２は、立体物Ｏの高さがバンパーの高さ以上であるか未満であるかに応じて、強調表示の方法を変更する。これにより、第２実施形態では、タイヤが乗り上げることなく車体に接触する可能性がある立体物Ｏを運転者に対して分かり易く通知するようにしている。

さらに、第２実施形態に係る車両周辺画像提供装置２において、スピーカ７０は、立体物Ｏの上端高さが自車両のバンパーの高さ以上であるとき、その立体物Ｏの存在を第１実施形態にて説明した所定の音声と異なる音声にて運転者に知らせることとしている。例えば、スピーカ７０は、「ピッ、ピッ、ピッ」というピープ音の音量を上げたり鳴動間隔を早めたりする。また、スピーカ７０は、「左側方に障害物があるので注意して下さい」など、運転上支障があることを通知するようにしてもよい。このように、第２実施形態に係る車両周辺画像提供装置２は、立体物Ｏの高さがバンパーの高さ以上であるか未満であるかに応じて、音声出力の方法を変更する。これにより、第２実施形態では、タイヤが乗り上げることなく車体に接触する可能性がある立体物Ｏを運転者に聴覚的に通知することができる。

このようにして、第２実施形態に係る車両周辺画像提供装置２および方法によれば、第１実施形態と同様に、車両周辺の立体物Ｏの有無を判定することが可能な車両周辺画像提供装置２を提供することができる。また、同様に車両周辺の立体物Ｏの有無を判定することが可能な車両周辺画像提供方法を提供することができる。また、立体物Ｏである可能性がある箇所に特徴点を確実に設定することができる。また、表示される俯瞰画像中の立体物Ｏを運転者に対して分かり易く通知することができ、立体物Ｏの有無を運転者に聴覚的に通知することができる。

さらに、第２実施形態によれば、特徴点が立体物上に設定されていると判断した場合、俯瞰画像データ上における立体物Ｏと地面との接触位置（Ｘｔ，Ｙｔ）、俯瞰画像データ上におけるカメラモジュール１０の撮影位置（Ｘｃ，Ｙｃ）、予め記憶されるカメラモジュール１０の高さ位置ｚ、および俯瞰画像データ上における特徴点の位置から、特徴点の高さを検出する。ここで、俯瞰画像データ上における立体物Ｏと地面との接触位置（Ｘｔ，Ｙｔ）、俯瞰画像データ上におけるカメラモジュール１０の撮影位置（Ｘｃ，Ｙｃ）、予め記憶されるカメラモジュール１０の高さ位置ｚ、および俯瞰画像データ上における特徴点の位置が判明すると、これらの比率から特徴点の高さを検出することが可能となる。従って、立体物の高さを特定することができる。

また、立体物Ｏの上端高さが自車両のバンパーの高さ以上であるとき、その立体物Ｏについて第１実施形態の強調表示と異なる強調表示を行う。これにより、タイヤが乗り上げることなく車体に接触する可能性がある立体物Ｏを運転者に対して分かり易く通知することができる。

また、立体物Ｏの上端高さが自車両のバンパーの高さ以上であるとき、その立体物Ｏの存在を第１実施形態の所定の音声と異なる音声にて運転者に知らせる。これにより、タイヤが乗り上げることなく車体に接触する可能性がある立体物Ｏを運転者に対して分かり易く通知することができる。

次に、本発明の第３実施形態を説明する。第３実施形態に係る車両周辺画像提供装置３は、第１実施形態のものと同様であるが、処理内容が一部異なっている。以下、第１実施形態との相違点を説明する。

第３実施形態に係る車両周辺画像提供装置３は、特徴点の設定箇所が適切とされている。図１１は、第３実施形態に係る車両周辺画像提供装置３の特徴点の設定方法を示す第１の図であり、図１２は、第３実施形態に係る車両周辺画像提供装置３の特徴点の設定方法を示す第２の図である。

例えば、図１１に示すように、第３実施形態では自車両から一定距離内を第１の領域２０１とし第１の領域２０１の外側の領域を第２の領域２０２としており、自車両の車速が所定速度未満である場合、第２の領域２０２に特徴点を設定せず、第１の領域２０１に特徴点を設定し、所定速度以上である場合、第１の領域２０１に特徴点を設定せず、第２の領域２０２に特徴点を設定する。このように、第３実施形態において画像検出部５４の特徴点設定機能は、自車両の速度が所定速度以上である場合、自車両の速度が所定速度未満である場合よりも自車両から離れ箇所に特徴点を設定する。

ここで、自車両の速度が速い場合、運転者は自車両から比較的離れた箇所を視認する必要がある。一方、自車両の速度が遅い場合、運転者は自車両近傍を視認する必要がある。このため、自車両の速度が所定速度以上である場合、自車両の速度が所定速度未満である場合よりも自車両から離れた箇所に特徴点を設定することで、運転者の視認すべき箇所に立体物Ｏが存在するかを判定できることとなる。

なお、図１１に示すように、第１および第２のの領域２０１，２０２のように固定の領域が予め設定される場合に限らず、領域の大きさを可変としてもよい。

また、図１２に示すように、第３実施形態では操舵角センサ３０およびシフト信号センサ４０の情報に基づいて自車両の進行方向側（特に車体が通過する領域）を特徴点設定領域２０３を決定し、この領域２０３において特徴点を設定し、領域２０３の外側では特徴点を設定しないようにしてもよい。これにより、自車両と接触する可能性がある立体物Ｏの有無を的確に判断できることとなる。なお、図１２に示すように、車体が通過する領域を特徴点設定領域２０３を決定する場合に限らず、例えば車速が低い場合には、図１２に示す特徴点設定領域２０３のうち遠方側をカットするようにしてもよいし、車速が高い場合にはより遠方までを特徴点の設定領域に含めるようにしてもよい。

このようにして、第３実施形態に係る車両周辺画像提供装置３および方法によれば、第１実施形態と同様に、車両周辺の立体物Ｏの有無を判定することが可能な車両周辺画像提供装置３を提供することができる。また、同様に車両周辺の立体物Ｏの有無を判定することが可能な車両周辺画像提供方法を提供することができる。また、立体物Ｏである可能性がある箇所に特徴点を確実に設定することができる。また、表示される俯瞰画像中の立体物Ｏを運転者に対して分かり易く通知することができ、立体物Ｏの有無を運転者に聴覚的に通知することができる。

さらに、第３実施形態によれば、自車両の速度が所定速度以上である場合、自車両の速度が所定速度未満である場合よりも自車両から離れた箇所に特徴点を設定する。ここで、自車両の速度が速い場合、運転者は自車両から比較的離れた箇所を視認する必要がある。一方、自車両の速度が遅い場合、運転者は自車両近傍を視認する必要がある。このため、自車両の速度が所定速度以上である場合、自車両の速度が所定速度未満である場合よりも自車両から離れた箇所に特徴点を設定することで、運転者の視認すべき箇所に立体物Ｏが存在するかを判定することができる。さらには、特徴点の設定領域を限定できるため、処理負荷を軽減することができる。

また、第３実施形態では自車両の進行方向側に特徴点を設定するため、自車両と接触する可能性がある立体物Ｏの有無を判定することができる。さらには、特徴点の設定領域を限定できるため、処理負荷を軽減することができる。

次に、本発明の第４実施形態を説明する。第４実施形態に係る車両周辺画像提供装置４は、第１実施形態のものと同様であるが、処理内容が一部異なっている。以下、第１実施形態との相違点を説明する。

第４実施形態において画像検出部５４の特徴点設定機能は、俯瞰画像データ上の各画素の色情報または明るさ情報から俯瞰画像データ内のエッジ線分を検出し、検出したエッジ線分を特徴点の集合として設定するようになっている。すなわち、第４実施形態に係る車両周辺画像提供装置４では特徴点が線分として設定されることとなる。

また、第４実施形態において画像検出部５４の立体判断機能は、移動量検出機能により検出された自車両の移動量と特徴点設定機能により設定されたエッジ線分の角度変化とから、エッジ線分が立体物上に設定されているか否かを判断するようになっている。

図１３は、第４実施形態に係る車両周辺画像提供装置４の立体判定機能の詳細を示す図である。俯瞰画像上に表現された立体物Ｏの下端移動量と上端移動量とに差がある。このため、図１３に示すように車両が前方に移動する場合、立体物Ｏの下端は、自車両の移動量分（俯瞰画像データ上での移動量分）だけ移動するが、立体物Ｏの上端は、自車両の移動量分よりも大きく移動する。この結果、図１３に示すように、エッジ線分は車両の移動前と移動後とで角度（俯瞰画像上での角度）が変化していくこととなる。これに対して、白線等に関しては車両の移動に伴って殆ど角度変化しない。このように、第４実施形態の立体判定機能は、図１３に示すようにエッジ線分の角度変化に基づいて、車両周囲に立体物Ｏが存在しているか否かを判断することとなる。

図１４は、第４実施形態に係る車両周辺画像提供装置４の車両周辺画像提供方法の一例を示すフローチャートである。まず、画像処理装置５０は、車速センサ２０の情報に基づいて、自車両が移動したか否かを判断する（ＳＴ１１）。自車両が移動していないと判断した場合（ＳＴ１１：ＮＯ）、移動したと判断するまで、この処理を繰り返す。一方、自車両が移動したと判断した場合（ＳＴ１１：ＹＥＳ）、画像検出部５４は、自車両の挙動を検出する（ＳＴ１２）。このとき、画像検出部５４は、移動量検出機能によって自車両の移動量を随時検出する。画像検出部５４は、移動量だけでなく、自車両の移動方向についても随時検出する。

次いで、画像検出部５４は、エッジ検出を行う（ＳＴ１３）。画像検出部５４はこの処理によってエッジ線分を取得する。次に、画像検出部５４は、立体判定機能によって、立体物Ｏについてのエッジ線分に角度変化があったか否かをを判断する（ＳＴ１４）。ここで、立体物Ｏについてのエッジ線分に角度変化がなかったと判断した場合（ＳＴ１４：ＮＯ）、画像検出部５４は、エッジ線分が座標変換の基準面である地面に存在していると判断し、処理はステップＳＴ１１に移行する。一方、立体物Ｏについてのエッジ線分に角度変化があったと判断した場合（ＳＴ１４：ＹＥＳ）、画像検出部５４は、エッジ線分が白線等のラインＬについてのものでなく立体物Ｏについてのものであると判断する。

その後、車両周辺画像提供装置４は、自車両のイグニッションスイッチがオフされたか否かを判断する（ＳＴ１５）。イグニッションスイッチがオフされていないと判断した場合（ＳＴ１５：ＮＯ）、処理はステップＳＴ１１に移行する。一方、イグニッションスイッチがオフされたと判断した場合（ＳＴ１５：ＹＥＳ）、処理は終了する。

このようにして、第４実施形態に係る車両周辺画像提供装置４および方法によれば、第１実施形態と同様に、車両周辺の立体物Ｏの有無を判定することが可能な車両周辺画像提供装置４を提供することができる。また、同様に車両周辺の立体物Ｏの有無を判定することが可能な車両周辺画像提供方法を提供することができる。

さらに、第４実施形態によれば、エッジ線分の角度変化と自車両の移動量とからエッジ線分が立体物上に設定されているか否かを判断する。エッジ線分は、特徴点が基準面である地面上に存在する場合、自車両が移動してもあまり角度変化しない。これに対し、エッジ線分が立体物Ｏに設定されて基準面よりも鉛直上側に存在する場合、エッジ線分は自車両の移動に応じて大きく角度変化することとなる。特に自車両の移動量が大きい場合には角度変化は大きい。このため、エッジ線分の角度変化によってエッジ線分が立体物Ｏのものかを判断することができ、これにより車両周辺の立体物Ｏの有無を判定することが可能となる。従って、車両周辺の立体物Ｏの有無を判定することが可能な車両周辺画像提供装置４を提供することができる。

次に、本発明の第５実施形態を説明する。第５実施形態に係る車両周辺画像提供装置５は、第４実施形態のものと同様であるが、処理内容が一部異なっている。以下、第４実施形態との相違点を説明する。

第５実施形態において画像検出部５４の立体判断機能は、特徴点設定機能により設定されたエッジ線分の間隔が大きくなったか否か、又は小さくなったか否かに基づいて、エッジ線分が立体物上に設定されているか否かを判断する。

図１５は、第５実施形態に係る車両周辺画像提供装置５の立体判定機能の詳細を示す図である。図１５に示すように、例えば車両の真後ろに立体物Ｏが存在し、車両が後退する場合、立体物Ｏが近づくこととなる。このため、カメラモジュール１０によって撮影される撮影画像内に占める立体物Ｏのサイズが大きくなる。この結果、図１５に示すように、立体物Ｏは俯瞰画像上において立体物Ｏは極端に大きく表示されることとなる（特に立体物Ｏの上端側が大きく表示される）。これにより、図１５に示す例ではエッジ線分の間隔（特に立体物Ｏの上端側の間隔）が大きくなる（符号Ｉ１，Ｉ２参照）。

第５実施形態の立体判定機能は、図１５に示すようなエッジ線分の間隔の変化に基づいて、車両周囲に立体物Ｏが存在しているか否かを判断することとなる。ここで、図１５に示す例では、立体物Ｏが車両の真後ろに存在するため、車両が移動しても立体物Ｏのエッジ線分についてあまり角度変化しない。故に、第４実施形態に係る立体物Ｏの検出方法では、立体物Ｏが存在するにも拘わらず、車両周囲に立体物Ｏが存在しないと判断してしまう可能性がある。ところが、本実施形態では、上記の如く、エッジ線分の間隔で立体物Ｏを判断するため、車両の真後ろに立体物Ｏが存在する場合であっても、立体物Ｏの存在を検出することができる。

なお、図１５では、車両の真後ろに立体物Ｏが存在し車両が後退する場合を例に説明したが、これに限らず、車両が前進する場合や、車両の真正面に立体物Ｏが存在する場合であっても同様にも同様に立体物Ｏの存在を検出することができる。

このようにして、第５実施形態に係る車両周辺画像提供装置５および方法によれば、第４実施形態と同様に、車両周辺の立体物Ｏの有無を判定することが可能な車両周辺画像提供装置５を提供することができる。また、同様に車両周辺の立体物Ｏの有無を判定することが可能な車両周辺画像提供方法を提供することができる。

さらに、第５実施形態によれば、エッジ線分の間隔が大きくなったか否か、又は小さくなったか否かに基づいて、エッジ線分が立体物上に設定されているか否かを判断する。このため、車両の真正面や真後ろに立体物Ｏが存在し、車両の移動に伴ったエッジ線分の角度変化があまり生じない場合であっても、立体物Ｏが存在を検出することができる。従って、立体物Ｏの検出精度を向上させることができる。

次に、本発明の第６実施形態を説明する。第６実施形態に係る車両周辺画像提供装置６は、第４実施形態のものと同様であるが、処理内容が一部異なっている。以下、第４実施形態との相違点を説明する。

第６実施形態において画像検出部５４の立体判断機能は、エッジ線分の角度変化に基づいてエッジ線分が立体物上に設定されていると判断した場合、その立体物Ｏが傾いているか否かを判断する構成となっている。

図１６は、第６実施形態に係る車両周辺画像提供装置６の立体判定機能の詳細を示す第１の図であり、（ａ）は車両左側方の様子を３次元にて示し、（ｂ）は俯瞰画像を示している。図１６（ａ）に示すように、立体物Ｏが傾いているとする。すなわち、立体物Ｏの下端の座標値が（ｘｔ４，ｙｔ４，０）であり、上端の座標値が（ｘｔ４−ｃ，ｙｔ４，ｈ＋β）であるとする。この場合、カメラ位置から立体物Ｏの上端を通る直線ｌが地面と交差する点Ｐの座標値は（ｘ’ｔ４，ｙ’ｔ４，０）となり、仮想立体物Ｏ’（下端の座標値が（ｘｔ４，ｙｔ４，０）、上端の座標値が（ｘｔ４，ｙｔ４，ｈ））と同じように認識される。この結果、図１６（ｂ）に示すように、俯瞰画像では、立体物Ｏと仮想立体物Ｏ’とは同じように表現されることとなる。

ところが、立体物Ｏが傾いている場合、車両の移動に伴って立体物Ｏの認識のされ方が異なってくる。図１７は、第６実施形態に係る車両周辺画像提供装置６の立体判定機能の詳細を示す第２の図であり、（ａ）は車両左側方の様子を３次元にて示し、（ｂ）は俯瞰画像を示している。

図１６（ａ）の状態から車両がやや前進した場合、図１７（ａ）に示すようになる。すなわち、カメラ位置から立体物Ｏの上端を通る直線ｌが地面と交差する点Ｐ（ｘ’ｔ６，ｙ’ｔ６，０）となる。これに対し、カメラ位置から仮想立体物Ｏ’の上端を通る直線ｌ’が地面と交差する点Ｐ’（ｘ’ｔ５，ｙ’ｔ５，０）となる。このように、立体物Ｏと仮想立体物Ｏ’との下端の座標値が双方とも（ｘｔ５，ｙｔ５，０）であったとしても、上端位置が異なる場合には、車両が前進したときに認識され方が異なってくる。この結果、図１７（ｂ）に示すように、俯瞰画像上において立体物Ｏと仮想立体物Ｏ’とは異なって表現される。具体的に立体物Ｏは、仮想立体物Ｏ’よりも自車両側に傾いているため、角度変化量が仮想立体物Ｏ’よりも大きくなっている。

このように、傾きに応じて角度変化量が異なっており、立体判断機能は、角度変化の大きさによって立体物Ｏの傾きを判断できることとなる。ここで、角度変化量は、立体物Ｏの位置と自車両の移動量とに依存する。例えば、立体物Ｏが鉛直上方に伸びている場合、立体物Ｏと地面との接触位置と自車両の移動量とが判明すれば、角度変化量を求めることができる。このため、第６実施形態において画像検出部５４は鉛直上方に伸びる立体物Ｏと地面との接触位置と、自車両の移動量とから、角度変化量を求めることができるマップを記憶している。

立体判断機能は、上記マップを用いて、俯瞰画像データ上における立体物Ｏと地面との接触位置と、移動量検出機能により検出された自車両の移動量とから、接触位置において鉛直上方に伸びる立体物Ｏについての角度変化量を求める。そして、立体判断機能は、求めた角度変化量と、俯瞰画像データ上における立体物Ｏの角度変化量とを比較して、立体物Ｏが傾いているか否かを判断する。

さらに、立体物Ｏが傾いている場合、予期せず車両に立体物Ｏが接触する可能性が高まる。このため、第６実施形態においてモニタ６０は、立体判断機能により立体物Ｏが傾いていると判断された場合に、その立体物Ｏについて強調表示する。強調表示の方法は、第１実施形態と同様である。また、スピーカ７０は、立体判断機能により立体物Ｏが傾いていると判断された場合に、その立体物Ｏの存在を所定の音声にて運転者に知らせる。運転者への通知方法は、第１実施形態と同様である。

このようにして、第６実施形態に係る車両周辺画像提供装置６および方法によれば、第４実施形態と同様に、車両周辺の立体物Ｏの有無を判定することが可能な車両周辺画像提供装置５を提供することができる。また、同様に車両周辺の立体物Ｏの有無を判定することが可能な車両周辺画像提供方法を提供することができる。

さらに、第６実施形態によれば、エッジ線分が立体物上に設定されていると判断した場合、俯瞰画像データ上における立体物Ｏと地面との接触位置、この接触位置において鉛直上方に伸びる仮想立体物Ｏ’について移動量検出機能により検出された自車両の移動量に応じた角度変化量の情報と、俯瞰画像データ上における立体物Ｏの角度変化量とから、立体物Ｏが傾いているか否かを判断する。これにより、車両周囲の立体物Ｏが傾いているか否かを判断することできる。

また、モニタ６０は、立体判断機能により立体物Ｏが傾いていると判断された場合に、その立体物Ｏについて強調表示する。これにより、モニタ６０を参照しながら運転する運転者に立体物Ｏの傾きを通知でき、立体物Ｏが傾いていることにより予期せず車両と立体物Ｏとが接触してしまう事態を防止することができる。

また、スピーカ７０は、立体判断機能により立体物Ｏが傾いていると判断された場合に、その立体物Ｏの存在を所定の音声にて運転者に知らせる。この音声通知により、立体物Ｏが傾いていることを運転者に知らせ、予期せず車両と立体物Ｏとが接触してしまう事態を防止することができる。

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよいし、各実施形態を組み合わせるようにしてもよい。

本発明の実施形態に係るの車両周辺画像提供装置の構成図である。 図１に示す画像変換部の座標変換によって得られる俯瞰画像の一例を示す図である。 図１に示した画像検出部の特徴点設定機能による特徴点の設定の様子を示す図である。 図１に示す画像検出部５４の立体判定機能の詳細を示す第１の図であり、（ａ）は車両左側方の様子を３次元にて示し、（ｂ）は俯瞰画像を示している。 図１に示す画像検出部５４の立体判定機能の詳細を示す第２の図であり、（ａ）は車両左側方の様子を３次元にて示し、（ｂ）は俯瞰画像を示している。 図１に示す画像検出部５４の立体判定機能の詳細を示す第３の図であり、（ａ）は車両左側方の様子を３次元にて示し、（ｂ）は俯瞰画像を示している。 図４〜図６に示した俯瞰画像を比較する図である。 図１に示すモニタによる強調表示の一例を示す図である。 本実施形態に係る車両周辺画像提供方法の一例を示すフローチャートである。 第２実施形態に係る車両周辺画像提供装置による特徴点の高さの検出方法を示す図であり、（ａ）は俯瞰画像を示し、（ｂ）は車両左側方の様子を３次元にて示している。 第３実施形態に係る車両周辺画像提供装置の特徴点の設定方法を示す第１の図である。 第３実施形態に係る車両周辺画像提供装置の特徴点の設定方法を示す第２の図である。 第４実施形態に係る車両周辺画像提供装置の立体判定機能の詳細を示す図である。 第４実施形態に係る車両周辺画像提供装置の車両周辺画像提供方法の一例を示すフローチャートである。 第５実施形態に係る車両周辺画像提供装置の立体判定機能の詳細を示す図である。 第６実施形態に係る車両周辺画像提供装置の立体判定機能の詳細を示す第１の図であり、（ａ）は車両左側方の様子を３次元にて示し、（ｂ）は俯瞰画像を示している。 第６実施形態に係る車両周辺画像提供装置の立体判定機能の詳細を示す第２の図であり、（ａ）は車両左側方の様子を３次元にて示し、（ｂ）は俯瞰画像を示している。

符号の説明

１〜６…車両周辺画像提供装置
１０…カメラモジュール（撮影手段）
１０ａ…第１カメラモジュール
１０ｂ…第２カメラモジュール
２０…車速センサ
３０…操舵角センサ
４０…シフト信号センサ
５０…画像処理装置
５１ａ…第１入力バッファ
５１ｂ…第２入力バッファ
５２…テーブル記憶部
５３…画像変換部
５４…画像検出部（特徴点設定手段、移動量検出手段、立体判断手段）
５５…ＣＰＵ
５６…出力バッファ
６０…モニタ（表示手段）
７０…スピーカ（音声出力手段）

Claims (16)

1. 車両周辺の画像を運転者に提供する車両周辺画像提供装置であって、
   車両周辺を撮影する撮影手段と、
   地面を基準面とし前記撮影手段により撮影された車両周辺の画像を座標変換して得られる俯瞰画像データに特徴点を設定する特徴点設定手段と、
   自車両の移動量を検出する移動量検出手段と、
   自車両が移動した場合に、前記移動量検出手段により検出された自車両の移動量と前記特徴点設定手段により設定された特徴点の俯瞰画像データにおける変化とから、前記特徴点が立体物上に設定されているか否かを判断する立体判断手段と、
   を備えることを特徴とする車両周辺画像提供装置。
2. 前記立体判断手段は、前記移動量検出手段により検出された自車両の移動量と前記特徴点設定手段により設定された特徴点の俯瞰画像データにおける移動量とから、前記特徴点が立体物上に設定されているか否かを判断する
   ことを特徴とする請求項１に記載の車両周辺画像提供装置。
3. 前記立体判断手段は、前記特徴点が立体物上に設定されていると判断した場合、俯瞰画像データ上における立体物と地面との接触位置、俯瞰画像データ上における前記撮影手段の撮影位置、予め記憶される前記撮影手段の高さ位置、および俯瞰画像データ上における前記特徴点の位置から、前記特徴点の高さを検出する
   ことを特徴とする請求項２に記載の車両周辺画像提供装置。
4. 前記特徴点設定手段は、俯瞰画像データ上の各画素の色情報または明るさ情報から俯瞰画像データ内のエッジ線分を検出し、検出したエッジ線分上または検出したエッジ線分によって囲まれる領域内に前記特徴点を設定する
   ことを特徴とする請求項２または請求項３のいずれかに記載の車両周辺画像提供装置。
5. 前記特徴点設定手段は、自車両の速度が所定速度以上である場合、自車両の速度が所定速度未満である場合よりも自車両から離れた箇所に前記特徴点を設定する
   ことを特徴とする請求項２〜請求項４のいずれか１項に記載の車両周辺画像提供装置。
6. 前記特徴点設定手段は、自車両の進行方向側に前記特徴点を設定する
   ことを特徴とする請求項２〜請求項５のいずれか１項に記載の車両周辺画像提供装置。
7. 座標変換して得られた俯瞰画像を表示する表示手段をさらに備え、
   前記表示手段は、前記立体判断手段により前記特徴点が立体物上に設定されていると判断された場合に、その立体物について強調表示する
   ことを特徴とする請求項２〜請求項６のいずれか１項に記載の車両周辺画像提供装置。
8. 前記表示手段は、前記立体判断手段により前記特徴点が立体物上に設定されていると判断された場合、その立体物上端の高さが自車両のバンパーの高さ以上であるとき、その立体物について前記強調表示と異なる強調表示を行う
   ことを特徴とする請求項７に記載の車両周辺画像提供装置。
9. 前記立体判断手段により前記特徴点が立体物上に設定されていると判断された場合に、その立体物の存在を所定の音声にて運転者に知らせる音声出力手段をさらに備える
   ことを特徴とする請求項２〜請求項８のいずれか１項に記載の車両周辺画像提供装置。
10. 前記音声出力手段は、前記立体判断手段により前記特徴点が立体物上に設定されていると判断された場合、その立体物上端の高さが自車両のバンパーの高さ以上であるとき、その立体物の存在を前記所定の音声と異なる音声にて運転者に知らせる
    ことを特徴とする請求項９に記載の車両周辺画像提供装置。
11. 前記特徴点設定手段は、俯瞰画像データ上の各画素の色情報または明るさ情報から俯瞰画像データ内のエッジ線分を検出し、検出したエッジ線分を特徴点の集合として設定し、
    前記立体判断手段は、前記移動量検出手段により検出された自車両の移動量と前記特徴点設定手段により設定されたエッジ線分の角度変化とから、前記エッジ線分が立体物上に設定されているか否かを判断する
    ことを特徴とする請求項１に記載の車両周辺画像提供装置。
12. 前記立体判断手段は、前記特徴点設定手段により設定されたエッジ線分の間隔が大きくなったか否か、又は小さくなったか否かに基づいて、前記エッジ線分が立体物上に設定されているか否かを判断する
    ことを特徴とする請求項１１に記載の車両周辺画像提供装置。
13. 前記立体判断手段は、エッジ線分の角度変化に基づいて前記エッジ線分が立体物上に設定されていると判断した場合、俯瞰画像データ上における立体物と地面との接触位置、前記接触位置において鉛直上方に伸びる立体物について前記移動量検出手段により検出された自車両の移動量に応じた角度変化量の情報と、俯瞰画像データ上における立体物の角度変化量とから、前記立体物が傾いているか否かを判断する
    ことを特徴とする請求項請求項１１または請求項１２のいずれかに記載の車両周辺画像提供装置。
14. 座標変換して得られた俯瞰画像を表示する表示手段をさらに備え、
    前記表示手段は、前記立体判断手段により前記立体物が傾いていると判断された場合に、その立体物について強調表示する
    ことを特徴とする請求項１３に記載の車両周辺画像提供装置。
15. 前記立体判断手段により前記立体物が傾いていると判断された場合に、その立体物の存在を所定の音声にて運転者に知らせる音声出力手段をさらに備える
    ことを特徴とする請求項１３または請求項１４のいずれかに記載の車両周辺画像提供装置。
16. 車両周辺の画像を運転者に提供する車両周辺画像提供方法であって、
    車両周辺を撮影する撮影ステップと、
    地面を基準面とし前記撮影ステップにて撮影された車両周辺の画像を座標変換して得られる俯瞰画像データ上に特徴点を設定する特徴点設定ステップと、
    自車両の移動量を検出する移動量検出ステップと、
    自車両が移動した場合に、前記移動検出ステップにて検出された自車両の移動量と前記特徴点設定ステップにて設定された特徴点の俯瞰画像データにおける変化とから、前記特徴点が立体物上に設定されているか否かを判断する立体判断ステップと、
    を有することを特徴とする車両周辺画像提供方法。

Images