JP2008099136A - 立体物検出装置 - Google Patents

Abstract

【課題】超音波センサを搭載することなく、車両の周辺に存在する立体物の検出を行い、運転者に報知することができる立体物検出装置を提供する。
【解決手段】車両にカメラを搭載して周辺の撮像を行う。異なる時点で撮像した２つの画像を俯瞰方向の画像にそれぞれ変換する。変換により得られた２つの画像を基に、車両の移動に伴って画像の各画素に写された被写物が画像中で移動した距離を算出し、移動距離が大きい部分に写された被写物を立体物として検出する。また、立体物を検出した場合に、立体物の高さを算出する。算出した高さが所定の高さより高い場合には、スピーカから音声メッセージを出力して報知を行う。
【選択図】図６

Description

本発明は、走行中の車両の周辺に存在する立体物の検出を行う立体物検出装置に関する。

近年、車両の前部、後部又はコーナー部分等に超音波センサを搭載し、超音波センサから超音波を送出して反射波を検知することにより、車両の周辺に存在する立体物を検出する装置が普及している。これにより、運転者が車両を後退させる場合、幅の狭い道路での走行を行う場合、又は縦列駐車を行う場合等に、運転者が直接に目視できない運転席からの死角に立体物が存在することを知らせることができるため、車両と立体物との接触を未然に防ぐことが可能となる。

特許文献１においては、車両の左右後方の障害物を検知するリアセンサを車両に搭載すると共に、このセンサにセンサ用ワイヤーハーネスで接続される検出回路を車両後部のサイドパネル内に設置された電気接続箱内に組み込み、電気接続箱内に組み込まれた他の回路と検出回路とを共用の一方側コネクタに接続し、他の回路用のワイヤーハーネスと検出回路用のワイヤーハーネスとを結束して他方側コネクタに接続し、一方側コネクタ及び他方側コネクタを接続する構成の障害物検知装置が提案されている。この障害物検知装置は、既存の電気接続箱を利用して車両に簡易に取り付けることができるという利点がある。
特開２００１−２６０７７９号公報

しかし、超音波センサを利用して車両周辺の立体物の検出を行う場合、超音波センサが検出可能な範囲は狭いため、立体物を検出することができる範囲は、車両周辺の特定範囲、例えば車両のコーナー部分近傍の範囲などの狭い範囲のみであった。車両周辺の広範囲に亘って立体物の検出を行うためには、車両に多数の超音波センサを搭載する必要があり、高コストであるという問題がある。

一方、車両の前側、後側又は左右側にカメラを搭載して車両の周辺を撮像し、撮像により取得した画像を車内に設けられたディスプレイに表示することによって、運転者へ種々の情報を提供するシステムが実用化されている。例えば、車両の運転席から死角となる部分を撮像するカメラを搭載することによって、運転者が直接に目視できない部分をディスプレイに表示することができるため、事故を未然に防ぐことが可能となる。車両に搭載されるカメラは、魚眼レンズ又は広角レンズ等の画角の広いレンズを有しており、１３０°又はそれ以上の画角を有しているため、車両の周辺を広範囲に亘って撮像することができるようにしてある。

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、車両の外界を撮像するカメラなどの撮像手段を車両に搭載し、異なる時点で撮像して取得した画像を俯瞰方向の画像にそれぞれ変換し、車両の移動により画像の各画素に写された被写物が画像中で移動した距離を算出して、算出した移動距離に応じて画像中に立体物が写されているか否かを判定する構成とすることにより、超音波センサを車両に搭載することなく、車両周辺の広範囲に亘って立体物の検出を行うことができる立体物検出装置を提供することにある。

また本発明の他の目的とするところは、異なる時点で撮像された複数の画像間で同じ被写物が写された画素を探索することにより、被写物の移動距離を画素毎に算出し、算出した画素毎の移動距離をそれぞれ比較し、他の画素より移動距離が大きい画素に立体物が写されていると判定する構成とすることにより、撮像した画像中に立体物が写されているか否かを簡単に判定することができる立体物検出装置を提供することにある。

また本発明の他の目的とするところは、撮像した画像中に立体物が写されていると判定した場合に、撮像手段の路面からの設置高、車両が移動した距離、及び画像の各画素に写された被写物が移動した距離を基に立体物の高さを算出する構成とすることにより、立体物が車両の走行の妨げとなるものであるか否かを判定することができる立体物検出装置を提供することにある。

また本発明の他の目的とするところは、立体物の高さが所定の高さより高い場合に報知を行う手段を備える構成とすることにより、運転者に立体物の存在を確実に認識させることができる立体物検出装置を提供することにある。

第１発明に係る立体物検出装置は、車両の外界に存在する立体物を検出する立体物検出装置において、前記車両に設置され、前記車両の外界を撮像して複数の画素からなる画像を取得する撮像手段と、該撮像手段が取得した画像を俯瞰方向の画像に変換する変換手段と、異なる時点で前記撮像手段により撮像され、前記変換手段により変換された複数の画像を取得し、前記車両の移動により前記複数の画像の各画素に写された被写物が画像中で移動した距離を画素毎に算出する移動距離算出手段と、該移動距離算出手段の算出結果に応じて、画像中に立体物が写されているか否かを判定する判定手段とを備えることを特徴とする。

本発明においては、車両に撮像手段を搭載して車両の外界の撮像を行う。異なる時点で撮像して取得した複数の画像を俯瞰方向の画像にそれぞれ変換する。車両が移動した場合、撮像手段により撮像される被写物が画像内で移動するが、俯瞰方向の画像においては、路面からの高さにより被写物の画像内での移動距離が異なる。よって、異なる時点で撮像されて俯瞰方向の画像に変換された複数の画像を取得し、この画像の各画素に写された被写物が画像中で移動した距離を算出することで、算出した距離を基に画像中に立体物が写されているか否かを判定することができる。これにより、立体物を検出するために超音波センサなどを車両に搭載する必要がない。また、魚眼レンズ又は広角レンズ等の画角の広いレンズを撮像手段が備えることによって、車両周辺の広範囲に亘って立体物を検出することが可能となる。

また、第２発明に係る立体物検出装置は、前記判定手段が、前記移動距離算出手段が画素毎に算出した前記距離をそれぞれ比較し、他の画素より前記距離が大きい画素に立体物が写されていると判定するようにしてあることを特徴とする。

本発明においては、画素毎に算出した被写物の移動距離をそれぞれ比較して、他の画素より移動距離が大きい画素に立体物が写されていると判定する。移動距離の算出後は算出結果の比較のみで判定を行うことができるため、処理が容易である。

また、第３発明に係る立体物検出装置は、前記判定手段が画像中に立体物が写されていると判定した場合に、前記撮像手段の路面からの設置高、前記異なる時点の間に前記車両が移動した移動距離、及び前記移動距離算出手段が算出した距離を基に、前記立体物の高さを算出する高さ算出手段を備えることを特徴とする。

本発明においては、撮像した画像中に立体物が写されている場合、立体物の高さを算出する。高さの算出は、撮像手段の路面からの設置高、車両が移動した距離、及び画像の各画素に写された被写物が画像内で移動した距離を基に行うことができる。立体物の高さを算出することによって、例えば車両が乗り越えて走行できる立体物とそうでない立体物とを区別することが可能となる。

また、第４発明に係る立体物検出装置は、前記高さ算出手段が算出した立体物の高さが、所定の高さより高い場合に、報知を行う報知手段を備えることを特徴とする。

本発明においては、立体物の高さが所定の高さより高い場合に、ビープ音若しくは音声メッセージ等のスピーカからの出力、又は警告画像若しくは文字メッセージ等のディスプレイへの出力等の手段により報知を行う。これにより、運転者は車両の周辺に走行の妨げとなる立体物の存在を認識することができる。

第１発明による場合は、車両の外界を撮像するカメラなどの撮像手段を車両に搭載し、異なる時点で撮像して取得した複数の画像を俯瞰方向の画像にそれぞれ変換し、車両の移動により画像の各画素に写された被写物が画像中で移動した距離を算出して、算出した移動距離に応じて画像中に立体物が写されているか否かを判定する構成とすることにより、超音波センサなどを車両に搭載することなく立体物の検出を行うことができ、魚眼レンズ又は広角レンズ等の画角の広いレンズを用いて撮像を行うことによって、車両周辺の広範囲に亘って立体物を検出することができる。よって、低価格で立体物検出装置を提供できると共に、車両の走行の安全性を高めることができる。

また、第２発明による場合は、画素毎に算出した被写物の移動距離をそれぞれ比較して、他の画素より移動距離が大きい画素に立体物が写されていると判定する構成とすることにより、移動距離の算出後は算出結果の比較のみで判定を行うことができ、立体物が写されているか否かを簡単に判定できるため、これらの処理を高速に行うことができる。よって、立体物検出装置のレスポンスを高速化できる。

また、第３発明による場合は、撮像した画像中に立体物が写されている場合に、撮像手段の路面からの設置高、車両が移動した距離、及び画像の各画素に写された被写物が移動した距離を基に立体物の高さを算出する構成とすることにより、立体物が車両の走行の妨げとなるものであるか否かを判定することができるため、車両に接触又は衝突する可能性がある立体物を確実に判定することができる。これらの立体物の存在を運転者へ知らせることによって、車両と立体物との接触又は衝突等の事故の発生を確実に防止することができる。

また、第４発明による場合は、立体物の高さが所定の高さより高い場合に報知を行う構成とすることにより、車両の周辺に走行の妨げとなる立体物の存在を運転者に確実に認識させることができるため、車両と立体物との接触又は衝突等の事故の発生を確実に防止することができる。

以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。図１は、本発明に係る立体物検出装置を搭載した車両の構成を示す模式的平面図である。図において１は車両であり、車両１は周辺を撮像するための３つのカメラ５〜７を備えている。なお、図１においてはカメラ５〜７の撮像範囲を破線で囲む領域として図示してある。

車両１の前部には前方を撮像するカメラ５が搭載してあり、後部には後方を撮像するカメラ６が搭載してある。また、車両１の左側のドアミラーには、車両１の左側方を撮像するカメラ７が搭載してある。カメラ５〜７は、１３０°又はそれ以上の画角を有するカメラであり、３つのカメラ５〜７を車両１に搭載することによって、車両１の周囲を広範囲に亘って撮像することができるようにしてある。これらのカメラ５〜７を用いることにより、例えば、撮像した画像を車両１の運転席近傍に配設された液晶ディスプレイに表示し、運転者が車両１周辺の死角となる部分を間接的に目視して運転を行うことができるようにしてある。

図２は、本発明に係る立体物検出装置の構成を示すブロック図である。車両１の周囲に存在する立体物の検出を行う立体物検出装置は、カメラ５〜７を有する撮像部２と、車両１の運転席近傍に設けられてカメラ５〜７により撮像された画像を表示する液晶ディスプレイ２０と、カメラ５〜７により撮像された画像を表示用の画像に変換して液晶ディスプレイ２０に表示させると共に、撮像された画像に写された立体物を検出する処理を主として行うＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１０とを備えている。撮像部２のカメラ５〜７及びＥＣＵ１０と、ＥＣＵ１０及び液晶ディスプレイ２０とは、それぞれ接続ケーブル又はネットワークケーブル等により接続してある。

撮像部２のカメラ５〜７は、ＣＣＤ又はＣＭＯＳ等によるイメージセンサがマトリクス状に配設された撮像素子と、この撮像素子へ光を集光する一又は複数のレンズとをそれぞれ有しており、レンズが集光した光を撮像素子のイメージセンサが検知することによって、１秒間に３０回程度の頻度で撮像を行う装置である。カメラ５〜７のレンズには、広角レンズ又は魚眼レンズ等の画角が広いレンズが用いられる。カメラ５〜７は車両１の周囲をそれぞれ撮像して画像を取得し、取得した画像をＥＣＵ１０へそれぞれ与えるようにしてある。

ＥＣＵ１０は、撮像部２のカメラ５〜７からの画像が与えられ、与えられた画像に対して種々の画像処理を行う画像処理部１１を備えている。また、画像処理部１１には、カメラ５〜７から与えられた画像及び画像処理後の画像等の種々の画像を一時的に蓄積するための画像メモリ１２と、カメラ５〜７から与えられた画像の補正又は視点変換等を行うためのテーブルが記憶されたテーブル用メモリ１３とが接続してある。画像メモリ１２は、ＳＲＡＭ又はＤＲＡＭ等の書き換え可能なメモリ素子により構成してあり、テーブル用メモリ１３は、マスクＲＯＭ又はＥＥＰＲＯＭ等の不揮発性のメモリ素子により構成してある。また、画像処理部１１には液晶ディスプレイ２０が接続してあり、カメラ５〜７から与えられた画像に画像処理を施して、液晶ディスプレイ２０へ表示することができるようにしてある。

また、画像処理部１１は、カメラ５〜７が撮像して取得した画像を俯瞰方向の画像に変換するＴｏｐｖｉｅｗ変換を行って、車両１が走行する路面を上から見た画像を液晶ディスプレイ２０に表示することができるようにしてある。Ｔｏｐｖｉｅｗ変換は、テーブル用メモリ１３に予め記憶してある変換テーブルを用いて行うようにしてある。画像処理部１１は、カメラ５〜７から与えられた画像の各画素を変換テーブルにて定められた位置に移動させることによって、正面から撮像した画像を俯瞰方向の画像に変換するようにしてあり、変換テーブルには各画素の移動先が記憶してある。

また、車両１に搭載された車速センサ３１、シフトレバー３２及び舵角センサ３３等の各種センサから車両１の走行に係る情報を取得する車両情報取得部３０は、取得した車両１の走行に係る情報をＥＣＵ１０へ与えるようにしてある。ＥＣＵ１０は、車両情報取得部３０から与えられた情報を基に、車両１に搭載された電子機器及び画像処理部１１等の制御を行うＣＰＵ１５を備えており、ＣＰＵ１５にはＲＯＭ１４及びＲＡＭ１６が接続してある。ＲＯＭ１４は、ＣＰＵ１５にて実行される種々の制御プログラムを予め記憶しており、マスクＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリ等の不揮発性のメモリ素子により構成してある。ＲＡＭ１６は、ＣＰＵ１５が制御処理又は演算処理等を行う際に生じる一時的なデータを記憶するものであり、ＳＲＡＭ、ＤＲＡＭ又はフラッシュメモリ等の書き換え可能なメモリ素子により構成してある。

また、図示しないカーナビゲーション装置又はテレビ番組を受信するチューナ等が車両１に搭載されている場合には、車両の現在位置を示す地図画像又はテレビ番組等を液晶ディスプレイ２０に表示することができるようにしてある。このとき、ＥＣＵ１０の画像処理部１１はＣＰＵ１５から与えられる指示に従って、カメラ５〜７が撮像した画像、カーナビゲーション装置による地図画像又はチューナにて受信したテレビ番組等のいずれかを選択して自動的に切り替えを行い、液晶ディスプレイ２０に表示するようにしてある。

また、車両１の運転席近傍には、カーナビゲーション装置の音声案内、テレビ番組を視聴する場合の音声、又は車両１の運転に係る警告音及び音声メッセージ等を出力するスピーカ２５を備えており、ＣＰＵ１５からの出力指示に応じて音声出力を行うことができるようにしてある。

また、本発明に係る立体物検出装置は、撮像部２のカメラ５〜７により撮像された画像中に立体物が写されているか否かを調べることにより車両１の周辺に立体物が存在するか否かを判定するようにしてある。車両１の周辺に立体物が存在する場合には、更に立体物の高さを算出して車両１の走行の妨げとなる障害物であるか否かを判定し、判定結果に応じてスピーカ２５から警告音又は音声メッセージ等を出力するようにしてある。これらの処理はＥＣＵ１０のＣＰＵ１５及び画像処理部１１により連携して行われる。カメラ５〜７により撮像された画像中に立体物が写されているかは、まず、カメラ５〜７から与えられた画像を画像処理部１１にてＴｏｐｖｉｅｗ変換し、変換後の画像を基に判定するようにしてある。

図３は、画像処理部１１が行うＴｏｐｖｉｅｗ変換の一例を示す模式図であり、（ａ）にカメラ５が撮像して取得した画像を図示し、（ｂ）にこの画像を画像処理部１１にてＴｏｐｖｉｅｗ変換した画像を図示してある。なお、以下ではカメラ５が撮像した画像中から立体物を検出する例を示して説明を行うが、他のカメラ６、７について行う処理は同様であるため説明を省略する。

カメラ５は魚眼レンズ又は広角レンズ等のレンズにより撮像を行うため、撮像された画像は端部が大きく湾曲した画像となる。例えば、図３（ａ）に示す画像では、画像の中心に写された他の車両は上下が少し湾曲しており、更に駐車場の枠線をなす路面に描かれて白線は、画像の端部側に写されているため大きく湾曲している。このようなカメラ５が撮像した画像は、ＥＣＵ１０に与えられて、まず画像メモリ１２に蓄積されるようにしてある。

Ｔｏｐｖｉｅｗ変換は、テーブル用メモリ１３に予め記憶された変換テーブルを用いて、カメラ５が撮像した画像の各画素を予め定められた位置へ移動し、データの存在しない画素間を線形補間又はバイキュービック補間等で補間することにより行うようにしてある。変換テーブルには、変換後の画像の各画素が、変換前の画像のどの座標の画素に対応するかを示す対応関係が記憶してある。画像処理部１１は、画像メモリ１２からカメラ５が撮像した画像を読み出し、テーブル用メモリ１３から変換テーブルを読み出して、変換を行うようにしてある。例えば、図３（ｂ）に示す画像は、図３（ａ）に示す画像をＴｏｐｖｉｅｗ変換したものであり、画像の湾曲が補正され、路面を上から見下ろした画像に変換されている。これにより、路面に描かれた駐車場の枠をなす白線は、曲線から直線に変換されている。

カメラ５による車両１の周辺の撮像は一定の周期、例えば１／３０秒の周期で繰り返し行うようにしてあり、撮像により得られた画像が画像メモリ１２に順次記憶されるようにしてある。画像処理部１１は、カメラ５による撮像の周期より長い一定の周期、例えば１秒間に数回程度の周期で画像メモリ１２から画像を読み出してＴｏｐｖｉｅｗ変換を行い、最新の画像及び一周期前の画像を比較して立体物の検出を行うと共に、Ｔｏｐｖｉｅｗ変換後の画像を画像メモリ１２に順次記憶するようにしてある。

車両１が走行している場合、カメラ５により撮像される車両１の周辺の画像は走行に伴って変化する。このため、例えばある時刻ｔ１にてカメラ５が撮像した画像と、時間Ｔ経過後の時刻ｔ２（＝ｔ１＋Ｔ）にてカメラ５が撮像した画像とを比較した場合、画像の各画素に写された被写物の画像中の位置は移動する。Ｔｏｐｖｉｅｗ変換終了後、画像処理部１１は画像メモリ１２から異なる時点（時刻ｔ１及び時刻ｔ２）にて撮像されてＴｏｐｖｉｅｗ変換された２つの画像を読み出し、時刻ｔ１の画像の各画素に写された被写物が時刻ｔ２の画像のどの位置に写されているかを探索する対応位置探索処理を行うようにしてある。

対応位置探索処理は、Ｔｏｐｖｉｅｗ変換後の画像の画素毎に行うようにしてある。なお、この対応位置探索処理は既知の技術であるため処理の詳細については説明を省略するが、時刻ｔ１の画像から注目画素を取得して、この注目画素を中心とした所定の大きさの画像領域を抽出し、時刻ｔ２の画像にて同じ大きさの画像領域毎に画像領域の同一性を調べることで行うようにしてある。画像領域の同一性は、例えば、画像領域に含まれる各画素の輝度値の差の総和を算出することで調べることができる。この処理を時刻ｔ１の画像の画素毎に繰り返し行うことで、画像の各画素に写されたすべての被写物の対応位置の探索を行うことができる。

対応位置探索処理を行って時刻ｔ１の画像の各画素に写された被写物の時刻ｔ２の画像中の位置を探索することにより、時刻ｔ１の画像中での被写物の位置から時刻ｔ２の画像中での被写物の位置までの距離、即ち撮像された画像中での被写物の移動距離を算出することができる。画像処理部１１は、画像の各画素についてこの移動距離を算出し、各画素に写された被写物の移動距離を比較することで、画像中に立体物が写されているか否かを判定し、立体物の検出を行うようにしてある。

図４及び図５は、本発明に係る立体物検出装置が行う立体物の検出方法を説明するための模式図であり、（ａ）に時刻ｔ１での車両１及びこの周辺の状態を示し、（ｂ）に時刻ｔ２での車両１及びこの周辺の状態を示す。車両１の前部に設置されたカメラ５の路面からの高さをＨｃとし、時刻ｔ１でのカメラ５の位置を原点Ｏとし、また、原点Ｏから車両１の前方の路面上の点Ａまでの距離をＬとする（図４（ａ）参照）。車両１が時刻ｔ１から時刻ｔ２までの間に前方へ距離Ｄだけ走行した場合（図４（ｂ）参照）、カメラ５の位置から路面上の点Ａまでの距離は（Ｌ−Ｄ）となる。よって、時刻ｔ１にて撮像されＴｏｐｖｉｅｗ変換された画像と時刻ｔ２にて撮像されＴｏｐｖｉｅｗ変換された画像とを比較した場合、時刻ｔ１の画像中の点Ａは、時刻ｔ２の画像中では車両１の移動距離Ｄに応じた距離だけ移動した位置に写されている。

これに対して、時刻ｔ１にて、路上の原点Ｏから距離Ｌだけ離れた位置に高さＨの立体物１０１が存在するときに、Ｔｏｐｖｉｅｗ変換後の画像では、立体物１０１上の点Ｂは、カメラ５から点Ｂを結ぶ直線の延長線と路面との交わる点Ｂ’に存在する点として写される（図５（ａ）参照）。このとき、カメラ５の位置から点Ｂ’までの距離Ｌ１をＨｃ、Ｈ及びＬで表すと以下の（１）式となる。

その後、車両１が時刻ｔ１から時刻ｔ２までの間に前方へ距離Ｄだけ走行した場合（図５（ｂ）参照）、カメラ５から立体物１０１までの距離は（Ｌ−Ｄ）となり、立体物１０１上の点Ｂはカメラ５から点Ｂを結ぶ直線の延長線と路面との交わる点Ｂ”に存在する点として写される。このとき、カメラ５の位置から点Ｂ”までの距離Ｌ２は、以下の（２）式で表すことができる。

よって、時刻ｔ１にて撮像されＴｏｐｖｉｅｗ変換された画像と時刻ｔ２にて撮像されＴｏｐｖｉｅｗ変換された画像とを比較した場合、時刻ｔ１の画像中の点Ｂ（点Ｂ’）は、時刻ｔ２の画像中の点Ｂ（点Ｂ”）の位置、即ち（Ｌ１−Ｌ２）に応じた距離だけ移動した位置に写されている。ここで、上述の（１）式及び（２）式から、以下の（３）式が成立する。

よって、Ｔｏｐｖｉｅｗ変換された画像中では、路面上の点Ａは車両１の移動距離Ｄに応じた距離だけ移動し、立体物１０１上の点Ｂは（３）式に示す距離に応じた距離だけ移動する。よって、画像中での移動距離は立体物１０１上の点Ｂの方が大きく、路面上の点Ａの方が小さいため、画像処理部１１はＴｏｐｖｉｅｗ変換された時刻ｔ１及び時刻ｔ２の画像の各画素の対応位置を探索し、画素毎に移動距離を算出し、画素毎の移動距離を比較することで、各画素に写された被写物が立体物であるか否かを判定することができる。

図６及び図７は、本発明に係る立体物検出装置が行う立体物検出方法の一例を示す模式図であり、路面に描かれた２本の白線１０２、１０２の間に立体物として略直方体の２つの輪止め１０３、１０３が存在し、車両１が輪止め１０３、１０３へ近づく方向へ走行した場合に、カメラ５が撮像して画像処理部１１がＴｏｐｖｉｅｗ変換した画像を示してある。なお、図６（ａ）は時刻ｔ１での画像であり、図６（ｂ）は時刻ｔ２での画像であり、図７（ｃ）は時刻ｔ２での画像に移動距離を示す矢印を重ねて示したものである。

例えば、時刻ｔ１の画像にて白線１０２、１０２上の一点を点Ａ１とし、輪止め１０３、１０３上の一点を点Ｂ１とする。このとき、時刻ｔ２の画像にて点Ａ１に対応する点が点Ａ２であり、点Ｂ１に対応する点が点Ｂ２である。点Ａ１から点Ａ２までの距離をＬａとし、点Ｂ１から点Ｂ２までの距離をＬｂとすると、Ｌｂ＞Ｌａとなるため、点Ｂ１又は点Ｂ２は立体物に含まれる点であると判定することができる。このように、２つの画像を基に、各画素が対応する点を探索し、画素毎に移動した距離を算出することによって、画像中に写された立体物を検出することができる。各画素について算出した移動距離をそれぞれ比較した場合、最も移動距離が小さい部分は路面が写された部分であり、移動距離が大きい部分は立体物が写された部分であるため、移動距離が小さい部分と比べて所定量以上移動距離が大きい部分が含まれているか否かを調べることにより、立体物検出装置は立体物の検出を行うようにしてある。

また、本発明に係る立体物検出装置は、上述の方法により立体物を検出した場合、更に立体物の路面からの高さを算出し、立体物の高さが所定の高さより高い場合にスピーカ２５から警告音又は音声メッセージ等を出力して運転者に報知を行うようにしてある。立体物の高さの算出は、上述の（３）式を変形することにより得られる以下の（４）式を用いて行うようにしてある。

例えば、図７の場合では、（４）式において（Ｌ１−Ｌ２）＝α×Ｌｂであり、２つの画像にて各画素の対応位置を探索することにより取得できるものである。なお、αは、画像中での移動距離を、図５に示す路面上の点Ｂ’から点Ｂ”までの移動距離に変換するための定数であり、カメラ５の解像度、カメラ５の設置位置又は画像処理部１１のＴｏｐｖｉｅｗ変換に用いる変換テーブル等の要因で決定される装置固有の定数である。また、車両１の移動距離Ｄは、車両情報取得部３０から得られる車速センサ３１の検出値、即ち車両１の車速と、時刻ｔ１から時刻ｔ２までの時間Ｔとから算出することができる。カメラ５の路面からの高さＨｃは、車両１毎に固定の値である。

（４）式により算出した立体物の高さＨが所定の高さより高いか否かを判定することによって、検出した立体物が車両１の走行の妨げとなる可能性がない十分に小さいものであるか、又は走行の妨げとなる大きな障害物であるかを判定することができる。よって、本発明に係る立体物検出装置は、車両１が乗り越えて走行を行うことが可能な路面上の小さな石などについては、立体物として検出した場合であっても運転者に対して報知を行わないようにしてある。

図８は、本発明に係る立体物検出装置が行う立体物検出処理の手順を示すフローチャートであり、立体物検出装置のＥＣＵ１０にて行われる処理である。車両１に搭載されたカメラ５が撮像して取得した画像はＥＣＵ１０の画像メモリ１２に蓄積されており、立体物検出処理では、まず、画像メモリ１２から最新の画像（時刻ｔ２の画像）を読み出して（ステップＳ１）、読み出した画像をテーブル用メモリ１３に記憶された変換テーブルを用いてＴｏｐｖｉｅｗ変換し（ステップＳ２）、変換後の画像（時刻ｔ２の画像）を画像メモリ１２に記憶する（ステップＳ３）。なお、変換後の画像の画像メモリ１２への記憶は、次回の立体物検出処理にてこの画像を読み出して利用するためである。

次いで、画像メモリ１２に記憶された所定時間Ｔ前のＴｏｐｖｉｅｗ変換された画像（時刻ｔ１の画像）を読み出す（ステップＳ４）。ステップＳ２にて取得した時刻ｔ２の画像及びＳ４にて取得した時刻ｔ１の画像を基に、時刻ｔ１の画像の各画素に写された被写物が時刻ｔ２の画像のいずれの画素に写されているかを探索する対応位置探索処理を行い（ステップＳ５）、探索結果から各画素に写された被写物の移動距離を算出する（ステップＳ６）。

算出した画素毎の移動距離を比較して、周囲の他の画素より移動距離が大きい部分が画像中に存在するか否かを調べる（ステップＳ７）。移動距離が大きい部分が存在する場合には（Ｓ７：ＹＥＳ）、この部分の画素毎に上述の（４）式により高さの算出を行い（ステップＳ８）、算出した高さが所定の高さより高い部分が存在するか否かを調べる（ステップＳ１０）。所定の高さより高い部分が存在する場合には（Ｓ１０：ＹＥＳ）、スピーカ２５から音声メッセージを出力して（ステップＳ１１）、運転者への報知を行い、処理を終了する。また、ステップＳ７にて他より移動距離が大きい部分が存在しない場合（Ｓ７：ＮＯ）、又はステップＳ１０にて所定の高さより高い部分が存在しない場合には（Ｓ１０：ＮＯ）、音声メッセージを出力することなく、処理を終了する。

以上の構成の立体物検出装置においては、車両１に搭載したカメラ５〜７により撮像を行い、取得した画像を基に車両１の周辺に立体物が存在するか否かを判定する構成とすることによって、車両１に超音波センサを搭載することなく立体物の検出を行うことができる。また、カメラ５〜７を魚眼レンズ又は広角レンズ等のレンズで撮像を行うカメラとすることにより、図１に示すように車両１の周囲を広範囲に亘って撮像できるため、車両１の周囲を広範囲に亘って立体物の検出処理を行うことができる。

また、立体物の検出処理は、時刻ｔ１の画像の各画素に写された被写物の時刻ｔ２の画像での対応位置を探索し、時刻ｔ１から時刻ｔ２までの間での移動距離を算出し、画素毎の移動距離を比較して他の部分より移動距離が大きい部分が含まれているか否かに応じて立体物の検出を行う構成とすることによって、カメラ５〜７が撮像した画像のみから簡単に立体物の検出を行うことができる。また、車両１の周囲に立体物を検出したときには、立体物の高さを算出し、立体物の高さが所定の高さより高い場合にのみ運転者への報知を行う構成とすることにより、車両１の走行の妨げとなる可能性がある立体物のみを運転者に知らせることができる。

なお、本実施の形態においては、カメラ５〜７が魚眼レンズ又は広角レンズ等のレンズを有し、１３０°又はそれ以上の画角を有する構成としたが、これに限るものではなく、１３０°以下の画角のカメラを用いる構成であってもよい。また、車両１の前後側及び左側に３つのカメラ５〜７を搭載する構成としたが、これに限るものではなく、２つ以下又は４つ以上のカメラを車両１に搭載する構成としてもよい。また、立体物の高さが所定の高さより大きい場合にスピーカ２５から音声メッセージを出力して報知を行う構成としたが、これに限るものではなく、例えば液晶ディスプレイ２０に文字によるメッセージを表示する、又は検出した立体物を拡大表示する等の方法により報知を行う構成としてもよい。

また、画像の画素毎に移動距離を算出し、他の部分より移動距離が大きい部分に立体物が写されていると判定する構成としたが、これに限るものではなく、例えば車両１の車速に応じて定まる閾値を用い、この閾値より移動距離が大きい部分に立体物が写されていると判定する構成としてもよい。

本発明に係る立体物検出装置を搭載した車両の構成を示す模式的平面図である。 本発明に係る立体物検出装置の構成を示すブロック図である。 画像処理部が行うＴｏｐｖｉｅｗ変換の一例を示す模式図である。 本発明に係る立体物検出装置が行う立体物の検出方法を説明するための模式図である。 本発明に係る立体物検出装置が行う立体物の検出方法を説明するための模式図である。 本発明に係る立体物検出装置が行う立体物検出方法の一例を示す模式図である。 本発明に係る立体物検出装置が行う立体物検出方法の一例を示す模式図である。 本発明に係る立体物検出装置が行う立体物検出処理の手順を示すフローチャートである。

符号の説明

１ 車両
２ 撮像部
５、６、７ カメラ（撮像手段）
１０ ＥＣＵ（変換手段、移動距離算出手段、判定手段、高さ算出手段）
１１ 画像処理部
１２ 画像メモリ
１３ テーブル用メモリ
１５ ＣＰＵ
２０ 液晶ディスプレイ
２５ スピーカ（報知手段）
３０ 車両情報取得部
３１ 車速センサ
３２ シフトレバー
３３ 舵角センサ

Claims (4)

1. 車両の外界に存在する立体物を検出する立体物検出装置において、
   前記車両に設置され、前記車両の外界を撮像して複数の画素からなる画像を取得する撮像手段と、
   該撮像手段が取得した画像を俯瞰方向の画像に変換する変換手段と、
   異なる時点で前記撮像手段により撮像され、前記変換手段により変換された複数の画像を取得し、前記車両の移動により前記複数の画像の各画素に写された被写物が画像中で移動した距離を画素毎に算出する移動距離算出手段と、
   該移動距離算出手段の算出結果に応じて、画像中に立体物が写されているか否かを判定する判定手段と
   を備えることを特徴とする立体物検出装置。
2. 前記判定手段は、前記移動距離算出手段が画素毎に算出した前記距離をそれぞれ比較し、他の画素より前記距離が大きい画素に立体物が写されていると判定するようにしてある請求項１に記載の立体物検出装置。
3. 前記判定手段が画像中に立体物が写されていると判定した場合に、
   前記撮像手段の路面からの設置高、前記異なる時点の間に前記車両が移動した移動距離、及び前記移動距離算出手段が算出した距離を基に、前記立体物の高さを算出する高さ算出手段を備える請求項１又は請求項２に記載の立体物検出装置。
4. 前記高さ算出手段が算出した立体物の高さが、所定の高さより高い場合に、報知を行う報知手段を備える請求項３に記載の立体物検出装置。

Images