JP2009020647A

JP2009020647A - 立体物検出方法および立体物検出装置

Info

Publication number: JP2009020647A
Application number: JP2007181839A
Authority: JP
Inventors: Shoichi Tsuboi; 正一坪井
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2007-07-11
Filing date: 2007-07-11
Publication date: 2009-01-29

Abstract

【課題】単眼ステレオ視であってもエンジン起動時にカメラ撮影画像より立体物を判定できるようにする「立体物検出方法および立体物検出装置」を提供することである。
【解決手段】自動車に取り付けたカメラによりエンジン起動時における立体物を検出する立体物検出方法である。自動車停車時におけるカメラによる第１の撮影画像と停車直前に検出した立体物の位置情報とを保存し、自動車のエンジン起動時におけるカメラによる第２の撮影画像を取得し、第１、第２撮影画像よりエッジを検出し、該第１、第２撮影画像の同じ位置のエッジが一致するか否か及び自動車停車時に該位置に立体物が存在していたか否かに基づいて、エンジン起動時に該位置に立体物が存在するか否かを検出する。
【選択図】図１

Description

本発明は立体物検出方法および立体物検出装置に関わり、特に、自動車に取り付けた単眼カメラによりエンジン起動時における立体物を検出する単眼ステレオ視による立体物検出方法および立体物検出装置に関する。

車庫入れや駐車等に際して運転手を支援するための支援システムが研究され、実用化されている。かかる運転手支援システムとして車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を合成して車両上方の視点から眺めた合成画像(トップビュー画像)をフレームメモリに描画し、該フレームメモリより画像データを読み出してモニターに表示するトップビューシステムが知られている(特許文献1参照)。このトップビューシステムは、図８（A），（B)に示すように、車両周囲を撮影する複数の魚眼カメラ１a〜１dを車両２のフロント、両サイド、リアに装着し、画像合成処理部３が各カメラ１a〜１dから取り込んだ画像を用いて、図８（C）に示す車両上方所定の位置（仮想視点）４から所定の方向を眺めた風景の合成画像を作成してモニター５に表示し、これにより駐車、車庫入れなどを支援する。画像合成処理部３は合成に際して、マッピングテーブルを用いて各カメラで撮影した画像部分をフレームメモリにマッピングして表示する。

図９は車両２のフロント左右にカメラ１a_L，１a_Rを、両サイド、リアにカメラ１b〜１dをそれぞれ装着した場合の左斜め前にあるポール７のトップビュー画像の例であり、左前側カメラ１a_Lにより撮影した魚眼画像１００、左側カメラ１bにより撮影した魚眼画像２００よりトップビュー画像３００が得られる。なお、トップビュー画像において７′はポール、２′は車両である。
運転手支援システムでは、障害物としての立体物を検出して運転者に警告する機能は必須である。この立体物検出方法は大きく分けて以下の方法
・カメラの単眼ステレオによる立体視法、
・ステレオカメラによる立体視法、
・センサーによる立体物検出法
がある。ステレオカメラによる立体視法は複数の撮影カメラを用いて立体物を検出する方法(特許文献２、特許文献３参照)、カメラの単眼ステレオによる立体視法は１つのカメラを用いて立体物を検出する方法(特許文献４参照)、センサーによる立体物検出法は超音波センサー、赤外線センサー等を用いて立体物を検出する方法である。
特許３３００３３４号特開平１１−１６４３２６号公報特開２００６−１３４２３２号公報特開２００１−１１６５２７号公報

以上の立体物検出方法のうち、カメラの単眼ステレオ視以外は、通常使用するカメラの他に立体物を検出するための装置を装備する必要がありコストが高くなる。このため、カメラの単眼ステレオ視が有利であるが、カメラの単眼ステレオ視の場合、車両の走行でカメラが動くことによりステレオ視を行うため、車両が走行していないエンジン起動時にはカメラ撮影画像より立体物を判定できない欠点がある。
以上から、本発明の目的は、単眼ステレオ視であってもエンジン起動時にカメラ撮影画像より立体物を判定できるようにすることである。

・立体物検出方法
本発明の第１は、自動車に取り付けたカメラによりエンジン起動時における立体物の有無を検出する立体物検出方法であり、自動車停車時における前記カメラによる第１の撮影画像と、停車直前に検出した立体物の位置情報とを保存するステップ、自動車のエンジン起動時における単眼カメラによる第２の撮影画像を取得するステップ、前記第１、第２撮影画像よりエッジを検出するステップ、該第１、第２撮影画像の同じ位置のエッジが一致するか否か及び自動車停車時に該位置に立体物が存在していたか否かに基づいて、エンジン起動時に該位置に立体物が存在するか否かを検出するステップを備えている。
本発明の立体物検出方法において、第１、第２撮影画像の同じ位置のエッジが一致し、自動車停車時に該位置に立体物が存在していれば、エンジン起動時に該位置に立体物が有りと判定し、第１、第２撮影画像の同じ位置のエッジが一致し、自動車停車時に該位置に立体物が存在していなければ、エンジン起動時に該位置に立体物が無いと判定し、第１、第２撮影画像の同じ位置のエッジが一致せず、自動車停車時に該位置に立体物が存在していれば、エンジン起動時に該位置に立体物が無いと判定し、第１、第２撮影画像の同じ位置のエッジが一致せず、自動車停車時に該位置に立体物が存在していなければ、エンジン起動時に該位置に立体物が有りと判定する。

・立体物検出装置
本発明の第２は、自動車に取り付けたカメラによりエンジン起動時における立体物の有無を検出する立体物検出装置であり、自動車停車時における前記カメラによる第１の撮影画像を記憶する画像記憶部、停車直前に検出した立体物の位置情報を保存する立体物位置記憶部、自動車のエンジン起動時における前記カメラによる第２の撮影画像を取得し、前記第１、第２撮影画像よりエッジを検出するエッジ検出部、該第１、第２撮影画像の同じ位置のエッジが一致するか否か及び自動車停車時に該位置に立体物が存在していたか否かに基づいて、エンジン起動時に該位置に立体物が存在するか否かを検出する立体物検出部を有している。
立体物検出部は、第１、第２撮影画像の同じ位置のエッジが一致し、自動車停車時に該位置に立体物が存在していれば、エンジン起動時に該位置に立体物が有りと判定し、第１、第２撮影画像の同じ位置のエッジが一致し、自動車停車時に該位置に立体物が存在していなければ、エンジン起動時に該位置に立体物が無いと判定し、第１、第２撮影画像の同じ位置のエッジが一致せず、自動車停車時に該位置に立体物が存在していれば、エンジン起動時に該位置に立体物が無いと判定し、第１、第２撮影画像の同じ位置のエッジが一致せず、自動車停車時に該位置に立体物が存在していなければ、エンジン起動時に該位置に立体物が有りと判定する。

本発明によれば、自動車停車時におけるカメラによる第１の撮影画像と自動車のエンジン起動時におけるカメラによる第２の撮影画像よりエッジを検出し、該第１、第２撮影画像の同じ位置のエッジが一致するか否か及び自動車停車時に該位置に立体物が存在していたか否かに基づいて、エンジン起動時に該位置に立体物が存在するか否かを検出するようにしたから、単眼ステレオ視であってもエンジン起動時に立体物を検出することができる。これにより、電柱などの移動しない立体物を検出でき、しかも、自車前後の縦列駐車による車両の増減や変化にも対応して立体物の有無を検出することができる。しかも、単眼ステレオ視にてコストの低い立体物検出を可能にし、立体物(障害物)の存在をドライバーへ警告することができる。

（A）本発明の概略
本発明では、走行時に単眼ステレオ視により立体物を検出し、立体物情報(立体物の所在位置)を作成し、カメラによる撮影画像と共に立体物の有無表示を行う。そして、車両停止時にカメラで撮影した画像(画像１)および停止直前の立体物情報(立体物の所在位置)を保存する。しかる後、エンジン起動直後にカメラで撮影した画像(画像２)を取得し、画像１、画像２のエッジ検出を行い、これら画像１、画像２のエッジを比較する。そして、図１に従って、画像１，画像２の同じ位置のエッジが一致するか否か及び自動車停車時に該位置に立体物が存在していたか否かに基づいて、エンジン起動時に該位置に立体物が存在するか否かを判定する。
すなわち、立体物検出部は、
(1)第１、第２撮影画像の同じ位置のエッジが一致し、自動車停車時に該位置に立体物が存在していれば、エンジン起動時に該位置に立体物が有りと判定し(図２A参照)、
(2)第１、第２撮影画像の同じ位置のエッジが一致し、自動車停車時に該位置に立体物が存在していなければ、エンジン起動時に該位置に立体物が無いと判定し(図２（B)参照）、
(3)第１、第２撮影画像の同じ位置のエッジが一致せず、自動車停車時に該位置に立体物が存在していれば、エンジン起動時に該位置に立体物が無いと判定し(図２(C)参照)、
(4)第１、第２撮影画像の同じ位置のエッジが一致せず、自動車停車時に該位置に立体物が存在していなければ、エンジン起動時に該位置に立体物が有りと判定する(図２(D)参照)。
図２（A）〜（D）は上記(1)〜(4)の説明図であり、左側が停車時、右側がエンジン起動時のカメラの撮影画像である。上記(1)は図２(A)に示すように停車時に存在していた立体物１０がエンジン起動時にも存在する場合であり、(2)は図２(B)に示すように停車時に立体物が存在せず、エンジン起動時にも立体物が存在していない場合であり、(3)は図２(C)に示すように停車時に存在していた立体物１０が移動によりエンジン起動時に存在しなくなった場合であり、(4)は図２(D)に示すように停車時に立体物が存在していなかったが、その後、エンジン起動する前に立体物１０が他所から移動して来て存在するようになった場合である。

（B）実施例
図３は本発明の車載の立体物検出装置の構成図である。車両のフロイント、サイド、リアにはトップビュー画像を生成するために複数(n台)の魚眼カメラ５１₁〜５１_nが取り付けられている。画像取得部５２は魚眼カメラ５１₁〜５１_nが撮影した魚眼画像データを表示画像生成部５３と立体部検知部５４に入力する。立体物検知部５４は周知の単眼ステレオ視法により立体物を検出し、その位置データを立体物情報として立体物情報記憶部５５に保存する。

図４は魚眼カメラに対する目標物の位置(角度) θ、φ、目標物までの距離Dの説明図である。図４(A)、（B）に示すように、φは魚眼中心C(cx,cy)を中心とし、該魚眼中心から右側へ水平に伸びる基準線BLから目標物(ポール２０)までの角度、θは魚眼中心C(cx,cy)と目標物２０の地上部を結ぶ直線までのカメラ光軸中心OCLからの角度である。魚眼変換係数 a, b, c, d, e, ・・・とすると、これら魚眼変換係数と魚眼カメラの光軸中心からの角度θとから、画像上の魚眼中心からの目標物までの距離は、次式

より求まる。また、距離Dと目標物の角度φとから、魚眼画像のモニタースクリーン上のx,y座標位置は次式

で求まる。(２)式により、魚眼画像データはモニターのスクリーン座標系に変換される。
立体物検知部５４は単眼ステレオ視により立体物を検出し、その位置データ（φ，D）を立体物情報として立体物情報記憶部５５に記憶する。図５は立体物情報記憶例(立体物リスト)であり、立体物毎に該立体物の方向φ、立体物までの距離Dを立体物情報として保存する。

表示画像生成部５３は各カメラで取り込んだ魚眼画像を(２)式によりスクリーン座標系に変換してモニター５６に表示する。また、表示画像生成部５３は立体物情報に基づいて障害物の位置を識別可能に表示し、あるいは障害物の存在を警告するメッセージを表示する。
画像取得部５２は、車両停車時において魚眼カメラ５１₁〜５１_nより取り込んだ魚眼画像データ(画像１)を画像データ記憶部５７に入力して保存すると共に、エンジン起動直後に魚眼カメラ５１₁〜５１_nより取り込んだ魚眼画像(画像２)を画像エッジ検出部５８に入力する。画像エッジ検出部５８は周知のエッジ検出法により画像１、画像２のエッジを検出し、立体物判定部５９に入力する。立体物判定部５９画像１，画像２の同じ位置のエッジが一致するか否か及び自動車停車時に該位置に立体物が存在していたか否かに基づいて（図１の判定法に基づいて）、エンジン起動時において立体物が存在するか否かを判定する。

（C）立体物検出処理
図６は本発明の立体物検出処理フローである。
車両が停止すると(ステップ５０１)、画像取得部５２は車両停止時におけるカメラ画像(画像１)を取り込んで画像データ記憶部５７に保存すると共に、立体物検知部５４は停車直前に検出した各立体物の位置情報を立体物情報として記憶部５５に保存する(ステップ５０２)。
以後、エンジンが起動したか監視し(ステップ５０３)、エンジン起動すれば、該エンジン起動時の車両停止画像(画像２)を取り込んで画像エッジ検出部５８に入力する(ステップ５０４)。画像エッジ検出部５８は、画像データ記憶部５７に保存されている画像１と、前記入力された画像２のエッジを検出して立体物判定部５９に入力する(ステップ５０５)。
立体物判定部５９は、立体物情報保存部５５の立体物リストに未処理の立体物情報（位置情報）が存在するかチェックし(ステップステップ５０６)、存在すれば、該位置情報が示す位置における画像１、画像２のエッジが一致するかチェックし(ステップ５０７)、一致すれば、該位置に立体物が存在すると判定し(ステップ５０８、図２(A)参照)、一致しなければ、該位置に立体物が存在しないと判定する(ステップ５０９、図２(C)参照)。以後、ステップ５０６に戻り、未処理の立体物情報（位置情報）が存在しなくなるまで上記ステップ５０６〜５０９の処理を繰り返す。

そして、ステップ５０６において、未処理の立体物情報が存在しなくなれば、立体物判定部５９は、画像２のエッジであって、立体物リストの位置情報が示す位置以外の位置に存在する画像２のエッジと画像１のエッジを比較し(ステップ５１０)、エッジが一致するか判定する(ステップ５１１)。エッジが一致しなければ、該位置に立体物が存在すると判定し(ステップ５１２、図２(D)参照)、エッジが一致すれば、該位置に立体物が存在しないと判定する(ステップ５１３、図２(B)参照)。
ついで、画像２の所定の全エッジについて処理が終了したか監視し(ステップ５１４)、終了してなければ終了するまでステップ５１０以降の処理を繰り返す。

図７は本発明の別の立体物検出処理フローであり、ステップ５０１〜５０５は図６の処理フローと同じである。
立体物判定部５９は、画像１、画像２のエッジ検出が終了すれば、両画像のエッジを比較し(ステップ６０１)、エッジが一致するか判定する(ステップ６０２)。エッジが一致すれば、停止時に該エッジの位置に立体物が存在していたか立体物リストを参照して調べ(ステップ６０３)、立体物が存在していれば、立体物有りと判定し(ステップ６０４、図２(A)参照)、立体物が存在してなければ、立体物無しと判定する(ステップ６０５、図２(B)参照)。
一方、ステップ６０２において、エッジが一致してなければ、停止時に該エッジの位置に立体物が存在していたか立体物リストを参照して調べ(ステップ６０６)、立体物が存在していれば、立体物無しと判定し(ステップ６０７、図２(C)参照)、立体物が存在してなければ、立体物有りと判定する(ステップ６０８、図２(D)参照)。
以後、全エッジについて比較処理が終了したか監視し(ステップ６０９)、終了してなければ終了するまでステップ６０１以降の処理を繰り返す。
以上では、トップビュー画像を発生する場合の立体物検出について説明したが、本発明はかかるトップビュー画像発生の場合に限るものではない。
また、以上では、カメラとして魚眼カメラを用いた立体物検出について説明したが、本発明は魚眼カメラに限定するものではない。

立体物有無の判定基準説明図である。立体物有無の判定法の説明図である。本発明の車載の立体物検出装置の構成図である。魚眼カメラによる目標物の位置(角度) θ、φ、目標物までの距離Dの説明図である。立体物情報記憶例(立体物リスト)である。本発明の立体物検出処理フローである。本発明の別の立体物検出処理フローである。トップビュー画像表示説明図である。ポールのトップビュー画像の例である。

符号の説明

５１₁〜５１_n 魚眼カメラ
５２画像取得部
５３表示画像生成部
５４立体部検知部
５５立体物情報記憶部
５６モニター
５７画像データ記憶部
５８画像エッジ検出部
５９立体物判定部

Claims

自動車に取り付けたカメラによりエンジン起動時における立体物の有無を検出する立体物検出方法において、
自動車停車時における前記カメラによる第１の撮影画像と、停車直前に検出した立体物の位置情報とを保存し、
自動車のエンジン起動時における前記カメラによる第２の撮影画像を取得し、
前記第１、第２撮影画像よりエッジを検出し、
該第１、第２撮影画像の同じ位置のエッジが一致するか否か及び自動車停車時に該位置に立体物が存在していたか否かに基づいて、エンジン起動時に該位置に立体物が存在するか否かを検出する、
ことを特徴とする立体物検出方法。
第１、第２撮影画像の同じ位置のエッジが一致し、自動車停車時に該位置に立体物が存在していれば、エンジン起動時に該位置に立体物が有りと判定し、
第１、第２撮影画像の同じ位置のエッジが一致し、自動車停車時に該位置に立体物が存在していなければ、エンジン起動時に該位置に立体物が無いと判定し、
第１、第２撮影画像の同じ位置のエッジが一致せず、自動車停車時に該位置に立体物が存在していれば、エンジン起動時に該位置に立体物が無いと判定し、
第１、第２撮影画像の同じ位置のエッジが一致せず、自動車停車時に該位置に立体物が存在していなければ、エンジン起動時に該位置に立体物が有りと判定する、
ことを特徴とする請求項１記載の立体物検出方法。
自動車に取り付けたカメラによりエンジン起動時における立体物の有無を検出する立体物検出装置において、
自動車停車時における前記カメラによる第１の撮影画像を記憶する画像記憶部、
停車直前に検出した立体物の位置情報を保存する立体物位置記憶部、
自動車のエンジン起動時における前記カメラによる第２の撮影画像を取得し、前記第１、第２撮影画像よりエッジを検出するエッジ検出部、
該第１、第２撮影画像の同じ位置のエッジが一致するか否か及び自動車停車時に該位置に立体物が存在していたか否かに基づいて、エンジン起動時に該位置に立体物が存在するか否かを検出する立体物検出部、
を有することを特徴とする立体物検出装置。
前記立体物検出部は、
第１、第２撮影画像の同じ位置のエッジが一致し、自動車停車時に該位置に立体物が存在していれば、エンジン起動時に該位置に立体物が有りと判定し、
第１、第２撮影画像の同じ位置のエッジが一致し、自動車停車時に該位置に立体物が存在していなければ、エンジン起動時に該位置に立体物が無いと判定し、
第１、第２撮影画像の同じ位置のエッジが一致せず、自動車停車時に該位置に立体物が存在していれば、エンジン起動時に該位置に立体物が無いと判定し、
第１、第２撮影画像の同じ位置のエッジが一致せず、自動車停車時に該位置に立体物が存在していなければ、エンジン起動時に該位置に立体物が有りと判定する、
ことを特徴とする請求項４記載の立体物検出装置。