JP2011113340A - 障害物認識装置 - Google Patents

Abstract

【課題】撮影画像に含まれた障害物側面の端をエッジヒストグラムを用いずに正確に認識できる技術を提供する。
【解決手段】自車両１に搭載され、自車両１周辺を撮影する単眼カメラ３により撮影された撮影画像が、路面に垂直な仮想面に射影した側面視の画像に変換手段６ａにより変換されて、側面視の画像に含まれた障害物側面の端が検出手段６ｂにより検出されるため、撮影画像に含まれた障害物側面の端を水平エッジヒストグラムを用いずに正確に検出することができる。
【選択図】図１

Description

この発明は、自車両に搭載された撮影手段により撮影して得られた撮影画像を処理して自車両周辺の障害物を認識する技術に関する。

従来、車載カメラなどの撮影手段により撮影された撮影画像内に障害物（車両）が存在するかどうかをエッジヒストグラムを用いることにより認識する技術が知られている（例えば、特許文献１）。すなわち、撮影画像の水平エッジヒストグラムおよび垂直エッジヒストグラムを導出し、各エッジヒストグラムのピークを障害物の上下端、左右端として障害物を認識する。例えば、撮影画像の垂直エッジヒストグラムに基づいて自車両前方の障害物の左右端を検出することで障害物の左右の幅を認識することができるが、このようにして認識された自車両前方の障害物の左右の幅および自車両と障害物との相対速度などに基づいて、自車両が障害物に衝突するおそれがあるときに障害物への衝突を回避するのに要する時間などを予測することができる。

特開２０００−１３６９０５号公報（段落［００３６］〜［００３９］、図８〜１０、要約書など）

ところで、上記したようにエッジヒストグラムを用いる従来の技術では、撮影画像に看板や電柱、道路標識、道路標示、路面に投影された影などが含まれている場合には、認識対象の障害物側面の端と異なる部分にもエッジヒストグラムのピークが生じるため、障害物側面の端を正確に検出できないおそれがあった。

本発明は、撮影画像に含まれた障害物側面の端をエッジヒストグラムを用いずに正確に認識できる技術を提供することを目的とする。

上記した目的を達成するために、本発明の障害物認識装置は、自車両に搭載され、前記自車両周辺を撮影する撮影手段と、前記撮影手段の撮影画像を路面に垂直な仮想面に射影した側面視の画像に変換する変換手段と、前記側面視の画像に含まれた障害物側面の端を検出する検出手段とを備えることを特徴としている（請求項１）。

また、請求項１記載の障害物認識装置において、前記変換手段は、前記撮影手段により撮影して得られた複数の時系列的な撮影画像を側面視の画像に射影変換し、前記検出手段は、前記各側面視の画像に含まれる障害物側面の端の複数の候補を導出してそれぞれの時系列的な動きに基づいて障害物側面の端を検出するようにしてもよい（請求項２）。

請求項１に記載の発明によれば、自車両に搭載され、自車両周辺を撮影する撮影手段により撮影された撮影画像が、路面に垂直な仮想面に射影した側面視の画像に変換手段により変換されて、側面視の画像に含まれた障害物側面の端が検出手段により検出されるため、撮影画像に含まれた障害物側面の端をエッジヒストグラムを用いずに正確に認識できる。

請求項２に記載の発明によれば、撮影画像に障害物の他に看板や電柱、道路標識、道路標示、路面に投影された影などが含まれているときは、撮影手段により撮影して得られた複数の時系列的な撮影画像が変換手段により側面視の画像に射影変換されて、各側面視の画像に含まれる障害物側面の端および看板などの端部が、それぞれ障害物側面の端の候補として検出手段により導出されるが、時系列的に取得されている各側面視の画像から導出されたそれぞれの候補の時系列的な動きが監視され、各候補の時系列的な動きに基づいて障害物側面の端が検出手段により検出されるため、撮影画像に含まれた障害物と看板などとを区別して正確に障害物を検出できる。

すなわち、走行中の自車両から時系列的に撮影された撮影画像に含まれる看板などは固定物であるため、各撮影画像が射影変換された各側面視の画像から、看板などの端部が障害物側面の端の候補として検出手段により導出されても、時系列的に取得されている各側面視の画像内での当該候補（看板などの端部）の位置に基づいて監視される当該候補の時系列的な動きは、自車両の走行速度に応じた動き、換言すれば、自車両と看板などとの相対的な移動量に応じた動きとなる。したがって、各側面視の画像から導出された障害物側面の端の複数の候補それぞれの時系列的な動きに基づいて、障害物側面の端が検出されることによる候補と、看板などの端部が検出されることによる候補とを区別することができるため、側面視の画像に含まれる障害物側面の端が検出手段により正確に検出される。

本発明の障害物認識装置の一実施形態のブロック図である。 射影変換における仮想面を説明するための図である。 撮影画像の一例である。 図３の撮影画像が下面視の画像に射影変換された例を示す図である。 図３の撮影画像が側面視の画像に射影変換された例を示す図である。 図１の動作説明用のフローチャートである。

本発明の一実施形態について、図１〜図６を参照して説明する。

図１は本発明の障害物認識装置２の一実施形態のブロック図である。図２は射影変換における仮想面を説明するための図である。図３は単眼カメラ３の撮影画像Ｆの一例を示し、（ａ１），（ａ２）はそれぞれ異なる時刻に撮影された撮影画像Ｆ（ｔ１），Ｆ（ｔ２）、（ｂ１），（ｂ２）はそれぞれ撮影画像Ｆ（ｔ１），Ｆ（ｔ２）が路面上の仮想面Ｐｄに射影変換された上方視の画像ｔＦｄ（ｔ１），ｔＦｄ（ｔ２）、（ｃ）は画像ｔＦｄ（ｔ１）および画像ｔＦｄ（ｔ２）の差分画像ｄＦ、（ｄ）は他車両１２の下面の端ｄＥＧが検出された状態を示す図である。

図４は図３の撮影画像Ｆが下面視の画像ｔＦｕに射影変換された例を示す図であり、（ａ）は他車両１２を含む撮影画像Ｆが所定の高さに設定された水平な仮想面Ｐｕに射影変換された下面視の画像ｔＦｕ、（ｂ）は（ａ）の下面視の画像ｔＦｕに水平方向のエッジを強調する微分フィルターを施して２値化した２値化画像ｅＦｕ、（ｃ）は他車両１２の上面の端ｕＥＧが検出された状態を示す図である。図５は図３の撮影画像Ｆが側面視の画像ｔＦｌ，ｔＦｒに射影変換された例を示す図であり、（ａ１），（ａ２）は他車両１２を含む撮影画像Ｆが路面に垂直な仮想面Ｐｌ，Ｐｒに射影変換された側面視の画像ｔＦｌ，ｔＦｒ、（ｂ１），（ｂ２）は（ａ１），（ａ２）の側面視の画像ｔＦｌ，ｔＦｒに水平方向のエッジを強調する微分フィルターを施して２値化した２値化画像ｅＦｌ，ｅＦｒ、（ｃ）は他車両１２の側面の端ｌＥＧ，ｒＥＧが検出された状態を示す図である。図６は図１の動作説明用のフローチャートである。

１．構成
図１に示す障害物認識装置２は、自車両１に搭載された単眼カメラ３（本発明の「撮影手段」に相当）により撮影された撮影画像Ｆを処理して自車両１周辺の障害物（他車両１２）を認識するものであって、単眼カメラ３と、単眼カメラ３による撮影画像Ｆや種々のデータを記憶する記憶手段４と、単眼カメラ３の撮影画像Ｆを処理するマイクロコンピュータ構成のＥＣＵ６と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ７と、警報用のスピーカ８とを備えている。

単眼カメラ３は、この実施形態では自車両１の前方の撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した画像Ｆの信号を出力する（図３参照）。また、自車両１の前方の撮影を行なうため、単眼カメラ３は、自車両１の車内の前方のインストルメントパネルの上部位置に、上方に適当な角度でつけて前方を撮影することができるように設けられている。

記憶手段４は、各種メモリやハードディスクドライブなどを備え、単眼カメラ３から時々刻々と出力される撮影画像Ｆに対してＥＣＵ６により種々の処理が施されることにより得られた各種データなどを格納する。

ＥＣＵ６は、例えばイグニッションキーのオンにより、予め設定された障害物認識のプログラムを実行することにより以下の各手段を備えている。

（１）変換手段６ａ
変換手段６ａは、単眼カメラ３により時々刻々と撮影された各時刻における撮影画像Ｆを、図２に示す仮想的なカメラ３ｄ，３ｕ，３ｌ，３ｒの視点により仮想面Ｐｄ，Ｐｕ，Ｐｌ，Ｐｒに射影した画像ｔＦｄ，ｔＦｕ，ｔＦｌ，ｔＦｒに変換する。そして、単眼カメラ３により時系列に撮影されて変換手段６ａにより射影変換された撮影画像Ｆに関する種々のデータは記憶手段４に記憶される。

具体的には、変換手段６ａは、例えば、路面に仮想面Ｐｄを設定し、図３（ａ１），（ａ２）に示す単眼カメラ３の撮影画像Ｆ（ｔ１），Ｆ（ｔ２）を、図３（ｂ１），（ｂ２）に示す上方視の画像ｔＦｄ（ｔ１），ｔＦｄ（ｔ２）に射影変換する。また、変換手段６ａは、例えば、走行路の両側に立設された電柱の上端に掛け渡された電線の高さに水平な仮想面Ｐｕを設定し、図３（ａ１），（ａ２）に示す単眼カメラ３の撮影画像Ｆ（ｔ１），Ｆ（ｔ２）を、図４（ｂ）に示す下面視の画像ｔＦｕに射影変換する。

また、変換手段６ａは、例えば、自車両１の走行路の左側の白線または路側帯の段差の位置に路面に垂直な仮想面Ｐｌを設定し、図３（ａ１），（ａ２）に示す単眼カメラ３の撮影画像Ｆ（ｔ１），Ｆ（ｔ２）を、図５（ａ１）に示す右側面視の画像ｔＦｌに射影変換する。また、変換手段６ａは、例えば、自車両１の走行路の右側の白線の位置に路面に垂直な仮想面Ｐｒを設定し、図３（ａ１），（ａ２）に示す単眼カメラ３の撮影画像Ｆ（ｔ１），Ｆ（ｔ２）を、図５（ａ２）に示す左側面視の画像ｔＦｒに射影変換する。

なお、図３（ｂ１），（ｂ２）に示すように、単眼カメラ３の撮影画像Ｆが仮想面Ｐｄに射影変換された上方視の画像ｔＦｄでは障害物（車両１２）の上端側が歪んだ画像となる。また、図４（ａ）に示すように、単眼カメラ３の撮影画像Ｆが仮想面Ｐｕに射影変換された下面視の画像ｔＦｕでは障害物（車両１２）の下端側が歪んだ画像となる。

また、図５（ａ１）に示すように、単眼カメラ３の撮影画像Ｆが仮想面Ｐｌに射影変換された右側面視の画像ｔＦｌでは障害物（車両１２）の右端側が歪んだ画像となる。また、図５（ａ２）に示すように、単眼カメラ３の撮影画像Ｆが仮想面Ｐｒに射影変換された左側面視の画像ｔＦｒでは障害物（車両１２）の左端側が歪んだ画像となる。

したがって、各射影変換画像ｔＦｄ，ｔＦｕ，ｔＦｌ，ｔＦｒでは、それぞれ、障害物（車両１２）の下端、上端、左端、右端が鮮明な画像となることから、この実施形態では、後述するように、各射影変換画像ｔＦｄ，ｔＦｕ，ｔＦｌ，ｔＦｒそれぞれを用いることにより、障害物の下端、上端、左端、右端を検出する。

また、この実施形態では、右側面視の画像ｔＦｌおよび左側面視の画像ｔＦｒにおいて、元の撮影画像Ｆの左側および右側がそれぞれ上向きとなるように仮想的なカメラ３ｌ，３ｒ視点が設定されている。

（２）検出手段６ｂ
ａ）障害物下面の端ｄＥＧの検出
検出手段６ｂは、図３（ｃ）に示す、各時刻における上方視の画像ｔＦｄ（ｔ１），ｔＦｄ（ｔ２）の差分画像ｄＦに基づいて、上方視の画像ｔＦｄ（ｔ１），ｔＦｄ（ｔ２）に含まれる障害物（他車両１２）下面の端ｄＥＧを検出する。

すなわち、図３（ａ１）に示すように、一のフレームの撮影画像Ｆ（ｔ１）に先行車１２などの障害物や路面に投影された影などが含まれているときには、障害物や影などは常に同じ路面領域に存在するわけではないため、図３（ａ２）に示す、他のフレームの撮影画像Ｆ（ｔ２）の同じ路面領域の全く同じ位置に障害物や影などが含まれていない蓋然性が高く、各フレームの撮影画像Ｆ（ｔ１），Ｆ（ｔ２）の同じ路面領域の画像に差異が生じる。

しかしながら、例えば、一のフレームの撮影画像Ｆ（ｔ１）に例えば道路標示が含まれていたとしても、道路標示は常に路面領域の同じ位置に存在するため、各フレームの撮影画像Ｆ（ｔ１），Ｆ（ｔ２）の路面領域に障害物や影などが含まれていなければ、各フレームの撮影画像Ｆ（ｔ１），Ｆ（ｔ２）の同じ路面領域の画像は共通するものとなる。

そこで、この実施形態では、検出手段６ｂは、各時刻ｔ１，ｔ２における撮影画像Ｆ（ｔ１），Ｆ（ｔ２）が変換手段６ａにより射影変換された上方視の画像ｔＦｄ（ｔ１），ｔＦｄ（ｔ２）の、自車速度および単眼カメラ３の撮影間隔に起因する位置ずれの位置合わせを行った後、画像ｔＦｄ（ｔ１）および画像ｔＦｄ（ｔ２）の差分、すなわち単眼カメラ３の撮影画像Ｆのフレーム間差分を取って差分画像ｄＦを導出する（図３（ｃ）参照）。

このとき、白線などの道路標示などが設けられただけの路面領域では差分が生じず、路面以外の障害物（車両１２）部分には差分１１２が生じ、図３（ｄ）に示すように、この差分画像ｄＦを逆変換することにより、障害物下面の端ｄＥＧが検出手段６ｂにより検出される。

ｂ）障害物上面の端ｕＥＧの検出
また、検出手段６ｂは、図４（ｂ）に示すように、図４（ａ）に示す下面視の画像ｔＦｕに水平方向のエッジを強調する微分フィルターが施されて２値化されることによる２値化画像ｅＦｕに基づいて、下面視の画像ｔＦｕに含まれる障害物（他車両１２）上面の端ｕＥＧを検出する。

図４に示す例では、単眼カメラ３の撮影画像Ｆに障害物としての他車両１２が含まれており、同図（ａ）に示すように、この撮影画像Ｆが変換手段６ａにより下面視の画像ｔＦｕに射影変換される。そして、同図（ｂ）に示すように、下面視の画像ｔＦｕに微分フィルターが施されて２値化されることにより２値化画像ｅＦｕが導出されて、この２値化画像ｅＦｕ内の水平エッジが他車両１２の上面の端ｕＥＧとして検出される。

ところで、走行中の自車両１から単眼カメラ３により時系列的に撮影された撮影画像Ｆが時々刻々と下面視の画像ｔＦｕに射影変換されており、各下面視の画像ｔＦｕから検出された水平エッジの時系列的な動きが検出手段６ｂにより監視される。例えば、撮影画像Ｆに障害物（他車両１２）の他に障害物上方の看板などが含まれているときは、時系列的に撮影された各撮影画像Ｆが射影変換された各下面視の画像ｔＦｕが微分フィルター処理されると、看板などの端部も水平エッジとして強調されるため、障害物（他車両１２）上面の端ｕＥＧの他に、看板などの端部も障害物上面の端の候補として導出される。

しかしながら、単眼カメラ３の撮影画像Ｆに含まれる看板などは固定物であるため、時系列的に取得されている各下面視の画像ｔＦｕ内での看板の端部による水平エッジの位置に基づいて監視される当該水平エッジの時系列的な動きは、自車両１の走行速度に応じた動き、換言すれば、自車両１と看板との相対的な移動量に応じた動きとなる。したがって、各下面視の画像ｔＦｕから導出された障害物上面の端の複数の候補（水平エッジ）それぞれの時系列的な動きに基づいて、障害物上面の端ｕＥＧが水平エッジとして検出されることによる候補と、看板などの端部が水平エッジとして検出されることによる候補とを区別することができるため、これにより、図４（ｃ）に示すように、下面視の画像ｔＦｕ内の障害物上面の端ｕＥＧが検出手段６ｂにより正確に検出される。

ｃ）障害物左側面の端ｌＥＧの検出
また、検出手段６ｂは、図５（ｂ１）に示すように、図５（ａ１）に示す右側面視の画像ｔＦｌに水平方向のエッジを強調する微分フィルターが施されて２値化されることによる２値化画像ｅＦｌに基づいて、右側面視の画像ｔＦｌに含まれる障害物（他車両１２）左側面の端ｌＥＧを検出する。

図５（ａ１），（ｂ１）に示す例では、障害物としての他車両１２が含まれた単眼カメラ３の撮影画像Ｆが、変換手段６ａにより右側面視の画像ｔＦｌに射影変換される。そして、同図（ｂ１）に示すように、右側面視の画像ｔＦｌに微分フィルターが施されて２値化されることにより２値化画像ｅＦｌが導出されて、この２値化画像ｅＦｌ内の水平エッジが他車両１２の左側面の端ｌＥＧとして検出される。

ところで、走行中の自車両１から単眼カメラ３により時系列的に撮影された撮影画像Ｆが時々刻々と右側面視の画像ｔＦｌに射影変換されており、各右側面視の画像ｔＦｌから検出された水平エッジの時系列的な動きが検出手段６ｂにより監視される。例えば、撮影画像Ｆに障害物（他車両１２）の他に障害物側方の電柱などが含まれているときは、時系列的に撮影された各撮影画像Ｆが射影変換された各右側面視の画像ｔＦｌが微分フィルター処理されると、この実施形態では、元の画像Ｆがほぼ９０°回転するように射影変換されているため、電柱なども水平エッジとして強調され、障害物（他車両１２）左側面の端ｌＥＧの他に、電柱なども障害物左側面の端の候補として導出される。

しかしながら、単眼カメラ３の撮影画像Ｆに含まれる電柱などは固定物であるため、時系列的に取得されている各右側面視の画像ｔＦｌ内での電柱による水平エッジの位置に基づいて監視される当該水平エッジの時系列的な動きは、自車両１の走行速度に応じた動き、換言すれば、自車両１と電柱との相対的な移動量に応じた動きとなる。したがって、各右側面視の画像ｔＦｌから導出された障害物左側面の端の複数の候補（水平エッジ）それぞれの時系列的な動きに基づいて、障害物左側面の端ｌＥＧが水平エッジとして検出されることによる候補と、電柱などが水平エッジとして検出されることによる候補とを区別することができるため、これにより、図５（ｃ）に示すように、右側面視の画像ｔＦｌ内の障害物左側面の端ｌＥＧが検出手段６ｂにより正確に検出される。

ｄ）障害物右側面の端ｒＥＧの検出
また、検出手段６ｂは、図５（ｂ２）に示すように、図５（ａ１）に示す左側面視の画像ｔＦｒに水平方向のエッジを強調する微分フィルターが施されて２値化されることによる２値化画像ｅＦｒに基づいて、左側面視の画像ｔＦｒに含まれる障害物（他車両１２）右側面の端ｒＥＧを検出する。

図５（ａ２）に示す例では、障害物としての他車両１２が含まれた単眼カメラ３の撮影画像Ｆが、変換手段６ａにより左側面視の画像ｔＦｒに射影変換される。そして、同図（ｂ２）に示すように、左側面視の画像ｔＦｒに微分フィルターが施されて２値化されることにより２値化画像ｅＦｒが導出されて、この２値化画像ｅＦｒ内の水平エッジが他車両１２の右側面の端ｒＥＧとして検出される。

そして、上記「ｃ）障害物左側面の端ｌＥＧの検出」の項で説明した方法と同様に、各左側面視の画像ｔＦｒから導出された障害物右側面の端の複数の候補（水平エッジ）それぞれの時系列的な動きに基づいて、障害物右側面の端ｒＥＧが水平エッジとして検出されることによる候補と、電柱などが水平エッジとして検出されることによる候補とを区別することができるため、これにより、図５（ｃ）に示すように、左側面視の画像ｔＦｒ内の障害物右側面の端ｒＥＧが検出手段６ｂにより正確に検出される。

（３）認識手段６ｃ
認識手段６ｃは、検出手段６ｂにより検出された障害物下面、上面、左側面、右側面の端ｄＥＧ，ｕＥＧ，ｌＥＧ，ｒＥＧを基準として、自車両１と障害物（他車両１２）との距離を認識する。そして、時系列的に単眼カメラ３により撮影された各撮影画像Ｆの射影変換画像ｔＦｄ，ｔＦｕ，ｔＦｌ，ｔＦｒ内で検出された障害物下面、上面、左側面、右側面の端ｄＥＧ，ｕＥＧ，ｌＥＧ，ｒＥＧを基準とした自車両１と障害物との距離に基づいて、自車両１と障害物との距離の変化を監視する。

（４）報知手段６ｄ
報知手段６ｄは、認識手段６ｃにより監視される、自車両１と障害物（他車両１２）との距離の変化の基づき、例えば走行モニタ７に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、障害物の存在を視覚的にドライバに報知する。また、スピーカ８から、検出結果の音声メッセージ、警告音を発生して障害物の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。

２．動作
次に、上記したように構成された障害物認識装置２の動作について図６を参照して説明する。なお、この実施形態では、図３（ａ１），（ａ２）に示すように、走行車線の自車両１の前方を先行車として他車両１２が走行している状態を例に挙げて説明する。また、記憶手段４には、時系列で撮影された過去の撮影画像Ｆの各射影変換画像ｔＦｄ，ｔＦｕ，ｔＦｌ，ｔＦｒから検出手段６ｂにより検出された障害物候補としての水平エッジの、各画像内での位置に関する情報などが格納されるものとする。

まず、自車両１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、図３（ａ１），（ａ２）に示すような、単眼カメラ３による自車両１の前方の撮影画像Ｆの信号が時々刻々とＥＣＵ６に取込まれる（ステップＳ１）。そして、図３（ｂ１），（ｂ２）、図４（ａ）、図５（ａ１），（ａ２）に示すように、取込まれた撮影画像Ｆが変換手段６ａにより各射影変換画像ｔＦｄ，ｔＦｕ，ｔＦｌ，ｔＦｒに変換される（ステップＳ２）。

次に、各射影変換画像ｔＦｄ，ｔＦｕ，ｔＦｌ，ｔＦｒが処理されてそれぞれの特徴が抽出されることにより（ステップＳ３）、障害物下面、上面、左側面、右側面の端ｄＥＧ，ｕＥＧ，ｌＥＧ，ｒＥＧが検出手段６ｂにより検出されて、検出された各端ｄＥＧ，ｕＥＧ，ｌＥＧ，ｒＥＧを基準として、障害物と自車両１との距離が認識手段６ｃにより認識されて、認識された距離の時系列的な変化が監視される（ステップＳ４）。

そして、障害物（他車両１２）が自車両１に異常接近するものであれば、走行モニタ７による警告表示が行われたり、スピーカ８から音声メッセージや警報音が出力されたりすることにより、障害物の存在がドライバに報知手段６ｄにより報知される（ステップＳ５）。すなわち、この実施形態では、ＥＣＵ６がプログラムを実行することにより備える機能により、他車両１２が自車両１に異常接近すると判断されれば、報知手段６ｄによる報知が行われる。

以上のように、この実施形態によれば、自車両１に搭載され、自車両１周辺を撮影する単眼カメラ３により撮影された撮影画像Ｆが、各仮想面Ｐｄ，Ｐｕ，Ｐｌ，Ｐｒに射影した画像ｔＦｄ，ｔＦｕ，ｔＦｌ，ｔＦｒに変換手段６ａにより変換されて、各画像ｔＦｄ，ｔＦｕ，ｔＦｌ，ｔＦｒに含まれた障害物下面、上面、左側面、右側面の端ｄＥＧ，ｕＥＧ，ｌＥＧ，ｒＥＧが検出手段６ｂにより検出されるため、障害物下面、上面、左側面、右側面の端ｄＥＧ，ｕＥＧ，ｌＥＧ，ｒＥＧを水平エッジヒストグラムを用いずに正確に認識できる。

また、撮影画像Ｆに障害物の他に障害物上方の看板や障害物側方の電柱などが含まれているときは、単眼カメラ３により撮影して得られた複数の時系列的な撮影画像Ｆが変換手段６ａにより画像ｔＦｕ，ｔＦｌ，ｔＦｒに射影変換されて、各画像ｔＦｕ，ｔＦｌ，ｔＦｒに含まれる障害物上面、左側面、右側面の端ｕＥＧ，ｌＥＧ，ｒＥＧおよび看板などの端部、電柱などによる水平エッジが、それぞれ障害物上面、左側面、右側面の端の候補として検出手段６ｂにより導出されるが、時系列的に取得されている各画像ｔＦｕ，ｔＦｌ，ｔＦｒから導出されたそれぞれの水平エッジの時系列的な動きが監視され、各水平エッジの時系列的な動きに基づいて障害物上面、左側面、右側面の端ｕＥＧ，ｌＥＧ，ｒＥＧが、看板などの端部や電柱と区別されて検出手段６ｂにより検出されるため、撮影画像Ｆに含まれた障害物と看板や電柱などとを区別して正確に障害物の端部を検出できる。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ３を、後方を撮影可能に自車両１の後部に取付けてもよい。このように構成すると、自車両１の後方から異常接近する他車両が存在するかどうかを監視することができる。

また、上記した実施形態では、走行路両側の電柱の上端に掛け渡された電線の位置に水平な仮想面Ｐｕを設定したが、水平な仮想面Ｐｕの位置としては障害物の上方であればどのような位置であってもよく、望ましくは、検出手段６ｂにより水平エッジが看板の下端として検出されれば、看板の下端の検出後は、当該水平エッジの位置、すなわち、看板の下端の位置に水平な仮想面Ｐｕを設定するのが望ましい。このように水平な仮想面Ｐｕを設定すると、看板などの端部が水平エッジとして検出されるおそれがない。

また、検出手段６ｂによる障害物上面、左側面、右側面の端ｕＥＧ，ｌＥＧ，ｒＥＧの検出方法としては、上記した手法に限られず、異なる時間に撮影された複数の撮影画像Ｆが射影変換された複数の画像ｔＦｕ，ｔＦｌ，ｔＦｒのフレーム間の差分から、各画像ｔＦｕ，ｔＦｌ，ｔＦｒ内の障害物を検出し、検出された障害物の各端ｕＥＧ，ｌＥＧ，ｒＥＧを検出するようにしてもよい。

また、上記した実施形態では、路面には白線などの道路標示が多数描かれていることから、上方視の画像ｔＦｄのフレーム間の差分を取ることにより、これらの道路標示を一括して消去して障害物下面の端ｄＥＧを検出するように構成したが、上記した微分エッジフィルタを用いて水平エッジを検出することにより、障害物下面の端ｄＥＧを検出するようにしてもよい。

また、本発明は種々の車両の障害物認識に適用することができる。

１ 自車両
２ 障害物認識装置
３ 単眼カメラ（撮影手段）
６ａ 変換手段
６ｂ 検出手段
１２ 他車両（障害物）
Ｆ 撮影画像
ｔＦｌ，ｔＦｒ 側面視の画像
ｌＥＧ，ｒＥＧ 側面の端（障害物側面の端）
Ｐｌ，Ｐｒ 仮想面

Claims (2)

1. 自車両に搭載され、前記自車両周辺を撮影する撮影手段と、
   前記撮影手段の撮影画像を路面に垂直な仮想面に射影した側面視の画像に変換する変換手段と、
   前記側面視の画像に含まれた障害物側面の端を検出する検出手段と
   を備えることを特徴とする障害物認識装置。
2. 請求項１記載の障害物認識装置において、
   前記変換手段は、前記撮影手段により撮影して得られた複数の時系列的な撮影画像を側面視の画像に射影変換し、
   前記検出手段は、前記各側面視の画像に含まれる障害物側面の端の複数の候補を導出してそれぞれの時系列的な動きに基づいて障害物側面の端を検出する障害物認識装置。