JP2011095977A - 障害物認識装置 - Google Patents

Abstract

【課題】車載カメラの撮影画像の障害物候補が、自車両周辺の障害物であるのか影であるのかを、安価な構成で撮影画像を処理するだけで正確に認識できる技術を提供する。
【解決手段】単眼カメラ３の撮影画像から障害物候補が検出手段６ａにより検出される。そして、走行路に投影された影の内部は平坦でべた状であることから、障害物候補の画像の特徴の内部が平坦になるか否かから、障害物候補が影であるのか障害物（他車両）であるのかが認識手段６ｂにより認識されるため、単眼カメラ３の撮影画像の障害物候補が、自車両１周辺の障害物（他車両）であるのか影であるのかを、撮影画像を処理するだけで正確に認識できる。しかも、車載レーダなどの高価な測定機器を自車両１に搭載する必要がないため、安価な構成とすることができ、コストダウンを図ることができる。
【選択図】図１

Description

この発明は、車載カメラの撮影画像を処理して自車両周辺の障害物を認識する技術に関する。

従来、車載カメラの撮影画像内で検出された車両候補が、走行路周辺の地形や建造物の影が路面に投影されたものであるかどうかを、現時点の太陽の位置に基づいて判定する技術が知られている（例えば、特許文献１）。すなわち、特許文献１に記載の技術では、３次元地図データがナビゲーション装置が備える記憶装置に予め格納されている。そして、ナビゲーション装置のＧＰＳデータに基づく自車両位置と、ナビゲーション装置の記憶装置から取込んだ自車両周辺の地形、建造物の３次元データと、年月日および現在時刻などに基づいて推定された太陽の位置とに基づいて、撮影画像を処理することにより得られた車両候補が、自車両周辺の橋梁、ビル、塀などの建造物や地形などの路側立体物によって自車両の走行路上に投影された影であるかどうかが判定される。

特許第４２９６２８７号公報（段落［００１０］、図１，３，４、要約書など）

ところで、隣接車線の先行車両の影が自車両前方の路面に存在すると、その影も障害物候補（車両候補）として検出される。ところが、上記した従来技術では、路側立体物の影が障害物候補として検出された場合には、記憶装置に格納された３次元地図データに基づいて、検出された障害物候補が影であると認識することができるが、車両などの移動物体の影が障害物候補として検出された場合には、記憶装置に格納された３次元地図データに基づく路側立体物の影の認識しかできないため、検出された障害物候補が影であるかどうかを認識することができない。そこで、車載レーダを車両に搭載し、この車載レーダを用いて自車両前方に検出された障害物候補が障害物であるか、影であるかを認識することも考えられるが、コストダウンの観点から車両に車載レーダを搭載するのは望ましくない。したがって、車載カメラの撮影画像内に検出された障害物候補が障害物であるのか、影であるのかを、撮影画像を処理するだけで正確に認識できる技術が望まれていた。

本発明は、車載カメラの撮影画像の障害物候補が、自車両周辺の障害物であるのか影であるのかを、安価な構成で撮影画像を処理するだけで正確に認識できる技術を提供することを目的とする。

上記した目的を達成するために、本発明の障害物認識装置は、車載カメラの撮影画像を処理して自車両周辺の障害物を認識する障害物認識装置において、前記撮影画像中の前記障害物候補を検出する検出手段と、前記障害物候補の画像の特徴を抽出する特徴抽出手段と、前記障害物候補の前記特徴の内部が平坦になるか否かから、前記障害物候補が影であるのか障害物であるのかを認識する認識手段とを備えることを特徴としている（請求項１）。

このとき、前記特徴抽出手段は、前記障害物候補の画像エッジのヒストグラムを求めるものであって、前記認識手段は、前記ヒストグラムが平坦になるか否かから、前記障害物候補が影であるのか障害物であるのかを認識するようにしてもよいし、前記障害物候補の上面視の射影変換画像を求める変換手段をさらに備え、前記特徴抽出手段は、前記射影変換画像のフレーム間の差分を求めるものであって、前記認識手段は、前記差分が平坦になるか否かから、前記障害物候補が影であるのか障害物であるのかを認識するようにしてもよい。

請求項１に記載の発明によれば、車載カメラの撮影画像から障害物候補が検出手段により検出される。そして、障害物候補の画像の特徴が特徴抽出手段により抽出され、走行路に投影された影の内部は平坦でべた状であることから、障害物候補の特徴の内部が平坦になるか否かから、障害物候補が影であるのか障害物であるのかが認識手段により認識されるため、車載カメラの撮影画像の障害物候補が、自車両周辺の障害物であるのか影であるのかを、撮影画像を処理するだけで正確に認識できる。しかも、車載レーダなどの高価な測定機器を車両に搭載する必要がないため、安価な構成とすることができ、コストダウンを図ることができる。

本発明の障害物認識装置の一実施形態のブロック図である。 図１の単眼カメラの構成の一例を示す図である。 撮影画像の一例である。 図１の動作説明用のフローチャートである。 撮影画像の他の例である。

（一実施形態）
本発明の一実施形態について、図１〜図４を参照して説明する。

図１は本発明の障害物認識装置２の一実施形態のブロック図である。図２は図１の単眼カメラ３の構成の一例を示す図である。図３は単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの一例であって、（ａ）は単眼カメラ３により撮影された撮影画像ＩＭＧ、（ｂ）は撮影画像ＩＭＧに水平エッジヒストグラムＨ（ｘ１）が重畳して表示されたものである。図４は図１の動作説明用のフローチャートである。

１．構成
図１に示す障害物認識装置２は、自車両１に搭載された単眼カメラ３（本発明の「車載カメラ」に相当）の撮影画像ＩＭＧを処理して自車両１周辺の障害物（他車両１１）を認識するものであって、単眼カメラ３と、単眼カメラ３による撮影画像ＩＭＧや種々のデータを記憶する記憶手段４と、単眼カメラ３の撮影画像ＩＭＧを処理するマイクロコンピュータ構成のＥＣＵ６と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ７と、警報用のスピーカ８とを備えている。

単眼カメラ３は、この実施形態では自車両１の前方の路面撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した画像ＩＭＧの信号を出力する（図３参照）。また、図２に示すように、自車両１の前方の路面撮影を行なうため、単眼カメラ３は、自車両１の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。

記憶手段４は、単眼カメラ３から時々刻々と出力される撮影画像ＩＭＧに対してＥＣＵ６により種々の処理が施されることにより得られた各種データを格納する。

ＥＣＵ６は、例えばイグニッションキーのオンにより、予め設定された障害物認識のプログラムを実行することにより以下の各手段を備えている。

（１）検出手段６ａ
検出手段６ａは、図３（ａ）に示す撮影画像ＩＭＧから導出される水平エッジヒストグラムＨ（ｘ）に基づくエッジ検出により、撮影画像ＩＭＧ中の障害物候補１０ａ，１１ａを検出する。すなわち、検出手段６ａは、図３（ｂ）に示すように、撮影画像ＩＭＧから導出された水平エッジヒストグラムＨ（ｘ）のピークが形成する輪郭形状の特徴に基づいて、撮影画像ＩＭＧの水平エッジ検出を行う。そして、水平エッジヒストグラムＨ（ｘ）の領域Ａにおいて抽出された輪郭形状の特徴１１０から障害物候補１０ａを検出し、水平エッジヒストグラムＨ（ｘ）の領域Ｂにおいて抽出された輪郭形状の特徴１１１から障害物候補１１ａを検出する。

図３（ｂ）に示す例では、単眼カメラ３の撮影画像ＩＭＧ中の影１０の部分と他車両１１の部分とが、それぞれ障害物候補１０ａおよび障害物候補１１ａとして検出される。したがって、障害物候補１０ａの画像は、走行路に投影された影１０の平坦なべた画像となるため、その水平エッジヒストグラム（ｘ）のピークが形成する輪郭形状の特徴１１０は、上端と下端にそれぞれ高いピークを有し、上端と下端との間の内部は平坦である略凹形状となる。

また、障害物候補１１ａの画像には、他車両１１のテールランプや、他車両１１の後部の凹凸などが含まれており、その水平エッジヒストグラム（ｘ）のピークが形成する輪郭形状の特徴１１１は、上端から下端まで全体的に満遍なくピークを有した略台形状となる。以上のように、検出手段６ａは、障害物候補１０ａ，１１ａの画像の水平エッジヒストグラムＨ（ｘ）の輪郭形状の特徴１１０，１１１を抽出する本発明の「特徴抽出手段」として機能している。

なお、上記した水平エッジヒストグラムＨ（ｘ）と共に、垂直エッジヒストグラムをさらに導出し、２つのエッジヒストグラムに基づいた撮影画像ＩＭＧのエッジ検出により、障害物候補１０ａ，１１ａを検出するように検出手段５ａを構成してもよい。また、撮影画像ＩＭＧが所定の閾値で２値化された後の画像から導出されたエッジヒストグラムに基づく水平エッジ検出により、障害物候補１０ａ，１１ａを検出するように検出手段５ａを構成してもよく、これにより、エッジヒストグラムに基づく撮影画像ＩＭＧのエッジ検出の精度を向上することができる。

（２）認識手段６ｂ
認識手段６ｂは、検出手段６ａにより検出された障害物候補１０ａ，１１ｂが影１０であるのか障害物（他車両１１）であるのかを認識する。上記したように、障害物候補が影であれば、当該障害物候補の画像から導出された水平エッジヒストグラムのピークが形成する輪郭形状から抽出される特徴は、障害物候補１０ａの画像から導出された水平エッジヒストグラムＨ（ｘ）のピークが形成する輪郭形状の特徴１１０のように、その上端と下端との間の内部が平坦なものとなる。

したがって、この実施形態では、認識手段６ｂは、障害物候補１０ａ，１１ｂの画像から導出された水平エッジヒストグラムＨ（ｘ）のピークが形成する輪郭形状から抽出される特徴１１０，１１０の、上端と下端との間の内部が平坦になれば、障害物候補１０ａを影１０と認識し、平坦にならなければ、障害物候補１１ａを障害物（他車両１１）と認識する。

（３）報知手段６ｃ
報知手段６ｃは、認識手段６ｂによる、障害物（他車両１１）の検出に基づき、例えば走行モニタ７に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、障害物の存在を視覚的にドライバに報知する。また、スピーカ８から、検出結果の音声メッセージ、警告音を発生して障害物の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。

２．動作
次に、上記したように構成された障害物認識装置２の動作について図４を参照して説明する。なお、この実施形態では、走行車線の自車両１の前方を先行車として他車両１１が走行し、自車両１と他車両１１との間には隣接する対向車線を走行する他車両の影１０が投影されている状態を例に挙げて説明する。

まず、自車両１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、図３（ａ）に示すような、単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの信号がＥＣＵ６に取込まれる。そして、取込まれた撮影画像ＩＭＧの障害物候補１０ａ，１１ａが検出手段６ａにより検出される（ステップＳ１）。

次に、検出手段６ａにより検出された障害物候補１０ａ，１１ａの画像から求められた水平エッジヒストグラムＨ（ｘ）のピークが形成する輪郭形状の特徴１１０，１１１に基づいて、障害物候補１０ａ，１１ｂがそれぞれ影１０であるのか障害物（他車両１１）であるのかが認識手段６ｂにより認識される。この実施形態では、障害物候補１０ａの画像から抽出される輪郭形状の特徴１１０は、上端と下端との間の内部が平坦であるとして、障害物候補１０ａは影１０であると認識手段６ｂにより認識される。

一方、障害物候補１１ａの画像から抽出される輪郭形状の特徴１１１は、上端から下端まで全体的に満遍なくピークを有しており、上端と下端との間の内部が平坦ではないとして、障害物候補１１は障害物（他車両１１）であると認識される（ステップＳ２）。

そして、認識手段６ｂにより認識された障害物（他車両１１）が自車両１に異常接近するものであれば、走行モニタ７による警告表示が行われたり、スピーカ８から音声メッセージや警報音が出力されたりすることにより、障害物が存在することがドライバに報知手段６ｃにより報知される（ステップＳ３）。すなわち、この実施形態では、ＥＣＵ６がプログラムを実行することにより備える機能により、他車両１１が自車両１に異常接近すると判断されれば、報知手段６ｃによる報知が行われる。

以上のように、この実施形態によれば、単眼カメラ３の撮影画像ＩＭＧから障害物候補１０ａ，１１ｂが検出手段６ａにより検出される。そして、走行路に投影された影１０の内部は平坦でべた状であることから、障害物候補１０ａ，１１ｂの画像の特徴１１０，１１１の内部が平坦になるか否かから、障害物候補１０ａ，１１ｂが影１０であるのか障害物（他車両１１）であるのかが認識手段６ｂにより認識されるため、単眼カメラ３の撮影画像ＩＭＧの障害物候補１０ａ，１１ｂが、自車両１周辺の障害物（他車両１１）であるのか影１０であるのかを、撮影画像ＩＭＧを処理するだけで正確に認識できる。しかも、車載レーダなどの高価な測定機器を自車両１に搭載する必要がないため、安価な構成とすることができ、コストダウンを図ることができる。

（他の実施形態）
本発明の他の実施形態について、図５を参照して説明する。

図５は撮影画像ＩＭＧの他の例であって、（ａ１），（ａ２）はそれぞれ異なる時刻に撮影された撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）、（ｂ１），（ｂ２）はそれぞれ撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）を上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）に射影変換したもの、（ｃ）は画像ｔＩＭＧ（ｔ１）および画像ｔＩＭＧ（ｔ２）の差分画像ｄＩＭＧである。

この実施形態が、上記した実施形態と異なる点は、検出手段６ａによる撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）の障害物候補の検出方法と、認識手段６ｂによる障害物（車両１２）の認識方法とが異なる点である。その他の構成および動作は上記した実施形態と同一であるため、その構成および動作については同一符号を付すことによりその説明を省略し、以下では、図１，２，４も参照して上記した実施形態と異なる点を中心にして説明する。

図５（ａ１），（ａ２）に示すように、単眼カメラ３により時系列に撮影された撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）は、走行車線の自車両１の前方を先行車として走行する他車両１２と、自車両１と他車両１２との間に投影された、隣接する対向車線を走行する他車両（図示省略）の影１３とが撮影されている。なお、図５（ａ１）は、時刻ｔ１に単眼カメラ３が撮影した自車両１の前方の撮影画像ＩＭＧ（ｔ１）を示し、同図（ａ２）は、所定の時間が経過した時刻ｔ２において撮影された撮影画像ＩＭＧ（ｔ２）を示す。なお、単眼カメラ３により時系列に撮影された撮影画像ＩＭＧに関する種々のデータは記憶手段４に記憶される。

検出手段６ａは、各時刻ｔ１，ｔ２における撮影画像ＩＭＧ（ｔ１），ＩＭＧ（ｔ２）を、図５（ｂ１），（ｂ２）に示す、上方視の画像ｔＩＭＧ（ｔ１）、ｔＩＭＧ（ｔ２）に射影変換する（図２参照）。そして、自車速度および単眼カメラ３の撮影間隔に起因する画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）の位置ずれの位置合わせを行った後、画像ｔＩＭＧ（ｔ１）および画像ｔＩＭＧ（ｔ２）の差分、すなわち単眼カメラ３の撮影画像のフレーム間差分を取って差分画像ｄＩＭＧを導出する（図５（ｃ）参照）。

このとき、白線などの道路標示などが設けられた路面領域では差分が生じず、路面以外の部分には差分１１２ａ，１１３ａが生じ、これにより検出手段６ａは、差分１１２ａの集合体である差分集合体１１２から障害物候補１２ａを検出し、差分１１３ａの集合体である差分集合体１１３から障害物候補１３ａを検出する。図５（ｃ）に示す例では、上方視の画像ｔＩＭＧ（ｔ１），ｔＩＭＧ（ｔ２）中の他車両１２の部分と影１３の部分とが、それぞれ障害物候補１２ａおよび障害物候補１３ａとして検出される。

したがって、障害物候補１２ａの画像には、他車両１２のテールランプや、他車両１２の後部の凹凸形状などが含まれており、その差分集合体１１２は、上端から下端まで全体的に満遍なく差分１１２ａを含むことを特徴とする。また、障害物候補１３ａの画像は、走行路に投影された影１３の平坦なべた画像であるため、その差分集合体１１３は、上端と下端にのみ差分１１３ａを有し、上端と下端との間の内部は平坦であることを特徴としている。以上のように、差分集合体１１２，１１３の形状の特徴が本発明の「障害物候補の特徴」として処理される。

このように、障害物候補が影であれば、当該障害物候補の画像から抽出される差分集合体の形状の特徴は、障害物候補１３ａの画像から抽出される差分集合体１１３の形状の特徴のように、その上端と下端との間の内部が平坦なものとなる。そこで、この実施形態では、認識手段６ｂは、障害物候補１２ａ，１３ｂの画像から抽出された差分集合体１１２，１１３の形状の特徴が、上端と下端との間の内部が平坦なものであれば、障害物候補１３ａを影１３と認識し、平坦なものでなければ、障害物候補１２ａを障害物（他車両１２）と認識する。

そして、この実施形態においても、図４に示すフローチャートに従って障害物を認識する処理を実行することで、上記した実施形態と同様の効果を奏することができる。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ３を、後方の路面を撮影可能に自車両１の後部に取付けてもよい。このように構成すると、自車両１の後方から異常接近する他車両が存在するかどうかを監視することができる。

また、上記した実施形態で説明した、水平エッジヒストグラムＨ（ｘ）に基づいた障害物認識と、差分集合体１１２，１１３に基づいた障害物認識との両方を実行するようにしてももちろんよい。

また、検出手段による、撮影画像の障害物候補の検出方法としては上記した方法に限られず、路面に投影された影を含む障害物候補を検出することができればどのような手法を採用してもよい。このとき、検出された障害物候補の画像のエッジヒストグラムや差分画像に基づく特徴を抽出することで、上記したように、検出した障害物候補が影であるのか、障害物であるのかを認識することができる。

また、本発明は種々の車両の障害物認識に適用することができる。

１ 自車両
２ 障害物認識装置
３ 単眼カメラ（車載カメラ）
６ａ 検出手段（特徴抽出手段）
６ｂ 認識手段
６ｃ 報知手段
１０、１３ 影
１１、１２ 他車両（障害物）
１０ａ，１１ａ，１２ａ，１３ａ 障害物候補
１１０，１１１ 特徴
１１２，１１３ 差分集合体（特徴）
ＩＭＧ 撮影画像

Claims (1)

1. 車載カメラの撮影画像を処理して自車両周辺の障害物を認識する障害物認識装置において、
   前記撮影画像中の前記障害物候補を検出する検出手段と、
   前記障害物候補の画像の特徴を抽出する特徴抽出手段と、
   前記障害物候補の前記特徴の内部が平坦になるか否かから、前記障害物候補が影であるのか障害物であるのかを認識する認識手段と
   を備えることを特徴とする障害物認識装置。