JP2011090490A - 障害物認識装置 - Google Patents

Abstract

【課題】車載カメラの撮影画像の障害物候補が、自車両周辺の障害物であるのか影であるのかを、安価な構成で撮影画像を処理するだけで正確に認識できる技術を提供する。
【解決手段】自車両１の走行中に単眼カメラ３の撮影画像から障害物候補が検出手段６ａにより検出される。そして、検出された障害物候補の時間的な輪郭のゆらぎの有無が監視されることにより、ゆらぎのある障害物候補は影として、ゆらぎのない障害物候補は自車両１周辺の障害物として認識手段６ｄにより認識されるため、単眼カメラ３の撮影画像の障害物候補が、自車両１周辺の障害物であるのか影であるのかを、撮影画像を処理するだけで正確に区別して認識できる。しかも、車載レーダなどの高価な測定機器を自車両１に搭載する必要がないため、安価な構成とすることができ、コストダウンを図ることができる。
【選択図】図１

Description

この発明は、自車両の走行中に車載カメラの撮影画像を処理して自車両周辺の障害物を認識する技術に関する。

従来、車載カメラの撮影画像内で検出された車両候補が、走行路周辺の地形や建造物の影が路面に投影されたものであるかどうかを、現時点の太陽の位置に基づいて判定する技術が知られている（例えば、特許文献１）。すなわち、特許文献１に記載の技術では、３次元地図データがナビゲーション装置が備える記憶装置に予め格納されている。そして、ナビゲーション装置のＧＰＳデータに基づく自車両位置と、ナビゲーション装置の記憶装置から取込んだ自車両周辺の地形、建造物の３次元データと、年月日および現在時刻などに基づいて推定された太陽の位置とに基づいて、撮影画像を処理することにより得られた車両候補が、自車両周辺の橋梁、ビル、塀などの建造物や地形などの路側立体物によって自車両の走行路上に投影された日陰（影）であるかどうかが判定される。

特許第４２９６２８７号公報（段落［００１０］、図１，３，４、要約書など）

ところで、走行中に隣接車線の先行車両の影が自車両前方の路面に存在すると、その影も障害物候補（車両候補）として検出される。ところが、上記した従来技術では、路側立体物の影が障害物候補として検出された場合には、記憶装置に格納された３次元地図データに基づいて、検出された障害物候補が影であると認識することができるが、車両などの移動物体の影が障害物候補として検出された場合には、記憶装置に格納された３次元地図データに基づく路側立体物の影の認識しかできないため、検出された障害物候補が影であるかどうかを認識することができない。そこで、車載レーダを車両に搭載し、この車載レーダを用いて自車両前方に検出された障害物候補が障害物であるか、影であるかを認識することも考えられるが、コストダウンの観点から車両に車載レーダを搭載するのは望ましくない。したがって、車載カメラの撮影画像内に検出された障害物候補が障害物であるのか、影であるのかを、撮影画像を処理するだけで正確に認識できる技術が望まれていた。

本発明は、車載カメラの撮影画像の障害物候補が、自車両周辺の障害物であるのか影であるのかを、安価な構成で撮影画像を処理するだけで正確に認識できる技術を提供することを目的とする。

上記した目的を達成するために、本発明の障害物認識装置は、車載カメラの撮影画像を処理して自車両周辺の障害物を認識する障害物認識装置において、前記撮影画像の障害物候補を検出する検出手段と、検出された前記障害物候補の時間的な輪郭のゆらぎの有無を監視し、前記ゆらぎのある前記障害物候補を影とし、前記ゆらぎのない前記障害物候補を前記自車両周辺の障害物として認識する認識手段とを備えることを特徴としている（請求項１）。

また、請求項１に記載の障害物認識装置において、太陽の位置を推定する推定手段と、前記推定手段により推定された太陽の位置に基づいて、検出された前記障害物候補が影候補か否かを分別する分別手段とを備え、前記認識手段は、輪郭に時間的なゆらぎがあれば前記影候補を影と認識して前記障害物候補から除外し、前記自車両周辺の障害物を認識するようにしてもよい（請求項２）。

請求項１に記載の発明によれば、車載カメラの撮影画像から障害物候補が検出手段により検出される。そして、検出された障害物候補の時間的な輪郭のゆらぎの有無が監視されることにより、ゆらぎのある障害物候補は影として、ゆらぎのない障害物候補は自車両周辺の障害物として認識手段により認識されるため、車載カメラの撮影画像の障害物候補が、自車両周辺の障害物であるのか影であるのかを、撮影画像を処理するだけで正確に区別して認識できる。しかも、車載レーダなどの高価な測定機器を車両に搭載する必要がないため、安価な構成とすることができ、コストダウンを図ることができる。

請求項２に記載の発明によれば、推定手段により推定された太陽の位置に基づいて、検出手段により検出された障害物候補が影候補か否かを分別手段により分別され、分別された影候補の輪郭に時間的なゆらぎがあるかどうかが監視され、ゆらぎがあれば影候補が影と認識されて障害物候補から除外されるため、より正確に、障害物候補が障害物であるのか影であるのかを区別することができ、残りの障害物候補を自車両周辺の障害物と認識手段により一層正確に認識することができる。

本発明の障害物認識装置の一実施形態のブロック図である。 撮影画像の一例である。 図１の動作説明用のフローチャートである。

本発明の一実施形態について、図１〜図３を参照して説明する。

図１は本発明の障害物認識装置２の一実施形態のブロック図である。図２は単眼カメラ３による走行中の自車両１の前方の撮影画像ＩＭＧの一例であって、（ａ１）〜（ｄ１）はそれぞれ異なる時刻に撮影された撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）、（ａ２）〜（ｄ２）はそれぞれ撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）に２次元エッジヒストグラムが重畳して表示されたものである。図３は図１の動作説明用のフローチャートである。

１．構成
図１に示す障害物認識装置２は、自車両１に搭載された単眼カメラ（本発明の「車載カメラ」に相当）３の撮影画像ＩＭＧを処理して自車両１周辺の障害物（他車両１０，１１）を認識するものであって、単眼カメラ３と、単眼カメラ３による撮影画像ＩＭＧや種々のデータを記憶する記憶手段４と、自車両１の現在位置に関する情報を出力するＧＰＳ５と、単眼カメラ３の撮影画像ＩＭＧを処理するマイクロコンピュータ構成のＥＣＵ６と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ７と、警報用のスピーカ８とを備えている。

単眼カメラ３は、本実施形態では自車両１の前方の路面撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、時々刻々と撮影した画像ＩＭＧの信号を出力する（図２参照）。また、自車両１の前方の路面撮影を行なうため、単眼カメラ３は、自車両１の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。なお、図２（ａ１）は、時刻ｔ１に単眼カメラ３が撮影した自車両１の前方の撮影画像ＩＭＧ（ｔ１）を示し、同図（ｂ１）〜（ｄ１）は、それぞれ所定の時間が経過するごとに時刻ｔ２，ｔ３，ｔ４おいて撮影された撮影画像ＩＭＧ（ｔ２）〜ＩＭＧ（ｔ４）を示す。

記憶手段４は、単眼カメラ３から時々刻々と出力される撮影画像ＩＭＧに対してＥＣＵ６により種々の処理が施されることにより得られた各種データを格納する。また、記憶手段４は、現在年月日および時刻と、ＧＰＳ５による自車両１の現在位置に基づいて太陽の現在位置を導出するための各種データを格納する。

ＧＰＳ５は、受信したＧＰＳ信号に基づいて自車両１の現在位置を検出し、自車両１の現在位置に関する情報をＥＣＵ６に出力する。

ＥＣＵ６は、例えばイグニッションキーのオンにより、予め設定された障害物認識のプログラムを実行することにより以下の各手段を備えている。

（１）検出手段６ａ
検出手段６ａは、撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）から導出される２次元エッジヒストグラムＨ（ｙ１）〜Ｈ（ｙ４）、Ｈ（ｘ１）〜Ｈ（ｘ４）に基づいて、障害物候補１０ａ，１０ｂ，１１ａ，１１ｂを検出する。

なお、撮影画像ＩＭＧの障害物候補１０ａ，１０ｂ，１１ａ，１１ｂを検出する手法としては、撮影画像ＩＭＧが所定の閾値で２値化された後の画像から２次元エッジヒストグラムを導出することによる手法など、障害物候補１０ａ，１０ｂ，１１ａ，１１ｂを検出することができればどような手法を採用してもよい。

（２）推定手段６ｂ
推定手段６ｂは、記憶手段４に格納された天文学データとしての太陽および地球の位置に関する各種データと、現在年月日および時刻とに基づいて現在の太陽の位置を推定する。

（３）分別手段６ｃ
分別手段６ｃは、推定手段６ｂにより推定された現在の太陽の位置、ＧＰＳ５の出力信号に基づく自車両１の現在位置、ワイパースイッチのＯＮ，ＯＦＦの状態を検出することにより予測される現在の天候に基づいた太陽光の照射状況、各障害物候補１０ａ，１０ｂ，１１ａ，１１ｂどうしの位置関係などの情報を総合的に判断することにより、検出手段６ａにより検出された障害物候補１０ａ，１０ｂ，１１ａ，１１ｂが、太陽光が照射されることによる影に相当する影候補か否かを分別する。

例えば、図２（ａ２）〜（ｄ２）に示すように、分別手段６は、
ａ）推定手段６ｂにより推定された現在の太陽の位置と、ＧＰＳ５による自車両１の現在位置とから、現在、太陽は自車両１の進行方向おける右上方に位置し、
ｂ）ワイパースイッチがＯＦＦであることから現在の天候は晴れであり、
ｃ）障害物候補１０ａ，１０ｂおよび障害物候補１１ａ，１１ｂは、それぞれ隣接して移動している、
などといった情報を総合的に判断し、障害物候補１０ｂ，１１ｂは、それぞれ障害物候補１０ａ，１１ａに太陽光が照射されることによる影である蓋然性が高いとして、障害物候補１０ｂ、１１ｂを影候補として分別する。

（４）認識手段６ｄ
認識手段６ｄは、検出手段６ａにより検出された障害物候補１０ａ，１０ｂ，１１ａ，１１ｂの時間的な輪郭のゆらぎの有無を監視する。そして、輪郭に時間的なゆらぎのある障害物候補１０ｂ，１１ｂを影とし、輪郭に時間的なゆらぎのない障害物候補１０ａ，１１ａを自車両１周辺の障害物（他車両１０，１１）として認識する。

認識手段６ｄは、各時刻ｔ１〜ｔ４における撮影画像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔ４）それぞれから検出された障害物候補１０ａ，１０ｂ，１１ａ，１１ｂそれぞれの輪郭について、自車速度および単眼カメラ３の撮影間隔に起因する撮影画像ＩＭＧの位置ずれの位置合わせを行った後にパターンマッチングを行い、それぞれの輪郭の形状に時間的な変化がほぼなければ障害物候補１０ａ，１１ａは物体（剛体）、すなわち他車両１０，１１（障害物）であると認識する。一方、認識手段６ｄは、各時刻ｔ１〜ｔ４における障害物候補１０ａ，１０ｂ，１１ａ，１１ｂそれぞれの輪郭のパターンマッチングを行い、その輪郭の形状に所定の閾値以上の形状変化があれば、障害物候補１０ｂ，１１ｂは影であると認識する。

ところで、検出手段６ａにより検出された障害物候補が障害物候補１０ｂ、１１ｂのように影であれば、障害物候補１０ｂ，１１ｂが移動すれば、路面のうねりに起因して障害物候補１０ｂ，１１ｂの輪郭の形状が変化する。認識手段６ｄは、この路面のうねりに起因する障害物候補１０ｂ，１１ｂの輪郭の時間的な形状変化、すなわち時間的な輪郭のゆらぎを監視することで、検出された障害物候補１０ａ，１０ｂ，１１ａ，１１ｂが障害物であるか、影であるかを認識する。

なお、本実施形態では、認識手段６ｄは、分別手段により影候補として分別された障害物候補１０ｂ，１１ｂの輪郭のゆらぎを監視して、その輪郭に時間的なゆらぎがあれば影候補を影と認識して障害物候補１０ａ，１０ｂ，１１ａ，１１ｂから除外して、自車両１周辺の障害物（他車両１０，１１）を認識するように構成されている。また、認識手段６ｄが、障害物候補１０ａ，１０ｂ，１１ａ，１１ｂの時間的な輪郭のゆらぎの有無を監視するために必要な、時系列で撮影された撮影画像ＩＭＧの数は、図２に示すように４つに限られるものではなく、さらに多くの数の時系列の撮影画像ＩＭＧに基づいて障害物候補１０ａ，１０ｂ，１１ａ，１１ｂの時間的な輪郭のゆらぎの有無を監視するようにしてもよい。

（５）報知手段６ｅ
報知手段６ｅは、認識手段６ｄによる、障害物（他車両１１）の検出に基づき、例えば走行モニタ７に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、障害物の存在を視覚的にドライバに報知する。また、スピーカ８から、検出結果の音声メッセージ、警告音を発生して障害物の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。

２．動作
次に、上記したように構成された障害物認識装置２の動作について図３を参照して説明する。なお、本実施形態では、走行車線の自車両１の前方に先行車として他車両１１が走行し、隣接する対向車線に他車両１０が走行しているときを例に挙げて説明する。また、記憶手段４には、時系列で撮影された過去の撮影画像ＩＭＧから検出された障害物候補１０ａ，１０ｂ，１１ａ，１１ｂの輪郭の形状に関する情報が格納されているものとする。

まず、自車両１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、図２（ａ１）〜（ｄ１）に示すような、単眼カメラ３による自車両１の前方の撮影画像ＩＭＧの信号がＥＣＵ５に取込まれる。そして、取込まれた撮影画像ＩＭＧの障害物候補１０ａ，１０ｂ，１１ａ，１１ｂが検出手段６ａにより検出される（ステップＳ１）。

次に、推定手段６ｂにより現在の太陽位置が推定され（ステップＳ２）、推定された現在の太陽位置などの情報が総合的に判断されて障害物候補１０ｂ，１１ｂが影候補として分別手段６ｃにより分別される（ステップＳ３）。

続いて、分別手段６ｃにより分別された影候補（障害物候補１０ｂ，１１ｂ）の時間的な輪郭のゆらぎが記憶手段４に格納された過去の影候補（障害物候補１０ｂ，１１ｂ）の輪郭の形状に関する情報などに基づいて監視され、本実施形態では、影候補（障害物候補１０ｂ，１１ｂ）の輪郭に時間的なゆらぎがあるとして、影候補（障害物候補１０ｂ，１１ｂ）が影であると認識される。そして、検出手段６ａにより検出された障害物候補１０ａ，１０ｂ，１１ａ，１１ｂから、影と認識された障害物候補１０ｂ，１１ｂが除外されて、障害物候補１０ａ，１１ａが障害物（他車両１０，１１）であると認識される（ステップＳ４）。

そして、認識手段６ｄにより認識された障害物（他車両１０，１１）が自車両１に異常接近するものであれば、走行モニタ７による警告表示が行われたり、スピーカ８から音声メッセージや警報音が出力されたりすることにより、障害物が存在することがドライバに報知手段６ｅにより報知される（ステップＳ５）。すなわち、本実施形態であれば、他車両１１が自車両１に異常接近すると判断されれば、報知手段６ｅによる報知が行われる。

以上のように、この実施形態によれば、自車両１の走行中に単眼カメラ３の撮影画像ＩＭＧから障害物候補１０ａ，１０ｂ，１１ａ，１１ｂが検出手段６ａにより検出される。そして、検出された障害物候補１０ａ，１０ｂ，１１ａ，１１ｂの時間的な輪郭のゆらぎの有無が監視されることにより、ゆらぎのある障害物候補１０ｂ，１１ｂは影として、ゆらぎのない障害物候補１０ａ，１１ａは自車両１周辺の障害物（他車両１０，１１）として認識手段６ｄにより認識されるため、単眼カメラ３の撮影画像ＩＭＧの障害物候補１０ａ，１０ｂ，１１ａ，１１ｂが、自車両１周辺の障害物（他車両１０，１１）であるのか影であるのかを、撮影画像ＩＭＧを処理するだけで正確に区別して認識できる。しかも、車載レーダなどの高価な測定機器を自車両１に搭載する必要がないため、安価な構成とすることができ、コストダウンを図ることができる。

また、本実施形態では、推定手段６ｂにより推定された太陽の位置に基づいて、検出手段６ａにより検出された障害物候補１０ａ，１０ｂ，１１ａ，１１ｂが影候補か否かを分別手段６ｃにより分別され、分別された影候補（障害物候補１０ｂ、１１ｂ）の輪郭に時間的なゆらぎがあるかどうかが監視されて、ゆらぎがあれば影候補が影と認識されて障害物候補１０ａ，１０ｂ，１１ａ，１１ｂから除外されるため、より正確に、障害物候補１０ａ，１０ｂ，１１ａ，１１ｂが障害物であるのか影であるのかを区別することができ、残りの障害物候補１０ａ，１１ａを自車両１周辺の障害物（他車両１０，１１）と認識手段６ｄにより一層正確に認識することができる。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ３を、後方の路面を撮影可能に自車両１の後部に取付けてもよい。このように構成すると、自車両１の後方から異常接近する他車両が存在するかどうかを監視することができる。

また、上記した実施形態では、分別手段６ｃによる障害物候補１０ａ，１０ｂ，１１ａ，１１ｂの分別を行ったが、これを行わずに、認識手段６ｄによる障害物候補１０ａ，１０ｂ，１１ａ，１１ｂの認識のみを行ってももちろんよい。このように構成しても、障害物候補１０ａ，１０ｂ，１１ａ，１１ｂが影であるのか、障害物（他車両１０，１１）であるのかを正確に認識することができる。

また、上記した実施形態は、分別手段６ｃによる障害物候補１０ａ，１０ｂ，１１ａ，１１ｂの分別を行った後に認識手段６ｄによる認識を行ったが、認識手段６ｄによる障害物候補１０ａ，１０ｂ，１１ａ，１１ｂの認識を行った後に、分別手段６ｃによる分別を行ってもよい。

また、本発明は種々の車両の障害物認識に適用することができる。

１ 自車両
２ 障害物認識装置
３ 単眼カメラ（車載カメラ）
６ａ 検出手段
６ｂ 推定手段
６ｃ 分別手段
６ｄ 認識手段
１０，１１ 他車両（障害物）
１０ａ，１０ｂ，１１ａ，１１ｂ 障害物候補
ＩＭＧ 撮影画像

Claims (2)

1. 車載カメラの撮影画像を処理して自車両周辺の障害物を認識する障害物認識装置において、
   前記撮影画像の障害物候補を検出する検出手段と、
   検出された前記障害物候補の時間的な輪郭のゆらぎの有無を監視し、前記ゆらぎのある前記障害物候補を影とし、前記ゆらぎのない前記障害物候補を前記自車両周辺の障害物として認識する認識手段と
   を備えることを特徴とする障害物認識装置。
2. 請求項１に記載の障害物認識装置において、
   太陽の位置を推定する推定手段と、
   前記推定手段により推定された太陽の位置に基づいて、検出された前記障害物候補が影候補か否かを分別する分別手段とを備え、
   前記認識手段は、輪郭に時間的なゆらぎがあれば前記影候補を影と認識して前記障害物候補から除外し、前記自車両周辺の障害物を認識することを特徴とする障害物認識装置。