JP2001004368A

JP2001004368A - 物体認識装置

Info

Publication number: JP2001004368A
Application number: JP11169567A
Authority: JP
Inventors: Morimichi Nishigaki; 守道西垣; Masakazu Saka; 雅和坂
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1999-06-16
Filing date: 1999-06-16
Publication date: 2001-01-12
Anticipated expiration: 2019-06-16
Also published as: DE10029423B4; DE10029423A1; JP4391624B2; US6853738B1

Abstract

(57)【要約】【課題】ウィンドウのクラスタリングを高速に行う。【解決手段】所定の間隔をおいて配置された少なくとも
２つの撮像手段、および該少なくとも２つの撮像手段で
得られ、複数のウィンドウに分割された画像に基づいて
ウィンドウごとに対象物までの距離を計測する計測手段
を有し、該計測手段により計測された距離に基づいて物
体を認識する物体認識装置において、前記計測手段によ
り計測することのできる領域が複数の距離範囲に区分け
されており、それぞれの距離範囲に異なるラベルを付与
して格納する距離範囲記憶手段と、前記計測手段により
計測された距離の値を、該距離値が属する距離範囲に対
応する前記ラベルに変換する距離変換手段と、該距離値
が変換されたラベルに基づいて、画像上のウィンドウを
クラスタリングしてクラスタを定めるクラスタリング手
段とを備え、ラベルに基づいてクラスタリングを高速に
行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、自動車などの車
両に搭載されたカメラによる撮像手段を用いて、前方の
物体を検出する光学式の物体認識装置に関し、より具体
的には、撮像された画像における複数のウィンドウを用
いて、物体の特徴を認識する物体認識装置に関する。

【０００２】

【従来の技術】近年、車両走行の安全性を向上させるた
め、自車両の前方にある物体の距離や大きさを判断し、
これに応じて車両を適切に制御する装置が提案されてい
る。

【０００３】２つの受光素子からなる光学式距離計測装
置を使用し、距離検出された被写体が物体か道路領域
（路面上の文字／白線を含む）かを判断する手法に関連
するものとして、特開平９−７９８２１号公報には、計
算エリアごとに距離を算出し、、距離が相互に一定範囲
内であり、水平方向に一定値以内に近接する計算エリア
をクラスタリングして、障害物が存在する領域を認識す
る装置が提案されている。このクラスタリングでは、距
離が未測定の計算エリアも含めてクラスタリングされ
る。

【０００４】

【発明が解決しようとする課題】しかしながら、ウィン
ドウ（上記の計算エリアに該当する）数を多くして、よ
り緻密に計測距離値を得てクラスタリング（上記のブロ
ック化に対応する）を行う場合には、特開平９−７９８
２１号公報のもののように、算出された距離値に基づい
て距離が相互に一定範囲内にあるかどうかを判断する
と、処理に非常に時間がかかる。

【０００５】また、従来、予め距離範囲を定めて、その
距離範囲内にあるウィンドウをクラスタリングする場合
には、最初に距離の度数分布等を求めてクラスタリング
を行う距離範囲を決定する処理が必要であった。さら
に、クラスタリングを行う際に、ウィンドウについて算
出された距離値がどの距離範囲に属するかを判断し、そ
の距離範囲が互いに等しいかどうかを判断することが必
要であった。これらの処理は、いずれも非常に時間がか
かる。

【０００６】さらに、特開平９−７９８２１号公報のも
ののようにクラスタリングを行う距離範囲を一定とする
と、距離が遠くなるほど距離値の精度が低下する。一般
に、距離ｄの算出は、視差をｓとすると「ｄ＝Ｃ／ｓ
（Ｃは定数）」の式で表され、視差の分解能が一定であ
るのに対し距離の分解能は遠距離にいくほど低下する。
そのため、同一の物体が複数のウィンドウにわたって撮
像されているとき、ウィンドウごとの距離値の誤差が、
遠距離にいくほど大きくなる。

【０００７】たとえば、図１４の（ａ）に示すように、
クラスタリングを行う距離範囲を一定にし、同一の物体
を撮像した２つのウィンドウの距離値を算出すると、近
距離では距離値１０１のウィンドウおよび距離値１０２
のウィンドウが一緒にクラスタリングされるのに対し、
遠距離では距離値１０３をもつウィンドウと距離値１０
４をもつウィンドウが異なるクラスタにクラスタリング
されることになる。

【０００８】反対に、図１４の（ｂ）に示すように、同
一の物体を撮像した２つのウィンドウを、遠距離で同じ
クラスタにクラスタリングさせるよう距離範囲を設定す
ると、距離値１０３をもつウィンドウと距離値１０４を
もつウィンドウは同じクラスタにクラスタリングされる
が、近距離では、距離値１０１および１０２をもつウィ
ンドウだけでなく、異なる物体を撮像した距離値１０５
をもつ他のウィンドウも同じクラスタにクラスタリング
されてしまう。このように、距離範囲を一定にしてクラ
スタリングを行うと、同一物体を同一のクラスタに含め
ることができなかったり、同一ではない物体が同一のク
ラスタに含まれてしまうということが生じる。

【０００９】したがって、この発明は、ウィンドウにつ
いて算出された距離値に対応するラベルに基づいてクラ
スタリングすることにより、高速にウィンドウをクラス
タリングして物体を認識することのできる装置を提供す
ることを目的とする。さらに、計測される距離の誤差に
応じて距離範囲を設定することにより、正確にウィンド
ウをクラスタリングして物体を認識することのできる物
体認識装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】上記の課題を解決するた
め、請求項１の発明の物体認識装置は、所定の間隔をお
いて配置された少なくとも２つの撮像手段、および該少
なくとも２つの撮像手段で得られ、複数のウィンドウに
分割された画像に基づいてウィンドウごとに対象物まで
の距離を計測する計測手段を有し、該計測手段により計
測された距離に基づいて物体を認識する物体認識装置に
おいて、前記計測手段により計測することのできる領域
が複数の距離範囲に区分けされており、それぞれの距離
範囲に異なるラベルを付与して格納する距離範囲記憶手
段と、前記計測手段により計測された距離の値を、該距
離値が属する距離範囲に対応する前記ラベルに変換する
距離変換手段と、該距離値が変換されたラベルに基づい
て、画像上のウィンドウをクラスタリングしてクラスタ
を定めるクラスタリング手段とを備える。

【００１１】この発明によると、ウィンドウの計測距離
ではなく、計測距離が属する距離範囲に対応するラベル
に基づいてクラスタリングするので、高速にクラスタリ
ングすることができる。

【００１２】また、請求項２の発明は、請求項１の物体
認識装置の前記距離範囲記憶手段において、前記計測手
段が計測することのできる領域が、前記計測手段により
計測される距離の誤差に応じて複数の距離範囲に区分け
されている構成をとる。

【００１３】請求項２の発明によると、計測される距離
の誤差に応じて距離範囲を設定するので、正確にクラス
タリングすることができる。

【００１４】

【発明の実施の形態】次に図面を参照してこの発明の実
施の形態を説明する。図１は、この発明の一実施例の物
体認識装置の全体的なブロック図である。図２は、この
実施例で用いる三角計測法による距離の計測原理を説明
する図である。まず図２を参照して１対の撮像装置を用
いた距離の測定方法を説明する。

【００１５】一対の撮像装置の一方を構成するラインセ
ンサ２１およびレンズ２３は、他方の撮像装置を構成す
るラインセンサ２２およびレンズ２４と所定の間隔すな
わち基線長Ｂだけ左右方向または上下方向に間隔をおい
て配置されている。ラインセンサ２１および２２は、典
型的には１次元のＣＣＤであり、直線的に配列されたフ
ォトセンサのアレイであってもよい。夜間の使用を考慮
すると赤外線を用いた撮像装置にするのがよい。この場
合、レンズ２３、２４の前に赤外線透過性のフィルタを
置き、赤外線の光源を用いて一定の周期で対象物２０を
照射し、対象物２０から反射する赤外線をラインセンサ
２１、２２が感知するようにするのがよい。

【００１６】ラインセンサ２１、２２は、それぞれレン
ズ２３、２４の焦点距離ｆに配置されている。レンズ２
３、２４のある平面から距離ａにある対象物の像が、ラ
インセンサ２１ではレンズ２３の光軸からＸ１ずれた位
置に形成され、ラインセンサ２２ではレンズ２４の光軸
からＸ２だけずれた位置に形成されるとすると、レンズ
２３、２４の面から対象物２０までの距離ａは、三角計
測法の原理により、ａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）で求め
られる。

【００１７】この実施例では画像はデジタル化されるの
で、距離（Ｘ１＋Ｘ２）は、ディジタル的に算出され
る。ラインセンサ２１および２２で得られる画像の片方
または両方をシフトさせながら両画像のそれぞれ対応す
る画素の輝度を示すディジタル値の差の絶対値の総和を
求め、これを相関値とする。相関値が最小値になるとき
の画像のシフト量が両画像の間の位置ずれ、すなわち
（Ｘ１＋Ｘ２）を示す。観念的には図２に示すようにラ
インセンサ２１および２２から得られる２つの画像を重
なり合わせるために２つの画像を相対的に移動させねば
ならない距離が（Ｘ１＋Ｘ２）である。

【００１８】ここでは、簡単のため撮像装置が１次元の
ラインセンサ２１、２２であるものとして説明したが、
以下に述べるようにこの発明の一実施例では２次元のＣ
ＣＤまたは２次元のフォトセンサ・アレイを撮像装置と
して使用する。この場合、２つの撮像装置から得られる
２次元の画像を相対的にシフトさせて上述したのと同様
の相関計算を行い、相関値が最小となるときのシフト量
を求めると、このシフト量が（Ｘ１＋Ｘ２）に相当す
る。

【００１９】図１の撮像手段３は、図２のレンズ２３お
よびラインセンサ２１からなる一方の撮像手段に対応
し、撮像手段３’は、図２のレンズ２４およびラインセ
ンサ２２からなる他方の撮像手段に対応する。この実施
例では、図３の（ｂ）に示すように撮像領域を複数のウ
ィンドウ（小領域）Ｗ₁₁、Ｗ₁₂、・・・に分割し、ウィ
ンドウごとに距離の計測を行うので、対象物全体の２次
元の画像が必要になる。このため撮像手段３、３’は、
２次元のＣＣＤアレイまたは２次元のフォトセンサ・ア
レイで構成される。

【００２０】図３の（ａ）は、撮像手段３または３’に
より自車両の前方を走行する他車両を撮像した画像の例
を示し、図３の（ｂ）は、図３の（ａ）の画像を概念的
に複数のウィンドウに分割したものを示す。図３の
（ｂ）は、縦方向に行および横方向に列をとり、簡単の
ため１０行×１５列のウィンドウに分割して示す。それ
ぞれのウィンドウには番号が付されており、例えばＷ₁₂
は、１行２列にあるウィンドウを示す。

【００２１】撮像手段３、３’で撮像された対象物の画
像はアナログ・デジタル変換器（Ａ／Ｄ変換器）４、
４’でデジタルデータに変換され、画像メモリ５、５’
に格納される。ウィンドウ切り出し部９によって、ウィ
ンドウＷ₁₁に対応する画像部分が画像メモリ５および
５’からそれぞれ切り出されて相関計算部６に送られ
る。相関計算部６は、切り出された２つの画像を所定の
単位ずつシフトさせて前述した相関計算を行い相関値が
最小になるときのシフト量を求めると、このシフト量が
（Ｘ１＋Ｘ２）である。相関計算部６は、こうして求め
た（Ｘ１＋Ｘ２）の値を距離計算部７に送る。

【００２２】距離計算部７は、前述したａ＝Ｂ・ｆ／
（Ｘ１＋Ｘ２）の式を用いて、ウィンドウＷ₁₁にある対
象物までの距離ａ₁₁を求める。こうして求められた距離
ａ₁₁は、距離記憶部８に記憶される。同様の計算処理が
それぞれのウィンドウについて順次実行され、距離
ａ₁₁、ａ₁₂、・・・が距離記憶部８に記憶される。以
下、あるウィンドウについて計算された対象物までの距
離を、そのウィンドウの計測距離という。

【００２３】上の相関計算で用いる画像データは、撮像
素子アレイの素子のピッチによって分解能が定まるの
で、フォトセンサ・アレイなど比較的ピッチの大きい受
光素子を用いるときは、ピッチ間の補間計算を行って画
像データの密度を高める処理を行い、こうして密度を高
められた画像データについて相関計算を行うのが好まし
い。

【００２４】また、温度による撮像素子アレイの特性変
化を補正するため、温度センサを撮像素子アレイ付近に
配置し、温度センサから得られる温度情報に基づいて距
離計算を補正するようにすることもできる。

【００２５】次に、上記のようにして距離を計測するこ
とのできる領域を、複数の距離範囲に区分けする方法に
ついて説明する。図４の（ａ）に、検知エリア１００の
例を示す。検知エリア１００は、撮像部３および３’に
より距離を計測することのできる領域であり、撮像手段
３および３'の仕様および位置に基づいて定められる。
たとえば、検知エリア１００を、距離レンジ６０メート
ル、角度レンジ３０度と設定することができる。検知エ
リア１００は予め固定して設定することもできるが、自
車の速度に応じて動的に設定することが好ましい。この
場合、速度が大きくなるにつれて、測定可能な距離範囲
は大きくなり、角度範囲は小さくなるよう設定する。

【００２６】検知エリア１００は、計測される距離の誤
差に応じて、互いに重なりを持たないよう複数の距離範
囲に区分けされる。この実施例では、撮像手段３および
３’を備える車両から距離が遠くなるほど計測した距離
の精度が低下するので、距離が遠くなるほど広い距離範
囲を持つよう区分けされる（図４の（ａ）のＳ１〜Ｓ
６）。

【００２７】距離範囲は、計測される距離の誤差に応じ
て設定される。ここで、距離の誤差の値は、撮像手段３
および３'の仕様などに依存する。たとえば、計測され
る距離の誤差が実際の距離の１０％以下とすると、ある
距離に対する距離範囲は、「距離〜（距離×（１＋０．
１））」と定めることができる。この実施例では、分割
数を少なくして高速に処理するため、また誤差１０％と
いう精度がすべての画素について確保されないことがあ
るので、距離の誤差を３０％として距離範囲を定める。
したがって、ある距離に対する距離範囲は、「距離〜
（距離×（１＋０．３））」と定められる。

【００２８】図５は、距離の誤差を３０％とした場合の
距離と距離ラベルの対応の一部を示した表であり、同じ
距離ラベルをもつ距離が、１つの距離範囲を構成する。
距離の単位は０．１メートルである。たとえば、距離が
１のとき、距離の３０％は０（小数点以下は切り捨て）
であるので、距離範囲１に対して距離ラベル「１」が付
与される。距離が２のとき、距離の３０％は０なので、
距離範囲２に対して別の距離ラベル「２」が付与され
る。ここで、距離ラベルは、距離範囲が変わるごとに１
ずつ歩進されるよう設定される。距離が２０のときは、
距離の３０％は６であるので、距離範囲２０〜２６に対
して距離ラベル「９」が付与される。こうして、距離範
囲が近距離から遠距離へと設定され、検知エリア１００
が複数の距離範囲に区分けされる。なお、異なる距離ラ
ベルを持ついくつかの距離範囲を結合して、１つの距離
範囲としてもよい。

【００２９】この実施例ではわかりやすく説明するた
め、図５に示されるいくつかの距離範囲を大きく結合
し、図４の（ｂ）に示すように距離範囲Ｓ１〜Ｓ６を設
定し、さらに新たな距離ラベル１〜６をそれぞれ付与す
る。図４の（ａ）は、図４の（ｂ）の距離範囲Ｓ１〜Ｓ
６を示したものであり、車両から遠くなるほど距離範囲
が大きくなっている。なお、距離ラベルは、たとえばア
ルファベット文字など識別可能な他の符号を使用しても
よい。こうして、距離ラベルを付与された距離範囲は、
距離変換テーブルとして距離範囲記憶部９に記憶され
る。なお、検知エリアが予め固定して設定される場合に
は、予め距離範囲を算出して距離ラベルを付与した距離
変換テーブルを距離範囲記憶部９に格納しておくのが好
ましい。また、検知エリアが動的に変更される場合に
は、格納された距離変換テーブルを動的に更新すること
ができる。

【００３０】図１の路面除去部３１は、予め決められた
推定距離と上記のようにして計測された距離とをウィン
ドウごとに比較し、推定距離に近い計測距離および推定
距離以上の計測距離をもつウィンドウについての計測距
離値を距離記憶部８から削除する。推定距離とは、車両
が傾くことなく路面に平行な状態にある場合の路面まで
の距離をいい、この時の路面を推定路面という。この推
定距離は、たとえばＣＣＤアレイにより実現される撮像
手段３および３'の取り付け位置、俯角、基線長、焦点
距離およびサイズと、画像におけるウィンドウの位置と
により予め算出され、ウィンドウごとに推定距離記憶部
３２に記憶されている。

【００３１】計測距離が推定距離に近い値または推定距
離以上の値ならば、ウィンドウの対象物が路面であって
物体ではないと判断し、路面除去部３１は、路面と判断
されたウィンドウの計測距離値を距離記憶部８から削除
する。これにより、計測距離値が削除されたウィンドウ
については以降の物体認識の処理を進める必要がなくな
り、より効率よく他のウィンドウについて物体認識を行
うことができる。路面と判断されたウィンドウの計測距
離値を距離記憶部８から削除するかわりに、たとえば路
面と判断されたことを識別するフラグを使用し、路面と
判断されたウィンドウに識別フラグをたてて距離記憶部
８に記憶することもできる。

【００３２】別の実施形態では、たとえば車両が下り坂
を走行し始めるという場合も考えられるので、計測距離
と推定距離とを比較して所定範囲内ならば、その計測距
離値を削除するようにすることもできる。たとえば、計
測距離と推定距離との差が０．５ｍ以内ならば、所定範
囲内と判断して計測距離値を削除し、差が０．５ｍより
大きければ、以降のクラスタリング処理を進める。

【００３３】次に、ウィンドウをクラスタリングする方
法を説明する。クラスタリング部３３は、路面除去部３
１により削除されずに残った、計測距離をもつウィンド
ウについてクラスタリングを行う。最初に、クラスタリ
ング部３３の距離変換部２６は、それぞれのウィンドウ
について、計測距離を距離ラベルに変換する。具体的に
は、距離範囲記憶部９に格納された距離変換テーブルに
基づいて、ウィンドウの計測距離が属する距離範囲を調
べ、その距離範囲に対応するラベルに計測距離を変換す
る。ここで、たとえばコントラストがなかったために計
測距離が得られなかったウィンドウについては、距離変
換テーブルで使用されていないラベル、たとえばラベル
「０」を付与する。さらに、距離変換部２６は、計測距
離をラベルに変換するとき、その計測距離が属する距離
範囲のウィンドウ数をカウントし、図４の（ｂ）に示さ
れるそれぞれの距離範囲に属するウィンドウの度数を算
出する。

【００３４】例として、図６の（ａ）は、撮像された画
像上のそれぞれのウィンドウの計測距離を示す。距離変
換部２６は、図６の（ａ）に示される計測距離を、図４
の（ｂ）の距離変換テーブルに従って距離ラベルに変換
する。図６の（ｂ）は、それぞれのウィンドウについて
変換された距離ラベルを示す。この処理と同時に、距離
変換部２６は、距離ラベルごとにウィンドウ数をカウン
トし、距離範囲ごとのウィンドウの度数を算出する。

【００３５】すべてのウィンドウについて距離ラベルに
変換した後、距離変換部２６は、ある距離範囲に属する
ウィンドウの度数がしきい値未満である場合には、その
距離範囲に属する計測距離を持つウィンドウの距離ラベ
ルを「０」に設定する。これは、高速化という目的では
一致しているが、その距離範囲に有効な物体（前方車両
など）が撮像されていないという判断を行ったために、
距離ラベルを「０」として無効化しているものである。
したがって、ウィンドウの度数がしきい値未満の距離範
囲に属するウィンドウをクラスタリングの対象から外
し、より高速にクラスタリングを行うようにする。な
お、しきい値は、距離範囲ごとに異なる値を設定するこ
とができる。

【００３６】図６の（ｂ）の例において、距離ラベル
「１」および「２」に対するしきい値をたとえば「１
０」とすると、距離ラベル「１」を持つウィンドウはＷ
31の１個だけであり、距離ラベル「２」を持つウィンド
ウは、Ｗ53、Ｗ73、Ｗ66、Ｗ68およびＷ48の５個である
ので、これらのウィンドウの距離ラベルを「０」に置き
換える。その結果得られる距離ラベルを図６の（ｃ）に
示す。

【００３７】次に、クラスタリング部３３のクラスタラ
ベル付与部２７は、それぞれのウィンドウの距離ラベル
に基づいて、それぞれのウィンドウにクラスタラベルを
付与し、同じラベルを持つウィンドウをクラスタリング
する。クラスタラベルは、同じ距離ラベルをもつ隣接す
るウィンドウが同じクラスタを構成するよう付与され
る。

【００３８】クラスタラベル付与部２７は、図７に示さ
れるテンプレートを使用してウィンドウにクラスタラベ
ルを付与する。図７の（ａ）のＴ１〜Ｔ５はテンプレー
トにおける位置を示す。図７の（ｂ）のａ〜ｅは、ある
ウィンドウにＴ４が合うようテンプレートが置かれた時
の、Ｔ１〜Ｔ５の位置にそれぞれ対応するウィンドウの
距離ラベルをそれぞれ示す。図７の（ｃ）のＡ〜Ｅは、
あるウィンドウにＴ４が合うようテンプレートが置かれ
た時の、Ｔ１〜Ｔ５の位置にそれぞれ対応するウィンド
ウに付与されたクラスタラベルを示す。

【００３９】また、図７の（ｄ）の表は、あるウィンド
ウにＴ４が合うようテンプレートが置かれたときの、Ｔ
１〜Ｔ５の位置に対応するウィンドウの距離ラベルに基
づいて、Ｔ４の位置に対応するウィンドウにどのような
クラスタラベルＤが付与されるかを示したものである。
たとえば、Ｔ１〜Ｔ５の位置に対応するウィンドウの距
離ラベルａ〜ｅが条件５を満たせば、Ｔ４に対応するウ
ィンドウのクラスタラベルＤには、Ｔ２に対応するウィ
ンドウのクラスタラベルＢと同じクラスタラベルが付与
される。なお、条件２および３が満たされた時に付与さ
れるクラスタラベル「Ｌ」は、まだ使用されていない新
たなクラスタラベルを示す。クラスタラベル付与部２７
は、テンプレートのＴ４を画像上のウィンドウに順次合
わせて画像上のウィンドウを順次走査し、ウィンドウの
距離ラベルに基づいてウィンドウにクラスタラベルＤを
付与する。

【００４０】図８の例を参照して、クラスタラベルを付
与する具体的な方法を説明する。図８で使用するウィン
ドウには、図８の（ｆ）のように番号が付されている。
図８の（ａ）は、距離変換部２６により、ウィンドウの
計測距離が距離ラベルに変換されたウィンドウＷ11〜Ｗ
44を示す。クラスタラベル付与部２７は、画像上のウィ
ンドウを左上から右下へと走査する。

【００４１】最初に、テンプレートのＴ４がウィンドウ
Ｗ11に合うようテンプレートが置かれる。ウィンドウＷ
11の距離ラベルが「０」であるので、図７の（ｄ）の条
件１を満たし、Ｔ４に対応するウィンドウＷ11にクラス
タラベル「０」が付与される。同様にして、ウィンドウ
Ｗ12〜Ｗ14およびＷ21にクラスタラベル「０」が付与さ
れる。

【００４２】次に、ウィンドウＷ22にテンプレートのＴ
４が合うようテンプレートが置かれ、ウィンドウＷ22は
図７の（ｄ）の条件２を満たすので、新たなクラスタラ
ベル「６１」を付与する（図８の（ｂ））。この例で
は、クラスタラベルを２桁で表すことにし、上位の桁で
距離ラベルを表し、下位の桁は図７の（ｄ）の条件２お
よび３に該当するたびに、１ずつ歩進するよう設定す
る。クラスタラベルは数字または文字などの任意の符号
を使用することができる。

【００４３】次に、ウィンドウＷ23にＴ４が合うようテ
ンプレートが置かれ、ウィンドウＷ23は図７の（ｄ）の
条件４を満たすので、ウィンドウＷ23に、ウィンドウＷ
22と同じクラスタラベル、すなわちクラスタラベル「６
１」を付与する。（図８の（ｃ））。ウィンドウＷ24お
よびＷ31は条件１を満たすので、クラスタラベル「０」
が付与される。

【００４４】次に、ウィンドウＷ32にＴ４が合うようテ
ンプレートが置かれ、ウィンドウＷ32は図７の（ｄ）の
条件６を満たすので、Ｔ４に対応するウィンドウＷ32
に、ウィンドウＷ22と同じクラスタラベル、すなわちク
ラスタラベル「６１」を付与する（図８の（ｄ））。次
に、ウィンドウＷ33にＴ４が合うようテンプレートが置
かれ、ウィンドウＷ33は図７の（ｄ）の条件７を満たす
ので、Ｔ４に対応するウィンドウＷ33に、ウィンドウＷ
23と同じクラスタラベル、すなわちクラスタラベル「６
１」を付与する。残りのウィンドウＷ34およびＷ41〜Ｗ
44は条件１を満たすので、クラスタラベル「０」が付与
される。こうして、クラスタラベルがそれぞれ付与され
たウィンドウが得られる（図８の（ｅ））。

【００４５】図７の（ａ）に示されるテンプレートで
は、Ｔ４に対応するウィンドウのクラスタラベルＤを、
Ｔ４の上および左のＴ１およびＴ３に対応するウィンド
ウのクラスタラベル（ＡおよびＣ）に基づいて設定する
場合が多いので（図７の（ｄ）の条件６〜８）、このよ
うなテンプレートを使用する場合には、画像上のウィン
ドウを左上から右下へと走査するのが好ましい。図７に
示すテンプレートは例であり、異なるテンプレートを用
いることができる。また、テンプレートに合わせて、ウ
ィンドウの走査の順序を定めることができる。

【００４６】クラスタラベル付与部２７は、図７の
（ｄ）の条件８を満たす場合には、テンプレートのＴ１
およびＴ３に対応するクラスタラベルを連結としてクラ
スタ記憶部４８に記憶する。図９を参照して連結を説明
する。図９の例で使用するウィンドウには、図９の
（ｇ）に示されるように番号が付されている。図９の
（ａ）は、距離変換部２６により、計測距離が距離ラベ
ルに変換されたウィンドウＷ11〜Ｗ35を示す。

【００４７】クラスタラベル付与部２７は、画像上のウ
ィンドウを左上から右下へとテンプレートを走査させ、
図８で説明したのと同じ方法で、図９の（ａ）の距離ラ
ベルに基づいてウィンドウにクラスタラベルを付与す
る。ウィンドウＷ11〜Ｗ31、Ｗ12およびＷ22は、条件１
を満たすので、クラスタラベル「０」が付与される。ウ
ィンドウＷ32は、図７の（ｄ）の条件２を満たすので、
新たなクラスタラベル「６１」を付与する（図９の
（ｂ））。ウィンドウＷ13およびＷ23は条件１を満たす
ので、クラスタラベル「０」が付与される。ウィンドウ
Ｗ33は条件４を満たすので、ウィンドウＷ32と同じクラ
スタラベル「６１」が付与される（図９の（ｃ））。ウ
ィンドウＷ14は条件１を満たすので、クラスタラベル
「０」が付与される。ウィンドウＷ24は条件２を満たす
ので、新たなクラスタラベル「６２」を付与する（図９
の（ｄ））。

【００４８】次に、Ｔ４がウィンドウＷ34に合うようテ
ンプレートが置かれ、Ｔ１に対応するウィンドウＷ24の
距離ラベルは「６」、クラスタラベルは「６２」であ
り、Ｔ３に対応するウィンドウＷ33の距離ラベルは
「６」、クラスタラベルは「６１」であるので、ウィン
ドウＷ34は図７の（ｄ）の条件８を満たし、Ｔ１に対応
するウィンドウＷ24と同じクラスタラベル「６２」が付
与される（図９の（ｅ））。この結果、ウィンドウＷ32
およびＷ33のクラスタラベルと、ウィンドウＷ24および
Ｗ34のクラスタラベルとが、隣接しているにかかわらず
異なるものとなる。

【００４９】したがって、図７の（ｄ）の条件８を満た
す場合には、テンプレートのＴ１およびＴ３に対応する
ウィンドウのクラスタラベルＡおよびＣ、この例ではウ
ィンドウＷ33およびＷ24のクラスタラベル「６１」およ
び「６２」を連結としてクラスタ記憶部４８に記憶す
る。すべてのウィンドウについてクラスタラベルを付与
した後、連結として記憶された２つのクラスタラベル
を、同じクラスタラベルに置き換える。たとえば、クラ
スタラベル「６１」を「６２」に置き換えてもよいし、
この逆でもよい。さらに、たとえばラベル「６３」のよ
うな新しいクラスタラベルで「６１」および「６２」を
置き換えてもよい。こうして、図９の（ｆ）に示される
ように、同じ距離ラベルを持ち、隣接するウィンドウに
は、同じクラスタラベルが付与される。

【００５０】図６に戻り、上記に説明した方法に従い、
図６の（ｃ）に示される距離ラベルに基づいてウィンド
ウにクラスタラベルを付与すると、図６の（ｄ）が得ら
れる。同じクラスタラベルを持つウィンドウの集まり
が、１つのクラスタを構成する。こうして定められたク
ラスタを、図６の（ｅ）に示す。

【００５１】計測距離値そのものを扱うのではなく距離
ラベルを使用することにより、高速にウィンドウのクラ
スタリングを行うことができる。すなわち、この発明に
よれば、計測距離値の距離ラベルへの変換が、距離範囲
ごとに度数分布を求める処理と並行して行われることに
より、ウィンドウの計測距離がどの距離範囲に属するか
という判断がすでに行われているため、従来のように、
クラスタリングを行うときに、距離範囲の度数分布等を
求めてクラスタリングする距離範囲を決定する処理が不
要となる。また、図７のようなテンプレートを走査させ
てクラスタラベルを決定するとき、従来のように計測距
離がどの距離範囲に属するかという判断が不要となり、
それぞれの属する距離範囲がｄの属する距離範囲と等し
いかどうかの判断が不要となる。

【００５２】以上のように、計測された距離の誤差に基
づいて距離範囲を設定することによりクラスタリングを
正しく行うことができ、距離ラベルを使用することによ
りクラスタリングを高速に行うことができる。

【００５３】次に、３次元表示部３５は、上記のように
クラスタリングされたウィンドウのクラスタを３次元情
報で表す。図１０に示すように、３次元情報は、この実
施例では水平位置（ｘ）、垂直位置（ｙ）および路面距
離（ｚ）の３座標を使用する。水平位置を示すｘ座標は
ウィンドウの列方向（図３の（ｂ）を参照）に対応し、
垂直位置を示すｙ座標は路面からの高さ方向に対応し、
路面距離を示すｚ座標はウィンドウの行方向（図３の
（ｂ）を参照）に対応する。また、路面距離を示すｚ座
標は計測距離ｄに比例する。

【００５４】図１０を参照して、クラスタを構成するウ
ィンドウを３次元情報で表す方法を説明する。原点Ｏは
車両が位置する路面を示し、ｘ、ｙおよびｚ軸は原点Ｏ
で互いに直交する。ｘ軸は車両から見て左右に伸びてお
り、ｙ軸は路面に垂直に伸びており、ｚ軸は車両の進行
方向に伸びている。撮像カメラ５３は、原点Ｏからｙ軸
方向の高さＨのところにある。物体５４は、高さｈおよ
び幅ｇを持ち、ｚ軸方向にｉ進んだ所にある。撮像カメ
ラ５３で撮像された画像上の複数のウィンドウのうち、
あるウィンドウには、物体５４が存在しなければ点５５
で表される路面が対象物として撮像され、物体５４が存
在すれば、点５６で表される物体５４の一部が対象物と
して撮像される。推定距離Ｄは、撮像カメラ５３と点５
５との間の距離であり、物体５４が存在しない場合に撮
像された点５５までの計測距離に等しい。計測距離ｄ
は、撮像カメラ５３と点５６との間の距離であり、図２
を参照して前述した方法により計算される。（ｘ，ｙ，
ｚ）座標系を使用すると、撮像カメラ５３の位置は
（０，Ｈ，０）で表され、点５６の位置は（ｇ，ｈ，
ｉ）で表される。

【００５５】ウィンドウごとの推定距離Ｄおよび撮像カ
メラの推定路面からの高さＨは固定値であるので、予め
計算して記憶しておくことができる。図１０から明らか
なように、ウィンドウの対象物の高さｈは以下の式
（１）から、対象物の路面距離ｉは式（２）から求めら
れる。

【００５６】

【数１】

【００５７】図１０のｘ軸方向の車両からの水平距離
は、撮像カメラの位置、画像におけるウィンドウ数など
に応じてウィンドウの列ごとに予め決められる。たとえ
ば、ウィンドウの３列目は、車両の中心から左に１メー
トルの位置を示すというように定めることができる。し
たがって、点５６が撮像されているウィンドウの画像上
の位置に基づいて、点５６のｘ座標値（この例ではｇで
あり、対象物の幅の値に等しい）を求めることができ
る。こうして、クラスタを構成するウィンドウのそれぞ
れを、ｘ、ｙおよびｚ座標で表すことができる。なお、
別の実施形態では、たとえば路面距離を示すｚ座標の代
わりに計測距離ｄを使用することもでき、上記の座標系
とは異なる座標系を使用してウィンドウを表すこともで
きる。

【００５８】こうして、３次元情報表示部３５は、クラ
スタを構成するそれぞれのウィンドウを３次元情報で表
して３次元上に点として投影し、クラスタの中心位置、
幅および大きさを求めることができる。あるクラスタに
ついて３次元上に投影されたすべての点を含む最小の直
方体を定め、クラスタを直方体で近似するのが好まし
い。これにより、クラスタの中心位置、幅および高さ
（厚み）を容易に求めることができ、クラスタに含まれ
る対象物の大きさおよび位置を正確に認識することがで
きる。

【００５９】上記のｘ，ｙ，ｚ座標系を使用すると、直
方体で近似されたクラスタの幅は、投影された点のうち
最大のｘ座標値から最小のｘ座標値引いた値であり、ク
ラスタの厚みは、投影された点のうち最大のｙ座標値か
ら最小のｙ座標値を引いた値である。さらに、クラスタ
の中心位置は、ｘ、ｙおよびｚ座標のそれぞれについ
て、最大値から最小値を引いて２分の１した値で表され
る。こうして算出されたクラスタの中心位置の距離、水
平位置および垂直位置と、クラスタの幅および高さ（こ
のようなクラスタに関するそれぞれの情報を、クラスタ
の属性という）は、クラスタ記憶部４８に記憶される。

【００６０】図１に戻り、クラスタ群決定部３６は、物
体認識の処理が行われたことを示す処理済みフラグがた
っていないクラスタをクラスタ記憶部４８から抽出し、
クラスタの属性に基づいて、任意の数のクラスタから構
成されるクラスタ群を定める。クラスタリング部３３に
よりクラスタリングされた直後は、すべてのクラスタに
処理済みフラグがたっていないので、すべてのクラスタ
が抽出される。

【００６１】この実施例では、クラスタ群決定部３６
は、あるクラスタと他のクラスタの距離、水平位置およ
び垂直位置の差を算出し、これらの差がいずれもしきい
値以下ならば、これらのクラスタは同じクラスタ群に含
まれると判断する。この処理を、抽出されたクラスタの
すべてについて行い、クラスタ群を決定する。複数のク
ラスタが近い場所に現れているならば、これらのクラス
タは同じ対象物を表す可能性が高いからである。

【００６２】しきい値は、車両からの距離に応じて異な
る値を設定するのが好ましい。この実施形態では、距離
および位置の差を求める２つのクラスタの距離に応じ
て、しきい値を設定する。２つのクラスタの距離は、そ
れぞれのクラスタに含まれるウィンドウ数と、それらウ
ィンドウの計測距離とに基づいて算出する。たとえば、
２つのクラスタＣ１およびＣ２があり、クラスタＣ１お
よびＣ２の距離をそれぞれｄ１およびｄ２とし、それぞ
れのクラスタＣ１およびＣ２に含まれるウィンドウ数を
ｗ１およびｗ２とすると、以下の式（３）に基づいて２
つのクラスタの距離を算出することができる。ここで、
クラスタの距離ｄ１およびｄ２は、それぞれのクラスタ
に含まれるウィンドウの計測距離を平均した値を用い
る。

【００６３】

【数２】２つのクラスタの距離＝ (ｄ１×ｗ１＋ｄ２×ｗ２）／（ｗ１＋ｗ２）．．．式（３）

【００６４】２つのクラスタの水平位置および垂直位置
の差ｄｘおよびｄｙは、２つのクラスタ間の間隔で表さ
れ、距離の差ｄｚは、それぞれのクラスタの距離（上記
ではｄ１およびｄ２）の差で表される。例として、図１
１の（ａ）は、ｘ−ｙ平面から見た複数のクラスタを示
し、図１１の（ｂ）は、ｘ−ｚ平面から見た、図１１の
（ａ）と同じクラスタを示す。クラスタＣ４およびＣ６
の水平位置の差は、ｘ軸方向のｄｘで表され、垂直位置
の差は、ｙ軸方向のｄｙで表される。また、クラスタＣ
４およびＣ６の距離をそれぞれｄ４およびｄ６とする
と、距離の差はｚ軸方向のｄｚで表される。

【００６５】しきい値は、上記の式（３）を用いて計算
された２つのクラスタの距離に基づいて、たとえば、距
離の差については以下の表１のように、水平位置および
垂直位置の差については以下の表２のように設定するこ
とができる。

【００６６】

【表１】

【００６７】

【表２】

【００６８】表１において、２つのクラスタの距離が大
きくなるほど距離の差のしきい値が大きくなっているの
は、自車両からの距離が遠くなるほど計測距離の誤差が
大きくなるためである。表２において、２つのクラスタ
の距離が大きくなるほど水平および垂直位置の差のしき
い値が小さくなっているのは、たとえば他の車両が自車
両から近い距離に存在するような場合には、コントラス
トが低いために計測距離を算出することのできないウィ
ンドウが多く発生し、クラスタとクラスタとの間の間隔
が広くなることがあるからである。

【００６９】図１１の（ａ）および（ｂ）を参照する
と、クラスタ群決定部３６は、クラスタＣ１〜Ｃ６から
任意のクラスタを２つ選び、距離、水平および垂直位置
の差を算出してしきい値と比較し、同じクラスタ群に含
めることができるかどうか判断する。たとえば、クラス
タＣ１およびＣ２は距離および位置の差がしきい値以下
なので同じクラスタ群に含めることができ、クラスタＣ
２およびＣ４も距離および位置の差がしきい値以下なの
で同じクラスタ群に含めることができると判断し、その
結果、クラスタＣ１、Ｃ２およびＣ４を同じクラスタ群
Ｇ１に含めることができると判断する。

【００７０】また、クラスタＣ６およびクラスタＣ５
は、水平および垂直位置の差はしきい値以下であるが、
距離の差がしきい値を超えるため、それぞれ別のクタス
タ群に含めると判断する。このようにして、クラスタ群
決定部３６は、図１１の（ｃ）および（ｄ）に示される
ような２つのクラスタ群Ｇ１およびＧ２を決定する。そ
の後、クラスタ群決定部３６は、同じクラスタ群を構成
するクラスタに、同じクラスタラベルを付与しなおす。

【００７１】次に、過去の情報に基づいて物体を推定す
る方法を説明する。図１の物体推定部４０は、前回認識
された物体の位置と、該物体に対する相対速度に基づ
き、今回得られた画像における物体の位置を推定する。
図１２を参照して、この実施形態における物体の推定方
法について説明する。図１２の（ａ）〜（ｃ）は前回の
処理を示し、図１２の（ｄ）〜（ｆ）は今回の処理を示
す。図１２の（ａ）には、２台の車両９１および９２が
撮像されており、図１２の（ｄ）には、図１２の（ａ）
と同じ車両９１および９２が撮像され、さらに新たに標
識９３が撮像されている。

【００７２】図１２の（ｂ）は、図１２の（ａ）の画像
に基づいてクラスタリング部３３により定められたクラ
スタＣ１１〜Ｃ１７と、クラスタ群決定部３６により定
められたクラスタ群６３および６４を示す。図１２の
（ｃ）は、クラスタ群６３および６４から認識された物
体６５および６６を示し、それぞれ車両９１および車両
９２に対応する。物体６５と６６の位置および大きさ
は、前回の処理で物体記憶部３９に記憶されている。

【００７３】物体推定部４０は、前回認識された物体６
５および６６の位置と相対速度を物体記憶部３９から読
み出し、物体６５および６６の今回の位置を算出する。
算出は、（前回の物体の位置＋相対速度×検出間隔時
間）という計算式を使用して行うことができる。この例
では、物体６５に対する相対速度はゼロであり、物体６
６に対する相対速度が時速−１０キロメートルとし（こ
の例では、物体の速度に対して自車両の速度が大きい場
合の相対速度を「負」で表す。）、検出間隔時間を１０
０ミリ秒とする。前回と今回の物体６５に対する相対距
離は変化せず、物体６６に対する相対距離は約０．３メ
ートルだけ短くなる。

【００７４】したがって、自車両の位置を原点とし、前
回の物体６５の位置（物体の中心座標で表すとする）を
（x1，y1，z1）、物体６６の位置を（x2，y2，x2）と
し、それぞれの座標値をメートルで示すと、物体６５の
今回の位置は（x1，y1，z1）、物体６６の今回の位置は
（x2，y2，z2−0.3）と推定することができる。ここ
で、推定される物体は前回と同じ水平位置にあるとす
る。なお、座標系や原点のとりかたに応じて、物体に対
して自車両の速度が大きい（または小さい）場合の相対
速度「正」または「負」で表すことができ、上記と異な
る式を用いて物体の位置を算出することもできる。

【００７５】さらに、時間が経過しても物体の大きさは
変わらないので、物体推定部４０は、物体６５および６
６の幅および高さを物体記憶部３９から読み出し、それ
ぞれの今回の位置（x1，y1，z1）および（x2，y2，z2−
0.3）において、物体６５および６６を３次元上に再構
成することができ、推定された物体の画像上におけるウ
ィンドウの位置を求めることができる。図１２の（ｅ）
は、上記のように物体６５および６６を推定した物体７
５および７６を、画像上の四角で囲まれた領域で示す。

【００７６】物体推定部４０は、推定した物体（以下、
推定物体という）７５および７６の属性（距離、水平位
置、垂直位置、幅および高さなどの物体に関する情報）
を、推定物体記憶部４９に記憶する。なお、物体推定部
４０による処理は、前述したクラスタリング部３３およ
びクラスタ群決定部３６による処理と並行して行うのが
好ましい。

【００７７】図１に戻り、クラスタ選択部４１は、最も
近い距離にあるクラスタを含むクラスタ群を選ぶ。次
に、選択されたクラスタ群を構成するクラスタと距離の
差がしきい値以下であって、水平および垂直位置で重な
りを持つ推定物体のうち、最も近い距離にある推定物体
を選択する。その後、クラスタ選択部４１は、選択され
た推定物体と重なりを持つクラスタを、選択されたクラ
スタ群からすべて選択する。

【００７８】ここで、選択したクラスタ群を構成するい
ずれのクラスタも、推定物体との距離の差がしきい値を
満たさず推定物体と重なりを持たない場合、すなわち選
択すべき推定物体が無い場合には、そのクラスタ群に含
まれるすべてのクラスタを選択し、処理は物体候補抽出
部４２に進む。

【００７９】また、物体候補抽出クラスタ選択部４１
は、すべてのクラスタが処理された後になお推定物体が
残っている場合には、この推定物体はすでに画像領域に
現れなくなった物体と判断し、推定記憶部４９から削除
することができる。

【００８０】近い距離にあるクラスタ群および推定物体
から処理するのは、近い距離にあるクラスタほど物体か
どうか優先して判断する必要があり、また、対応する推
定物体を見つけやすいからである。

【００８１】クラスタおよび推定物体のそれぞれの距離
は、それぞれの中心位置における距離を用いることがで
きる。または、クラスタの距離は、クラスタを構成する
ウィンドウの計測距離の平均した値を用いることもでき
る。距離の差のしきい値は、前述した表１の値を用いる
こともでき、または新たに異なる値のしきい値を用いて
もよい。重なりの判断は、比較するクラスタと推定物体
をｘ−ｙ平面に投影することにより、簡単に判断するこ
とができる。なお、水平および垂直位置に重なりがあれ
ばよく、推定物体にクラスタ全体が含まれる必要はな
い。

【００８２】図１２の例で説明すると、図１２の（ｄ）
に示される車両９１と９２および標識９３は、実際に路
面上のほぼ同じ距離に存在しているとする。図１２の
（ｅ）には、クラスタリング部３３が図１２の（ｄ）の
画像に基づいて定めたクラスタＣ２１〜Ｃ３１と、クラ
スタ群決定部３６により定められ、クラスタＣ２１〜Ｃ
３１から構成される１つのクラスタ群７２が示される。

【００８３】クラスタ選択部４１は、最も近い距離にあ
るクラスタを含むクラスタ群を選択するが、この例では
クラスタ群が１つなので、クラスタ群７２が選択され
る。次に、クラスタ群７２を構成するクラスタの距離お
よび位置をクラスタ記憶部４８から読み出し、推定物体
７５および７６の距離および位置を推定物体記憶部４９
から読み出す。クラスタ群７２を構成するクラスタとの
距離の差がしきい値以下で、水平および垂直位置で重な
りを持つ推定物体は２つある（推定物体７５および７
６）。推定物体７５が７６より近い距離にあるとする
と、推定物体７５が選択される。次に、クラスタ群７２
を構成するクラスタのうち、推定物体７５と重なりを持
つクラスタＣ２２〜Ｃ２６を選択する。こうして、推定
物体に対応するクラスタがまとまりをもって選択され
る。

【００８４】物体候補抽出部４２は、クラスタ選択部４
１で選択されたクラスタからすべての組み合わせを抽出
し、それぞれの組み合わせについて結合クラスタを定
め、それぞれの結合クラスタを物体候補とする。組み合
わせには、クラスタが１つの場合も含む。図１３は、図
１２の（ｅ）の推定物体７５について選択されたクラス
タＣ２２〜Ｃ２６のすべての組み合わせを抽出したもの
である。たとえば、図１３の結合クラスタ番号１０に
は、クラスタＣ２３とＣ２４の組み合わせで結合された
クラスタが示される。ここで、結合クラスタを構成する
クラスタをすべて含む最小の直方体を定めて、結合クラ
スタを直方体で近似するのが好ましい。これにより、結
合クラスタの属性（距離、位置、大きさなど）を容易に
求めることができる。

【００８５】物体候補抽出部４２により、物体候補であ
る結合クラスタが抽出された後、対応する推定物体を持
つ結合クラスタについては、処理は物体判定部３７を経
て第１の物体認識部４３に進み、対応する推定物体を持
たない結合クラスタについては、処理は物体判定部３７
を経て第２の物体認識部４４に進む。

【００８６】図１の物体判定部３７は、物体候補抽出部
４２により抽出された物体候補である結合クラスタの高
さまたは厚みに基づいて、クラスタの対象物が物体かど
うか判断する。結合クラスタの高さおよび厚みがクラス
タ記憶部４８に記憶されている。たとえば、検知対象を
他の車両とする場合には、推定路面から結合クラスタの
上面までの高さが９０cm以下であり、かつ上面と下面と
の差が８０cm以下の結合クラスタと、上面までの高さが
７０cm以下の結合クラスタとを、物体ではないと判定し
て物体候補から除外する。高さおよび厚みにこのような
しきい値を設けることにより、結合クラスタが路面であ
る場合には、厚みが非常に薄いものとなるため、物体と
判定されることはない。

【００８７】第１の物体認識部４３は、物体判定部３７
により除外されずに残っている結合クラスタであって、
対応する推定物体を持つ結合クラスタの属性と、推定物
体との属性とを順次比較し、推定物体の属性に一番近い
属性をもつ結合クラスタを物体として認識する。ここで
使用する属性は、距離、水平位置、垂直位置、幅および
高さであり、属性の比較は以下の式（４）を用いて行わ
れる。式（４）の変数の意味を表３に示す。

【００８８】

【数３】

【００８９】

【表３】

【００９０】式（４）は、結合クラスタおよび推定物体
の中心位置の差と、幅および高さの差とに基づいて、両
者の属性の差を関数で表したものである。なお、距離
（Ｚ値）は、その距離値に応じて誤差があるので、推定
物体の距離Ｚtに比例する値で補正している。

【００９１】図１３の例では、推定物体７５に対応する
結合クラスタ１〜３１のすべてについて関数値Ｅ1を算
出し（e01、e02、、、e31）、関数値Ｅ1が最小となる結
合クラスタ３１を物体７８として認識する（図１２の
（ｆ））。最小のＥ1を持つ結合クラスタ３１が、推定
物体７５の位置および大きさを最も良く表すからであ
る。

【００９２】こうして属性の比較を行うことにより、た
とえばあるクラスタが複数の推定物体と重なりをもち、
推定物体のほんの一部しか表さない場合には、そのクラ
スタを含まない結合クラスタが物体として認識され、よ
り正確に物体を認識することができる。

【００９３】物体として認識されたクラスタＣ２２〜Ｃ
２６および対応する推定物体７５は、物体認識の処理が
行われたことを識別するため、たとえば処理済みフラグ
をたててクラスタ記憶部４８および推定物体記憶部４９
に記憶される。

【００９４】クラスタ群決定部３６、クラスタ選択部４
１、物体候補抽出部４２、第１の物体認識部４３（また
は第２の物体認識部４４）による処理は、すべてのクラ
スタが処理済みとなるまで（この例では、すべてのクラ
スタに処理済みフラグがたつまで）繰り返される。すな
わち、クラスタ群決定部３６が、クラスタ記憶部４８に
記憶されたクラスタの処理済みフラグを調べ、処理済み
フラグがたっていないクラスタが見つからないとき、繰
り返し処理を終える。

【００９５】または、物体として認識する数に予め上限
（たとえば、４個）を定め、認識された物体の数がこの
数に達したならば、処理の繰り返しを終えるようにする
こともできる。

【００９６】図１２の（ｆ）を参照して前述したよう
に、物体７８が認識された後、クラスタ群決定部３６
は、クラスタ記憶部４８に記憶されたクラスタの処理済
みフラグを調べ、処理済みフラグがたっていないラスタ
Ｃ２１、Ｃ２７〜Ｃ３１を抽出する。さらに、推定物体
記憶部４９に記憶された推定物体の処理済みフラグを調
べ、処理済みフラグがたっていない推定物体７６を抽出
する。

【００９７】クラスタＣ２１およびクラスタＣ２７〜Ｃ
３１は水平位置の差がしきい値を超えるので、クラスタ
群決定部３６は、それぞれ異なる２つのクラスタ群を新
たに定める。このように、新たにクラスタ群を定めるこ
とにより、他の推定物体がどのような位置にあっても、
クラスタＣ２１とＣ２７〜Ｃ３１が結合されて１つの物
体と誤認されることがなくなる。

【００９８】クラスタＣ２７〜Ｃ３１から構成されるク
ラスタ群の方が近い距離にあるとすると、クラスタ選択
部４１は、クラスタＣ２７〜Ｃ３１のクラスタ群を選択
し、このクラスタ群を構成するクラスタと、距離の差が
しきい値以下で水平および垂直位置で重なりを持つ推定
物体７６を選択する。次に、クラスタ群を構成するクラ
スタのうち、推定物体７６を重なりを持つクラスタＣ２
７〜Ｃ３１を選択する。

【００９９】物体候補抽出部４２は、クラスタＣ２７〜
Ｃ３１のすべての組み合わせを作って結合クラスタを定
める。第１の物体認識部４３は、それぞれの結合クラス
タの属性を、推定物体７６の属性と比較する。その結
果、クラスタＣ２７〜Ｃ３１からなる結合クラスタが、
推定物体７６に最も近い属性を持つと判断し、クラスタ
Ｃ２７〜Ｃ３１の結合クラスタを物体７９と認識する
（図１２の（ｆ））。物体と認識されたクラスタＣ２７
〜Ｃ３１および対応する推定物体７６は、クラスタ記憶
部４８および推定物体記憶部４９に、それぞれ処理済み
フラグをたてて記憶される。

【０１００】次に、クラスタ群決定部３６は、処理済み
フラグがたっていないクラスタＣ２１をクラスタ記憶部
４８から抽出する。クラスタが１個なので、クラスタＣ
２１をクラスタ群とする。この例では、推定物体がすべ
て処理され、対応する推定物体が存在しないので、クラ
スタ選択部４１は、クラスタＣ２１を選択し、物体候補
抽出部４２に渡す。物体候補抽出部４２は、クラスタ群
に含まれるクラスタのすべての組み合わせから結合クラ
スタを定めるが、ここではクラスタＣ２１の１個だけな
ので、クラスタＣ２１からなる結合クラスタを定める。
クラスタＣ２１からなる結合クラスタは、物体判定部３
７を経て、第２の物体認識部４４で処理される。

【０１０１】このように、物体を表すクラスタはまとま
って現れると考えられるので、処理の繰り返しはクラス
タ群の決定から行うのが好ましい。前述したように、推
定物体の距離および位置は相対速度から求めるので、誤
差を含むことが多い。クラスタ群を決定せずに、推定物
体と重なりを持つクラスタを抽出すると、水平位置が非
常に離れているクラスタを結合して物体と誤認すること
がある。

【０１０２】第２の物体認識部４４は、物体候補抽出部
４２から抽出された、対応する推定物体を持たない少な
くとも１つ以上のクラスタから構成される結合クラスタ
の属性と、予め決められた検知すべき物体（以下、検知
物体という）の属性とを比較し、属性の差が最小値とな
る検知物体を、結合クラスタに対応する物体として認識
する。なお、しきい値を設けて、属性の差がしきい値以
下で、最小値となる検知物体を、対応する物体として認
識することもできる。予め決められた検知物体との比較
は、すべての結合クラスタについて行われ、検知物体が
複数ある場合には、すべての検知物体と比較される。

【０１０３】検知すべき物体の属性は予め決められて検
知物体記憶部５０に記憶されている。たとえば、車両を
検知するのであれば、いくつかの種類の標準的な車両の
属性が記憶されており、標識を検知するのであれば、い
くつかの標準的な標識の属性を記憶することができる。
この実施例では、比較する属性として幅および高さを使
用し、前回の情報が存在しないので距離、水平位置およ
び垂直位置は比較しない。属性の比較は、以下の式
（５）を用いる。式（５）の変数の意味を表４に示す。
式（５）は、結合クラスタおよび検知物体の幅および高
さの差に基づいて、両者の属性の差を関数で表したもの
である。

【０１０４】

【数４】Ｅ2 ＝｜Ｗc−Ｗt｜＋｜Ｈc−Ｈt｜・・・式（５）

【０１０５】

【表４】

【０１０６】図１２の例では、前述したように、第２の
物体認識部４４は、物体候補抽出部４２により抽出され
たクラスタＣ２１の結合クラスタの属性と、いくつかの
検知物体の属性とを比較し、関数値Ｅ2が最小となる検
知物体（この例では、標識）を抽出する。こうして、ク
ラスタＣ２１が物体７７として認識される（図１２の
（ｆ））。

【０１０７】以上のように、過去の物体に関する情報を
使用して物体を認識することにより、前方を走行する他
の車両が路側物（たとえば、標識）に近接して走行した
場合や、隣りのレーンの車両が前方車に接近した場合
に、２つの物体を１つの物体と誤認したり、１つの物体
を複数の物体と誤認することがなくなる。

【０１０８】第１および第２の物体認識部４３および４
４は、認識された物体の属性を物体記憶部３９に記憶す
る。物体記憶部３９には、前回認識された物体の属性も
記憶されている。さらに、第１および第２の物体認識部
４３および４４は、前回認識された物体の距離（前回距
離）および今回認識された物体の距離（今回距離）を用
い、計算式「（今回距離−前回距離）／検出時間間隔」
に基づいて求めた値にフィルターをかけて物体に対する
自車の相対速度を算出し、物体記憶部３９に記憶する。
検出時間間隔は、前述したように前回の計測と今回の計
測との時間差であり、たとえば１００ミリ秒とすること
ができる。

【０１０９】車両制御部４５は、物体記憶部３９に記憶
された物体の距離、位置および相対速度などの情報、お
よび自車速度検出装置４６やヨーレート検出装置４７な
どの装置からの情報に基づいて、物体までの距離が適切
であるよう自車両を制御する。たとえば、運転者に音声
やアラームで警告を発したり、自車のエンジンを制御し
て強制的に減速させたりなどの制御をすることができ
る。

【０１１０】なお、物体の認識を確実にするため、第１
および第２の物体認識部４３および４４により前回認識
された物体と今回認識された物体とが同一かどうか判断
し、同一物体が連続してある予め決められた回数認識さ
れたときに、車両制御部４５が車両を制御するようにす
るのが好ましい。

【０１１１】図１に示した相関計算部６、距離計算部
７、距離記憶部８、ウィンドウ切り出し部１３、距離範
囲記憶部９、クラスタリング部３３、クラスタ群決定部
３６、クラスタ記憶部４８、物体判定部３７、物体記憶
部３９、物体推定部４０、クラスタ選択部４１、物体候
補抽出部４２、第１および第２の物体認識部４３および
４４、推定物体記憶部４９、検知物体記憶部５０および
車両制御部４５は、中央演算処理装置（ＣＰＵ）、制御
プログラムおよび制御データを格納する読み出し専用メ
モリ、ＣＰＵの演算作業領域を提供し様々なデータを一
時記憶することができるランダムアクセスメモリ（ＲＡ
Ｍ）で構成することができる。距離記憶部８、距離範囲
記憶部９、クラスタ記憶部４８、推定物体記憶部４９、
物体記憶部３９および検知物体記憶部５０は、１つのＲ
ＡＭのそれぞれ異なる記憶領域を使用して実現すること
ができる。また、各種の演算で必要となるデータの一時
記憶領域も同じＲＡＭの一部分を使用して実現すること
ができる。

【０１１２】また、この発明の物体判定装置をエンジン
の電子制御ユニット（ＥＣＵ）、ブレーキ制御ＥＣＵそ
の他のＥＣＵとＬＡＮ接続して物体判定装置からの出力
を車両の全体的な制御に利用することができる。

【０１１３】

【発明の効果】請求項１の発明によると、ウィンドウの
計測距離ではなく、その計測距離が属する距離範囲に対
応するラベルに基づいてクラスタリングするので、高速
にクラスタリングすることができる。

【０１１４】請求項２の発明によると、計測される距離
の誤差に応じて距離範囲を設定するので、正確にクラス
タリングすることができる。

【図面の簡単な説明】

【図１】この発明の一実施例の全体的な構成を示すブロ
ック図。

【図２】三角計測法による距離の計測原理を説明するた
めの図。

【図３】この発明による、（ａ）撮像された画像、
（ｂ）距離および道路領域判定のため小領域（ウィンド
ウ）に分割された画像を示す図。

【図４】この発明による、（ａ）検知エリアの分割、
（ｂ）距離範囲と距離ラベルの設定を示す図。

【図５】この発明による、計測された距離の誤差に応じ
た距離の分割を示す表。

【図６】この発明による、クラスタリングを示す図。

【図７】この発明による、テンプレートと、クラスタラ
ベルの決定方法を示す図。

【図８】この発明による、クラスタラベルの付与の方法
を示す図。

【図９】この発明による、クラスタラベルの連結の方法
を示す図。

【図１０】この発明による、（ａ）ウィンドウを３次元
情報で表す方法、（ｂ）車両が移動した場合のウィンド
ウの３次元情報の変化を示す図。

【図１１】この発明によるクラスタ群決定を説明するた
め、（ａ）ｘ−ｙ平面から見たクラスタ、（ｂ）ｘ−ｚ
平面から見たクラスタ、（ｃ）ｘ−ｙ平面から見たクラ
スタ群、（ｄ）ｘ−ｚ平面から見たクラスタ群を示す
図。

【図１２】この発明による、前回および今回の撮像され
た画像（(a)および(d)）、クラスタ（(b)および(e)）、
認識された物体（(c)および(f)）を示す図。

【図１３】この発明による、クラスタの組み合わせを示
す表。

【図１４】従来技術による、検知エリアにおける距離範
囲の設定とクラスタリングの関係を示す図。

【符号の説明】

３、３’ 撮像部７距離計算部
９距離範囲記憶部３３クラスタリング部３６クラスタ群決定部４
１クラスタ選択部４１４２物体候補抽出部４３
第１の物体認識部４４第２の物体認識部

Claims

【特許請求の範囲】

【請求項１】所定の間隔をおいて配置された少なくとも
２つの撮像手段、および該少なくとも２つの撮像手段で
得られ、複数のウィンドウに分割された画像に基づいて
ウィンドウごとに対象物までの距離を計測する計測手段
を有し、該計測手段により計測された距離に基づいて物
体を認識する物体認識装置において、前記計測手段により計測することのできる領域が複数の
距離範囲に区分けされており、それぞれの距離範囲に異
なるラベルを付与して格納する距離範囲記憶手段と、前記計測手段により計測された距離の値を、該距離値が
属する距離範囲に対応する前記ラベルに変換する距離変
換手段と、該距離値が変換されたラベルに基づいて、画像上のウィ
ンドウをクラスタリングしてクラスタを定めるクラスタ
リング手段と、を備える物体認識装置。
【請求項２】前記距離範囲記憶手段において、前記計測
手段が計測することのできる領域が、前記計測手段によ
り計測される距離の誤差に応じて複数の距離範囲に区分
けされている請求項１に記載の物体認識装置。