JP2000357233A

JP2000357233A - 物体認識装置

Info

Publication number: JP2000357233A
Application number: JP11169568A
Authority: JP
Inventors: Morimichi Nishigaki; 守道西垣; Masakazu Saka; 雅和坂
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1999-06-16
Filing date: 1999-06-16
Publication date: 2000-12-26
Anticipated expiration: 2019-06-16
Also published as: DE10029866B4; US6731777B1; DE10029866A1; JP4118452B2

Abstract

(57)【要約】【課題】前方にある複数の物体をそれぞれ正確に認識す
ることのできる装置を提供する。【解決手段】所定の間隔をおいて配置された少なくとも
２つの撮像手段と、該撮像手段で得られ、複数のウィン
ドウに分割された画像に基づいて、ウィンドウごとに対
象物までの距離を計測する計測手段と、該計測された距
離の差が所定範囲内にある、隣接するウィンドウをクラ
スタリングしてクラスタを定めるクラスタリング手段
と、前回認識された物体の位置と該物体に対する相対速
度とに基づいて今回の該物体の位置を推定する物体推定
手段と、推定された物体との距離の差が所定範囲内にあ
り、推定された物体と重なりを持つクラスタを選択する
クラスタ選択手段と、選択されたクラスタのうちの１つ
または複数のクラスタから構成される結合クラスタであ
って、推定された物体の属性に最も近い属性を持つ結合
クラスタを物体として認識する物体認識手段とを備え、
個々の物体を正確に認識する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、自動車などの車
両に搭載されたカメラによる撮像手段を用いて、前方の
物体を検出する光学式の物体認識装置に関し、より具体
的には、撮像された画像における複数のウィンドウを用
いて物体を認識する物体認識装置に関する。

【０００２】

【従来の技術】近年、車両走行の安全性を向上させるた
め、自車両の前方にある物体の距離や大きさを判断し、
これに応じて車両を適切に制御する装置が提案されてい
る。

【０００３】２つの受光素子からなる光学式距離計測装
置を使用し、距離検出された被写体が物体か道路領域
（路面上の文字／白線を含む）かを判断する手法に関連
するものとして、特開平９−７９８２１号公報には、計
算エリアごとに距離を算出し、この距離値に基づき近接
する計算エリアをブロック化して、障害物が存在する領
域を認識する装置が提案されている。このブロック化で
は、距離が未測定の計算エリアも含めてブロック化され
る。

【０００４】

【発明が解決しようとする課題】特開平９−７９８２１
号公報のものでは、隣接している計算エリアから算出さ
れる距離値が近い場合にブロック化を行うため、画像領
域に複数の障害物が隣接して存在している場合には、こ
れら複数の障害物をブロック化して１つの物体と誤認す
る場合があった。また、ブロック化する範囲を一定とし
ているため、１つの障害物が複数の障害物であると誤っ
て認識する場合があった。

【０００５】そこでこの発明は、過去の物体の情報を利
用して、画像領域に複数存在する物体を別々に正確に認
識することのできる装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】上記の課題を解決するた
め、請求項１の発明の物体認識装置は、所定の間隔をお
いて配置された少なくとも２つの撮像手段と、前記少な
くとも２つの撮像手段で得られ、複数のウィンドウに分
割された画像に基づいて、ウィンドウごとに対象物まで
の距離を計測する計測手段と、前記計測手段により計測
された距離の差が所定範囲内にある、隣接するウィンド
ウをクラスタリングしてクラスタを定めるクラスタリン
グ手段と、前回認識された物体の位置および該物体に対
する相対速度に基づいて、今回の該物体の位置を推定す
る物体推定手段と、前記推定された物体との距離の差が
所定範囲内にあり、該推定された物体と重なりを持つク
ラスタを選択するクラスタ選択手段と、前記選択された
クラスタのうちの１つまたは複数のクラスタから構成さ
れる結合クラスタであって、前記推定された物体の属性
に最も近い属性を持つ結合クラスタを物体として認識す
る物体認識手段とを備える。

【０００７】この発明によると、前回認識された物体に
関する情報を使用して物体を認識するので、複数の物体
を１つの物体または１つの物体を複数の物体として誤認
することなく、正確に物体を認識することができる。

【０００８】また、請求項２の発明は、請求項１の物体
認識装置において、予め決められた検知すべき物体の属
性を格納する検知物体記憶手段を備え、前記クラスタ選
択手段において選択されなかったクラスタのうちの１つ
または複数のクラスタから構成される結合クラスタの属
性を、前記検知すべき物体の属性と比較し、属性の差が
最小値となる検知すべき物体を、前記結合クラスタに対
応する物体として認識する。

【０００９】請求項２の発明によると、予め決められた
検知すべき物体の属性と比較して物体を認識するので、
今回新たに画像上に現れた複数の物体についても、それ
ぞれを正確に認識することができる。

【００１０】

【発明の実施の形態】次に図面を参照してこの発明の実
施の形態を説明する。図１は、この発明の一実施例の物
体認識装置の全体的なブロック図である。図２は、この
実施例で用いる三角計測法による距離の計測原理を説明
する図である。まず図２を参照して１対の撮像装置を用
いた距離の測定方法を説明する。

【００１１】一対の撮像装置の一方を構成するラインセ
ンサ２１およびレンズ２３は、他方の撮像装置を構成す
るラインセンサ２２およびレンズ２４と所定の間隔すな
わち基線長Ｂだけ左右方向または上下方向に間隔をおい
て配置されている。ラインセンサ２１および２２は、典
型的には１次元のＣＣＤであり、直線的に配列されたフ
ォトセンサのアレイであってもよい。夜間の使用を考慮
すると赤外線を用いた撮像装置にするのがよい。この場
合、レンズ２３、２４の前に赤外線透過性のフィルタを
置き、赤外線の光源を用いて一定の周期で対象物２０を
照射し、対象物２０から反射する赤外線をラインセンサ
２１、２２が感知するようにするのがよい。

【００１２】ラインセンサ２１、２２は、それぞれレン
ズ２３、２４の焦点距離ｆに配置されている。レンズ２
３、２４のある平面から距離ａにある対象物の像が、ラ
インセンサ２１ではレンズ２３の光軸からＸ１ずれた位
置に形成され、ラインセンサ２２ではレンズ２４の光軸
からＸ２だけずれた位置に形成されるとすると、レンズ
２３、２４の面から対象物２０までの距離ａは、三角計
測法の原理により、ａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）で求め
られる。

【００１３】この実施例では画像はデジタル化されるの
で、距離（Ｘ１＋Ｘ２）は、ディジタル的に算出され
る。ラインセンサ２１および２２で得られる画像の片方
または両方をシフトさせながら両画像のそれぞれ対応す
る画素の輝度を示すディジタル値の差の絶対値の総和を
求め、これを相関値とする。相関値が最小値になるとき
の画像のシフト量が両画像の間の位置ずれ、すなわち
（Ｘ１＋Ｘ２）を示す。観念的には図２に示すようにラ
インセンサ２１および２２から得られる２つの画像を重
なり合わせるために２つの画像を相対的に移動させねば
ならない距離が（Ｘ１＋Ｘ２）である。

【００１４】ここでは、簡単のため撮像装置が１次元の
ラインセンサ２１、２２であるものとして説明したが、
以下に述べるようにこの発明の一実施例では２次元のＣ
ＣＤまたは２次元のフォトセンサ・アレイを撮像装置と
して使用する。この場合、２つの撮像装置から得られる
２次元の画像を相対的にシフトさせて上述したのと同様
の相関計算を行い、相関値が最小となるときのシフト量
を求めると、このシフト量が（Ｘ１＋Ｘ２）に相当す
る。

【００１５】図１の撮像手段３は、図２のレンズ２３お
よびラインセンサ２１からなる一方の撮像手段に対応
し、撮像手段３’は、図２のレンズ２４およびラインセ
ンサ２２からなる他方の撮像手段に対応する。この実施
例では、図３の（ｂ）に示すように撮像領域を複数のウ
ィンドウ（小領域）Ｗ₁₁、Ｗ₁₂、・・・に分割し、ウィ
ンドウごとに距離の計測を行うので、対象物全体の２次
元の画像が必要になる。このため撮像手段３、３’は、
２次元のＣＣＤアレイまたは２次元のフォトセンサ・ア
レイで構成される。

【００１６】図３の（ａ）は、撮像手段３または３’に
より自車両の前方を走行する他車両を撮像した画像の例
を示し、図３の（ｂ）は、図３の（ａ）の画像を概念的
に複数のウィンドウに分割したものを示す。図３の
（ｂ）は、縦方向に行および横方向に列をとり、簡単の
ため１０行×１５列のウィンドウに分割して示す。それ
ぞれのウィンドウには番号が付されており、例えばＷ₁₂
は、１行２列にあるウィンドウを示す。

【００１７】撮像手段３、３’で撮像された対象物の画
像はアナログ・デジタル変換器（Ａ／Ｄ変換器）４、
４’でデジタルデータに変換され、画像メモリ５、５’
に格納される。ウィンドウ切り出し部９によって、ウィ
ンドウＷ₁₁に対応する画像部分が画像メモリ５および
５’からそれぞれ切り出されて相関計算部６に送られ
る。相関計算部６は、切り出された２つの画像を所定の
単位ずつシフトさせて前述した相関計算を行い相関値が
最小になるときのシフト量を求めると、このシフト量が
（Ｘ１＋Ｘ２）である。相関計算部６は、こうして求め
た（Ｘ１＋Ｘ２）の値を距離計算部７に送る。

【００１８】距離計算部７は、前述したａ＝Ｂ・ｆ／
（Ｘ１＋Ｘ２）の式を用いて、ウィンドウＷ₁₁にある対
象物までの距離ａ₁₁を求める。こうして求められた距離
ａ₁₁は、距離記憶部８に記憶される。同様の計算処理が
それぞれのウィンドウについて順次実行され、距離
ａ₁₁、ａ₁₂、・・・が距離記憶部８に記憶される。以
下、あるウィンドウについて計算された対象物までの距
離を、そのウィンドウの計測距離という。

【００１９】上の相関計算で用いる画像データは、撮像
素子アレイの素子のピッチによって分解能が定まるの
で、フォトセンサ・アレイなど比較的ピッチの大きい受
光素子を用いるときは、ピッチ間の補間計算を行って画
像データの密度を高める処理を行い、こうして密度を高
められた画像データについて相関計算を行うのが好まし
い。

【００２０】また、温度による撮像素子アレイの特性変
化を補正するため、温度センサを撮像素子アレイ付近に
配置し、温度センサから得られる温度情報に基づいて距
離計算を補正するようにすることもできる。

【００２１】次に、以上のようにして算出された計測距
離に基づいてウィンドウをクラスタリングする方法につ
いて説明する。クラスタリング部３３は、それぞれのウ
ィンドウの計測距離に基づいて、ウィンドウのクラスタ
リングを行う。最初に、クラスタリング部３３における
ラベル付与部３４が、隣接するウィンドウの計測距離を
比較し、ほぼ等しければ、その隣接するウィンドウに同
一のラベルを付与する。ラベル付与部３４は、計測距離
をもつすべてのウィンドウにラベルを付与し、同じラベ
ルを持つウィンドウは、１つのクラスタを構成する。隣
接するウィンドウの計測距離を比較するのは、隣接して
いなければ、計測距離が同じでも物体が異なる場合があ
るからである。

【００２２】例として、図３の（ｂ）の路面上の文字
「６０」が撮像されているウィンドウについて説明す
る。「６０」の文字は、ウィンドウＷ₇₅、Ｗ_7B、Ｗ_A5お
よびＷ_ABに囲まれた領域（斜線がほどこされた領域）に
撮像されている。この画像領域に含まれるウィンドウの
それぞれについて計測された距離の例を、図４の（ａ）
に示す。数字の単位はメートルである。ここで、計測距
離が示されていないウィンドウは、コントラストがなか
ったために距離が計算できなかったウィンドウを示す。
図４の（ａ）において、隣接するウィンドウの計測距離
を比較し、所定範囲内ならば（たとえば、計測距離の差
が０．５メートル以内ならば所定範囲内とすることがで
きる）、その隣接する２つのウィンドウに同じラベルを
付与する。この処理を、計測距離をもつすべてのウィン
ドウについて行う。

【００２３】たとえば、ウィンドウＷ₇₆の計測距離５．
８と、Ｗ₇₇の計測距離６．０との差は０．２であるの
で、それぞれのウィンドウにラベル「１」を付与する。
同様の処理を画像の左側部分で隣接するウィンドウにつ
いて行うと、図４の（ｂ）の左側部分のウィンドウのそ
れぞれにラベル「１」が付与される。また、図４の
（ａ）の画像の右側部分では、たとえばウィンドウＷ₈₉
の計測距離５．５とＷ_8Aの計測距離５．６との差が０．
１であるので、それぞれのウィンドウにラベル「２」を
付与する。ここで、ウィンドウＷ₈₉およびＷ_8Aの両方と
も、ラベル「１」が付与されたウィンドウとは隣接して
いないので、異なるラベルを付与する。なお、ラベルは
数字である必要はなく、例えばアルファベット文字など
識別できる符号を用いてもよい。

【００２４】こうして、計測距離値をもつウィンドウの
それぞれにラベルを付与すると、図４の（ｂ）に示され
るように、ラベル「１」でクラスタリングされた領域５
１と、ラベル「２」でクラスタリングされた領域５２と
が定められる。このクラスタリングされた領域をクラス
タと呼ぶ。

【００２５】次に、３次元表示部３５は、上記のように
クラスタリングされたウィンドウのクラスタを３次元情
報で表す。図５に示すように、３次元情報は、この例で
は水平位置（ｘ）、垂直位置（ｙ）および路面距離
（ｚ）の３座標を使用する。水平位置を示すｘ座標はウ
ィンドウの列方向（図３の（ｂ）を参照）に対応し、垂
直位置を示すｙ座標は路面からの高さ方向に対応し、路
面距離を示すｚ座標はウィンドウの行方向（図３の
（ｂ）を参照）に対応する。また、路面距離を示すｚ座
標は計測距離ｄに比例する。

【００２６】図５の（ａ）を参照して、クラスタを構成
するウィンドウを３次元情報で表す方法を説明する。原
点Ｏは車両が位置する路面を示し、ｘ、ｙおよびｚ軸は
原点Ｏで互いに直交する。ｘ軸は車両から見て左右に伸
びており、ｙ軸は路面に垂直に伸びており、ｚ軸は車両
の進行方向に伸びている。撮像カメラ５３は、原点Ｏか
らｙ軸方向の高さＨのところにある。物体５４は、高さ
ｈおよび幅ｇを持ち、ｚ軸方向にｉ進んだ所にある。

【００２７】撮像カメラ５３で撮像された画像上の複数
のウィンドウのうち、あるウィンドウには、物体５４が
存在しなければ点５５で表される路面が対象物として撮
像され、物体５４が存在すれば、点５６で表される物体
５４の一部が対象物として撮像される。推定距離Ｄは、
撮像カメラ５３と点５５との間の距離であり、物体５４
が存在しない場合に撮像された点５５までの計測距離に
等しい。計測距離ｄは、撮像カメラ５３と点５６との間
の距離であり、図２を参照して前述した方法により計算
される。（ｘ，ｙ，ｚ）座標系を使用すると、撮像カメ
ラ５３の位置は（０，Ｈ，０）で表され、点５６の位置
は（ｇ，ｈ，ｉ）で表される。

【００２８】ウィンドウごとの推定距離Ｄおよび撮像カ
メラの推定路面からの高さＨは固定値であるので、予め
計算して記憶しておくことができる。図５の（ａ）から
明らかなように、ウィンドウの対象物の高さｈは以下の
式（１）から、対象物の路面距離ｉは式（２）から求め
られる。

【００２９】

【数１】

【００３０】図５の（ａ）のｘ軸方向の車両からの水平
距離は、撮像カメラの位置、画像におけるウィンドウ数
などに応じてウィンドウの列ごとに予め決められる。た
とえば、ウィンドウの３列目は、車両の中心から左に１
メートルの位置を示すというように定めることができ
る。したがって、点５６が撮像されているウィンドウの
画像上の位置に基づいて、点５６のｘ座標値（この例で
はｇであり、対象物の幅の値に等しい）を求めることが
できる。こうして、クラスタを構成するウィンドウのそ
れぞれを、ｘ、ｙおよびｚ座標で表すことができる。

【００３１】別の実施形態では、たとえば路面距離を示
すｚ座標の代わりに計測距離ｄを使用することもでき、
上記の座標系とは異なる座標系を使用してウィンドウを
表すこともできる。

【００３２】こうして、３次元情報表示部３５は、クラ
スタを構成するそれぞれのウィンドウを３次元情報で表
して３次元上に点として投影し、クラスタの中心位置、
幅および大きさを求めることができる。あるクラスタに
ついて３次元上に投影されたすべての点を含む最小の直
方体を定め、クラスタを直方体で近似するのが好まし
い。これにより、クラスタの中心位置、幅および高さ
（厚み）を容易に求めることができ、クラスタに含まれ
る対象物の大きさおよび位置を正確に認識することがで
きる。

【００３３】上記のｘ，ｙ，ｚ座標系を使用すると、直
方体で近似されたクラスタの幅は、投影された点のうち
最大のｘ座標値から最小のｘ座標値引いた値であり、ク
ラスタの厚みは、投影された点のうち最大のｙ座標値か
ら最小のｙ座標値を引いた値である。さらに、クラスタ
の中心位置は、ｘ、ｙおよびｚ座標のそれぞれについ
て、最大値から最小値を引いて２分の１した値で表され
る。こうして算出されたクラスタの中心位置の距離、水
平位置および垂直位置と、クラスタの幅および高さ（こ
のようなクラスタに関するそれぞれの情報を、クラスタ
の属性という）は、クラスタ記憶部４８に記憶される。

【００３４】図５の（ｂ）は、図５の（ａ）の原点Ｏに
位置する車両が物体５４の方へ移動し（移動した原点
が、原点Ｏ’で表される）、物体５４に対する車両の相
対距離がｒだけ短くなった場合を示す。図５の（ａ）と
同様に物体５４の一部である点５６の位置を座標を用い
て特定する。物体の水平位置が変化しないとすると、物
体の垂直位置は変わらないので（物体の高さは不変であ
る）、変化するのはｚ座標のみである。したがって、点
５６の位置は、（ｇ，ｈ，ｉ−ｒ）で表される。

【００３５】図１に戻り、クラスタ群決定部３６は、物
体認識の処理が行われたことを示す処理済みフラグがた
っていないクラスタをクラスタ記憶部４８から抽出し、
クラスタの属性に基づいて、任意の数のクラスタから構
成されるクラスタ群を定める。クラスタリング部３３に
よりクラスタリングされた直後は、すべてのクラスタに
処理済みフラグがたっていないので、すべてのクラスタ
が抽出される。

【００３６】この実施例では、クラスタ群決定部３６
は、あるクラスタと他のクラスタの距離、水平位置およ
び垂直位置の差を算出し、これらの差がいずれもしきい
値以下ならば、これらのクラスタは同じクラスタ群に含
まれると判断する。この処理を、抽出されたクラスタの
すべてについて行い、クラスタ群を決定する。複数のク
ラスタが近い場所に現れているならば、これらのクラス
タは同じ対象物を表す可能性が高いからである。

【００３７】しきい値は、車両からの距離に応じて異な
る値を設定するのが好ましい。この実施形態では、距離
および位置の差を求める２つのクラスタの距離に応じ
て、しきい値を設定する。２つのクラスタの距離は、そ
れぞれのクラスタに含まれるウィンドウ数と、それらウ
ィンドウの計測距離とに基づいて算出する。たとえば、
２つのクラスタＣ１およびＣ２があり、クラスタＣ１お
よびＣ２の距離をそれぞれｄ１およびｄ２とし、それぞ
れのクラスタＣ１およびＣ２に含まれるウィンドウ数を
ｗ１およびｗ２とすると、以下の式（３）に基づいて２
つのクラスタの距離を算出することができる。ここで、
クラスタの距離ｄ１およびｄ２は、それぞれのクラスタ
に含まれるウィンドウの計測距離を平均した値を用い
る。

【００３８】

【数２】２つのクラスタの距離＝ (ｄ１×ｗ１＋ｄ２×ｗ２）／（ｗ１＋ｗ２）．．．式（３）

【００３９】別の実施形態では、式（３）のようにクラ
スタのウィンドウ数に基づいて加重平均を計算する代わ
りに、単純にそれぞれのクラスタの距離ｄ１およびｄ２
を平均した値を、２つのクラスタの距離とすることもで
きる。さらに、クラスタＣ１およびＣ２のそれぞれの中
心位置における距離を平均した値を、２つのクラスタの
距離とすることもできる。なお、計測距離と前述のｚ座
標で示されるウィンドウの対象物の路面距離とは比例す
るので、路面距離を用いてもよい。

【００４０】２つのクラスタの水平位置および垂直位置
の差ｄｘおよびｄｙは、２つのクラスタ間の間隔で表さ
れ、距離の差ｄｚは、それぞれのクラスタの距離（上記
ではｄ１およびｄ２）の差で表される。例として、図６
の（ａ）は、ｘ−ｙ平面から見た複数のクラスタを示
し、図６の（ｂ）は、ｘ−ｚ平面から見た、図６の
（ａ）と同じクラスタを示す。クラスタＣ４およびＣ６
の水平位置の差は、ｘ軸方向のｄｘで表され、垂直位置
の差は、ｙ軸方向のｄｙで表される。また、クラスタＣ
４およびＣ６の距離をそれぞれｄ４およびｄ６とする
と、距離の差はｚ軸方向のｄｚで表される。なお、水平
および垂直位置の差は、クラスタ間の間隔の代わりに、
たとえばクラスタの中心位置の差を用いることもでき
る。

【００４１】しきい値は、上記の式（３）を用いて計算
された２つのクラスタの距離に基づいて、たとえば、距
離の差については以下の表１のように、水平位置および
垂直位置の差については以下の表２のように設定するこ
とができる。

【００４２】

【表１】

【００４３】

【表２】

【００４４】表１において、２つのクラスタの距離が大
きくなるほど距離の差のしきい値が大きくなっているの
は、自車両からの距離が遠くなるほど計測距離の誤差が
大きくなるためである。表２において、２つのクラスタ
の距離が大きくなるほど水平および垂直位置の差のしき
い値が小さくなっているのは、たとえば他の車両が自車
両から近い距離に存在するような場合には、コントラス
トが低いために計測距離を算出することのできないウィ
ンドウが多く発生し、クラスタとクラスタとの間の間隔
が広くなることがあるからである。

【００４５】図６の（ａ）および（ｂ）を参照すると、
クラスタ群決定部３６は、クラスタＣ１〜Ｃ６から任意
のクラスタを２つ選び、距離、水平および垂直位置の差
を算出してしきい値と比較し、同じクラスタ群に含める
ことができるかどうか判断する。たとえば、クラスタＣ
１およびＣ２は距離および位置の差がしきい値以下なの
で同じクラスタ群に含めることができ、クラスタＣ２お
よびＣ４も距離および位置の差がしきい値以下なので同
じクラスタ群に含めることができると判断し、その結
果、クラスタＣ１、Ｃ２およびＣ４を同じクラスタ群Ｇ
１に含めることができると判断する。

【００４６】また、クラスタＣ６およびクラスタＣ５
は、水平および垂直位置の差はしきい値以下であるが、
距離の差がしきい値を超えるため、それぞれ別のクタス
タ群に含めると判断する。このようにして、クラスタ群
決定部３６は、図６の（ｃ）および（ｄ）に示されるよ
うな２つのクラスタ群Ｇ１およびＧ２を決定する。その
後、クラスタ群決定部３６は、同じクラスタ群を構成す
るクラスタに、同じラベルを付与しなおす。

【００４７】なお、クラスタ群に含めるかどうかの判断
に、クラスタの大きさ（幅および高さ）を加えることも
できる。たとえば、検出すべき物体が他の車両である場
合には、クラスタ群の幅および高さが通常の車両の幅お
よび高さより大きくならない場合に、クラスタを含める
と判断することができる。

【００４８】次に、過去の情報に基づいて物体を推定す
る方法を説明する。図１の物体推定部４０は、前回認識
された物体の位置と、該物体に対する相対速度に基づ
き、今回得られた画像における物体の位置を推定する。
図７を参照して、この実施形態における物体の推定方法
について説明する。図７の（ａ）〜（ｃ）は前回の処理
を示し、図７の（ｄ）〜（ｆ）は今回の処理を示す。図
７の（ａ）には、２台の車両９１および９２が撮像され
ており、図７の（ｄ）には、図７の（ａ）と同じ車両９
１および９２が撮像され、さらに新たに標識９３が撮像
されている。

【００４９】図７の（ｂ）は、図７の（ａ）の画像に基
づいてクラスタリング部３３により定められたクラスタ
Ｃ１１〜Ｃ１７と、クラスタ群決定部３６により定めら
れたクラスタ群６３および６４を示す。図７の（ｃ）
は、クラスタ群６３および６４から認識された物体６５
および６６を示し、それぞれ車両９１および車両９２に
対応する。物体６５と６６の位置および大きさは、前回
の処理で物体記憶部３９に記憶されている。

【００５０】物体推定部４０は、前回認識された物体６
５および６６の位置と相対速度を物体記憶部３９から読
み出し、物体６５および６６の今回の位置を算出する。
算出は、（前回の物体の位置＋相対速度×検出間隔時
間）という計算式を使用して行うことができる。この例
では、物体６５に対する相対速度をゼロとし、物体６６
に対する相対速度を時速−１０キロメートルとし（この
例では、物体の速度に対して自車両の速度が大きい場合
の相対速度を「負」で表す）、検出間隔時間を１００ミ
リ秒とする。前回と今回の物体６５に対する相対距離は
変化せず、物体６６に対する相対距離は約０．３メート
ルだけ短くなる。

【００５１】したがって、図５の（ｂ）を参照して説明
したように、前回の物体６５の位置（物体の中心座標で
表すとする）を（x1，y1，z1）、物体６６の位置を（x
2，y2，x2）とし、それぞれの座標値をメートルで示す
と、物体６５の今回の位置は（x1，y1，z1）、物体６６
の今回の位置は（x2，y2，z2−0.3）と推定することが
できる。ここで、推定される物体は前回と同じ水平位置
にあるとする。なお、座標系や原点のとりかたに応じ
て、物体に対して自車両の速度が大きい（または小さ
い）場合の相対速度「正」または「負」で表すことがで
き、上記と異なる式を用いて物体の位置を算出すること
もできる。

【００５２】さらに、時間が経過しても物体の大きさは
変わらないので、物体推定部４０は、物体６５および６
６の幅および高さを物体記憶部３９から読み出し、それ
ぞれの今回の位置（x1，y1，z1）および（x2，y2，z2−
0.3）において、物体６５および６６を３次元上に再構
成することができ、推定された物体の画像上におけるウ
ィンドウの位置を求めることができる。図７の（ｅ）
は、上記のように物体６５および６６を推定した物体７
５および７６を、画像上の四角で囲まれた領域で示す。

【００５３】物体推定部４０は、推定した物体（以下、
推定物体という）７５および７６の属性（距離、水平位
置、垂直位置、幅および高さなどの物体に関する情報）
を、推定物体記憶部４９に記憶する。なお、物体推定部
４０による処理は、前述したクラスタリング部３３およ
びクラスタ群決定部３６による処理と並行して行うのが
好ましい。

【００５４】相対速度は時間によりしばしば変化するの
で、推定物体の位置を範囲で特定することができる。た
とえば、ある相対速度で算出された推定物体の位置を、
（x，y，z）の１点で特定する代わりに、たとえば（x−
1，y−1，z−1）〜（x＋1，y＋1，z＋1）のように範囲
で特定することもできる。または、ある相対速度ｓキロ
メートル／時で算出される相対距離で位置を特定する代
わりに、相対速度（s−５）〜（s＋５）キロメートルで
算出される範囲の相対距離で位置を特定することもでき
る。このように、物体の位置を範囲で特定することによ
り、相対速度がある程度変化した場合にも、より正確に
物体の位置を推定することができる。

【００５５】図１に戻り、クラスタ選択部４１は、最も
近い距離にあるクラスタを含むクラスタ群を選ぶ。次
に、選択されたクラスタ群を構成するクラスタと距離の
差がしきい値以下であって、水平および垂直位置で重な
りを持つ推定物体のうち、最も近い距離にある推定物体
を選択する。その後、クラスタ選択部４１は、選択され
た推定物体と重なりを持つクラスタを、選択されたクラ
スタ群からすべて選択する。

【００５６】ここで、選択したクラスタ群を構成するい
ずれのクラスタも、推定物体との距離の差がしきい値を
満たさず推定物体と重なりを持たない場合、すなわち選
択すべき推定物体が無い場合には、そのクラスタ群に含
まれるすべてのクラスタを選択し、処理は物体候補抽出
部４２に進む。

【００５７】また、クラスタ選択部４１は、すべてのク
ラスタが処理された後になお推定物体が残っている場合
には、この推定物体はすでに画像領域に現れなくなった
物体と判断し、推定記憶部４９から削除することができ
る。

【００５８】近い距離にあるクラスタ群および推定物体
から処理するのは、近い距離にあるクラスタほど物体か
どうか優先して判断する必要があり、また、対応する推
定物体を見つけやすいからである。

【００５９】クラスタおよび推定物体のそれぞれの距離
は、それぞれの中心位置における距離を用いることがで
きる。または、クラスタの距離は、クラスタを構成する
ウィンドウの計測距離の平均した値を用いることもでき
る。距離の差のしきい値は、前述した表１の値を用いる
こともでき、または新たに異なる値のしきい値を用いて
もよい。

【００６０】重なりの判断は、比較するクラスタと推定
物体をｘ−ｙ平面に投影することにより、簡単に判断す
ることができる。たとえば、水平方向の重なりは、クラ
スタ群の最大および最小のｘ座標と、推定物体の最大お
よび最小のｘ座標とを比較することにより判断すること
ができる。なお、水平および垂直位置に重なりがあれば
よく、推定物体にクラスタ全体が含まれる必要はない。

【００６１】図７の例で説明すると、図７の（ｄ）に示
される車両９１と９２および標識９３は、実際に路面上
のほぼ同じ距離に存在しているとする。図７の（ｅ）に
は、クラスタリング部３３が図７の（ｄ）の画像に基づ
いて定めたクラスタＣ２１〜Ｃ３１と、クラスタ群決定
部３６により定められ、クラスタＣ２１〜Ｃ３１から構
成される１つのクラスタ群７２が示される。

【００６２】クラスタ選択部４１は、最も近い距離にあ
るクラスタを含むクラスタ群を選択するが、この例では
クラスタ群が１つなので、クラスタ群７２が選択され
る。次に、クラスタ群７２を構成するクラスタの距離お
よび位置をクラスタ記憶部４８から読み出し、推定物体
７５および７６の距離および位置を推定物体記憶部４９
から読み出す。クラスタ群７２を構成するクラスタとの
距離の差がしきい値以下で、水平および垂直位置で重な
りを持つ推定物体は２つある（推定物体７５および７
６）。推定物体７５が７６より近い距離にあるとする
と、推定物体７５が選択される。次に、クラスタ群７２
を構成するクラスタのうち、推定物体７５と重なりを持
つクラスタＣ２２〜Ｃ２６を選択する。こうして、推定
物体に対応するクラスタがまとまりをもって選択され
る。

【００６３】物体候補抽出部４２は、クラスタ選択部４
１で選択されたクラスタからすべての組み合わせを抽出
し、それぞれの組み合わせについて結合クラスタを定
め、それぞれの結合クラスタを物体候補とする。組み合
わせには、クラスタが１つの場合を含む。図９は、図７
の（ｅ）の推定物体７５について選択されたクラスタＣ
２２〜Ｃ２６のすべての組み合わせを抽出したものであ
る。たとえば、図９の結合クラスタ番号１０には、クラ
スタＣ２３とＣ２４の組み合わせで結合されたクラスタ
が示される。ここで、結合クラスタを構成するクラスタ
をすべて含む最小の直方体を定めて、結合クラスタを直
方体で近似するのが好ましい。これにより、結合クラス
タの属性（距離、位置、大きさなど）を容易に求めるこ
とができる。

【００６４】物体候補抽出部４２により、物体候補であ
る結合クラスタが抽出された後、対応する推定物体を持
つ結合クラスタについては、処理は第１の物体認識部４
３に進み、対応する推定物体を持たない結合クラスタに
ついては、処理は第２の物体認識部４４に進む。

【００６５】第１の物体認識部４３は、物体候補抽出部
４２により、対応する推定物体を持ち、少なくとも１つ
以上のクラスタから構成される結合クラスタの属性を、
推定物体の属性と順次比較し、推定物体の属性に一番近
い属性をもつ結合クラスタを物体として認識する。ここ
で使用する属性は、距離、水平位置、垂直位置、幅およ
び高さであり、属性の比較は以下の式（４）を用いて行
われる。式（４）の変数の意味を表３に示す。

【００６６】

【数３】

【００６７】

【表３】

【００６８】式（４）は、結合クラスタおよび推定物体
の中心位置の差と、幅および高さの差とに基づいて、両
者の属性の差を関数で表したものである。なお、距離
（Ｚ値）は、その距離値に応じて誤差があるので、推定
物体の距離Ｚtに比例する値で補正している。

【００６９】図９の例では、推定物体７５に対応する結
合クラスタ１〜３１のすべてについて関数値Ｅ1を算出
し、関数値Ｅ1が最小となる結合クラスタを物体として
認識する。最小のＥ1を持つ結合クラスタが、推定物体
７５の位置および大きさを最も良く表すからである。た
とえば、図９に示される結合クラスタ１〜３１の関数値
Ｅ1の値が、ｅ01＞ｅ02....＞ｅ07＞ｅ06....＞ｅ17＞e
16....＞ｅ26...＞ｅ31（eXXは、式（４）で計算された
値とする。なお、一部省略している）の関係を持つとす
ると、関数値ｅ31に対応するクラスタＣ２２〜Ｃ２６の
結合クラスタ３１が物体７８として認識される（図７の
（ｆ））。

【００７０】こうして属性の比較を行うことにより、た
とえばあるクラスタが複数の推定物体と重なりをもち、
推定物体のほんの一部しか表さない場合には、そのクラ
スタを含まない結合クラスタが物体として認識され、よ
り正確に物体を認識することができる。

【００７１】物体として認識されたクラスタＣ２２〜Ｃ
２６および対応する推定物体７５は、物体認識の処理が
行われたことを識別するため、たとえば処理済みフラグ
をたててクラスタ記憶部４８および推定物体記憶部４９
に記憶される。

【００７２】クラスタ群決定部３６、クラスタ選択部４
１、物体候補抽出部４２、第１の物体認識部４３（また
は第２の物体認識部４４）による処理は、すべてのクラ
スタが処理済みとなるまで（この例では、すべてのクラ
スタに処理済みフラグがたつまで）繰り返される。すな
わち、クラスタ群決定部３６が、クラスタ記憶部４８に
記憶されたクラスタの処理済みフラグを調べ、処理済み
フラグがたっていないクラスタが見つからないとき、繰
り返し処理を終える。

【００７３】または、物体として認識する数に予め上限
（たとえば、４個）を定め、認識された物体の数がこの
数に達したならば、処理の繰り返しを終えるようにする
こともできる。

【００７４】図８は、図７の（ｆ）に続く処理を示して
おり、わかりやすくするため、物体と認識されたクラス
タＣ２２〜Ｃ２６および対応する推定物体７５を取り除
いて示している。クラスタ群決定部３６は、クラスタ記
憶部４８に記憶されたクラスタの処理済みフラグを調
べ、処理済みフラグがたっていないラスタＣ２１、Ｃ２
７〜Ｃ３１を抽出する。さらに、推定物体記憶部４９に
記憶された推定物体の処理済みフラグを調べ、処理済み
フラグがたっていない推定物体７６を抽出する。

【００７５】図８の（ａ）から明らかなように、クラス
タＣ２１およびクラスタＣ２７〜Ｃ３１は水平位置の差
がしきい値を超えるので、クラスタ群決定部３６は、そ
れぞれ異なるクラスタ群７３および７４を新たに定め
る。このように、新たにクラスタ群を定めることによ
り、他の推定物体がどのような位置にあっても、クラス
タＣ２１とＣ２７〜Ｃ３１が結合されて１つの物体と誤
認されることがなくなる。

【００７６】クラスタ群７３の距離がクラスタ群７４の
距離より近い距離にあるとすると、クラスタ選択部４１
は、クラスタ群７３を選択する。さらに、クラスタ群７
３を構成するクラスタと、距離の差がしきい値以下で水
平および垂直位置で重なりを持つ推定物体７６を選択す
る。クラスタ群７３を構成するクラスタのうち、推定物
体７６を重なりを持つクラスタＣ２７〜Ｃ３１を選択す
る。

【００７７】物体候補抽出部４２は、クラスタＣ２７〜
Ｃ３１のすべての組み合わせを作って結合クラスタを定
める。第１の物体認識部４３は、それぞれの結合クラス
タの属性を、推定物体７６の属性と比較する。その結
果、クラスタＣ２７〜Ｃ３１からなる結合クラスタが、
推定物体７６に最も近い属性を持つと判断し、クラスタ
Ｃ２７〜Ｃ３１の結合クラスタを物体７９と認識する
（図８の（ｂ））。物体と認識されたクラスタＣ２７〜
Ｃ３１および対応する推定物体７６は、クラスタ記憶部
４８および推定物体記憶部４９に、それぞれ処理済みフ
ラグをたてて記憶される。

【００７８】次に、クラスタ群決定部３６は、処理済み
フラグがたっていないクラスタＣ２１をクラスタ記憶部
４８から抽出する。クラスタが１個なので、クラスタＣ
２１をクラスタ群７４とする（図８の（ｃ））。この例
では、推定物体がすべて処理され、対応する推定物体が
存在しないので、クラスタ選択部４１は、クラスタＣ２
１を選択し、物体候補抽出部４２に渡す。物体候補抽出
部４２は、クラスタ群７４に含まれるクラスタのすべて
の組み合わせから結合クラスタを定めるが、ここではク
ラスタＣ２１の１個だけなので、クラスタＣ２１からな
る結合クラスタを定める。クラスタＣ２１からなる結合
クラスタは、第２の物体認識部４４に渡される。

【００７９】このように、物体を表すクラスタはまとま
って現れると考えられるので、処理の繰り返しはクラス
タ群の決定から行うのが好ましい。前述したように、推
定物体の距離および位置は相対速度から求めるので、誤
差を含むことが多い。クラスタ群を決定せずに、推定物
体と重なりを持つクラスタを抽出すると、水平位置が非
常に離れているクラスタを結合して物体と誤認すること
がある。

【００８０】第２の物体認識部４４は、物体候補抽出部
４２から抽出された、対応する推定物体を持たない少な
くとも１つ以上のクラスタから構成される結合クラスタ
の属性と、予め決められた検知すべき物体（以下、検知
物体という）の属性とを比較し、属性の差が最小値とな
る検知物体を、結合クラスタに対応する物体として認識
する。なお、しきい値を設けて、属性の差がしきい値以
下で、最小値となる検知物体を、対応する物体として認
識することもできる。予め決められた検知物体との比較
は、すべての結合クラスタについて行われ、検知物体が
複数ある場合には、すべての検知物体と比較される。

【００８１】検知すべき物体の属性は予め決められて検
知物体記憶部５０に記憶されている。たとえば、車両を
検知するのであれば、いくつかの種類の標準的な車両の
属性が記憶されており、標識を検知するのであれば、い
くつかの標準的な標識の属性を記憶することができる。
この実施例では、比較する属性として幅および高さを使
用し、前回の情報が存在しないので距離、水平位置およ
び垂直位置は比較しない。属性の比較は、以下の式
（５）を用いる。式（５）の変数の意味を表４に示す。
式（５）は、結合クラスタおよび検知物体の幅および高
さの差に基づいて、両者の属性の差を関数で表したもの
である。

【００８２】

【数４】Ｅ2 ＝｜Ｗc−Ｗt｜＋｜Ｈc−Ｈt｜・・・式（５）

【００８３】

【表４】

【００８４】図８の（ｃ）の例では、前述したように、
物体候補抽出部４２から抽出されたクラスタＣ２１の結
合クラスタの属性と、いくつかの検知物体の属性とを比
較し、関数値Ｅ2が最小となる検知物体（この例では、
標識）を抽出する。こうして、クラスタＣ２１が物体７
７として認識される（図８の（ｄ））。

【００８５】以上のように、過去の物体に関する情報を
使用して物体を認識することにより、前方を走行する他
の車両が路側物（たとえば、標識）に近接して走行した
場合や、隣りのレーンの車両が前方車に接近した場合
に、２つの物体を１つの物体と誤認したり、１つの物体
を複数の物体と誤認することがなくなる。

【００８６】なお、第１および第２の物体認識部４３お
よび４４で処理する前に、クラスタの位置および大きさ
に基づいて、物体かどうか判定するのが好ましい。たと
えば、クラスタの高さ方向の厚みが所定値より大きけれ
ば物体と判定することができる。さらに、第１および第
２の物体認識部４３および４４により物体と認識されず
に残ったクラスタについては、物体ではないと判定する
ことができる。

【００８７】第１および第２の物体認識部４３および４
４は、認識された物体の属性を物体記憶部３９に記憶す
る。物体記憶部３９には、前回認識された物体の属性も
記憶されている。さらに、第１および第２の物体認識部
４３および４４は、前回認識された物体の距離（前回距
離）および今回認識された物体の距離（今回距離）を用
い、計算式「（今回距離−前回距離）／検出時間間隔」
に基づいて求めた値にフィルターをかけて物体に対する
自車の相対速度を算出し、物体記憶部３９に記憶する。
検出時間間隔は、前述したように前回の計測と今回の計
測との時間差であり、たとえば１００ミリ秒とすること
ができる。

【００８８】車両制御部４５は、物体記憶部３９に記憶
された物体の距離、位置および相対速度などの情報、お
よび自車速度検出装置４６やヨーレート検出装置４７な
どの装置からの情報に基づいて、物体までの距離が適切
であるよう自車両を制御する。たとえば、運転者に音声
やアラームで警告を発したり、自車のエンジンを制御し
て強制的に減速させたりなどの制御をすることができ
る。

【００８９】なお、物体の認識を確実にするため、第１
および第２の物体認識部４３および４４により前回認識
された物体と今回認識された物体とが同一かどうか判断
し、同一物体が連続してある予め決められた回数認識さ
れたときに、車両制御部４５が車両を制御するようにす
るのが好ましい。

【００９０】図１に示した相関計算部６、距離計算部
７、距離記憶部８、ウィンドウ切り出し部１３、クラス
タリング部３３、クラスタ群決定部３６、物体記憶部３
９、物体推定部４０、クラスタ選択部４１、第１および
第２の物体認識部４３および４４、クラスタ記憶部４
８、推定物体記憶部４９、検知物体記憶部５０および車
両制御部４５は、中央演算処理装置（ＣＰＵ）、制御プ
ログラムおよび制御データを格納する読み出し専用メモ
リ、ＣＰＵの演算作業領域を提供し様々なデータを一時
記憶することができるランダムアクセスメモリ（ＲＡ
Ｍ）で構成することができる。距離記憶部８、クラスタ
記憶部４８、推定物体記憶部４９、物体記憶部３９およ
び検知物体記憶部５０は、１つのＲＡＭのそれぞれ異な
る記憶領域を使用して実現することができる。また、各
種の演算で必要となるデータの一時記憶領域も同じＲＡ
Ｍの一部分を使用して実現することができる。

【００９１】また、この発明の物体判定装置をエンジン
の電子制御ユニット（ＥＣＵ）、ブレーキ制御ＥＣＵそ
の他のＥＣＵとＬＡＮ接続して物体判定装置からの出力
を車両の全体的な制御に利用することができる。

【００９２】

【発明の効果】請求項１の発明によると、前回認識され
た物体に関する情報を使用して物体を認識するので、複
数の物体を１つの物体または１つの物体を複数の物体と
して誤認することなく、正確に物体を認識することがで
きる。

【００９３】請求項２の発明によると、予め決められた
検知すべき物体の属性と比較して物体を認識するので、
今回新たに画像上に現れた複数の物体についても、それ
ぞれを正確に認識することができる。

【図面の簡単な説明】

【図１】この発明の一実施例の全体的な構成を示すブロ
ック図。

【図２】三角計測法による距離の計測原理を説明するた
めの図。

【図３】この発明による、（ａ）撮像された画像、
（ｂ）距離および道路領域判定のため小領域（ウィンド
ウ）に分割された画像を示す図。

【図４】この発明による、ウィンドウのクラスタリング
を示す図。

【図５】この発明による、（ａ）ウィンドウを３次元情
報で表す方法と、（ｂ）車両が移動した場合のウィンド
ウの３次元情報の変化を示す図。

【図６】この発明によるクラスタ群決定を説明するた
め、（ａ）ｘ−ｙ平面から見たクラスタ、（ｂ）ｘ−ｚ
平面から見たクラスタ、（ｃ）ｘ−ｙ平面から見たクラ
スタ群、（ｄ）ｘ−ｚ平面から見たクラスタ群を示す
図。

【図７】この発明による、前回および今回の撮像された
画像((a)および(d))、クラスタ((b)および(e))、認識さ
れた物体((c)および(f))を示す図。

【図８】この発明による、図７の今回撮像された画像の
残りのクラスタについての物体の認識を示す図。

【図９】この発明による、クラスタの組み合わせを示す
表。

【符号の説明】

３、３’ 撮像部７距離計算部３３
クラスタリング部３６クラスタ群決定部４０物体推定部４１
クラスタ選択部４３第１の物体認識部４４第２の物体認識部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 2F065 AA04 AA06 AA07 AA09 BB05 BB15 CC00 CC11 DD03 FF04 FF09 FF34 FF64 GG21 JJ02 JJ03 JJ05 JJ25 JJ26 LL04 LL22 PP22 QQ03 QQ24 QQ25 QQ29 QQ36 QQ41 RR02 UU05 2F112 AC03 AC06 BA06 CA02 CA05 DA21 EA11 FA03 FA09 FA21 FA36 FA41 5L096 BA04 CA05 FA02 FA34 FA66 FA69 FA76 GA17 GA34 HA03 MA07

Claims

【特許請求の範囲】

【請求項１】所定の間隔をおいて配置された少なくとも
２つの撮像手段と、前記少なくとも２つの撮像手段で得られ、複数のウィン
ドウに分割された画像に基づいて、ウィンドウごとに対
象物までの距離を計測する計測手段と、前記計測手段により計測された距離の差が所定範囲内に
ある、隣接するウィンドウをクラスタリングしてクラス
タを定めるクラスタリング手段と、前回認識された物体の位置および該物体に対する相対速
度に基づいて、今回の該物体の位置を推定する物体推定
手段と、前記推定された物体との距離の差が所定範囲内にあり、
該推定された物体と重なりを持つクラスタを選択するク
ラスタ選択手段と、前記選択されたクラスタのうちの１つまたは複数のクラ
スタから構成される結合クラスタであって、前記推定さ
れた物体の属性に最も近い属性を持つ結合クラスタを物
体として認識する物体認識手段と、を備える物体認識装置。
【請求項２】予め決められた検知すべき物体の属性を格
納する検知物体記憶手段を備え、前記クラスタ選択手段において選択されなかったクラス
タのうちの１つまたは複数のクラスタから構成される結
合クラスタの属性を、前記検知すべき物体の属性と比較
し、属性の差が最小値となる検知すべき物体を、前記結
合クラスタに対応する物体として認識する第２の物体認
識手段を備えた請求項１に記載の物体認識装置。