JP2001134772A

JP2001134772A - 対象物認識装置

Info

Publication number: JP2001134772A
Application number: JP31433199A
Authority: JP
Inventors: Masakazu Saka; 雅和坂; Hiromitsu Yuhara; 博光湯原; Tomoyoshi Aoki; 友好青木; Morimichi Nishigaki; 守道西垣
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1999-11-04
Filing date: 1999-11-04
Publication date: 2001-05-18
Also published as: US6792147B1

Abstract

(57)【要約】【課題】対象物の外形を正確に認識する。【解決手段】対象物の位置を特定する対象物位置特定手
段と、前記対象物を撮像する撮像装置と、特定された対
象物の位置および予め決められた認識すべき対象物の大
きさに基づいて、撮像装置により得られた画像上に処理
領域を設定する処理領域設定手段と、処理領域に含まれ
る画素の輝度値に基づいて、処理領域からエッジを抽出
するエッジ抽出手段と、認識すべき対象物の予め設定さ
れた特徴に基づいて、抽出されたエッジのそれぞれが、
該認識すべき対象物を示すかどうか判定するエッジ判定
手段と、対象物を示すと判定されたエッジに基づいて、
対象物の外形を認識する対象物認識手段とを備える対象
物認識装置を提供する。認識すべき対象物の特徴に基づ
いてエッジが対象物を示すかどうか判定するので、対象
物の外形を正確に認識することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、自車両の前方に
ある対象物を認識する対象物認識装置に関し、特に、自
車両の前方を走行する先行車両を認識するのに適した対
象物認識装置に関する。

【０００２】

【従来の技術】近年、車両走行の安全性を向上させるた
め、自車両の前方にある対象物の位置や大きさを判断
し、これに応じて車両走行を適切に制御する装置が提案
されている。前方にある対象物の情報を取得する方法と
して、画像情報から水平方向エッジおよび垂直方向エッ
ジを抽出し、抽出されたエッジのそれぞれについて、そ
のエッジが認識すべき対象物（たとえば、先行車両）を
示すかどうか判断し、対象物を示すと判断されたエッジ
に基づいて対象物を認識する方法が知られている。

【０００３】特許公報第2712809号には、近距離の物体
ほど画面下方に大きく写るという知見に基づき、水平方
向および鉛直方向の連続エッジ構成点数のしきい値を画
面下方になるほど大きな値となるよう予め設定し、しき
い値以上にエッジ構成点が連続した領域を障害物と判断
する障害物検出装置が記載されている。

【０００４】また、特開平7-25286公報では、所定の垂
直および水平注視領域におけるそれぞれ垂直の画素列お
よび水平の画素行ごとの微分値の合計のうち、所定のし
きい値を超える複数の画素列および画素行を先行車両の
左右端および上下端の輪郭候補としてそれぞれ抽出し、
これらの候補のうち任意に選択した２つずつの画素列お
よび画素行により囲まれた領域の中心点の変動量および
垂直、水平方向の長さの比が一定条件を満たす場合、そ
の領域を先行車両の存在領域と判断する。

【０００５】さらに、特開平8-188104号公報では、所定
の垂直および水平注視領域におけるそれぞれ垂直の画素
列および水平の画素行ごとの濃度微分値の合計のうち、
濃度微分値がピークとなる複数の点を先行車両の輪郭の
候補点とし、これらの各候補点の画面上の座標と、所定
時間後の各候補点の座標から、候補点ごとの移動量を算
出し、その移動量がしきい値より小さくかつ最小となる
候補点を先行車両の輪郭に対応する点と判断する。

【０００６】また、特開平10-97699号公報では、画像内
の左右ガイドライン（実施例では、白線）を認識し、こ
の左右ガイドラインにはさまれた領域内において水平エ
ッジを抽出し、抽出された水平エッジに基づいて障害物
が存在する存在可能性領域を推定し、該存在可能性領域
内で垂直エッジを抽出し、抽出された垂直エッジに基づ
き障害物を判定する。

【０００７】

【発明が解決しようとする課題】特許公報第2712809
号、特開平7-25286公報または特開平8-188104号公報の
ものでは、認識すべき対象物以外に、より大きなエッジ
を持つ自然物、建築物や路面上の標識のようなものが存
在する場合、それらのエッジも対象物の認識を行う対象
となることがあり、ひいてはそれら自然物、建築物また
は路面上の標識を対象物として誤って認識することがあ
った。また、特開10-97699号公報のものでは、左右ガイ
ドラインによって処理領域を限定しているが、それでも
路面上の標識や、ガイドラインと極近距離に敷設された
電柱やガードレールといった人工物のエッジ情報によ
り、対象物の側端すなわち対象物の幅を正確に認識でき
ないことがあった。

【０００８】この発明は、上記問題点を解決するもので
あり、認識すべき対象物の特徴に基づいて、抽出された
エッジが対象物を示すかどうか判定することにより、よ
り正確に対象物の外形、特に対象物の上端、下端、左端
および右端の位置を認識することのできる装置を提供す
ることを目的とする。

【０００９】

【課題を解決するための手段】上記の課題を解決するた
め、請求項１の発明の対象物認識装置は、対象物の位置
を特定する対象物位置特定手段と、前記対象物を撮像す
る撮像装置と、前記特定された対象物の位置および予め
決められた認識すべき対象物の大きさに基づいて、前記
撮像装置により得られた画像上に処理領域を設定する処
理領域設定手段と、前記処理領域に含まれる画素の輝度
値に基づいて、前記処理領域からエッジを抽出するエッ
ジ抽出手段と、前記認識すべき対象物の予め設定された
特徴に基づいて、前記抽出されたエッジのそれぞれが、
該認識すべき対象物を示すかどうか判定するエッジ判定
手段と、前記対象物を示すと判定されたエッジに基づい
て、該対象物の外形を認識する対象物認識手段とを備え
る。

【００１０】この発明によると、認識すべき対象物の予
め設定された特徴に基づいて、処理領域に含まれるエッ
ジが認識すべき対象物を示すかどうか判定して対象物の
外形を認識するので、認識すべき対象物の外形を正確に
認識することができる。

【００１１】また、請求項２の発明は、請求項１の対象
物認識装置において、エッジ判定手段が、エッジが処理
領域の境界線上の画素を含むかどうかに基づいて、エッ
ジが対象物を示すかどうか判定する。

【００１２】請求項２の発明によると、エッジが処理領
域の境界線上の画素を含むかどうかに基づいてエッジが
対象物を示すかどうか判定するので、処理領域を横切る
路面標識などを誤って対象物と認識することなく、正確
に対象物の認識を行うことができる。

【００１３】また、請求項３の発明は、請求項１の対象
物認識装置において、エッジ判定手段が、エッジの直線
性または傾きに基づいて、エッジが対象物を示すかどう
か判定する。

【００１４】請求項３の発明によると、エッジの直線性
または傾きに基づいてエッジが対象物を示すかどうか判
定するので、自然物や白線などを誤って対象物と認識す
ることなく、正確に対象物の認識を行うことができる。

【００１５】請求項４の発明は、請求項１から請求項３
のいずれかに記載の対象物認識装置において、対象物認
識手段が、対象物を示すと判定されたエッジに基づい
て、対象物の上端、下端、左端および右端の位置を認識
することにより対象物の外形を認識する。

【００１６】請求項４の発明によると、対象物の上端、
下端、左端および右端の位置が認識されるので、特に箱
形に近似される対象物の場合、対象物の位置、高さおよ
び幅を正確に認識することができる。

【００１７】

【発明の実施の形態】次に図面を参照してこの発明の実
施の形態を説明する。図１は、この発明の一実施例の対
象物認識装置の全体的なブロック図である。この実施例
においては、この発明の対象物認識装置により認識すべ
き対象物を先行車両として説明する。

【００１８】図１の撮像装置１は、自車両の前方を画像
として撮像する装置である。撮像装置１は典型的には２
次元のＣＣＤであり、２次元に配列されたフォトセンサ
のアレイであってもよい。夜間の使用を考慮すると赤外
線を用いた撮像装置にするのがよい。この場合、レンズ
の前に赤外線透過性のフィルタを置き、赤外線の光源を
用いて一定の周期で対象物を照射し、対象物から反射す
る赤外線を感知するようにするのがよい。撮像装置１に
より撮像された画像はアナログ・デジタル変換器（図示
せず）を介してデジタルデータに変換され、画像記憶部
２に格納される。

【００１９】対象物位置特定部３は、典型的にはレーザ
レーダまたはミリ波レーダであり、レーザまたはミリ波
を対象物に照射し、対象物からの反射波を受信して、自
車両から対象物までの距離および自車両に対する対象物
の相対的な方位を測定する。レーダは、単一ビームを自
車両前方のある角度の範囲にわたって走査するスキャン
型レーダを用いることができ、または複数ビームを車両
前方のある角度の範囲にわたって照射する複数ビーム型
のレーダを用いてもよい。レーダからのビームがカバー
する角度の範囲は、認識すべき対象物が撮像装置１によ
り撮像される可能性のある範囲に合わせて設定される。
この実施例では認識すべき対象物が先行車両なので、レ
ーダは、少なくとも自車両が走行する自車線領域をカバ
ーするよう設定される。または、１サイクル前に撮像装
置１により撮像され、特定された先行車両の位置情報に
基づいて、自車両前方の先行車両に確実にビームを照射
させるよう、レーダのビームの方位を随時変向させるよ
うにしてもよい。特定された先行車両の距離Ｄおよび方
位θは、図１の対象物位置記憶部４に記憶される。

【００２０】他の実施例では、対象物位置特定部３を、
一対の光学式撮像装置を用いて実現することができる。
図２は、その場合の三角計測法による距離の計測原理を
説明する図である。簡単に説明するため、図２における
一対の撮像装置は、それぞれ一次元のラインセンサとす
る。ラインセンサ２８およびレンズ２６は、他方の撮像
装置を構成するラインセンサ２９およびレンズ２７と所
定の間隔すなわち基線長Ｂだけ左右方向に間隔をおいて
配置されており、それぞれレンズ２６、２７の焦点距離
ｆに配置されている。

【００２１】レンズ２６、２７のある平面から距離Ｄに
ある対象物の像が、ラインセンサ２８ではレンズ２６の
光軸からｄ1ずれた位置に形成され、ラインセンサ２９
ではレンズ２７の光軸からｄ2だけずれた位置に形成さ
れるとすると、レンズ２６、２７の面から対象物２５ま
での距離Ｄは、三角計測法の原理により、Ｄ＝Ｂ・ｆ／
（ｄ1＋ｄ2）で求められる。撮像された画像はデジタル
化されるので、距離（ｄ1＋ｄ2）はデジタル的に算出さ
れる。ラインセンサ２８および２９で得られる画像の片
方または両方をシフトさせながら両画像のそれぞれ対応
する画素の輝度を示すデジタル値の差の絶対値の総和を
求め、これを相関値とする。相関値が最小値になるとき
の画像のシフト量が両画像の間の位置ずれ、すなわち
（ｄ1＋ｄ2）を示す。観念的には図２に示すようにライ
ンセンサ２８および２９から得られる２つの画像を重な
り合わせるために２つの画像を相対的に移動させねばな
らない距離が（ｄ1＋ｄ2）である。自車両に対する対象
物２５の方位θは、たとえばレンズ２７の光軸を基準と
すると、tanθ＝ｄ2／ｆのように求めることができる。

【００２２】上記の一対の撮像装置による距離の計測
は、たとえば撮像された画像を多数のウィンドウに細分
し、ウィンドウごとに計測される。計測された距離を、
予め計測して保持されたウィンドウごとの道路までの距
離と比較し、道路までの距離よりも短ければ、そのウィ
ンドウについての計測距離を対象物までの距離と判断す
ることができる。たとえば、撮像された画像のうち、ハ
ンドル角などを考慮して自車線領域と考えられるウィン
ドウを走査して距離を計測することにより、自車両前方
にある先行車両までの距離を計測することができる。

【００２３】対象物位置特定部３を、上記に説明したレ
ーダおよび一対の撮像装置を併用して実現することがで
きる。たとえば、一対の撮像装置により撮像された画像
による距離および方位の計測が困難な状況（前方の先行
車両が自車両から遠方にある、またはトンネルなど薄暗
い場所を走行していて先行車両の撮像が不安定となるよ
うな状況）ではレーダによって計測するというようにし
てもよい。また、レーダによる距離および方位の計測
は、自車両前方の一定の角度範囲に限定され、撮像装置
ほど広い視界をカバーするのが困難なことがあるので、
撮像装置により計測された先行車両の方位に合わせて、
レーダのビームの向きを随時変えるようにしてもよい。
しかしながら、この実施例では、対象物位置特定部３を
ミリ波レーダまたはレーザレーダのようなレーダにより
実現し、自車両前方の先行車両の位置（距離および方
位）を特定する。

【００２４】図１の対象物認識部２１は、撮像装置１に
より得られた画像内に処理領域を設定し、処理領域から
抽出されたエッジを使用して先行車両の認識を行う。対
象物認識部２１による処理は、撮像装置１から取り込ん
だ画像および対象物位置特定部３により計測された対象
物の位置に基づいて、ある検出時間間隔（たとえば、１
００ミリ秒）で実行される。以下、対象物認識部２１に
よる対象物認識の方法を詳細に説明する。

【００２５】図１の処理領域設定部５は、対象物位置記
憶部４に記憶された対象物の位置および予め決められた
認識すべき対象物の大きさに基づいて、画像記憶部２に
記憶された撮像画像内に処理領域を設定する。予め決め
られた認識すべき対象物の大きさは、処理領域設定部５
により予め保持されており、認識すべき対象物全体を囲
むことができるよう設定されている。

【００２６】処理領域の設定方法を、図３および図４を
参照して説明する。図３は、前方を走行する先行車両４
０を撮像した画像である。図３に示すように、撮像した
画像においてｘおよびｙ軸を定め、処理領域３０を座標
（Ｘa1,Ｙa1）および（Ｘa2,Ｙa2）を使用して設定す
る。

【００２７】図４は、この処理領域３０を設定する方法
を示しており、図４の（ａ）は、処理領域を特定するｘ
座標すなわちＸa1およびＸa2を求める方法を示す図であ
り、図４の（ｂ）は、処理領域を特定するｙ座標すなわ
ちＹa1およびＹa2を求める方法を示す図である。

【００２８】図４の撮像装置１は、自車両に搭載されて
いる撮像装置１を示しており、自車両前方を走行する先
行車両４０を撮像する。ｆは、撮像装置１に備えられた
レンズ４５の焦点距離であり、レンズの特性により定ま
る値である。ＷおよびＨは、予め決められた先行車両の
幅および高さであり、たとえばＷは２メートル、Ｈは
２．５メートルのように設定することができる。Ｄおよ
びθは、対象物位置記憶部４に格納された先行車両の自
車両からの距離および自車両に対する相対的な方位を示
す。ｈは、道路から自車両に搭載された撮像装置１のレ
ンズ４５の中心までの高さを示し、撮像装置１の自車両
内の位置により定まる。

【００２９】処理領域設定部５は、これらのパラメータ
Ｗ、Ｈ、ｈを用い、対象物位置記憶部４に記憶されたＤ
およびθを抽出して、以下の式により処理領域３０を特
定する座標（Ｘa1、Ｙa1）および（Ｘa2,Ｙa2）を算出す
る。

【００３０】

【数１】Ｘa1＝（Ｄ×tanθ − (Ｗ／２)） × （ｆ／Ｄ）式(１) Ｘa2＝（Ｄ×tanθ ＋ (Ｗ／２)） × （ｆ／Ｄ）式(２) Ｙa1＝（Ｈ−ｈ） × （ｆ／Ｄ）式(３) Ｙa2＝−（ｈ × （ｆ／Ｄ））式(４)

【００３１】または、Ｙa1およびＹa2については、自車
両のピッチングを考慮して、以下のようにピッチング余
裕分のαを加えるようにしてもよい。

【００３２】

【数２】Ｙa1＝（Ｈ−ｈ） × （ｆ／Ｄ）＋α 式(５) Ｙa2＝−（ｈ × （ｆ／Ｄ）＋α）式(６)

【００３３】こうして、座標（Ｘa1、Ｙa1）および（Ｘa
2,Ｙa2）を使用して、撮像された画像内に処理領域３０
が図３のように設定され、またはピッチングを加味して
図５のように設定される。

【００３４】図１の水平エッジ抽出部７および垂直エッ
ジ抽出部９は、処理領域設定部５により設定された処理
領域内から、それぞれ水平方向のエッジおよび垂直方向
のエッジを抽出する。この実施例では、水平方向および
垂直方向の両方についてエッジを抽出する。水平および
垂直エッジの両方とも基本的には同じ方法で抽出される
ので、ここでは水平エッジの抽出について説明する。こ
こで抽出されるエッジは、画像において輝度が変化する
部分を示す。図６に、水平エッジ抽出部７により実行さ
れる、エッジを抽出するフローチャートを示す。最初
に、水平エッジ抽出部７は、処理領域３０内のそれぞれ
の画素に対して水平方向にフィルタリング処理を行い、
水平方向に輝度差のあるエッジ部分を強調する（ステッ
プ６１）。図７の（ａ）は、水平方向のエッジを検出す
るための水平エッジ用フィルタの例であり、以下に述べ
る計算の都合上、図７の（ｂ）のようにフィルタのそれ
ぞれの要素に座標を付す。

【００３５】処理領域３０内を図７の水平エッジ用フィ
ルタで走査し、処理領域３０内のそれぞれの画素の輝度
値に対して以下の式（７）の計算を施すことにより、水
平方向のエッジを検出する。

【００３６】

【数３】

【００３７】ここで、ｘおよびｙは、処理領域３０内の
画素の位置を特定する座標を示す。Ｇ(x,y)は、撮像さ
れてデジタルデータに変換されたときの座標(x,y)にあ
る画素の輝度値を示し、Ｐ(x,y)は、フィルタリング処
理を行った後の座標(x,y)にある画素の輝度値を示す。
Ｆ(i,j)は、図７の（ａ）に示す水平エッジ用フィルタ
の座標(i,j)にあるフィルタ要素の値を示す。水平エッ
ジ用フィルタは、水平方向のエッジを強調するよう値が
定められているので、上記の計算をそれぞれの画素に対
して行うことにより、水平エッジを検出することができ
る。

【００３８】他の実施形態では、式（７）の代わりに、
以下の式（８）のように単純に垂直方向に隣あった画素
間で輝度値の引き算を行う微分処理によりフィルタリン
グ処理を行うことができる。ここで、ｎは任意の整数で
あり、たとえばｎ＝１である。

【００３９】

【数４】Ｐ(x,y)＝Ｇ(x,y-n)−Ｇ(x,y+n) 式(８)

【００４０】次に、フィルタリング処理が行われたそれ
ぞれの画素の輝度値Ｐに基づいて、輝度ヒストグラムを
算出する（ステップ６３）。この実施例で使用する輝度
値は、２５６の階調（真黒「０」から真白「２５５」の
間）を持つデジタルデータとして表される。図８は輝度
ヒストグラムの例を示し、横軸は輝度値を示し、右にい
くほど高い輝度値を示す。縦軸は、それぞれの輝度値を
もつ画素数を示す。

【００４１】このヒストグラムに基づいて、低輝度側の
画素数と高輝度側の画素数が所定の割合となる輝度値を
２値化しきい値として設定する（ステップ６５）。たと
えば、処理領域３０の全画素数に対し、先行車両４０を
示すエッジを構成する画素数の割合を予めある程度推定
し、ある輝度値以上でその割合になる値をヒストグラム
から求めて２値化しきい値とすることができる。この２
値化しきい値を使用し、たとえば高輝度側を「１」、低
輝度側を「０」として、処理領域３０内のそれぞれの画
素が２値化される（ステップ６７）。こうして２値化さ
れた画素のうち、値「１」を持つ画素をエッジ点と呼
ぶ。なお、２値化しきい値の設定には既知の様々な方法
があり、ここで用いる方法はその一例であり、他の方法
を用いてもよい。

【００４２】次に、２値化によって得られた値「１」を
持つ画素すなわちエッジ点を抽出し、エッジ点が連続し
ていれば１つのまとまった水平エッジとしてグループ化
する。エッジ点をグループ化する手法として、この実施
例ではテンプレートを使用したラベリング処理を利用す
る。このラベリング処理を、図９を参照して説明する。

【００４３】図９の（ａ）のＴ１〜Ｔ３はテンプレート
における位置を示す。図９の（ｂ）のＶ１〜Ｖ３は、あ
るエッジ点にＴ２が合うようテンプレートが置かれた時
の、Ｔ１〜Ｔ３の位置にそれぞれ対応する画素の値（１
またはゼロ）をそれぞれ示す。図９の（ｃ）のＬ１〜Ｌ
３は、あるエッジ点にＴ２が合うようテンプレートが置
かれた時の、Ｔ１〜Ｔ３の位置にそれぞれ対応する画素
に付与されたラベルを示す。

【００４４】また、図９の（ｄ）の表は、あるエッジ点
にＴ２が合うようテンプレートが置かれたときの、Ｔ１
〜Ｔ３の位置に対応する画素の値に基づいて、Ｔ２の位
置に対応するエッジ点にどのようなラベルＬ２が付与さ
れるかを示したものである。たとえば、Ｔ１〜Ｔ３の位
置に対応する画素の値Ｖ１〜Ｖ３が条件４を満たせば、
Ｔ２に対応するエッジ点のラベルＬ２には、Ｔ１に対応
する画素のラベルＬ１と同じラベルが付与される。な
お、条件１が満たされた時に付与されるラベル「Ｌ」
は、まだ使用されていない新たなクラスタラベルを示
す。図９の（ｅ）に示すように、テンプレートのＴ２が
処理領域３０内のエッジ点に順次置かれるよう処理領域
３０を走査し、エッジ点にラベルＬ２を付与していく。

【００４５】図１０は、ラベル付与の処理を説明するた
めの図である。図１０の（ａ）は、２値化された画素
（値ゼロは単なる「・」で示されている）を示す画像の
一部の例である。画素のうち値１をもつエッジ点にテン
プレートのＴ２が合うようテンプレートが置かれ、上記
のようにラベル付与処理を行うと、図１０の（ｂ）に示
すように連続したエッジ点に同じラベルが付与される。

【００４６】図９の（ｄ）の条件５を満たす場合には、
テンプレートのＴ１およびＴ３に対応するラベルを連結
し、テンプレートＴ３に対応するラベルをテンプレート
Ｔ１に対応するラベルに置き換える。たとえば、図１０
の（ｂ）のエッジ点９１と９２およびエッジ点９２と９
３は図９の（ｄ）の条件５を満たすので、結果としてラ
ベルＤおよびラベルＥをもつエッジ点のすべてが、ラベ
ルＣに付与しなおされる（図１０の（ｃ））。このラベ
ルを連結する処理は、処理領域３０内のすべてのエッジ
点を走査してラベルを付与した後に行ってもよい。ラベ
ルを連結することにより、連続するエッジ点はもれなく
同じラベルが付与された１つのエッジ群となる。図１０
の（ｃ）には、ラベルＡ、ＢおよびＣの３つのエッジ群
が示される。このように、水平方向のそれぞれのエッジ
群すなわち水平エッジが抽出される。

【００４７】垂直エッジ抽出部９は、図６のステップ６
１のフィルタリング処理で、水平エッジ用フィルタの代
わりに図１１に示す垂直エッジ用フィルタを使用するこ
とをのぞき、水平エッジと同様の手法で処理領域３０内
の垂直エッジを抽出する。

【００４８】図１に戻り、水平エッジ判定部１１は、認
識すべき対象物の予め設定された特徴に基づいて、水平
エッジ抽出部９により抽出されたエッジが、認識すべき
対象物を示すかどうか判定する。たとえば水平エッジの
場合、この実施例のように認識すべき対象物が先行車両
とすると、先行車両が画像に表されたときの特徴、すな
わち箱形で水平エッジが比較的多く、しかも直線的なエ
ッジを持っていることなどに基づいてエッジ判定を行う
ことができる。具体的には、１）処理領域設定部５により設定された処理領域の境界
線上の画素を含むエッジは、先行車両以外のものを示す
エッジと判定する。

【００４９】２）水平エッジ抽出部７により抽出された
水平エッジの直線性を調べ、直線性の悪いエッジは、先
行車両以外のものを示すエッジと判定する。

【００５０】３）水平エッジ抽出部７により抽出された
水平エッジの傾きを調べ、傾きが大きいエッジは先行車
両以外のものを示すエッジと判定する。

【００５１】図１２は、上記１）の処理領域の境界線上
の画素を含む水平エッジのパターンを示す。図１２の
（ａ）は撮像された画像を示し、先行車両４０の手前に
路面標識１２０が写し出されている。この路面標識１２
０は、処理領域３０を横切るようにして広がっている。
図１２の（ｂ）は、水平エッジ抽出部７により図１２の
（ａ）の画像の処理領域３０に対して抽出された水平エ
ッジの２値化画像を示す。この２値化画像には、先行車
両４０を示すエッジだけでなく路面標識１２０を示すエ
ッジ１２５および１２６が抽出されている。処理領域３
０は、前述したように先行車両を囲むよう設定されてい
るので、処理領域を横切る水平エッジは先行車両以外の
ものを示すエッジと判定することができる。具体的に
は、処理領域３０は座標（Ｘa1,Ｙa1）および（Ｘa2,Ｙ
a2）で特定されるので、水平エッジ判定部１１は、水平
エッジを構成するエッジ点のｘ座標値を調べ、ｘ座標値
がＸa1またはＸa2を持つエッジ点があるならば、その水
平エッジを処理領域３０の境界線を横切るエッジと判断
し、その水平エッジは先行車両以外のものを示すと判定
する。図１２の（ｂ）の例では、エッジ１２５または１
２６が、ｘ座標値Ｘa1およびＸa2を持つエッジ点を含む
ので、エッジ１２５および１２６は先行車両以外のもの
を示すと判定する。

【００５２】こうして水平エッジを判定することによ
り、先行車両を示すと判定された水平エッジと先行車両
以外のものを示すと判定された水平エッジとは、それぞ
れ区別できるよう水平エッジ記憶部１２に記憶される。
たとえば、先行車両を示すと判定された水平エッジを構
成するエッジ点の画素の値を「１」のまま記憶し、先行
車両以外のものを示すと判定された水平エッジを構成す
るエッジ点の画素の値をゼロに反転して記憶する。また
は、先行車両以外のものを示すと判定された水平エッジ
を構成するエッジ点にのみ何らかのフラグを付けて記憶
し、その後の処理に使用しないようにすることもでき
る。図１２の（ｃ）は、先行車両以外のものを示すと判
定されたエッジ１２５および１２６を除外した後の水平
エッジを示す２値化画像である。このような処理領域の
境界線上の画素を含む水平エッジを示すものとして、た
とえば背景の建築物、路面上の停止線等の標識が考えら
れ、上記の処理を行うことにより、このような先行車両
以外のものを示す水平エッジに基づいた先行車両の誤認
識をなくすことができる。

【００５３】図１３は、上記２）の直線性が悪い水平エ
ッジのパターンを示す。図１３の（ａ）は撮像された画
像を示し、先行車両４０の向こう側に山の稜線１３０が
写し出されている。図１３の（ｂ）は、水平エッジ抽出
部７により図１３の（ａ）の画像の処理領域３０に対し
て抽出された水平エッジの２値化画像を示す。この２値
化画像には、先行車両４０を示すエッジだけでなく山の
稜線１３０の一部を示すエッジ１３５〜１３７が抽出さ
れている。先行車両を示す水平エッジは水平方向に曲線
を描くことはないので、水平エッジ判定部１１は、この
ような直線性の悪いエッジ１３５〜１３７は、先行車両
以外のものを示すと判定する。水平エッジ判定部１１
は、抽出された水平エッジを構成するエッジ点のそれぞ
れのｙ座標値の分散を算出し、ｙ座標が、予め決められ
た所定値以上にわたって分散するならば、その水平エッ
ジは先行車両以外のものを示すと判定する。こうして、
先行車両を示すと判定された水平エッジと先行車両以外
のものを示すと判定された水平エッジとは、それぞれ区
別できるよう水平エッジ記憶部１２に記憶される。

【００５４】図１３の（ｃ）は、先行車両以外のものを
示すと判定されたエッジ１３５〜１３７を除外した後の
水平エッジを示す２値化画像である。このような直線性
の悪い水平エッジを示すものとして、たとえば樹木など
の自然物、店の看板として使用される旗などが考えら
れ、上記のような処理を行うことにより、このような先
行車両以外のものを示す水平エッジに基づいた先行車両
の誤認識をなくすことができる。

【００５５】図１４は、上記３）の傾きが大きい水平エ
ッジのパターンを示す。図１４の（ａ）は撮像された画
像を示し、先行車両４０のサイドに白線１４０が写し出
されている。図１４の（ｂ）は、水平エッジ抽出部７に
より図１４の（ａ）の画像の処理領域３０に対して抽出
された水平エッジの２値化画像を示す。この２値化画像
には、先行車両４０を示すエッジだけでなく白線１４０
を示すエッジ１４５および１４６が抽出されている。先
行車両を示す水平エッジは水平方向に大きな傾きを持つ
ことはないので、水平エッジ判定部１１は、このような
傾きの大きいエッジ１４５および１４６は、先行車両以
外のものを示すと判定する。水平エッジ判定部１１は、
水平エッジを構成するエッジ点のｘおよびｙ座標を用い
て最小二乗法による直線近似を行い、その傾きを調べ、
傾きが予め決められた所定値以上であるならば、その水
平エッジを先行車両以外のものを示すと判定する。こう
して、先行車両を示すと判定された水平エッジと先行車
両以外のものを示すと判定された水平エッジとは、それ
ぞれ区別できるよう水平エッジ記憶部１２に記憶され
る。

【００５６】図１４の（ｃ）は、先行車両以外のものを
示すと判定されたエッジ１４５および１４６を除外した
後の水平エッジを示す２値化画像である。このような傾
きの大きい水平エッジを示すものとして、たとえばガー
ドレール、追い越し禁止車線、路側構造体などが考えら
れ、上記のような処理を行うことにより、このような先
行車両以外のものを示す水平エッジに基づいた先行車両
の誤認識をなくすことができる。

【００５７】こうして、認識すべき対象物の予め設定さ
れた特徴に基づいて、水平エッジが認識すべき対象物を
示すかどうか判定する。上記の１）〜３）の判定条件
は、そのうちのいずれかを使用して判定してもよく、ま
たはいくつかを併用して判定してもよい。さらに、認識
すべき対象物の特徴を表すような新たな判定条件を加え
て判定するようにしてもよい。上記の予め設定された特
徴は、認識すべき対象物が何であるかに依存して、たと
えば対象物の大きさ、形状、輪郭などの対象物の特徴に
応じて変えることができる。

【００５８】垂直エッジ判定部１３は、水平エッジ判定
部１１によるものと同様の手法で、垂直エッジ抽出部９
により抽出されたエッジが、先行車両を示すかどうか判
定する。先行車両を示すと判定された垂直エッジと先行
車両以外のものを示すと判定された垂直エッジとは、そ
れぞれ区別できるよう垂直エッジ記憶部１４に記憶され
る。

【００５９】図１に戻り、対象物外形認識部１５は、水
平エッジ記憶部１２および垂直エッジ記憶部１４にそれ
ぞれ記憶された、対象物を示すと判定されたエッジに基
づいて対象物の外形を認識する。この実施例では認識す
べき対象物が先行車両である場合、画像に表されたとき
に対象物を箱形で近似することができ、したがって対象
物の外形を上端、下端、左端および右端で認識する。

【００６０】図１５に、対象物の外形を認識するフロー
チャートを示す。最初に、水平エッジ判定部１１により
先行車両を示すと判定された水平エッジのヒストグラ
ム、および垂直エッジ判定部１３により先行車両を示す
と判定された垂直エッジのヒストグラムを算出する（ス
テップ１５１および１５３）。

【００６１】図１６の（ａ）は、水平エッジ記憶部１２
に記憶された、先行車両４０を示すと判定された水平エ
ッジの２値化画像である。図１６の（ｂ）は、図１６の
（ａ）に対応するヒストグラムであり、図のようにｙ軸
を定め、処理領域３０内の水平エッジを構成するエッジ
点のｙ座標ごとの数を表す。図１６の（ｃ）は、垂直エ
ッジ記憶部１４に記憶された、先行車両４０を示すと判
定された垂直エッジの２値化画像である。図１６の
（ｄ）は、図１６の（ｃ）に対応するヒストグラムであ
り、図のようにｘ軸を定め、処理領域３０内の垂直エッ
ジを構成するエッジ点のｘ座標ごとの数を表す。

【００６２】対象物外形認識部１５は、図１６の（ｂ）
の水平エッジヒストグラムに基づいて先行車両の上端お
よび下端の位置を認識し（ステップ１５５）、図１６の
（ｄ）の垂直エッジのヒストグラムに基づいて先行車両
の左端および右端の位置を認識する（ステップ１５
７）。この実施例では、所定値Ｐ１以上のエッジ点を持
つ水平エッジで、かつ処理領域３０の上の境界線Ｙa1お
よび下の境界線Ｙa2にそれぞれ最も近い水平エッジに対
応するｙ座標値を、それぞれ先行車両の上端および下端
の位置と認識する。図１６の（ｂ）のヒストグラムで
は、先行車両の上端はＹ１により特定され、下端はＹ２
により特定される。

【００６３】同様に、所定値Ｐ２以上のエッジ点を持つ
垂直エッジで、かつ処理領域３０の左の境界線Ｘa1およ
び右の境界線Ｘa2にそれぞれ最も近い垂直エッジに対応
するｘ座標値を、それぞれ先行車両の左端および右端の
位置と認識する。図１６の（ｄ）のヒストグラムでは、
先行車両の左端はＸ１により特定され、右端はＸ２によ
り特定される。こうして、図１７に示すように、先行車
両４０の上端、下端、左端および右端の位置が認識さ
れ、先行車両の外形１００を認識することができる。

【００６４】他の実施例では、処理領域から水平エッジ
のみを抽出して対象物を示すかどうか判定し、対象物を
示すと判定された水平エッジに基づいて、対象物の上
端、下端、左端および右端の位置を認識することもでき
る。この場合、対象物の上端および下端の間にある、ヒ
ストグラム上で最も長い水平エッジを選択し、その水平
エッジの左端および右端に対応するｘ座標値をそれぞれ
対象物の左端および右端の位置として認識することがで
きる。対象物が先行車両の場合、比較的多くの水平エッ
ジが抽出されるので、このようにして水平エッジのみか
ら先行車両の外形を認識することもできる。

【００６５】図１に戻り、対象物情報出力部１７は、対
象物外形認識部１５により認識された対象物の外形情報
（対象物の上端、下端、左端および右端の位置）を車両
走行制御装置１９に出力する。車両走行制御装置１９
は、受け取ったこれらの情報に基づいて自車両の走行制
御を行う。たとえば、先行車両までの車間距離が適切で
あるよう自車両を制御したり、先行車両との車間距離が
ある所定値以下になった場合には運転者に音声やアラー
ムで警告を発したり、自車両のエンジンを制御して強制
的に減速させたりなどの制御をすることができる。

【００６６】図１８は、この発明の別の実施形態を示
す。図１と同じ参照番号は、同じ構成要素を意味する。
この実施形態によると、水平エッジ抽出部７が水平エッ
ジを抽出し、水平エッジ判定部１１が、抽出された水平
エッジについて対象物を示すかどうか判定し、対象物を
示すと判定された水平エッジに基づいて対象物の上端お
よび下端を認識する。その後、垂直方向処理領域限定部
６が、認識された上端および下端により、処理領域設定
部５で設定された処理領域を垂直方向にさらに限定す
る。このさらに限定された処理領域について、垂直エッ
ジ抽出部９は垂直エッジを抽出し、垂直エッジ判定部１
３は垂直エッジが対象物を示すかどうか判定する。この
ように、対象物認識処理の途中で処理領域を垂直方向に
さらに限定することにより、さらに小さい領域について
垂直エッジの抽出および判定を行うようになるので、さ
らに高速に対象物認識処理を行うことができる。なお、
この実施形態において、エッジの抽出および判定、対象
物の上下左右端の認識は、前述した実施形態におけるも
のと同様の手法で行われる。

【００６７】図１に示した処理領域設定部５、水平エッ
ジ抽出部７、垂直エッジ抽出部９、水平エッジ判定部１
１、垂直エッジ判定部１３、水平エッジ記憶部１２、垂
直エッジ記憶部１４、対象物外形認識部１５、対象物情
報出力部１７、車両走行制御装置１９、画像記憶部２お
よび対象物位置記憶部４は、中央演算処理装置（ＣＰ
Ｕ）、制御プログラムおよび制御データを格納する読み
出し専用メモリ、ＣＰＵの演算作業領域を提供し様々な
データを一時記憶することができるランダムアクセスメ
モリ（ＲＡＭ）で構成することができる。画像記憶部
２、対象物位置記憶部４、水平エッジ記憶部１２および
垂直エッジ記憶部１４は、１つのＲＡＭのそれぞれ異な
る記憶領域を使用して実現することができる。また、各
種の演算で必要となるデータの一時記憶領域も同じＲＡ
Ｍの一部分を使用して実現することができる。

【００６８】また、この発明の対象物認識装置をエンジ
ンの電子制御ユニット（ＥＣＵ）、ブレーキ制御ＥＣＵ
その他のＥＣＵとＬＡＮ接続して対象物認識装置からの
出力を車両の全体的な制御に利用することができる。

【００６９】

【発明の効果】請求項１の発明によると、認識すべき対
象物の予め設定された特徴に基づいて、処理領域に含ま
れるエッジが認識すべき対象物を示すかどうか判定して
対象物の外形を認識するので、認識すべき対象物の外形
を正確に認識することができる。

【００７０】請求項２の発明によると、エッジが処理領
域の境界線上の画素を含むかどうかに基づいてエッジが
対象物を示すかどうか判定するので、処理領域を横切る
路面標識などを誤って対象物と認識することなく、正確
に対象物の認識を行うことができる。

【００７１】請求項３の発明によると、エッジの直線性
または傾きに基づいてエッジが対象物を示すかどうか判
定するので、自然物や白線などを誤って対象物と認識す
ることなく、正確に対象物の認識を行うことができる。

【００７２】請求項４の発明によると、対象物の上端、
下端、左端および右端の位置が認識されるので、特に箱
形に近似される対象物の場合、対象物の位置、高さおよ
び幅を正確に認識することができる。

【図面の簡単な説明】

【図１】この発明の一実施例の全体的な構成を示すブロ
ック図。

【図２】三角計測法による距離の計測原理を説明するた
めの図。

【図３】処理領域を示す図。

【図４】処理領域の設定方法を説明するための図。

【図５】ピッチング余裕分を加えた処理領域を示す図。

【図６】エッジ抽出方法を示すフローチャート。

【図７】（ａ）水平エッジ抽出用フィルタ（ｂ）フィル
タ要素の座標を示す図。

【図８】フィルタ画像の輝度ヒストグラムを示す図。

【図９】エッジをグループ化するための（ａ）〜（ｃ）
テンプレート、（ｄ）エッジ点にラベルを付与する条件
および（ｅ）テンプレートの走査を示す図。

【図１０】エッジをグループ化するための、エッジ点に
ラベルを付与する方法を説明する図。

【図１１】垂直エッジ用フィルタを示す図。

【図１２】抽出された水平エッジが、認識すべき対象物
を示すか否かを判断する方法を説明するための図であ
り、例として処理領域の境界線上の画素を含む水平エッ
ジを示す図。

【図１３】抽出された水平エッジが、認識すべき対象物
を示すか否かを判断する方法を説明するための図であ
り、例として直線性の悪い水平エッジを示す図。

【図１４】抽出された水平エッジが、認識すべき対象物
を示すか否かを判断する方法を説明するための図であ
り、例として傾きの大きい水平エッジを示す図。

【図１５】対象物の外形を認識する方法を示すフローチ
ャート。

【図１６】対象物の上下左右端の認識を説明するための
図。

【図１７】外形が認識された対象物を示す図。

【図１８】この発明の他の実施例の全体的な構成を示す
ブロック図。

【符号の説明】

１撮像装置３対象物位置特定部５処理領域設定部７，９エッジ抽出部１１，１３エッジ判定部１５対象物外形認識部３０処理領域４０先行車両

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０１Ｃ 3/06 Ｇ０８Ｇ 1/16 ＣＧ０８Ｇ 1/16 Ｇ０６Ｆ 15/70 ３３５Ａ (72)発明者青木友好埼玉県和光市中央１丁目４番１号株式会社本田技術研究所内 (72)発明者西垣守道埼玉県和光市中央１丁目４番１号株式会社本田技術研究所内Ｆターム(参考） 2F065 AA01 AA06 AA12 AA31 AA51 BB05 BB13 BB15 CC11 CC40 FF42 FF61 FF65 FF67 GG08 GG21 JJ01 JJ03 JJ05 JJ25 JJ26 LL26 NN02 NN20 PP01 QQ00 QQ03 QQ04 QQ13 QQ21 QQ24 QQ25 QQ26 QQ27 QQ28 QQ33 QQ36 QQ43 2F112 AC04 BA01 CA05 DA19 DA21 EA03 FA03 FA21 FA27 FA32 FA36 FA39 FA41 5H180 AA01 CC02 CC04 CC14 LL01 LL07 LL09 5L096 BA04 CA02 CA14 CA27 FA06 FA35 FA66 FA67 GA34 GA55 JA09 9A001 BB06 DZ15 HH20 JZ77 KK32

Claims

【特許請求の範囲】

【請求項１】対象物の位置を特定する対象物位置特定手
段と、前記対象物を撮像する撮像装置と、前記特定された対象物の位置および予め決められた認識
すべき対象物の大きさに基づいて、前記撮像装置により
得られた画像上に処理領域を設定する処理領域設定手段
と、前記処理領域に含まれる画素の輝度値に基づいて、前記
処理領域からエッジを抽出するエッジ抽出手段と、前記認識すべき対象物の予め設定された特徴に基づい
て、前記抽出されたエッジのそれぞれが、該認識すべき
対象物を示すかどうか判定するエッジ判定手段と、前記対象物を示すと判定されたエッジに基づいて、該対
象物の外形を認識する対象物認識手段と、を備える対象物認識装置。
【請求項２】前記エッジ判定手段が、エッジが前記処理
領域の境界線上の画素を含むかどうかに基づいて、エッ
ジが対象物を示すかどうか判定するようにした請求項１
に記載の対象物認識装置。
【請求項３】前記エッジ判定手段が、エッジの直線性ま
たは傾きに基づいて、エッジが対象物を示すかどうか判
定するようにした請求項１に記載の対象物認識装置。
【請求項４】前記対象物認識手段が、前記対象物を示す
と判定されたエッジに基づいて、対象物の上端、下端、
左端および右端の位置を認識することにより対象物の外
形を認識するようにした請求項１から請求項３のいずれ
かに記載の対象物認識装置。