JP2008293504A

JP2008293504A - 対象物認識装置

Info

Publication number: JP2008293504A
Application number: JP2008143395A
Authority: JP
Inventors: Masakazu Saka; 雅和坂; Hiromitsu Yuhara; 博光湯原; Tomoyoshi Aoki; 友好青木; Morimichi Nishigaki; 守道西垣
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2008-05-30
Filing date: 2008-05-30
Publication date: 2008-12-04
Anticipated expiration: 2019-11-04
Also published as: JP4580005B2

Abstract

【課題】対象物の外形を正確に認識する。
【解決手段】対象物の位置を特定する対象物位置特定手段と、前記対象物を撮像する撮像装置と、特定された対象物の位置および予め決められた認識すべき対象物の大きさに基づいて、撮像装置により得られた画像上に処理領域を設定する処理領域設定手段と、処理領域に含まれる画素の輝度値に基づいて、処理領域からエッジを抽出するエッジ抽出手段と、認識すべき対象物の予め設定された特徴に基づいて、抽出されたエッジのそれぞれが、該認識すべき対象物を示すかどうか判定するエッジ判定手段と、対象物を示すと判定されたエッジに基づいて、対象物の外形を認識する対象物認識手段とを備える対象物認識装置を提供する。認識すべき対象物の特徴に基づいてエッジが対象物を示すかどうか判定するので、対象物の外形を正確に認識することができる。
【選択図】図１

Description

この発明は、自車両の前方にある対象物を認識する対象物認識装置に関し、特に、自車両の前方を走行する先行車両を認識するのに適した対象物認識装置に関する。

近年、車両走行の安全性を向上させるため、自車両の前方にある対象物の位置や大きさを判断し、これに応じて車両走行を適切に制御する装置が提案されている。前方にある対象物の情報を取得する方法として、画像情報から水平方向エッジおよび垂直方向エッジを抽出し、抽出されたエッジのそれぞれについて、そのエッジが認識すべき対象物（たとえば、先行車両）を示すかどうか判断し、対象物を示すと判断されたエッジに基づいて対象物を認識する方法が知られている。

特許公報第2712809号（特許文献１）には、近距離の物体ほど画面下方に大きく写るという知見に基づき、水平方向および鉛直方向の連続エッジ構成点数のしきい値を画面下方になるほど大きな値となるよう予め設定し、しきい値以上にエッジ構成点が連続した領域を障害物と判断する障害物検出装置が記載されている。

また、特開平7-25286公報（特許文献２）では、所定の垂直および水平注視領域におけるそれぞれ垂直の画素列および水平の画素行ごとの微分値の合計のうち、所定のしきい値を超える複数の画素列および画素行を先行車両の左右端および上下端の輪郭候補としてそれぞれ抽出し、これらの候補のうち任意に選択した２つずつの画素列および画素行により囲まれた領域の中心点の変動量および垂直、水平方向の長さの比が一定条件を満たす場合、その領域を先行車両の存在領域と判断する。

さらに、特開平8-188104号公報（特許文献３）では、所定の垂直および水平注視領域におけるそれぞれ垂直の画素列および水平の画素行ごとの濃度微分値の合計のうち、濃度微分値がピークとなる複数の点を先行車両の輪郭の候補点とし、これらの各候補点の画面上の座標と、所定時間後の各候補点の座標から、候補点ごとの移動量を算出し、その移動量がしきい値より小さくかつ最小となる候補点を先行車両の輪郭に対応する点と判断する。

また、特開平10-97699号公報（特許文献４）では、画像内の左右ガイドライン（実施例では、白線）を認識し、この左右ガイドラインにはさまれた領域内において水平エッジを抽出し、抽出された水平エッジに基づいて障害物が存在する存在可能性領域を推定し、該存在可能性領域内で垂直エッジを抽出し、抽出された垂直エッジに基づき障害物を判定する。
特許公報第2712809号特開平7-25286公報特開平8-188104号公報特開平10-97699号公報

特許公報第2712809号、特開平7-25286公報または特開平8-188104号公報のものでは、認識すべき対象物以外に、より大きなエッジを持つ自然物、建築物や路面上の標識のようなものが存在する場合、それらのエッジも対象物の認識を行う対象となることがあり、ひいてはそれら自然物、建築物または路面上の標識を対象物として誤って認識することがあった。また、特開10-97699号公報のものでは、左右ガイドラインによって処理領域を限定しているが、それでも路面上の標識や、ガイドラインと極近距離に敷設された電柱やガードレールといった人工物のエッジ情報により、対象物の側端すなわち対象物の幅を正確に認識できないことがあった。

この発明は、上記問題点を解決するものであり、認識すべき対象物の特徴に基づいて、抽出されたエッジが対象物を示すかどうか判定することにより、より正確に対象物の外形、特に対象物の上端、下端、左端および右端の位置を認識することのできる装置を提供することを目的とする。

上記の課題を解決するため、請求項１の発明の対象物認識装置は、対象物の位置を特定する対象物位置特定手段と、前記対象物を撮像する撮像装置と、前記特定された対象物の位置および予め決められた認識すべき対象物の大きさに基づいて、前記撮像装置により得られた画像上に処理領域を設定する処理領域設定手段と、前記処理領域に含まれる画素の輝度値に基づいて、前記処理領域からエッジを抽出するエッジ抽出手段と、前記認識すべき対象物の予め設定された特徴に基づいて、前記抽出されたエッジのそれぞれが、該認識すべき対象物を示すかどうか判定するエッジ判定手段と、前記対象物を示すと判定されたエッジに基づいて、該対象物の外形を認識する対象物認識手段とを備える。

この発明によると、認識すべき対象物の予め設定された特徴に基づいて、処理領域に含まれるエッジが認識すべき対象物を示すかどうか判定して対象物の外形を認識するので、認識すべき対象物の外形を正確に認識することができる。

また、請求項２の発明は、請求項１の対象物認識装置において、エッジ判定手段が、エッジが処理領域の境界線上の画素を含むかどうかに基づいて、エッジが対象物を示すかどうか判定する。

請求項２の発明によると、エッジが処理領域の境界線上の画素を含むかどうかに基づいてエッジが対象物を示すかどうか判定するので、処理領域を横切る路面標識などを誤って対象物と認識することなく、正確に対象物の認識を行うことができる。

また、請求項３の発明は、請求項１の対象物認識装置において、エッジ判定手段が、エッジの直線性または傾きに基づいて、エッジが対象物を示すかどうか判定する。

請求項３の発明によると、エッジの直線性または傾きに基づいてエッジが対象物を示すかどうか判定するので、自然物や白線などを誤って対象物と認識することなく、正確に対象物の認識を行うことができる。

請求項４の発明は、請求項１から請求項３のいずれかに記載の対象物認識装置において、対象物認識手段が、対象物を示すと判定されたエッジに基づいて、対象物の上端、下端、左端および右端の位置を認識することにより対象物の外形を認識する。

請求項４の発明によると、対象物の上端、下端、左端および右端の位置が認識されるので、特に箱形に近似される対象物の場合、対象物の位置、高さおよび幅を正確に認識することができる。

請求項１の発明によると、認識すべき対象物の予め設定された特徴に基づいて、処理領域に含まれるエッジが認識すべき対象物を示すかどうか判定して対象物の外形を認識するので、認識すべき対象物の外形を正確に認識することができる。

次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施例の対象物認識装置の全体的なブロック図である。この実施例においては、この発明の対象物認識装置により認識すべき対象物を先行車両として説明する。

図１の撮像装置１は、自車両の前方を画像として撮像する装置である。撮像装置１は典型的には２次元のＣＣＤであり、２次元に配列されたフォトセンサのアレイであってもよい。夜間の使用を考慮すると赤外線を用いた撮像装置にするのがよい。この場合、レンズの前に赤外線透過性のフィルタを置き、赤外線の光源を用いて一定の周期で対象物を照射し、対象物から反射する赤外線を感知するようにするのがよい。撮像装置１により撮像された画像はアナログ・デジタル変換器（図示せず）を介してデジタルデータに変換され、画像記憶部２に格納される。

対象物位置特定部３は、典型的にはレーザレーダまたはミリ波レーダであり、レーザまたはミリ波を対象物に照射し、対象物からの反射波を受信して、自車両から対象物までの距離および自車両に対する対象物の相対的な方位を測定する。レーダは、単一ビームを自車両前方のある角度の範囲にわたって走査するスキャン型レーダを用いることができ、または複数ビームを車両前方のある角度の範囲にわたって照射する複数ビーム型のレーダを用いてもよい。レーダからのビームがカバーする角度の範囲は、認識すべき対象物が撮像装置１により撮像される可能性のある範囲に合わせて設定される。この実施例では認識すべき対象物が先行車両なので、レーダは、少なくとも自車両が走行する自車線領域をカバーするよう設定される。または、１サイクル前に撮像装置１により撮像され、特定された先行車両の位置情報に基づいて、自車両前方の先行車両に確実にビームを照射させるよう、レーダのビームの方位を随時変向させるようにしてもよい。特定された先行車両の距離Ｄおよび方位θは、図１の対象物位置記憶部４に記憶される。

他の実施例では、対象物位置特定部３を、一対の光学式撮像装置を用いて実現することができる。図２は、その場合の三角計測法による距離の計測原理を説明する図である。簡単に説明するため、図２における一対の撮像装置は、それぞれ一次元のラインセンサとする。ラインセンサ２８およびレンズ２６は、他方の撮像装置を構成するラインセンサ２９およびレンズ２７と所定の間隔すなわち基線長Ｂだけ左右方向に間隔をおいて配置されており、それぞれレンズ２６、２７の焦点距離ｆに配置されている。

レンズ２６、２７のある平面から距離Ｄにある対象物の像が、ラインセンサ２８ではレンズ２６の光軸からｄ1ずれた位置に形成され、ラインセンサ２９ではレンズ２７の光軸からｄ2だけずれた位置に形成されるとすると、レンズ２６、２７の面から対象物２５までの距離Ｄは、三角計測法の原理により、Ｄ＝Ｂ・ｆ／（ｄ1＋ｄ2）で求められる。撮像された画像はデジタル化されるので、距離（ｄ1＋ｄ2）はデジタル的に算出される。ラインセンサ２８および２９で得られる画像の片方または両方をシフトさせながら両画像のそれぞれ対応する画素の輝度を示すデジタル値の差の絶対値の総和を求め、これを相関値とする。相関値が最小値になるときの画像のシフト量が両画像の間の位置ずれ、すなわち（ｄ1＋ｄ2）を示す。観念的には図２に示すようにラインセンサ２８および２９から得られる２つの画像を重なり合わせるために２つの画像を相対的に移動させねばならない距離が（ｄ1＋ｄ2）である。自車両に対する対象物２５の方位θは、たとえばレンズ２７の光軸を基準とすると、tanθ＝ｄ2／ｆのように求めることができる。

上記の一対の撮像装置による距離の計測は、たとえば撮像された画像を多数のウィンドウに細分し、ウィンドウごとに計測される。計測された距離を、予め計測して保持されたウィンドウごとの道路までの距離と比較し、道路までの距離よりも短ければ、そのウィンドウについての計測距離を対象物までの距離と判断することができる。たとえば、撮像された画像のうち、ハンドル角などを考慮して自車線領域と考えられるウィンドウを走査して距離を計測することにより、自車両前方にある先行車両までの距離を計測することができる。

対象物位置特定部３を、上記に説明したレーダおよび一対の撮像装置を併用して実現することができる。たとえば、一対の撮像装置により撮像された画像による距離および方位の計測が困難な状況（前方の先行車両が自車両から遠方にある、またはトンネルなど薄暗い場所を走行していて先行車両の撮像が不安定となるような状況）ではレーダによって計測するというようにしてもよい。また、レーダによる距離および方位の計測は、自車両前方の一定の角度範囲に限定され、撮像装置ほど広い視界をカバーするのが困難なことがあるので、撮像装置により計測された先行車両の方位に合わせて、レーダのビームの向きを随時変えるようにしてもよい。しかしながら、この実施例では、対象物位置特定部３をミリ波レーダまたはレーザレーダのようなレーダにより実現し、自車両前方の先行車両の位
置（距離および方位）を特定する。

図１の対象物認識部２１は、撮像装置１により得られた画像内に処理領域を設定し、処理領域から抽出されたエッジを使用して先行車両の認識を行う。対象物認識部２１による処理は、撮像装置１から取り込んだ画像および対象物位置特定部３により計測された対象物の位置に基づいて、ある検出時間間隔（たとえば、１００ミリ秒）で実行される。以下、対象物認識部２１による対象物認識の方法を詳細に説明する。

図１の処理領域設定部５は、対象物位置記憶部４に記憶された対象物の位置および予め決められた認識すべき対象物の大きさに基づいて、画像記憶部２に記憶された撮像画像内に処理領域を設定する。予め決められた認識すべき対象物の大きさは、処理領域設定部５により予め保持されており、認識すべき対象物全体を囲むことができるよう設定されている。

処理領域の設定方法を、図３および図４を参照して説明する。図３は、前方を走行する先行車両４０を撮像した画像である。図３に示すように、撮像した画像においてｘおよびｙ軸を定め、処理領域３０を座標（Ｘa1,Ｙa1）および（Ｘa2,Ｙa2）を使用して設定する。

図４は、この処理領域３０を設定する方法を示しており、図４の（ａ）は、処理領域を特定するｘ座標すなわちＸa1およびＸa2を求める方法を示す図であり、図４の（ｂ）は、処理領域を特定するｙ座標すなわちＹa1およびＹa2を求める方法を示す図である。

図４の撮像装置１は、自車両に搭載されている撮像装置１を示しており、自車両前方を走行する先行車両４０を撮像する。ｆは、撮像装置１に備えられたレンズ４５の焦点距離であり、レンズの特性により定まる値である。ＷおよびＨは、予め決められた先行車両の幅および高さであり、たとえばＷは２メートル、Ｈは２．５メートルのように設定することができる。Ｄおよびθは、対象物位置記憶部４に格納された先行車両の自車両からの距離および自車両に対する相対的な方位を示す。ｈは、道路から自車両に搭載された撮像装置１のレンズ４５の中心までの高さを示し、撮像装置１の自車両内の位置により定まる。

処理領域設定部５は、これらのパラメータＷ、Ｈ、ｈを用い、対象物位置記憶部４に記憶されたＤおよびθを抽出して、以下の式により処理領域３０を特定する座標（Ｘa1、Ｙa1）および（Ｘa2,Ｙa2）を算出する。

または、Ｙa1およびＹa2については、自車両のピッチングを考慮して、以下のようにピッチング余裕分のαを加えるようにしてもよい。

こうして、座標（Ｘa1、Ｙa1）および（Ｘa2,Ｙa2）を使用して、撮像された画像内に処理領域３０が図３のように設定され、またはピッチングを加味して図５のように設定される。

図１の水平エッジ抽出部７および垂直エッジ抽出部９は、処理領域設定部５により設定された処理領域内から、それぞれ水平方向のエッジおよび垂直方向のエッジを抽出する。この実施例では、水平方向および垂直方向の両方についてエッジを抽出する。水平および垂直エッジの両方とも基本的には同じ方法で抽出されるので、ここでは水平エッジの抽出について説明する。ここで抽出されるエッジは、画像において輝度が変化する部分を示す。図６に、水平エッジ抽出部７により実行される、エッジを抽出するフローチャートを示す。最初に、水平エッジ抽出部７は、処理領域３０内のそれぞれの画素に対して水平方向にフィルタリング処理を行い、水平方向に輝度差のあるエッジ部分を強調する（ステップ６１）。図７の（ａ）は、水平方向のエッジを検出するための水平エッジ用フィルタの例であり、以下に述べる計算の都合上、図７の（ｂ）のようにフィルタのそれぞれの要素に座標を付す。

処理領域３０内を図７の水平エッジ用フィルタで走査し、処理領域３０内のそれぞれの画素の輝度値に対して以下の式（７）の計算を施すことにより、水平方向のエッジを検出する。

ここで、ｘおよびｙは、処理領域３０内の画素の位置を特定する座標を示す。Ｇ(x,y)は、撮像されてデジタルデータに変換されたときの座標(x,y)にある画素の輝度値を示し、Ｐ(x,y)は、フィルタリング処理を行った後の座標(x,y)にある画素の輝度値を示す。Ｆ(i,j)は、図７の（ａ）に示す水平エッジ用フィルタの座標(i,j)にあるフィルタ要素の値を示す。水平エッジ用フィルタは、水平方向のエッジを強調するよう値が定められているので、上記の計算をそれぞれの画素に対して行うことにより、水平エッジを検出することができる。

他の実施形態では、式（７）の代わりに、以下の式（８）のように単純に垂直方向に隣あった画素間で輝度値の引き算を行う微分処理によりフィルタリング処理を行うことができる。ここで、ｎは任意の整数であり、たとえばｎ＝１である。

次に、フィルタリング処理が行われたそれぞれの画素の輝度値Ｐに基づいて、輝度ヒストグラムを算出する（ステップ６３）。この実施例で使用する輝度値は、２５６の階調（真黒「０」から真白「２５５」の間）を持つデジタルデータとして表される。図８は輝度ヒストグラムの例を示し、横軸は輝度値を示し、右にいくほど高い輝度値を示す。縦軸は、それぞれの輝度値をもつ画素数を示す。

このヒストグラムに基づいて、低輝度側の画素数と高輝度側の画素数が所定の割合となる輝度値を２値化しきい値として設定する（ステップ６５）。たとえば、処理領域３０の全画素数に対し、先行車両４０を示すエッジを構成する画素数の割合を予めある程度推定し、ある輝度値以上でその割合になる値をヒストグラムから求めて２値化しきい値とすることができる。この２値化しきい値を使用し、たとえば高輝度側を「１」、低輝度側を「０」として、処理領域３０内のそれぞれの画素が２値化される（ステップ６７）。こうして２値化された画素のうち、値「１」を持つ画素をエッジ点と呼ぶ。なお、２値化しきい値の設定には既知の様々な方法があり、ここで用いる方法はその一例であり、他の方法を用いてもよい。

次に、２値化によって得られた値「１」を持つ画素すなわちエッジ点を抽出し、エッジ点が連続していれば１つのまとまった水平エッジとしてグループ化する。エッジ点をグループ化する手法として、この実施例ではテンプレートを使用したラベリング処理を利用する。このラベリング処理を、図９を参照して説明する。

図９の（ａ）のＴ１〜Ｔ３はテンプレートにおける位置を示す。図９の（ｂ）のＶ１〜Ｖ３は、あるエッジ点にＴ２が合うようテンプレートが置かれた時の、Ｔ１〜Ｔ３の位置にそれぞれ対応する画素の値（１またはゼロ）をそれぞれ示す。図９の（ｃ）のＬ１〜Ｌ３は、あるエッジ点にＴ２が合うようテンプレートが置かれた時の、Ｔ１〜Ｔ３の位置にそれぞれ対応する画素に付与されたラベルを示す。

また、図９の（ｄ）の表は、あるエッジ点にＴ２が合うようテンプレートが置かれたときの、Ｔ１〜Ｔ３の位置に対応する画素の値に基づいて、Ｔ２の位置に対応するエッジ点にどのようなラベルＬ２が付与されるかを示したものである。たとえば、Ｔ１〜Ｔ３の位置に対応する画素の値Ｖ１〜Ｖ３が条件４を満たせば、Ｔ２に対応するエッジ点のラベルＬ２には、Ｔ１に対応する画素のラベルＬ１と同じラベルが付与される。なお、条件１が満たされた時に付与されるラベル「Ｌ」は、まだ使用されていない新たなクラスタラベルを示す。図９の（ｅ）に示すように、テンプレートのＴ２が処理領域３０内のエッジ点に順次置かれるよう処理領域３０を走査し、エッジ点にラベルＬ２を付与していく。

図１０は、ラベル付与の処理を説明するための図である。図１０の（ａ）は、２値化された画素（値ゼロは単なる「・」で示されている）を示す画像の一部の例である。画素のうち値１をもつエッジ点にテンプレートのＴ２が合うようテンプレートが置かれ、上記のようにラベル付与処理を行うと、図１０の（ｂ）に示すように連続したエッジ点に同じラベルが付与される。

図９の（ｄ）の条件５を満たす場合には、テンプレートのＴ１およびＴ３に対応するラベルを連結し、テンプレートＴ３に対応するラベルをテンプレートＴ１に対応するラベルに置き換える。たとえば、図１０の（ｂ）のエッジ点９１と９２およびエッジ点９２と９３は図９の（ｄ）の条件５を満たすので、結果としてラベルＤおよびラベルＥをもつエッジ点のすべてが、ラベルＣに付与しなおされる（図１０の（ｃ））。このラベルを連結する処理は、処理領域３０内のすべてのエッジ点を走査してラベルを付与した後に行ってもよい。ラベルを連結することにより、連続するエッジ点はもれなく同じラベルが付与された１つのエッジ群となる。図１０の（ｃ）には、ラベルＡ、ＢおよびＣの３つのエッジ群が示される。このように、水平方向のそれぞれのエッジ群すなわち水平エッジが抽出され
る。

垂直エッジ抽出部９は、図６のステップ６１のフィルタリング処理で、水平エッジ用フィルタの代わりに図１１に示す垂直エッジ用フィルタを使用することをのぞき、水平エッジと同様の手法で処理領域３０内の垂直エッジを抽出する。

図１に戻り、水平エッジ判定部１１は、認識すべき対象物の予め設定された特徴に基づいて、水平エッジ抽出部９により抽出されたエッジが、認識すべき対象物を示すかどうか判定する。たとえば水平エッジの場合、この実施例のように認識すべき対象物が先行車両とすると、先行車両が画像に表されたときの特徴、すなわち箱形で水平エッジが比較的多く、しかも直線的なエッジを持っていることなどに基づいてエッジ判定を行うことができる。具体的には、
１）処理領域設定部５により設定された処理領域の境界線上の画素を含むエッジは、先行車両以外のものを示すエッジと判定する。

２）水平エッジ抽出部７により抽出された水平エッジの直線性を調べ、直線性の悪いエッジは、先行車両以外のものを示すエッジと判定する。

３）水平エッジ抽出部７により抽出された水平エッジの傾きを調べ、傾きが大きいエッジは先行車両以外のものを示すエッジと判定する。

図１２は、上記１）の処理領域の境界線上の画素を含む水平エッジのパターンを示す。図１２の（ａ）は撮像された画像を示し、先行車両４０の手前に路面標識１２０が写し出されている。この路面標識１２０は、処理領域３０を横切るようにして広がっている。図１２の（ｂ）は、水平エッジ抽出部７により図１２の（ａ）の画像の処理領域３０に対して抽出された水平エッジの２値化画像を示す。この２値化画像には、先行車両４０を示すエッジだけでなく路面標識１２０を示すエッジ１２５および１２６が抽出されている。処理領域３０は、前述したように先行車両を囲むよう設定されているので、処理領域を横切る水平エッジは先行車両以外のものを示すエッジと判定することができる。具体的には、処理領域３０は座標（Ｘa1,Ｙa1）および（Ｘa2,Ｙa2）で特定されるので、水平エッジ判定部１１は、水平エッジを構成するエッジ点のｘ座標値を調べ、ｘ座標値がＸa1またはＸa2を持つエッジ点があるならば、その水平エッジを処理領域３０の境界線を横切るエッジと判断し、その水平エッジは先行車両以外のものを示すと判定する。図１２の（ｂ）の例では、エッジ１２５または１２６が、ｘ座標値Ｘa1およびＸa2を持つエッジ点を含むので、エッジ１２５および１２６は先行車両以外のものを示すと判定する。

こうして水平エッジを判定することにより、先行車両を示すと判定された水平エッジと先行車両以外のものを示すと判定された水平エッジとは、それぞれ区別できるよう水平エッジ記憶部１２に記憶される。たとえば、先行車両を示すと判定された水平エッジを構成するエッジ点の画素の値を「１」のまま記憶し、先行車両以外のものを示すと判定された水平エッジを構成するエッジ点の画素の値をゼロに反転して記憶する。または、先行車両以外のものを示すと判定された水平エッジを構成するエッジ点にのみ何らかのフラグを付けて記憶し、その後の処理に使用しないようにすることもできる。図１２の（ｃ）は、先行車両以外のものを示すと判定されたエッジ１２５および１２６を除外した後の水平エッジを示す２値化画像である。このような処理領域の境界線上の画素を含む水平エッジを示すものとして、たとえば背景の建築物、路面上の停止線等の標識が考えられ、上記の処理を行うことにより、このような先行車両以外のものを示す水平エッジに基づいた先行車両の誤認識をなくすことができる。

図１３は、上記２）の直線性が悪い水平エッジのパターンを示す。図１３の（ａ）は撮像された画像を示し、先行車両４０の向こう側に山の稜線１３０が写し出されている。図１３の（ｂ）は、水平エッジ抽出部７により図１３の（ａ）の画像の処理領域３０に対して抽出された水平エッジの２値化画像を示す。この２値化画像には、先行車両４０を示すエッジだけでなく山の稜線１３０の一部を示すエッジ１３５〜１３７が抽出されている。先行車両を示す水平エッジは水平方向に曲線を描くことはないので、水平エッジ判定部１１は、このような直線性の悪いエッジ１３５〜１３７は、先行車両以外のものを示すと判定する。水平エッジ判定部１１は、抽出された水平エッジを構成するエッジ点のそれぞれのｙ座標値の分散を算出し、ｙ座標が、予め決められた所定値以上にわたって分散するならば、その水平エッジは先行車両以外のものを示すと判定する。こうして、先行車両を示すと判定された水平エッジと先行車両以外のものを示すと判定された水平エッジとは、それぞれ区別できるよう水平エッジ記憶部１２に記憶される。

図１３の（ｃ）は、先行車両以外のものを示すと判定されたエッジ１３５〜１３７を除外した後の水平エッジを示す２値化画像である。このような直線性の悪い水平エッジを示すものとして、たとえば樹木などの自然物、店の看板として使用される旗などが考えられ、上記のような処理を行うことにより、このような先行車両以外のものを示す水平エッジに基づいた先行車両の誤認識をなくすことができる。

図１４は、上記３）の傾きが大きい水平エッジのパターンを示す。図１４の（ａ）は撮像された画像を示し、先行車両４０のサイドに白線１４０が写し出されている。図１４の（ｂ）は、水平エッジ抽出部７により図１４の（ａ）の画像の処理領域３０に対して抽出された水平エッジの２値化画像を示す。この２値化画像には、先行車両４０を示すエッジだけでなく白線１４０を示すエッジ１４５および１４６が抽出されている。先行車両を示す水平エッジは水平方向に大きな傾きを持つことはないので、水平エッジ判定部１１は、このような傾きの大きいエッジ１４５および１４６は、先行車両以外のものを示すと判定する。水平エッジ判定部１１は、水平エッジを構成するエッジ点のｘおよびｙ座標を用いて最小二乗法による直線近似を行い、その傾きを調べ、傾きが予め決められた所定値以上であるならば、その水平エッジを先行車両以外のものを示すと判定する。こうして、先行車両を示すと判定された水平エッジと先行車両以外のものを示すと判定された水平エッジとは、それぞれ区別できるよう水平エッジ記憶部１２に記憶される。

図１４の（ｃ）は、先行車両以外のものを示すと判定されたエッジ１４５および１４６を除外した後の水平エッジを示す２値化画像である。このような傾きの大きい水平エッジを示すものとして、たとえばガードレール、追い越し禁止車線、路側構造体などが考えられ、上記のような処理を行うことにより、このような先行車両以外のものを示す水平エッジに基づいた先行車両の誤認識をなくすことができる。

こうして、認識すべき対象物の予め設定された特徴に基づいて、水平エッジが認識すべき対象物を示すかどうか判定する。上記の１）〜３）の判定条件は、そのうちのいずれかを使用して判定してもよく、またはいくつかを併用して判定してもよい。さらに、認識すべき対象物の特徴を表すような新たな判定条件を加えて判定するようにしてもよい。上記の予め設定された特徴は、認識すべき対象物が何であるかに依存して、たとえば対象物の大きさ、形状、輪郭などの対象物の特徴に応じて変えることができる。

垂直エッジ判定部１３は、水平エッジ判定部１１によるものと同様の手法で、垂直エッジ抽出部９により抽出されたエッジが、先行車両を示すかどうか判定する。先行車両を示すと判定された垂直エッジと先行車両以外のものを示すと判定された垂直エッジとは、それぞれ区別できるよう垂直エッジ記憶部１４に記憶される。

図１に戻り、対象物外形認識部１５は、水平エッジ記憶部１２および垂直エッジ記憶部１４にそれぞれ記憶された、対象物を示すと判定されたエッジに基づいて対象物の外形を認識する。この実施例では認識すべき対象物が先行車両である場合、画像に表されたときに対象物を箱形で近似することができ、したがって対象物の外形を上端、下端、左端および右端で認識する。

図１５に、対象物の外形を認識するフローチャートを示す。最初に、水平エッジ判定部１１により先行車両を示すと判定された水平エッジのヒストグラム、および垂直エッジ判定部１３により先行車両を示すと判定された垂直エッジのヒストグラムを算出する（ステップ１５１および１５３）。

図１６の（ａ）は、水平エッジ記憶部１２に記憶された、先行車両４０を示すと判定された水平エッジの２値化画像である。図１６の（ｂ）は、図１６の（ａ）に対応するヒストグラムであり、図のようにｙ軸を定め、処理領域３０内の水平エッジを構成するエッジ点のｙ座標ごとの数を表す。図１６の（ｃ）は、垂直エッジ記憶部１４に記憶された、先行車両４０を示すと判定された垂直エッジの２値化画像である。図１６の（ｄ）は、図１６の（ｃ）に対応するヒストグラムであり、図のようにｘ軸を定め、処理領域３０内の垂直エッジを構成するエッジ点のｘ座標ごとの数を表す。

対象物外形認識部１５は、図１６の（ｂ）の水平エッジヒストグラムに基づいて先行車両の上端および下端の位置を認識し（ステップ１５５）、図１６の（ｄ）の垂直エッジのヒストグラムに基づいて先行車両の左端および右端の位置を認識する（ステップ１５７）。この実施例では、所定値Ｐ１以上のエッジ点を持つ水平エッジで、かつ処理領域３０の上の境界線Ｙa1および下の境界線Ｙa2にそれぞれ最も近い水平エッジに対応するｙ座標値を、それぞれ先行車両の上端および下端の位置と認識する。図１６の（ｂ）のヒストグラムでは、先行車両の上端はＹ１により特定され、下端はＹ２により特定される。

同様に、所定値Ｐ２以上のエッジ点を持つ垂直エッジで、かつ処理領域３０の左の境界線Ｘa1および右の境界線Ｘa2にそれぞれ最も近い垂直エッジに対応するｘ座標値を、それぞれ先行車両の左端および右端の位置と認識する。図１６の（ｄ）のヒストグラムでは、先行車両の左端はＸ１により特定され、右端はＸ２により特定される。こうして、図１７に示すように、先行車両４０の上端、下端、左端および右端の位置が認識され、先行車両の外形１００を認識することができる。

他の実施例では、処理領域から水平エッジのみを抽出して対象物を示すかどうか判定し、対象物を示すと判定された水平エッジに基づいて、対象物の上端、下端、左端および右端の位置を認識することもできる。この場合、対象物の上端および下端の間にある、ヒストグラム上で最も長い水平エッジを選択し、その水平エッジの左端および右端に対応するｘ座標値をそれぞれ対象物の左端および右端の位置として認識することができる。対象物が先行車両の場合、比較的多くの水平エッジが抽出されるので、このようにして水平エッジのみから先行車両の外形を認識することもできる。

図１に戻り、対象物情報出力部１７は、対象物外形認識部１５により認識された対象物の外形情報（対象物の上端、下端、左端および右端の位置）を車両走行制御装置１９に出力する。車両走行制御装置１９は、受け取ったこれらの情報に基づいて自車両の走行制御を行う。たとえば、先行車両までの車間距離が適切であるよう自車両を制御したり、先行車両との車間距離がある所定値以下になった場合には運転者に音声やアラームで警告を発したり、自車両のエンジンを制御して強制的に減速させたりなどの制御をすることができる。

図１８は、この発明の別の実施形態を示す。図１と同じ参照番号は、同じ構成要素を意味する。この実施形態によると、水平エッジ抽出部７が水平エッジを抽出し、水平エッジ判定部１１が、抽出された水平エッジについて対象物を示すかどうか判定し、対象物を示すと判定された水平エッジに基づいて対象物の上端および下端を認識する。その後、垂直方向処理領域限定部６が、認識された上端および下端により、処理領域設定部５で設定された処理領域を垂直方向にさらに限定する。このさらに限定された処理領域について、垂直エッジ抽出部９は垂直エッジを抽出し、垂直エッジ判定部１３は垂直エッジが対象物を示すかどうか判定する。このように、対象物認識処理の途中で処理領域を垂直方向にさらに限定することにより、さらに小さい領域について垂直エッジの抽出および判定を行うようになるので、さらに高速に対象物認識処理を行うことができる。なお、この実施形態において、エッジの抽出および判定、対象物の上下左右端の認識は、前述した実施形態におけるものと同様の手法で行われる。

図１に示した処理領域設定部５、水平エッジ抽出部７、垂直エッジ抽出部９、水平エッジ判定部１１、垂直エッジ判定部１３、水平エッジ記憶部１２、垂直エッジ記憶部１４、対象物外形認識部１５、対象物情報出力部１７、車両走行制御装置１９、画像記憶部２および対象物位置記憶部４は、中央演算処理装置（ＣＰＵ）、制御プログラムおよび制御データを格納する読み出し専用メモリ、ＣＰＵの演算作業領域を提供し様々なデータを一時記憶することができるランダムアクセスメモリ（ＲＡＭ）で構成することができる。画像記憶部２、対象物位置記憶部４、水平エッジ記憶部１２および垂直エッジ記憶部１４は、１つのＲＡＭのそれぞれ異なる記憶領域を使用して実現することができる。また、各種の演算で必要となるデータの一時記憶領域も同じＲＡＭの一部分を使用して実現することができる。

また、この発明の対象物認識装置をエンジンの電子制御ユニット（ＥＣＵ）、ブレーキ制御ＥＣＵその他のＥＣＵとＬＡＮ接続して対象物認識装置からの出力を車両の全体的な制御に利用することができる。

この発明の一実施例の全体的な構成を示すブロック図。三角計測法による距離の計測原理を説明するための図。処理領域を示す図。処理領域の設定方法を説明するための図。ピッチング余裕分を加えた処理領域を示す図。エッジ抽出方法を示すフローチャート。（ａ）水平エッジ抽出用フィルタ（ｂ）フィルタ要素の座標を示す図。フィルタ画像の輝度ヒストグラムを示す図。エッジをグループ化するための（ａ）〜（ｃ）テンプレート、（ｄ）エッジ点にラベルを付与する条件および（ｅ）テンプレートの走査を示す図。エッジをグループ化するための、エッジ点にラベルを付与する方法を説明する図。垂直エッジ用フィルタを示す図。抽出された水平エッジが、認識すべき対象物を示すか否かを判断する方法を説明するための図であり、例として処理領域の境界線上の画素を含む水平エッジを示す図。抽出された水平エッジが、認識すべき対象物を示すか否かを判断する方法を説明するための図であり、例として直線性の悪い水平エッジを示す図。抽出された水平エッジが、認識すべき対象物を示すか否かを判断する方法を説明するための図であり、例として傾きの大きい水平エッジを示す図。対象物の外形を認識する方法を示すフローチャート。対象物の上下左右端の認識を説明するための図。外形が認識された対象物を示す図。この発明の他の実施例の全体的な構成を示すブロック図。

符号の説明

１撮像装置
３対象物位置特定部
５処理領域設定部
７，９エッジ抽出部
１１，１３エッジ判定部
１５対象物外形認識部
３０処理領域
４０先行車両

Claims

車両に搭載される対象物認識装置であって、
前記車両の先行車の位置を特定する対象物位置特定手段と、
前記車両の前方を撮像する撮像装置と、
前記特定された先行車の位置および予め決められた認識すべき先行車の大きさに基づいて、前記撮像装置により得られた画像上に処理領域を設定する処理領域設定手段と、
前記処理領域に含まれる画素の輝度値に基づいて、前記処理領域から、エッジを抽出するエッジ抽出手段と、
前記抽出されたエッジのそれぞれが、先行車を示すかどうか判定するエッジ判定手段と、
前記先行車を示すと判定されたエッジに基づいて、該先行車の外形を認識する対象物認識手段と、を備え、
前記エッジ判定手段は、さらに、
前記抽出されたエッジのそれぞれについて、該エッジを構成する点が、該エッジの抽出された方向とは垂直な方向に所定値以上にわたって分散しているかどうかを調べ、該所定値以上にわたって分散しているならば、該エッジの抽出された方向における直線性が悪いと判断し、該直線性が悪いと判断したならば、該エッジを、前記先行車を示すエッジではないと判定する、
対象物認識装置。
前記エッジ判定手段は、さらに、前記抽出されたエッジのそれぞれについて、該エッジが前記処理領域の境界線上の画素を含むかどうかに基づいて、該エッジが先行車を示すかどうか判定するようにした、
請求項１に記載の対象物認識装置。
前記対象物認識手段が、前記先行車を示すと判定されたエッジに基づいて、先行車の上端、下端、左端および右端の位置を認識することにより該先行車の外形を認識するようにした、
請求項１または請求項２に記載の対象物認識装置。