JP2008282409A

JP2008282409A - 対象物認識装置

Info

Publication number: JP2008282409A
Application number: JP2008143377A
Authority: JP
Inventors: Masakazu Saka; 雅和坂; Hiromitsu Yuhara; 博光湯原; Tomoyoshi Aoki; 友好青木; Morimichi Nishigaki; 守道西垣
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2008-05-30
Filing date: 2008-05-30
Publication date: 2008-11-20
Anticipated expiration: 2019-11-04
Also published as: JP4571204B2

Abstract

【課題】所望のエッジが得られなくても対象物の外形を認識する。
【解決手段】対象物の位置を特定する対象物位置特定手段と、対象物を撮像する撮像装置と、特定された対象物の位置および予め決められた認識すべき対象物の大きさに基づいて、撮像装置により得られた画像上に処理領域を設定する処理領域設定手段と、処理領域に含まれる画素の輝度値に基づいて、処理領域から水平エッジを抽出する水平エッジ抽出手段と、認識すべき対象物の予め設定された特徴に基づいて、抽出された水平エッジのそれぞれが、該認識すべき対象物を示すかどうか判定するエッジ判定手段とを備え、対象物を示すと判定された水平エッジから、対象物の外形を表す水平エッジを選択し、該水平エッジに基づいて対象物の外形を認識するようにした対象物認識装置を提供する。所望の垂直エッジが得られなかった場合でも、得られた水平エッジから対象物の外形を認識することができる。
【選択図】図１

Description

この発明は、自車両の前方にある対象物を認識する対象物認識装置に関し、特に、自車両の前方を走行する先行車両を認識するのに適した対象物認識装置に関する。

近年、車両走行の安全性を向上させるため、自車両の前方にある対象物の位置や大きさを判断し、これに応じて自車両走行を適切に制御する装置が提案されている。前方にある対象物の情報を取得する方法として、画像情報から水平方向エッジおよび垂直方向エッジを抽出し、抽出されたエッジのそれぞれについて、そのエッジが認識すべき対象物（たとえば、先行車両）を示すかどうか判断し、対象物を示すと判断されたエッジに基づいて対象物を認識する方法が知られている。

特開平10-97699号公報（特許文献１）では、画像内の左右ガイドライン（実施例では、白線）を認識し、この左右ガイドラインにはさまれた領域内において水平エッジを抽出し、抽出された水平エッジに基づいて障害物が存在する存在可能性領域を推定し、該存在可能性領域内で垂直エッジを抽出し、抽出された垂直エッジに基づき障害物を判定する。ここで、水平エッジにより推定された存在可能性領域のすべてについて、所定のしきい値を超える垂直エッジのＸ座標上の点が２つ未満の場合、対象物は存在しないと判断される。

特開平9-16782号公報（特許文献２）では、予め撮像領域を格子状に区分しておき、検出された縦エッジ点を含む領域を縦エッジ領域とし、検出された横エッジ点を含む領域を横エッジ領域とし、縦エッジ領域群および横エッジ領域群の交点を特定し、交点が４つ以上存在して長方形を成すことができる場合、その長方形を物体と認識している。
特開平10-97699号公報特開平9-16782号公報

しかし、特開平10-97699号公報のものでは、たとえば対象物の一部が背景色に似て十分なコントラストの差がなく、存在可能性領域において２つ以上の垂直エッジを得ることができない場合には、実際には対象物が存在しても「対象物無し」と誤って認識されることがあった。また、特開平9-16782号公報のものでは、コントラスト不足などにより、検出された縦および横のエッジの交点が４点以上得られなかった場合には、実際には対象物が存在しても「対象物無し」と誤って認識されることがあった。

この発明は、上記問題点を解決するものであり、対象物の外形を認識するのに所望の水平および垂直エッジのいずれかが得られなかった場合でも、得られた水平または垂直エッジから対象物の外形を認識できる装置を提供することを目的とする。

上記の課題を解決するため、請求項１の発明の対象物認識装置は、対象物の位置を特定する対象物位置特定手段と、対象物を撮像する撮像装置と、前記特定された対象物の位置および予め決められた認識すべき対象物の大きさに基づいて、前記撮像装置により得られた画像上に処理領域を設定する処理領域設定手段と、処理領域に含まれる画素の輝度値に基づいて、前記処理領域から水平エッジを抽出する水平エッジ抽出手段と、認識すべき対象物の予め設定された特徴に基づいて、前記抽出された水平エッジのそれぞれが、該認識すべき対象物を示すかどうか判定するエッジ判定手段とを備え、前記対象物を示すと判定された水平エッジから、対象物の外形を表す水平エッジを選択し、該水平エッジに基づいて対象物の外形を認識する。

この発明によると、背景などの周囲の環境の影響により所望の垂直エッジが得られなかった場合にも、水平エッジのみから対象物の外形を認識することができるので、対象物の外形を認識できる確度が向上する。

また、請求項２の発明は、請求項１の対象物認識装置において、処理領域に含まれる画素の輝度値に基づいて、前記処理領域から垂直エッジを抽出する垂直エッジ抽出手段と、認識すべき対象物の予め設定された特徴に基づいて、前記抽出された垂直エッジのそれぞれが、該認識すべき対象物を示すかどうか判定する垂直エッジ判定手段と、前記対象物を示すと判定された水平エッジから対象物の外形を表す水平エッジを選択し、該水平エッジに基づいて対象物の端候補を選択する水平エッジ端候補選択手段と、前記対象物を示すと判定された垂直エッジから対象物の外形を表す垂直エッジを選択し、該垂直エッジに基づいて対象物の端候補を選択する垂直エッジ端候補選択手段とを備え、前記水平エッジ端候補選択手段により選択された端候補および前記垂直エッジ端候補選択手段により選択された端候補に基づいて対象物の外形を認識する。

請求項２の発明によると、水平エッジから選択された端候補および垂直エッジから選択された端候補に基づいて対象物の外形を認識するので、対象物の外形を認識するのに所望の水平エッジまたは所望の垂直エッジが得られなかった場合でも、得られた方のエッジから対象物の外形を認識することができ、対象物の外形を認識できる確度が向上する。

請求項３の発明は、請求項２の対象物認識装置において、水平エッジ端候補選択手段が、対象物を示すと判定された水平エッジから、対象物の上端、下端、左端および右端の位置を表す水平エッジを選択し、該水平エッジに基づいて対象物の上端、下端、左端および右端候補を選択し、垂直エッジ端候補選択手段が、対象物を示すと判定された垂直エッジから、対象物の上端、下端、左端および右端の位置を表す垂直エッジを選択し、該垂直エッジに基づいて対象物の上端、下端、左端および右端候補を選択し、対象物認識手段が、前記水平エッジ端候補選択手段により選択された上端、下端、左端および右端候補および前記垂直エッジ端候補選択手段により選択された上端、下端、左端および右端候補に基づいて、対象物の上端、下端、左端および右端の位置を認識する。

請求項３の発明によると、水平エッジから選択された上下左右端候補および垂直エッジから選択された上下左右端候補に基づいて対象物の外形を認識するので、所望の水平エッジまたは所望の垂直エッジが得られなかった場合にも、得られた方のエッジから対象物の外形を認識することができ、特に外形が箱形に近似できる対象物を認識できる確度が向上する。

請求項４の発明は、請求項３の発明において、垂直エッジ端候補選択手段が、左端候補および右端候補のいずれかまたは両方が選択できなかったならば、該選択されなかった端候補については、前記水平エッジ端候補選択手段により選択された端候補を対象物の端の位置として認識する。

請求項４の発明によると、対象物の外形を認識するのに所望の垂直エッジが得られなくても、水平エッジから対象物の外形を認識することができるので、特に水平エッジを比較的多く抽出できる対象物を認識する確度が向上する。

請求項５の発明は、請求項４の対象物認識装置において、水平エッジ端候補選択手段が、対象物の左端および右端候補を選択できなかったならば、過去に認識された対象物の位置に基づいて推定した左端および右端を、対象物の左端および右端候補として選択する。

請求項５の発明によると、対象物の外形を認識するのに所望の水平エッジが得られなくても、過去に認識された対象物の位置に基づいて対象物の端候補を推定できるので、対象物を認識する確度が向上する。

請求項６の発明は、請求項４または請求項５の対象物認識装置において、垂直エッジ端候補選択手段が、水平エッジ端候補選択手段により選択された左端および右端候補の近傍にある、対象物の左端および右端の位置を表す垂直エッジを選択し、該垂直エッジに基づいて対象物の左端および右端候補を選択する。

請求項６の発明によると、水平エッジからの対象物の左端および右端候補に基づいて、対象物の左端および右端の位置を表す垂直エッジを選択するので、特に水平エッジを比較的多く抽出できる対象物の外形を正確に認識することができる。

請求項１の発明によると、背景などの周囲の環境の影響により所望の垂直エッジが得られなかった場合にも、水平エッジのみから対象物の外形を認識することができるので、対象物の外形を認識できる確度が向上する。

請求項２の発明によると、水平エッジから選択された端候補および垂直エッジから選択された端候補に基づいて対象物の外形を認識するので、対象物の外形を認識するのに所望の水平エッジまたは所望の垂直エッジが得られなかった場合でも、得られ方のエッジから対象物の外形を認識することができ、対象物の外形を認識できる確度が向上する。

請求項３の発明によると、水平エッジから選択された上下左右端候補および垂直エッジから選択された上下左右端候補に基づいて対象物の外形を認識するので、所望の水平エッジまたは所望の垂直エッジが得られなかった場合でも、得られ方のエッジから対象物の外形を認識することができ、特に外形が箱形に近似できる対象物を認識できる確度が向上する。

請求項６の発明によると、水平エッジからの対象物の左端および右端候補に基づいて対象物の左端および右端の位置を表す垂直エッジを選択するので、特に水平エッジを比較的多く抽出できる対象物の外形を正確に認識することができる。

次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施例の対象物認識装置の全体的なブロック図である。この実施例においては、この発明の対象物認識装置により認識すべき対象物を先行車両とする。

図１の撮像装置１は、自車両の前方を画像として撮像する装置である。撮像装置１は典型的には２次元のＣＣＤであり、２次元に配列されたフォトセンサのアレイであってもよい。夜間の使用を考慮すると赤外線を用いた撮像装置にするのがよい。この場合、レンズの前に赤外線透過性のフィルタを置き、赤外線の光源を用いて一定の周期で対象物を照射し、対象物から反射する赤外線を感知するようにするのがよい。撮像装置１により撮像された画像はアナログ・デジタル変換器（図示せず）を介してデジタルデータに変換され、画像記憶部２に格納される。

対象物位置特定部３は、典型的にはレーザレーダまたはミリ波レーダであり、レーザまたはミリ波を対象物に照射し、対象物からの反射波を受信して、自車両から対象物までの距離および自車両に対する対象物の相対的な方位を測定する。レーダは、単一ビームを自車両前方のある角度の範囲にわたって走査するスキャン型レーダを用いることができ、または複数ビームを車両前方のある角度の範囲にわたって照射する複数ビーム型のレーダを用いてもよい。レーダからのビームがカバーする角度の範囲は、認識すべき対象物が撮像装置１により撮像される可能性のある範囲に合わせて設定される。この実施例では認識すべき対象物が先行車両なので、レーダは、少なくとも自車両が走行する自車線領域をカバーするよう設定される。または、１サイクル前に撮像装置１により撮像され、特定された先行車両の位置情報に基づいて、自車両前方の先行車両に確実にビームを照射させるよう、レーダのビームの方位を随時変向させるようにしてもよい。特定された先行車両の距離Ｄおよび方位θは、図１の対象物位置記憶部４に記憶される。

他の実施例では、対象物位置特定部３を、一対の光学式撮像装置を用いて実現することができる。図２は、その場合の三角計測法による距離の計測原理を説明する図である。簡単に説明するため、図２における一対の撮像装置は、それぞれ一次元のラインセンサとする。ラインセンサ２８およびレンズ２６は、他方の撮像装置を構成するラインセンサ２９およびレンズ２７と所定の間隔すなわち基線長Ｂだけ左右方向に間隔をおいて配置されており、それぞれレンズ２６、２７の焦点距離ｆに配置されている。

レンズ２６、２７のある平面から距離Ｄにある対象物の像が、ラインセンサ２８ではレンズ２６の光軸からｄ1ずれた位置に形成され、ラインセンサ２９ではレンズ２７の光軸からｄ2だけずれた位置に形成されるとすると、レンズ２６、２７の面から対象物２５までの距離Ｄは、三角計測法の原理により、Ｄ＝Ｂ・ｆ／（ｄ1＋ｄ2）で求められる。撮像された画像はデジタル化されるので、距離（ｄ1＋ｄ2）はデジタル的に算出される。ラインセンサ２８および２９で得られる画像の片方または両方をシフトさせながら両画像のそれぞれ対応する画素の輝度を示すデジタル値の差の絶対値の総和を求め、これを相関値とする。相関値が最小値になるときの画像のシフト量が両画像の間の位置ずれ、すなわち（ｄ1＋ｄ2）を示す。観念的には図２に示すようにラインセンサ２８および２９から得られる２つの画像を重なり合わせるために２つの画像を相対的に移動させねばならない距離が（ｄ1＋ｄ2）である。自車両に対する対象物２５の方位θは、たとえばレンズ２７の光軸を基準とすると、tanθ＝d2／ｆのように求めることができる。

上記の一対の撮像装置による距離の計測は、たとえば撮像された画像を多数のウィンドウに細分し、ウィンドウごとに計測される。計測された距離を、予め計測して保持されたウィンドウごとの道路までの距離と比較し、道路までの距離よりも短ければ、そのウィンドウについての計測距離を対象物までの距離と判断することができる。たとえば、撮像された画像のうち、ハンドル角などを考慮して自車線領域と考えられるウィンドウを走査して距離を計測することにより、自車両前方にある先行車両までの距離を計測することができる。

対象物位置特定部３を、上記に説明したレーダおよび一対の撮像装置を併用して実現することができる。たとえば、一対の撮像装置により撮像された画像による距離および方位の計測が困難な状況（前方の先行車両が自車両から遠方にある、またはトンネルなど薄暗い場所を走行していて先行車両の撮像が不安定となるような状況）ではレーダによって計測するというようにしてもよい。また、レーダによる距離および方位の計測は、自車両前方の一定の角度範囲に限定され、撮像装置ほど広い視界をカバーするのが困難なことがあるので、撮像装置により計測された先行車両の方位に合わせて、レーダのビームの向きを随時変えるようにしてもよい。しかしながら、この実施例では、対象物位置特定部３をミリ波レーダまたはレーザレーダのようなレーダにより実現し、自車両前方の先行車両の位置（距離および方位）を特定する。

図１の対象物認識部２１は、撮像装置１により得られた画像内に処理領域を設定し、処理領域から抽出されたエッジを使用して先行車両の認識を行う。対象物認識部２１による処理は、撮像装置１から取り込んだ画像および対象物位置特定部３により計測された対象物の位置に基づいて、ある検出時間間隔（たとえば、１００ミリ秒）で実行される。以下、対象物認識部２１による対象物認識の方法を詳細に説明する。

図１の処理領域設定部５は、対象物位置記憶部４に記憶された対象物の位置および予め決められた認識すべき対象物の大きさに基づいて、画像記憶部２に記憶された撮像画像内に処理領域を設定する。予め決められた認識すべき対象物の大きさは、処理領域設定部５により予め保持されており、認識すべき対象物全体を囲むことができるよう設定されている。

処理領域の設定方法を、図３および図４を参照して説明する。図３は、前方を走行する先行車両４０を撮像した画像である。図３に示すように、撮像した画像においてｘおよびｙ軸を定め、処理領域３０を座標（Ｘa1,Ｙa1）および（Ｘa2,Ｙa2）を使用して設定する。

図４は、この処理領域３０を設定する方法を示しており、図４の（ａ）は、処理領域を特定するｘ座標すなわちＸa1およびＸa2を求める方法を示す図であり、図４の（ｂ）は、処理領域を特定するｙ座標すなわちＹa1およびＹa2を求める方法を示す図である。

図４の撮像装置１は、自車両に搭載されている撮像装置１を示しており、自車両前方を走行する先行車両４０を撮像する。ｆは、撮像装置１に備えられたレンズ４５の焦点距離であり、レンズの特性により定まる値である。ＷおよびＨは、予め決められた先行車両の幅および高さであり、たとえばＷは２メートル、Ｈは２．５メートルのように設定することができる。Ｄおよびθは、対象物位置記憶部４に格納された先行車両の自車両からの距離および自車両に対する相対的な方位を示す。ｈは、道路から自車両に搭載された撮像装置１のレンズ４５の中心までの高さを示し、撮像装置１の自車両内の位置により定まる。

処理領域設定部５は、これらのパラメータＷ、Ｈ、ｈを用い、対象物位置記憶部４に記憶されたＤおよびθを抽出して、以下の式により処理領域３０を特定する座標（Ｘa1、Ｙa1）および（Ｘa2,Ｙa2）を算出する。

または、Ｙa1およびＹa2については、自車両のピッチングを考慮して、以下のようにピッチング余裕分のαを加えるようにしてもよい。

こうして、座標（Ｘa1、Ｙa1）および（Ｘa2,Ｙa2）を使用して、撮像された画像内に処理領域３０が図３のように設定され、またはピッチングを加味して図５のように設定される。

図１の水平エッジ抽出部７および垂直エッジ抽出部９は、処理領域設定部５により設定された処理領域内から、それぞれ水平方向のエッジおよび垂直方向のエッジを抽出する。この実施例では、水平方向および垂直方向の両方についてエッジを抽出する。水平および垂直エッジの両方とも基本的にが同じ方法で抽出されるので、ここでは水平エッジの抽出について説明する。ここで抽出されるエッジは、画像において輝度が変化する部分を示す。図６に、水平エッジ抽出部７により実行される、エッジを抽出するフローチャートを示す。最初に、水平エッジ抽出部７は、処理領域３０内のそれぞれの画素に対して水平方向にフィルタリング処理を行い、水平方向に輝度差のあるエッジ部分を強調する（ステップ６１）。図７の（ａ）は、水平方向のエッジを検出するための水平エッジ用フィルタの例であり、以下に述べる計算の都合上、図７の（ｂ）のようにフィルタのそれぞれの要素に座標を付す。

処理領域３０内を図７の水平エッジ用フィルタで走査し、処理領域３０内のそれぞれの画素の輝度値に対して以下の式（７）の計算を施すことにより、水平方向のエッジを検出する。

ここで、ｘおよびｙは、処理領域３０内の画素の位置を特定する座標を示す。Ｇ(x,y)は、撮像されてデジタルデータに変換されたときの座標(x,y)にある画素の輝度値を示し、Ｐ(x,y)は、フィルタリング処理を行った後の座標(x,y)にある画素の輝度値を示す。Ｆ(i,j)は、図７の（ａ）に示す水平エッジ用フィルタの座標(i,j)にあるフィルタ要素の値を示す。水平エッジ用フィルタは、水平方向のエッジを強調するよう値が定められているので、上記の計算をそれぞれの画素に対して行うことにより、水平エッジを検出することができる。

他の実施形態では、式（７）の代わりに、以下の式（８）のように単純に垂直方向に隣あった画素間で輝度値の引き算を行う微分処理によりフィルタリング処理を行うことができる。ここで、ｎは任意の整数であり、たとえばｎ＝１である。

次に、フィルタリング処理が行われたそれぞれの画素の輝度値Ｐに基づいて、輝度ヒストグラムを算出する（ステップ６３）。この実施例で使用する輝度値は、２５６の階調（真黒「０」から真白「２５５」の間）を持つデジタルデータとして表される。図８は輝度ヒストグラムの例を示し、横軸は輝度値を示し、右にいくほど高い輝度値を示す。縦軸は、それぞれの輝度値をもつ画素数を示す。

このヒストグラムに基づいて、低輝度側の画素数と高輝度側の画素数が所定の割合となる輝度値を２値化しきい値として設定する（ステップ６５）。たとえば、処理領域３０の全画素数に対し、先行車両を示すエッジを構成する画素数の割合を予めある程度推定し、ある輝度値以上でその割合になる値をヒストグラムから求めて２値化しきい値とすることができる。この２値化しきい値を使用し、たとえば高輝度側を「１」、低輝度側を「０」として、処理領域３０内のそれぞれの画素が２値化される（ステップ６７）。こうして２値化された画素のうち、値「１」を持つ画素をエッジ点と呼ぶ。２値化しきい値の設定には既知の様々な方法があり、ここで用いる方法はその一例であり、ここで用いる方法はその一例であり、他の方法を用いてもよい。

次に、２値化によって得られた値「１」を持つ画素すなわちエッジ点を抽出し、エッジ点が連続していれば１つのまとまった水平エッジとしてグループ化する。エッジ点をグループ化する手法として、この実施例ではテンプレートを使用したラベリング処理を利用する。このラベリング処理を、図９を参照して説明する。

図９の（ａ）のＴ１〜Ｔ３はテンプレートにおける位置を示す。図９の（ｂ）のＶ１〜Ｖ３は、あるエッジ点にＴ２が合うようテンプレートが置かれた時の、Ｔ１〜Ｔ３の位置にそれぞれ対応する画素の値（１またはゼロ）をそれぞれ示す。図９の（ｃ）のＬ１〜Ｌ３は、あるエッジ点にＴ２が合うようテンプレートが置かれた時の、Ｔ１〜Ｔ３の位置にそれぞれ対応する画素に付与されたラベルを示す。

また、図９の（ｄ）の表は、あるエッジ点にＴ２が合うようテンプレートが置かれたときの、Ｔ１〜Ｔ３の位置に対応する画素の値に基づいて、Ｔ２の位置に対応するエッジ点にどのようなラベルＬ２が付与されるかを示したものである。たとえば、Ｔ１〜Ｔ３の位置に対応する画素の値Ｖ１〜Ｖ３が条件４を満たせば、Ｔ２に対応するエッジ点のラベルＬ２には、Ｔ１に対応する画素のラベルＬ１と同じラベルが付与される。なお、条件１が満たされた時に付与されるラベル「Ｌ」は、まだ使用されていない新たなクラスタラベルを示す。図９の（ｅ）に示すように、テンプレートのＴ２が処理領域３０内のエッジ点に順次置かれるよう処理領域３０を走査し、エッジ点にラベルＬ２を付与していく。

図１０は、ラベル付与の処理を説明するための図である。図１０の（ａ）は、２値化された画素（値ゼロは単なる「・」で示されている）を示す画像の一部の例である。画素のうち値１をもつエッジ点にテンプレートのＴ２が合うようテンプレートが置かれ、上記のようにラベル付与処理を行うと、図１０の（ｂ）に示すように連続したエッジ点に同じラベルが付与される。

図９の（ｄ）の条件５を満たす場合には、テンプレートのＴ１およびＴ３に対応するラベルを連結し、テンプレートＴ３に対応するラベルをテンプレートＴ１に対応するラベルに置き換える。たとえば、図１０の（ｂ）のエッジ点９１と９２およびエッジ点９２と９３は図９の（ｄ）の条件５を満たすので、結果としてラベルＤおよびラベルＥをもつエッジ点のすべてが、ラベルＣに付与しなおされる（図１０の（ｃ））。このラベルを連結する処理は、処理領域３０内のすべてのエッジ点を走査してラベルを付与した後に行ってもよい。ラベルを連結することにより、連続するエッジ点はもれなく同じラベルが付与された１つのエッジ群となる。図１０の（ｃ）には、ラベルＡ、ＢおよびＣの３つのエッジ群が示される。このように、水平方向のそれぞれのエッジ群すなわち水平エッジが抽出される。

垂直エッジ抽出部９は、図６のステップ６１のフィルタリング処理で、水平エッジ用フィルタの代わりに図１１に示す垂直エッジ用フィルタを使用することをのぞき、水平エッジと同様の手法で処理領域３０内の垂直エッジを抽出する。

図１に戻り、水平エッジ判定部１１は、認識すべき対象物の予め設定された特徴に基づいて、水平エッジ抽出部９により抽出されたエッジが、認識すべき対象物を示すかどうか判定する。たとえば水平エッジの場合、この実施例のように認識すべき対象物が先行車両とすると、先行車両が画像に表されたときの特徴、すなわち箱形で水平エッジが比較的多く、しかも直線的なエッジを持っていることなどに基づいてエッジ判定を行うことができる。具体的には、
１）処理領域設定部５により設定された処理領域の境界線上の画素を含むエッジは、先行車両以外のものを示すエッジと判定する。

２）水平エッジ抽出部７により抽出された水平エッジの直線性を調べ、直線性の悪いエッジは、先行車両以外のものを示すエッジと判定する。

３）水平エッジ抽出部７により抽出された水平エッジの傾きを調べ、傾きが大きいエッジは先行車両以外のものを示すエッジと判定する。

図１２は、上記１）〜３）の水平エッジのパターンの例を示す。図１２の（ａ）は撮像された画像を示し、先行車両４０の手前に路面標識１２０が、向こう側に山の稜線１３０が、サイドに白線１４０が写し出されている。路面標識１２０は、処理領域３０を横切るようにして広がっている。図１２の（ｂ）は、水平エッジ抽出部７により図１２の（ａ）の画像に対して抽出された水平エッジの２値化画像を示す。この２値化画像には、先行車両４０を示すエッジだけでなく路面標識１２０を示すエッジ１２５および１２６、山の稜線１３０の一部を示すエッジ１３５〜１３７、および白線１４０を示すエッジ１４５および１４６が抽出されている。

処理領域３０は、前述したように先行車両を囲むよう設定されているので、処理領域を横切る水平エッジは先行車両以外のものを示すと判定することができる。具体的には、処理領域３０は、前述したように座標（Ｘa1,Ｙa1）および（Ｘa2,Ｙa2）で特定されるので、水平エッジ判定部１１は、水平エッジを構成する画素のｘ座標値を調べ、ｘ座標値がＸa1またはＸa2を持つエッジ点があるならば、その水平エッジを処理領域３０の境界線を横切るエッジと判断し、その水平エッジは先行車両以外のものを示すと判定する。図１２の（ｂ）の例では、エッジ１２５または１２６が、ｘ座標値Ｘa1またはＸa2を持つエッジを含むので、エッジ１２５および１２６を先行車両以外のものを示すと判定する。

さらに、先行車両を示す水平エッジは水平方向に曲線を描くことはないので、水平エッジ判定部１１は、このような直線性の悪いエッジ１３５〜１３７は、先行車両以外のものを示すと判定する。水平エッジ判定部１１は、抽出された水平エッジを構成するエッジ点のそれぞれのｙ座標値の分散を算出し、ｙ座標が、予め決められた所定値以上にわたって分散するならば、その水平エッジは先行車両以外のものを示すと判定する。

さらに、先行車両を示す水平エッジは水平方向に大きな傾きを持つことはないので、水平エッジ判定部１１は、このような傾きの大きいエッジ１４５および１４６は、先行車両以外のものを示すと判定する。水平エッジ判定部１１は、水平エッジを構成するエッジ点のｘおよびｙ座標を用いて最小二乗法による直線近似を行い、その傾きを調べ、傾きが予め決められた所定値以上であるならば、その水平エッジは先行車両以外のものを示すと判定する。

こうして水平エッジを判定することにより、先行車両を示すと判定された水平エッジと先行車両以外のものを示すと判定された水平エッジとは、それぞれ区別できるよう水平エッジ記憶部１２に記憶される。たとえば、先行車両を示すと判定された水平エッジを構成するエッジ点の画素の値を「１」のまま記憶し、先行車両以外のものを示すと判定された水平エッジを構成するエッジ点の画素の値をゼロに反転して記憶する。または、先行車両以外のものを示すと判定された水平エッジを構成するエッジ点にのみ何らかのフラグを付けて記憶し、その後の処理に使用しないようにすることもできる。図１２の（ｃ）は、先行車両以外のものを示すと判定されたエッジ１２５および１２６、１３５〜１３７、１４５および１４６を除外した後の水平エッジを示す２値化画像である。

処理領域の境界線上の画素を含む水平エッジを示すものとして、たとえば背景の建築物、路面上の停止線等の標識が考えられ、直線性の悪い水平エッジを示すものとして、たとえば樹木などの自然物、店の看板として使用される旗などが考えられ、傾きの大きい水平エッジを示すものとして、たとえばガードレール、追い越し禁止車線、路側構造体などが考えられる。上記の処理を行うことにより、このような先行車両以外のものを示す水平エッジに基づいた先行車両の誤認識をなくすことができる。

こうして、認識すべき対象物の予め設定された特徴に基づいて、水平エッジが認識すべき対象物を示すかどうか判定することができる。上記の１）〜３）の判定条件は、そのうちのいずれかを使用して判定してもよく、またはいくつかを併用して判定してもよい。さらに、認識すべき対象物の特徴を表すような新たな判定条件を加えて判定するようにしてもよい。上記の予め設定された特徴は、認識すべき対象物が何であるかに依存して、たとえば対象物の大きさ、形状、輪郭などの対象物の特徴に応じて変えることができる。

垂直エッジ判定部１３は、水平エッジ判定部１１によるものと同様の手法で、垂直エッジ抽出部９により抽出されたエッジが、先行車両を示すかどうか判定する。先行車両を示すと判定された垂直エッジと先行車両以外のものを示すと判定された垂直エッジとは、それぞれ区別できるよう垂直エッジ記憶部１４に記憶される。

図１に戻り、対象物外形認識部１５は、水平エッジ記憶部１２および垂直エッジ記憶部１４にそれぞれ記憶された、対象物を示すと判定されたエッジに基づいて対象物の外形を認識する。この実施例では認識すべき対象物が先行車両であるので、画像に表されたときに対象物を箱形ですることができ、したがって対象物の外形を上端、下端、左端および右端の位置で認識する。

図１３は、対象物外形認識部１５の詳細を示すブロック図である。図１４の（ａ）は、水平エッジ判定部１１により先行車両を示すと判定された水平エッジを表す２値化画像である。図１４の（ｂ）は、図１４の（ａ）に対応するヒストグラムであり、図のようにｙ軸を定め、処理領域３０内の水平エッジを構成するエッジ点のｙ座標ごとの数を表す。水平エッジ端候補選択部３１は、このヒストグラムを算出し、所定値Ｐ１以上のエッジ点を有する水平エッジで、かつ処理領域３０の上の境界線Ｙa1および下の境界線Ｙa2に最も近い水平エッジ１３１および１３２をそれぞれ選択し、この水平エッジに対応するｙ座標値をそれぞれ先行車両の上端候補および下端候補として選択する。所定値Ｐ１は、処理領域３０の水平方向の幅および認識すべき対象物の水平方向の幅に応じて定められる。所定値Ｐ１以上のエッジ点を有し、処理領域３０の境界線に最も近い水平エッジを選択するのは、そのような水平エッジが先行車両の上端および下端の位置を最もよく表すからである。図１４の（ｂ）のヒストグラムでは、先行車両の上端候補はYch1により特定され、下端候補はYch2により特定される。

次に、水平エッジ端候補選択部３１は、図１４の（ｂ）のヒストグラムに基づいて、上端候補Ych1および下端候補Ych2の間に存在し、最も先行車両の特徴を表す水平エッジを選択する。この実施例では、所定値Ｐ１以上の最も多くのエッジ点を有する（すなわち、水平方向に最も長い）水平エッジ１３３を選択し、その水平エッジ１３３の左端および右端に対応するｘ座標値を、それぞれ先行車両の左端候補および右端候補として選択する。最も長い水平エッジを選択するのは、この実施例のように認識すべき対象物が先行車両である場合、画像にほぼ箱形で表されるので、最も長い水平エッジが先行車両の左端および右端の位置を最もよく表すと考えることができるからである。ここで使用される所定値Ｐ１は、上記の上端および下端候補を選択するための所定値Ｐ１よりも大きな値でもよい。また、左端および右端候補を選択するための水平エッジは、先に選択された上端および下端候補を選択するための水平エッジと同じであってもよい。図１４の（ａ）では、先行車両の左端候補はXch1により特定され、右端候補はXch2により特定される。こうして、水平エッジのみから先行車両の上端、下端、左端および右端候補がそれぞれ選択される。

先行車両の左端および右端の位置を表す水平エッジを選択することができない場合（たとえば、上端候補Ych1および下端候補Ych2のいずれかまたは両方を選択できないために、左端および右端候補を選択するための水平エッジを選択することができない場合）には、水平エッジ端候補選択部３１は、所定回数前（前述したように、対象物認識処理はある時間間隔ごとに実行される）に認識された先行車両の上端、下端、左端および右端の位置を表すｘおよびｙ座標値に基づいて、今回認識される先行車両の上端、下端、左端および右端を推定し、以下の式のように、それぞれ推定された端推定値pY1、pY2、pX1およびpX2を先行車両の上端、下端、左端および右端候補とすることができる。

端推定値は、所定回数前に認識された先行車両の上端、下端、左端および右端の位置そのものをそれぞれ用いることもでき、または車体の挙動を検出する手段により得られる車体の挙動値（たとえば、舵角やヨー）や相対速度の変化に基づいて補正された値を用いてもよい。また、対象物情報記憶部１８に時系列に記憶されている過去複数回にわたって認識された先行車両の位置に基づいて推定した値であってもよい。

また、水平エッジ端候補選択部３１が、水平エッジから上端および下端候補を選択することができたが、左端および右端候補を選択できなかった場合（たとえば、上端および下端候補より大きい所定値を使用して左端および右端候補を選択する場合に、その所定値以上の水平エッジを選択できなかった場合）、上端および下端は水平エッジから選択されたものを候補とし、左端および右端は、上記の左端推定値pX1および右端推定値pX2を候補とするようにしてもよい。

図１５の（ａ）は、垂直エッジ判定部１３により先行車両を示すと判定された垂直エッジを表す２値化画像である。図１５の（ｂ）は、図１５の（ａ）に対応するヒストグラムであり、図のようにｘ軸を定め、処理領域３０内の水平エッジを構成するエッジ点のｘ座標ごとの数を表す。垂直エッジ端候補選択部３３はこのヒストグラムを算出し、水平エッジ端候補選択部３１により選択された左端候補Xch1および右端候補Xch1の近傍にそれぞれあり、所定値Ｐ２以上の最も多くのエッジ点を有する（すなわち、垂直方向に最も長い）垂直エッジ１４１および１４２をそれぞれ選択する。このように、認識すべき対象物が先行車両の場合は水平エッジが比較的多く抽出されるので、先行車両の左端および右端を表す水平エッジに基づいて垂直エッジを選択するのが好ましい。また、最も長い垂直エッジを選択するのは、それが認識すべき先行車両の左端および右端の位置を最もよく表すと考えることができるからである。選択されたそれぞれの垂直エッジに対応するｘ座標値Xcv1およびXcv2が、それぞれ先行車両の左端および右端候補として選択される。

次に、垂直エッジ端候補選択部３３は、垂直エッジ１４１および１４２の上端のｙ座標値のうち、より上方のｙ座標値を持つ方の垂直エッジ（ここでは、エッジ１４１の上端よりもエッジ１４２の上端の方が画像においてより上方にあるので、エッジ１４２）を選択し、そのｙ座標値Ycv1を先行車両の上端候補として選択する。さらに、垂直エッジ１４１および１４２の下端のｙ座標値のうち、より下方のｙ座標値Ycv2をもつ方の垂直エッジ（ここでは、エッジ１４１）を選択し、そのｙ座補値を先行車両の下端候補として選択する。左端および右端にあるそれぞれの垂直エッジのうち、より上方およびより下方にある端をそれぞれ先行車両の上端および下端候補とするのは、先行車両を垂直方向に大きめに判断した方が、先行車両の位置の認識に余裕をもたせられるからである。こうして、垂直エッジのみから先行車両の上端、下端、左端および右端候補がそれぞれ選択される。

図１３に戻り、端認識部３５は、水平エッジ端候補選択部３１により端候補に選択されたYch1、Ych2、Xch1およびXch2、および垂直エッジ端候補選択部３３により端候補に選択されたYcv1、Ycv2、Xcv1およびXcv2に基づいて、先行車両の上端、下端、左端および右端の位置を認識する。これを、図１６のフローチャートを参照しつつ説明する。

垂直エッジ端候補選択部３３が先行車両の左端および右端候補の両方とも選択できた場合には、これら選択された左端候補Xcv1および右端候補Xcv2を、それぞれ先行車両の左端X1および右端X2と認識する（ステップ１６１および１６２）。垂直エッジ端候補選択部３３により選択された左端および右端候補は、先行車両の左端および右端の位置を表す水平エッジに基づいて選択されたものなので、それらを先行車両の左端および右端の位置と認識することにより、もっとも正確に先行車両の外形を認識することができる。

先行車両の上端および下端については、上端候補Ych1およびYcv1のうち画像においてより上方にある方を先行車両の上端Y1と認識し、下端候補Ych2およびYcv2のうち画像においてより下方にある方を先行車両の下端Y2と認識する（ステップ１６２）。先行車両を垂直方向に大きめに認識する方が、先行車両の位置の認識に余裕をもたせることができるので、このようにより上方およびより下方にある端候補を先行車両の上端および下端と認識するのが好ましい。または、上端候補Ych1およびYcv1のうち、過去に認識された先行車両の位置に基づいて推定された上端推定値pY1に近い方を先行車両の上端Y1と認識し、下端候補Ych2およびYcv2のうち、下端推定値pY2に近い方を先行車両の下端Y2と認識するようにしてもよい。特に、先行車両との相対速度が変わらない場合には、過去に認識された先行車両の位置に基づいて先行車両の上端および下端の位置を正確に認識することができる。

次に、垂直エッジ端候補選択部３３が先行車両の左端候補を選択できなかった場合、水平エッジ端候補選択部３１により選択された左端候補Xch1を先行車両の左端X1と認識し、垂直エッジ端候補選択部３３により選択された右端候補Xcv2を先行車両の右端X2と認識する（ステップ１６３および１６４）。先行車両の上端Y1および下端Y2は、上記のステップ１６２と同様に認識される。

図１７は、垂直エッジから左端候補を選択できない場合を示す。図１７の（ａ）は、処理領域３０内に先行車両４０が写っている画像を示す。図１７の（ｂ）は、水平エッジ端候補選択部３１により選択された上端、下端、左端および右端候補を示す。図１７の（ｃ）は、垂直エッジ端候補選択部３３により選択された上端、下端および右端候補を示し、左端候補は左側の垂直エッジが選択できなかったために選択されていない。図１７の（ｄ）は、端認識部３５により、水平エッジ端候補選択部３１で選択された左端候補Xch1が先行車両の左端X1として認識されたことを示す図であり、こうして先行車両４０の外形１００を認識することができる。

同様に、垂直エッジ端候補選択部３３が先行車両の右端候補を選択できなかった場合、水平エッジ端候補選択部３１により選択された右端候補Xch2を先行車両の右端X2と認識し、垂直エッジ端候補選択部３３により選択された左端候補Xcv1を先行車両の左端X1と認識する（ステップ１６５および１６６）。また、先行車両の上端Y1および下端Y2は、上記のステップ１６２と同様に認識される。

次に、垂直エッジ端候補選択部３３が先行車両の左端および右端候補の両方を選択できなかった場合、水平エッジ端候補選択部３１により上端、下端、左端および右端候補が選択されているならば、選択された水平エッジの上端、下端、左端および右端候補Ych1、Ych2、Xch1およびXch2を、それぞれ先行車両の上端、下端、左端および右端Y1、Y2、X1およびX2と認識する（ステップ１６７および１６８）。垂直エッジ端候補選択部３３により端候補がまったく選択されていないので、水平エッジのみに基づいて先行車両の上端、下端、左端および右端の位置を認識する。こうして、水平エッジのみから先行車両の外形を認識することができる。

図１８は、垂直エッジから先行車両の左端および右端候補の両方を選択できない場合を示す。図１８の（ａ）は、処理領域３０内に先行車両４０が写っている画像を示す。図１８の（ｂ）は、水平エッジ端候補選択部３１により選択された上端、下端、左端および右端候補を示す。図１８の（ｃ）は、垂直エッジ端候補選択部３３が垂直エッジを全く選択できなかったために上端、下端、左端および右端候補のすべてが選択されていないことを示す。図１８の（ｄ）は、端認識部３５により、水平エッジ端候補選択部３１により選択された上端、下端、左端および右端候補Ych1、Ych2、Xch1およびXch2が、先行車両の上端、下端、左端および右端Y1、Y2、X1およびX2と認識されたことを示す図であり、こうして先行車両４０の外形１００が認識される。認識すべき対象物が先行車両であり、比較的多くの水平エッジが抽出されるので、水平エッジのみからでも先行車両の外形を認識することができる。

最後に、垂直エッジ端候補選択部３３が左端および右端候補の両方を選択できず、かつ水平エッジ端候補選択部３１が上端、下端、左端および右端候補を選択できずに過去に認識された先行車両の位置に基づく端推定値を使用しているならば、「先行車両無し」と判断する（ステップ１６７および１６９）。垂直エッジからも水平エッジからも先行車両の端を示す端候補を選択できないので、先行車両が存在しないとみなすことができるからである。

このように、垂直エッジから左端および右端候補のいずれかまたは両方を選択できなくても、水平エッジから上端、下端、左端および右端候補を選択して対象物の外形を認識することができるので、対象物の外形を認識できる確度が向上する。また、水平エッジから上端、下端、左右端候補のいずれかを選択できなくても、過去に認識された対象物の位置に基づいて対象物の上端、下端、左端および右端を推定して端候補とするので、対象物の外形を認識できる確度が向上する。したがって、実際には対象物が存在するにかかわらず、水平エッジまたは垂直エッジから上端、下端、左端および右端候補を選択できないがために「対象物無し」と誤って認識されることがなくなり、対象物を認識する確度が向上する。

図１に戻り、対象物情報出力部１７は、対象物外形認識部１５により認識された先行車両の外形情報すなわち先行車両の上下左右端の位置を車両走行制御装置１９に出力する。さらに、対象物情報出力部１７は、対象物外形認識部１５から受け取った先行車両に関する情報を対象物情報記憶部１８に記憶し、記憶された情報は、前述したように水平エッジ端候補選択部３１により過去の先行車両情報に基づいて端を推定するときに使用される。

車両走行制御装置１９は、受け取ったこれらの情報に基づいて車両の走行制御を行う。たとえば、先行車両までの距離が適切であるよう自車両を制御したり、先行車両との車間距離がある所定値以下になった場合に運転者に音声やアラームで警告を発したり、自車両のエンジンを制御して強制的に減速させたりなどの制御をすることができる。

図１に示した処理領域設定部５、水平エッジ抽出部７、垂直エッジ抽出部９、水平エッジ判定部１１、垂直エッジ判定部１３、水平エッジ記憶部１２、垂直エッジ記憶部１４、対象物外形認識部１５、対象物情報出力部１７および車両走行制御装置１９は、中央演算処理装置（ＣＰＵ）、制御プログラムおよび制御データを格納する読み出し専用メモリ、ＣＰＵの演算作業領域を提供し様々なデータを一時記憶することができるランダムアクセスメモリ（ＲＡＭ）で構成することができる。画像記憶部２、対象物位置記憶部４、水平エッジ記憶部１２、垂直エッジ記憶部１４および対象物情報記憶部１８は、１つのＲＡＭのそれぞれ異なる記憶領域を使用して実現することができる。また、各種の演算で必要となるデータの一時記憶領域も同じＲＡＭの一部分を使用して実現することができる。

また、この発明の対象物認識装置をエンジンの電子制御ユニット（ＥＣＵ）、ブレーキ制御ＥＣＵその他のＥＣＵとＬＡＮ接続して対象物認識装置からの出力を車両の全体的な制御に利用することができる。

この発明の一実施例の全体的な構成を示すブロック図。三角計測法による距離の計測原理を説明するための図。処理領域を示す図。処理領域の設定方法を説明するための図。ピッチング余裕分を加えた処理領域を示す図。エッジ抽出方法を示すフローチャート。（ａ）水平エッジ抽出用フィルタおよびフィルタ要素の座標を示す図。フィルタ画像の輝度ヒストグラムを示す図。エッジをグループ化するための（ａ）〜（ｃ）テンプレート、（ｄ）エッジ点にラベルを付与する条件および（ｅ）テンプレートの走査を示す図。エッジをグループ化するための、エッジ点にラベルを付与する方法を説明する図。垂直エッジ用フィルタを示す図。抽出された水平エッジが、認識すべき対象物を示すか否かを判断する方法を説明するための図であり、例として処理領域の境界線上の画素を含む水平エッジ、直線性の悪い水平エッジおよび傾きの大きい水平エッジを示す図。対象物外形認識部の詳細を示すブロック図。水平エッジ端候補選択部による対象物の上下左右端候補の選択を説明するための図。垂直エッジ端候補選択部による対象物の上下左右端候補の選択を説明するための図。端認識部による対象物の外形を認識する方法を示すフローチャート。垂直エッジ端候補選択部が左端候補を選択できない場合を示す図。垂直エッジ端候補選択部が左端候補および右端候補の両方を選択できない場合を示す図。

符号の説明

１撮像装置
３対象物位置特定部
５処理領域設定部
７，９エッジ抽出部
１１，１３エッジ判定部
１５対象物外形認識部
３０処理領域
４０先行車両

Claims

対象物の位置を特定する対象物位置特定手段と、
前記対象物を撮像する撮像装置と、
前記特定された対象物の位置および予め決められた認識すべき対象物の大きさに基づいて、前記撮像装置により得られた画像上に処理領域を設定する処理領域設定手段と、
前記処理領域に含まれる画素の輝度値に基づいて、前記処理領域から水平エッジおよび垂直エッジを抽出するエッジ抽出手段と、
前記認識すべき対象物の予め設定された特徴に基づいて、前記抽出された水平エッジおよび垂直エッジのそれぞれが、該認識すべき対象物を示すかどうか判定するエッジ判定手段と、
前記対象物を示すと判定された水平エッジから、該対象物の上端、下端、左端および右端の位置を表す水平エッジを選択し、該水平エッジに基づいて該対象物の上端、下端、左端および右端候補を選択する水平エッジ端候補選択手段と、
前記対象物を示すと判定された垂直エッジから、前記水平エッジ端候補選択手段により選択された左端および右端候補の近傍にある、該対象物の左端および右端の位置を表す垂直エッジを選択し、該垂直エッジに基づいて該対象物の左端および右端候補を選択すると共に、該対象物を示すと判定された垂直エッジから、該対象物の上端および下端を表す垂直エッジを選択し、該垂直エッジに基づいて該対象物の上端および下端候補を選択する垂直エッジ端候補選択手段と、
前記水平エッジ端候補選択手段により選択された上端、下端、左端および右端候補および前記垂直エッジ端候補選択手段により選択された上端、下端、左端および右端候補に基づいて、該対象物の上端、下端、左端および右端の位置を認識することにより、該対象物の外形を認識する対象物認識手段と、
を備える、対象物認識装置。
前記垂直エッジ端候補選択手段が左端候補および右端候補のいずれかまたは両方を選択できなかったならば、該選択されなかった端候補については、前記水平エッジ端候補選択手段により選択された端候補を、該対象物の端の位置として認識するようにした、
請求項１に記載の対象物認識装置。