JP2006084218A - 物体検出装置、および方法 - Google Patents

Abstract

【課題】 自車両と衝突する可能性が高い物体を検出するにあたって、誤検出物体を効率的に排除すること。
【解決手段】 撮像画像の横方向の速度を検出し（ステップＳ２）、「背景と異なる画面領域」の検出を行って、自車両前方に存在する自車両に向かって飛び出してくる物体を含む領域を設定する（ステップＳ３）。その後、検出した「背景と異なる画面領域」のうち、実際には静止しているにも関わらず、自車両の振動によって横方向の速度が検出されてしまった物体を含む領域を誤検出領域として検出し、当該誤検出領域を削除する（ステップＳ４）。そして、誤検出領域を削除した結果残った「背景と異なる画面領域」を、自車両前方に存在する移動物体であると判定する（ステップＳ５）。
【選択図】 図２

Description

本発明は、車両前方に存在する移動物体を検出する物体検出装置、および方法に関する。

次のような周辺監視装置が特許文献１によって知られている。時間的に連続して撮像した自車両前方の画像１、および画像２の撮像時間間隔と、自車両の速度とに基づいて、画像１を撮像してから画像２を撮像するまでに自車両が移動した距離を算出する。そして、算出した移動距離に基づいて画像1の路面画像を水平移動により射影変換して得た推定画像と、画像２とを比較して、路面上のペイントや汚れなどの検出不要な物体を削除して、これらを他車両等と誤検出しないようにした。

特開２０００−７４６４５号公報

しかしながら、従来の装置においては、画像の撮像時間間隔と自車両の速度のみを考慮して検出不要物体の削除を行っているため、画像撮像時に車両に上下方向の振動が発生した場合には、検出不要な物体を正しく削除できず、これらを他車両等と誤検出してしまう可能性があるという問題点が生じていた。

本発明は、撮像された自車両前方の画像を画像処理して、画像内に存在する物体の横方向の速度情報を算出し、算出した画像内に存在する物体の横方向の速度情報に基づいて、画像上の背景とは異なる速度方向を持つ物体を含む領域を設定し、設定された領域の中から画像上の斜線に対して設定された領域を誤検出領域として抽出し、設定された領域の中から抽出された誤検出領域を削除して、残りの領域に含まれる物体を自車両前方に存在する移動物体であると判定することを特徴とする。

本発明によれば、画像撮像時に車両に上下方向の振動が発生した場合には、画像上に存在する静止物体の斜線から横方向の移動速度が検出されることを考慮して、画像上の斜線に対して設定された領域を誤検出領域として抽出して削除することとした。これによって、画像撮像時に車両に上下方向の振動が発生した場合の誤検出を正確に判定して、検出不要な物体を削除することができる。

図１は、本実施の形態における物体検出装置の一実施の形態の構成例を示すブロック図である。物体検出装置１００は、車両に搭載され、車両前方を撮像するカメラ１０１と、カメラ１０１で撮像した画像を格納する画像メモリ１０２と、カメラ１０１で撮像された画像を画像処理して、画像内に存在する物体を検出する制御装置１０３と、後述する画素カウンタのカウント値を記憶するカウンタメモリ１０４とを備えている。

カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有し、車両の車室内上部前方に、その光軸が車両前方正面方向に向くように設置される。そして、一定時間Δｔ間隔で連続的に車両前方を撮影し、撮像画像を画像メモリ１０２へ出力して記憶する。制御装置１０３は、図２により後述する処理を実行して、画像メモリ１０２に記憶された自車両前方の撮像画像を画像処理して、自車両前方に存在する移動物体の検出を行う。

図２は、本実施の形態の物体検出装置１００の動作を示すフローチャートである。図２に示す処理は、不図示のイグニションスイッチがオンされると起動するプログラムとして制御装置１０３により実行される。ステップＳ１において、カメラ１０１によって一定時間Δｔ間隔で撮像され、画像メモリ１０２に記憶された撮像画像の読み込みを開始する。すなわち、一定時間Δｔ間隔で撮像された画像を処理終了までの間、逐一画像メモリ１０２から取得する。

その後、ステップＳ２へ進み、図３により後述する横方向の速度検出処理を実行して、撮像画像における各画素の横方向の速度を検出し、ステップＳ３へ進む。ステップＳ３では、図４、および図５により後述するように、「背景と異なる画面領域」の検出を行って、自車両前方に存在する自車両に向かって飛び出してくる物体を含む領域を設定する。その後、ステップＳ４へ進む。ステップＳ４では、図６、および図７により後述するように、検出した「背景と異なる画面領域」のうち、実際には静止しているにも関わらず、自車両の上下方向の振動（ピッチング）によって横方向の速度が検出されてしまった物体を含む領域を誤検出領域として検出し、当該誤検出領域を削除する。

その後、ステップＳ５へ進み、誤検出領域を削除した結果残った「背景と異なる画面領域」を、自車両前方に存在する移動物体を含む領域であると判定する。その後、ステップＳ６へ進む。ステップＳ６では、イグニションスイッチがオフされたか否かを判断し、イグニションスイッチがオフされていないと判断した場合には、ステップＳ２へ戻り、上述した処理を繰り返す。一方、イグニションスイッチがオフされたと判断した場合には、処理を終了する。

図３は、上述したステップＳ２０における横方向の速度検出処理の流れを示すフローチャートである。ステップＳ１１において、画像メモリ１０２から取得した画像に基づいて横方向の微分画像を得る。その後、ステップＳ１２へ進み、横方向の微分画像に対して所定の閾値を用いて２値化することによって、横方向のエッジを抽出したエッジ画像を得る。その後、ステップＳ１３へ進み、横方向のエッジを抽出したエッジ画像に対して、細線化処理を行ってエッジの中心を正確に求めることでエッジの動きを正確に把握する。その後、ステップＳ１４へ進み、細線化されたエッジを膨張させる。これにより均一な幅を持ったエッジ画像を得ることができる。その後、ステップＳ１５へ進む。

ステップＳ１５では、カウンタメモリ１０４に記憶されている画素カウンタを更新する。画素カウンタとは、エッジ画像の各画素に対応したカウンタであり、毎フレームごとにエッジが存在した画素に対応する画素カウンタのカウント値に１を加算し、エッジが存在しなかった画素に対応する画素カウンタのカウント値は０で初期化する。これによりエッジ存在時間が長い画素はカウント値が大きく、エッジ存在時間が短い画素はカウント値が小さくなる。ステップＳ１５で画素カウンタを更新した後は、ステップＳ１６へ進む。

ステップＳ１６では、あらかじめ設定された所定枚数のフレーム画像に対して、上述した処理を実行したか否かを判断する。あらかじめ設定された所定枚数のフレーム画像に対する処理が完了していないと判断した場合には、ステップＳ１１へ戻り、処理を繰り返す。これに対して、あらかじめ設定された所定枚数のフレーム画像に対する処理が完了したと判断した場合には、ステップＳ１７へ進む。

ステップＳ１７では、横方向に隣接するそれぞれの画素に対応する画素カウンタのカウント値の差分を取ることで各画素におけるエッジ存在時間の差を算出して、当該エッジが１画素移動するのに要する時間を得る。そして、この値の逆数を得ることで、各画素における画像空間内の横方向の速度を算出することができる。この各画素における画像空間内の横方向の速度は、各画素に含まれるエッジの横方向の速度に相当する。その後、図２に示す処理に復帰する。

次に、自車両前方を撮像した画像である図４および図５により、上述したステップＳ３における「背景と異なる画面領域」の検出処理について説明する。自車両が直進しているときには、撮像画像における背景は図４に示すように進行方向に存在する画像内のＦＯＥ（Ｆｏｃｕｓ ｏｆ Ｅｘｐａｎｓｉｏｎ）４ａから画像の外方向に向かう放射状に速度方向を持つ。すなわち、自車両が直進しているときは背景４ｂ路面上の白線６ｃおよび７ａは画面中央から画面外側に向かって湧き出すように移動する。これに対し自車の前方を通過しようとする飛び出し物体、例えば他車両４ｃは画面外側から画面中央に向かう速度方向を持つ。

したがって、横方向の速度を算出したエッジ画像において、画面中央に向かう速度方向を持つ画素は、飛び出し物体のエッジを含んでいると判断する。そして、図５に示すように、エッジ画像を縦長の短冊状に区切り、各短冊状領域において背景と異なる速度方向を持つ画素、すなわち画面外側から画面中央に向かう速度方向を持つ画素が存在する範囲５ａ〜５ｃを「背景と異なる画面領域」として設定する。

次に、図６および図７により上述したステップＳ４における誤検出領域の削除処理について説明する。自車両がピッチングすることによってカメラ１０１が上下に振動した場合には、これに伴ってカメラ１０１で撮像した画像上の静止物体も上下に振動する。

この場合、図６に示すように、画像上の横線は、現在時刻ＴからΔＴ秒前における画像上の位置６ｅから現在時刻Ｔのおける画像上の位置６ｆのように縦方向に移動するため、画像上の横方向の動き、すなわち横方向の移動速度は検出されず、カメラ１０１の上下方向の振動に伴って静止物体が誤検出され、当該静止物体を含む領域が上述した「背景と異なる画面領域」として誤って設定されることはない。同様に、画像上の縦線も、現在時刻ＴからΔＴ秒前における画像上の位置６ａから現在時刻Ｔのおける画像上の位置６ｂのように縦方向に移動するため、横方向の移動速度は検出されず、カメラ１０１の上下方向の振動に伴って静止物体を含む領域が「背景と異なる画面領域」として誤って設定されることはない。

これに対して、画像上に存在する斜め方向の線、例えば路面の白線６ｃは、カメラ１０１の上下方向の振動に伴って現在時刻ＴからΔＴ秒前における画像上の位置６ｃから現在時刻Ｔにおける画像上の位置６ｄのように移動する。これによって、画像上において、縦方向の動きとともに横方向の動きも検出されてしまい、横方向の移動速度が検出されることになる。これにより、実際には停止している物体であるにも関わらず、画面中央に向かう横方向の速度が誤検出され、静止している路面の白線を含む領域が「背景と異なる画面領域」として誤って設定されてしまう可能性がある。

このような場合、誤検出された静止物体に基づいて設定された「背景と異なる画面領域」を削除する必要がある。例えば、図７に示すように、画像上の他車両４ｃと路面の白線７ａ、から横方向の移動速度が検出され、太線で示す各領域が「背景と異なる画面領域」として設定されたとする。図７においては、路面の白線７ａに基づいて設定された「背景と異なる画面領域」は、静止物体に基づいて横方向の速度を誤検出したことによって誤って設定された領域である。したがって、これらの範囲を以下のように削除する。

まず画像上に設定された任意の「背景と異なる画面領域」を選択する。次に、その隣接する短冊状領域に「背景と異なる画面領域」の存在の有無を確認する。ここで隣接した短冊状領域に「背景と異なる画面領域」が存在し、さらにそれらが斜めに連続して存在（分布）している場合は、路面の白線７ａのように、画像上に存在する静止物体の斜線から横方向の速度を誤検出した可能性が高いため、これらの「背景と異なる画面領域」を抽出して削除する。

これに対して、隣接した短冊状領域に「背景と異なる画面領域」が存在しない場合や、領域５ａ〜５ｃのように横並びに「背景と異なる画面領域」が存在している場合には、誤検出とは考えられないので削除しない。この手順をすべての「背景と異なる画面領域」に対し行うことで、画像上に存在する静止物体の斜線に基づいて誤って設定された「背景と異なる画面領域」を削除することができる。

また、図８に示すように、隣接した短冊状領域に存在する「背景と異なる画面領域」が斜めに連続していない場合であっても、これらの領域も画像上に存在する静止物体の斜線に基づいて誤って設定された「背景と異なる画面領域」である可能性がある。したがって、以下に説明するように、図８に示した各領域が斜線による誤検出であると仮定し、その仮定の妥当性を検討することで各「背景と異なる画面領域」が誤って設定されたものであるか否かを判断する。

まず、画像上に設定された任意の「背景と異なる画面領域」８ａを選択する。この選択した領域８ａに対して、図９に符号９ａで示すようにその下端（Ｘ_Ｖ， Ｙ_Ｖ）を通過する直線ｙ = α（ｘ―Ｘ_Ｖ）＋Ｙ_Ｖを定義する。なお、αはパラメータであり、ここでは仮の値を設定しておき、後に推定する。次に、「背景と異なる画面領域」８ａの近傍に存在する他の「背景と異なる画面領域」の下端をサンプルデータとし、そのデータ集合（ｘｉ， ｙｉ）を得る。そして、定義した直線９ａがデータ集合（ｘｉ， ｙｉ）のなるべく近くを通るようなパラメータαの推定を行う。本実施の形態ではデータ集合（ｘｉ， ｙｉ）を用いて最小二乗法によりパラメータαの推定を行い、推定したαに基づいた直線９ｂを推定する。

このとき推定された直線９ｂとデータ集合（ｘｉ， ｙｉ）における各点とのｙ座標値の差分の平均値を誤差Ｅとして算出し、誤差Ｅが所定の閾値Ｅ_ＴＨ以下であれば、任意の「背景と異なる画面領域」８ａ、およびその近傍に存在する他の「背景と異なる画面領域」は、画像上に存在する斜線９ｂで近似する静止した斜線に基づいて誤って設定された領域であると判断して、これらの「背景と異なる画面領域」を抽出して削除する。これに対して、誤差Ｅが所定の閾値Ｅ_ＴＨより大きければ、これらの領域は、斜線９ｂで近似する静止した斜線に基づいて誤って設定されたものとは考えられないので削除しない。なお、所定の閾値Ｅ_ＴＨは、画像解像度が高い場合、および画像上の速度検出精度が高い場合は小さい値が設定され、これらの精度があまり期待できないときは大きく設定される。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）車両の上下方向の振動によって実際には静止している物体の横方向の移動速度が誤検出された場合、当該物体を含む「背景と異なる画面領域」を削除して、自車両に衝突する可能性が高い物体を含む領域を判定することとした。これによって、車両の挙動に係わらず安定して自車両前方に存在する移動物体（飛び出し物体）の検出を行うことができる。
（２）誤検出された静止物体に基づいて設定された「背景と異なる画面領域」を削除するに当たって、画像上に存在する静止物体の斜線を対象として領域の削除を行うこととした。このように誤検出が発生しやすい画像上の斜線のみを対象とするため、誤って設定された「背景と異なる画面領域」を効率よく削除することができる。

（３）画像上で「背景と異なる画面領域」が斜めに連続して存在している場合には、これらの「背景と異なる画面領域」は静止した斜線に基づいて誤って設定された領域であると判断して、領域の削除を行うこととした。これによって、画像上から正確に静止した斜線に基づいて誤って設定された領域を削除することができる。
（４）画像上で「背景と異なる画面領域」が斜めに連続して存在していない場合であっても、「背景と異なる画面領域」の下端のデータ集合に基づいて直線９ｂを設定し、直線９ｂとデータ集合における各点とのｙ座標値の差分の平均値で表される誤差とに基づいて、これらの「背景と異なる画面領域」が斜線を誤検出したことによって誤って設定されたものであるか否かを判定した。そして、誤って設定されたものである場合には領域の削除を行うこととした。これによって、空間的に不連続で、さらにばらつきの大きい誤検出領域であっても正確に削除することができる．

―変形例―
なお、以下のように変形することもできる。
（１）上述した実施の形態では、図２に示す処理によって撮像画像の横方向の速度を検出した。しかし、これに限定されず、例えば勾配法やブロックマッチングを用いるオプティカルフローを算出して撮像画像の横方向の速度を検出してもよい。

（２）上述した実施の形態では、「背景と異なる画面領域」を検出するに当たって、エッジ画像を縦長の短冊状に区切り、各短冊状領域において画面外側から画面中央に向かう速度方向を持つ画素が存在する範囲を「背景と異なる画面領域」として設定することとした。しかし、画面外側から画面中央に向かう速度方向を持つ画素が所定以上の密度で存在する領域を「背景と異なる画面領域」として設定してもよい。また、設定した「背景と異なる画面領域」が、画像上において複数連続して存在しているものを結合して、当該結合領域を「背景と異なる画面領域」として設定してもよい。

（３）上述した実施の形態では、直前９ｂを推定するに当たって、「背景と異なる画面領域」８ａの近傍に存在する他の「背景と異なる画面領域」の下端をサンプルデータとし、そのデータ集合（ｘｉ， ｙｉ）を得ることとした。しかし、「背景と異なる画面領域」８ａの近傍に存在する他の「背景と異なる画面領域」内の任意の点をサンプルデータとし、そのデータ集合を得てもよい。

（４）上述した実施の形態では、直前９ｂを推定するために、パラメータαをデータ集合（ｘｉ， ｙｉ）を用いた最小二乗法により推定することとしたが、これに限定されず、他の近似手法を用いて推定してもよい。

（５）上述した実施の形態では、「背景と異なる画面領域」を削除するに当たって、推定された直線９ｂとデータ集合（ｘｉ， ｙｉ）における各点とのｙ座標値の差分の平均値を誤差Ｅとして算出することとしたが、その他の方法によって誤差Ｅを算出してもよい。

特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ１０１は撮像手段に、制御装置１０３は速度情報算出手段、領域設定手段、誤検出領域抽出手段、および判定手段に相当する。なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

物体検出装置を車両に搭載した場合の一実施の形態の構成例を示すブロック図である。 物体検出装置１００の動作を示すフローチャート図である。 横方向の速度検出処理の流れを示すフローチャート図である。 「背景と異なる画面領域」の検出処理の具体例を示した第１の図である。 「背景と異なる画面領域」の検出処理の具体例を示した第２の図である。 誤検出領域の削除処理の具体例を示した第１の図である。 誤検出領域の削除処理の具体例を示した第２の図である。 誤検出領域の削除処理の具体例を示した第３の図である。 誤検出領域の削除処理の具体例を示した第４の図である。

符号の説明

１００ 物体検出装置
１０１ カメラ
１０２ 画像メモリ
１０３ 制御装置
１０４ カウンタメモリ

Claims (4)

1. 自車両前方の画像を撮像する撮像手段と、
   前記撮像手段で撮像した画像を画像処理して、前記画像内に存在する物体の横方向の速度情報を算出する速度情報算出手段と、
   前記速度情報算出手段で算出した前記画像内に存在する物体の横方向の速度情報に基づいて、画像上の背景とは異なる速度方向を持つ物体を含む領域を設定する領域設定手段と、
   前記領域設定手段によって設定された領域の中から画像上の斜線に対して設定された領域を誤検出領域として抽出する誤検出領域抽出手段と、
   前記領域設定手段によって設定された領域の中から前記誤検出領域抽出手段で抽出された誤検出領域を削除して、残りの領域に含まれる物体を自車両前方に存在する移動物体であると判定する判定手段とを有することを特徴とする物体検出装置。
2. 請求項１に記載の物体検出装置において、
   前記誤検出領域抽出手段は、前記領域設定手段によって設定された複数の領域が画像上において斜め方向に連続して存在する場合に、これらの領域を画像上の斜線に対して設定された領域として抽出することを特徴とする物体検出装置。
3. 請求項１または２に記載の物体検出装置において、
   前記誤検出領域抽出手段は、前記領域設定手段によって設定された複数の領域が画像上で不連続に存在している場合に、各領域内の任意の点の集合に近似する直線を算出し、前記直線と各領域内の任意の点の集合とに基づいて算出される誤差が所定値以下であれば、これらの領域を画像上の斜線に対して設定された領域として抽出することを特徴とする物体検出装置。
4. 撮像された自車両前方の画像を画像処理して、前記画像内に存在する物体の横方向の速度情報を算出し、
   算出した前記画像内に存在する物体の横方向の速度情報に基づいて、画像上の背景とは異なる速度方向を持つ物体を含む領域を設定し、
   設定された前記領域の中から画像上の斜線に対して設定された領域を誤検出領域として抽出し、
   設定された前記領域の中から抽出された前記誤検出領域を削除して、残りの領域に含まれる物体を自車両前方に存在する移動物体であると判定することを特徴とする物体検出方法。

Images