JP2005216200A - 他車検出装置及び他車検出方法 - Google Patents

Abstract

【課題】自車周辺の他車を効率的に検出する「他車検出装置及び他車検出方法」を提供する。
【解決手段】周辺他車探索部１６は、レーダ装置２２１において検出された物体の方向θ３と距離Ｄを求め（ａ）。カメラ２２２が撮影した画像４０１中の、方向θ３に対応する位置から、距離Ｄに応じた大きさ画像部分を画像認識対象画像４２０として抽出する（ｂ、ｃ）。そして、抽出した画像認識対象画像４２０に対する、カメラ２２２が撮影した画像４０１からの抽出位置に応じたカメラ２２２のレンズ歪みの補正処理（ｄ）と、抽出した画像認識対象画像４２０に対する距離Ｄに応じた画像サイズの標準化（ｅ）を行い、テンプレート画像（ｆ）とのパターンマッチング処理を施して、画像認識対象画像４２０中に含まれる他車を検知する。
【選択図】図４

Description

本発明は、自動車において、自車周辺の他車を検出する技術に関するものである。

自動車において、自車周辺の他車を検出する技術としては、撮影した車両前方の画像に対して画像認識処理を施して自車前方に存在する他車を認識すると共に当該他車の方向を算出し、算出した他車の方向にレーダ光を照射し、照射したレーダ光の当該他車における反射光を用いて当該他車までの距離を測定する技術が知られている（たとえば、特許文献１）。
特開平７−３３２９６６号公報

さて、自車周辺の他車を検出する場合には、自車前方のみならず、より広い範囲において他車を検出することが望ましい。一方で、このためには自車前方の他車のみを検出する場合に比べ、より広い範囲を撮影する必要がある。
そして、前記特許文献１の技術によれば、撮影した画像の全てを対象として他車を認識するための画像認識処理を行わなければならないため、広い範囲を撮影する場合には処理量が過度に大きくなり、速やかな他車検出を行う上での妨げとなる。
特に、広い範囲を撮影するために超広角レンズや魚眼レンズを用いる場合には、画像認識処理の一部として、レンズによって生じる画像の歪みの補正処理を、撮影された画像全体に対して行う必要があるため、このような処理量の増加は深刻な問題となり得る。
そこで、本発明は、より効率的に自車周辺の他車の検出を行うことを課題とする。

前記課題達成のために、本発明は、自車周辺の他車を検出する他車検出装置に、自車周辺を撮影するカメラと、自車周辺の物体までの距離と、自車から見た物体の方向を検出する周辺物体検出手段と、前記カメラが撮影した画像中の前記周辺物体検出手段が検出した物体の方向に従って定まる位置から、前記周辺物体検出手段が検出した物体の距離に従って定まるサイズの、前記カメラが撮影した画像の一部である画像を対象画像として抽出する対象画像抽出手段と、前記対象画像抽出手段が抽出した対象画像中に含まれる他車の画像を認識する画像認識処理を行う画像認識処理手段とを設けたものである。

このような他車検出装置によれば、カメラで撮影した画像の内の、前記周辺物体検出手段が検出した物体の方向に従って定まる位置の、前記周辺物体検出手段が検出した物体の距離に従って定まるサイズの画像部分のみを対象画像として抽出し、この対象画像に対してのみ画像認識処理を行うので効率的な他車の検出を行うことができる。ここで、対象画像中に他車の画像が含まれる場合、その他車の画像の大きさは、当該他車までの距離に応じたものとなる。したがって、対象画像のサイズを、前記周辺物体検出手段が検出した物体の距離に従って定まるサイズとすることにより、対象画像を他車全体の画像を含むものとすることができる。よって、このような他車検出装置においても、画像認識処理による他車の検出を良好に実現できる。

また、本発明は、前記課題達成のために、自車周辺の他車を検出する他車検出装置であって、自車周辺を撮影するカメラと、自車周辺の物体までの距離と、自車から見た物体の方向を検出する周辺物体検出手段と、前記カメラが撮影した画像中の前記周辺物体検出手段が検出した物体の方向に従って定まる領域の画像を対象画像として抽出する対象画像抽出手段と、前記対象画像を、前記周辺物体検出手段が検出した物体の距離に応じた倍率で拡大または縮小する対象画像サイズ標準化手段と、前記対象画像サイズ標準化手段が拡大または縮小した対象画像中に含まれる他車の画像を認識する画像認識処理を行う画像認識処理手段とを設けたものである。

このような他車検出装置によれば、カメラで撮影した画像の内の、前記周辺物体検出手段が検出した物体の方向に従って定まる領域の画像部分のみを対象画像として抽出し、この対象画像に対してのみ画像認識処理を行うと共に、この対象画像に含まれる他車画像の画像認識のための当該他車画像の大きさの標準化を、前記周辺物体検出手段が検出した物体の距離に従って対象画像を拡大または縮小することにより行うので、カメラで撮影した画像全体を対象として画像認識処理を施したり、他車画像の大きさの標準化を、他車画像の大きさを変化させながら画像認識を繰り返すトライアンドエラー方式により行うような場合に比べ、効率的な他車の検出を行うことができるようになる。

なお、このような他車検出装置においては、前記画像認識処理手段による画像認識処理に先立って、前記対象画像抽出手段が抽出した対象画像に対して、前記カメラのレンズによる歪みを補正する補正手段を設けることが望ましい。また、前記周辺物体検出手段としては、レーダ装置などを用いることができる。

以上のように本発明によれば、より効率的に自車周辺の他車の検出を行うことができる。

以下、本発明の実施形態について説明する。
図１ａに、本実施形態において自動車に搭載する車載システムの構成を示す。
図示するように、車載システムは、ナビゲーション装置１と、１または複数の他車センサユニット２とより構成される。
そして、ナビゲーション装置１には、ＧＰＳ受信機１１、車両状態センサ１２、道路地図データを記憶したＤＶＤドライブやＨＤＤなどの記憶装置である道路地図データ記憶部１３、現在状態算出部１４、ルート探索部１５、周辺他車探索部１６、メモリ１７、制御部１８、案内画像生成部１９、操作部２０、表示装置２１、認識処理用メモリ２２を有する。ここで、車両状態センサ１２は、角加速度センサや地磁気センサなどである方位センサや車速パルスセンサなどである車速センサなどの車両状態を検出するセンサ群である。

また、他車センサユニット２は、レーダ装置２２１とカメラ２２２の対から構成されるユニットであり、たとえば、図１ｂに示すように配置される。図１ｂに示した例では、複数のレーダ装置２２１によって車両周辺を水平方向に関して全周方向について走査可能であると共に、複数のカメラ２２２によって水平方向に関して全周方向について撮影可能なように、他車センサユニット２を複数配置している。

そして、ナビゲーション装置１の周辺他車探索部１６は、このような各他車センサユニット２の出力より、自車位置周辺の他車を認識し、他車の自車に対する相対位置と他車の車種を認識し、制御部１８に通知するものである。
このような構成において、現在状態算出部１４は、車両状態センサ１２やＧＰＳ受信機１１の出力から推定される現在位置に対して、道路地図データ記憶部１３から読み出した前回決定した現在位置の周辺の地図とのマップマッチング処理などを施して、現在位置や、車両の進行方向を算出する処理を繰り返す。

また、ルート探索部１５は、制御部１８が操作部２０を介してユーザから指定された目的地までの現在状態算出部１４が算出した現在位置からのルートを推奨ルートとして探索する。
また、案内画像生成部１９は、地図データ記録部に記憶された道路地図上に、現在状態算出部１４が算出した現在位置やルート探索部１５が探索した推奨ルートや目的地を表した案内画像を生成し、表示装置２１に表示する。
図２ａは、このようにして表示装置２１に表示される案内画像の例を示すものであり、図示するように案内画像は、自車位置周辺の道路地図画像２０１上に、現在位置を表す現在位置マーク２０２や、推奨ルートを表すルート図形２０３などが表されたものとなる。なお、道路地図画像２０１の表示範囲内に目的地が含まれる場合には、目的地を表す目的地マークも道路画像上に表示されることになる。

そして、主制御部は、周辺他車探索部１６から、検出した他車の自車に対する相対位置と他車の車種を通知されると、現在状態算出部１４が算出した現在位置と通知された他車の自車に対する相対位置より他車の道路地図上の位置を求め、案内画像生成部１９に、当該位置に対応する道路地図画像２０１上の位置に、他車の存在を表す他車マークを描画させる。ここで、この他車の存在を道路地図画像２０１上で表す他車マークとしては、予め車種毎に用意しておいた複数の図形のうちの、通知された当該他車の車種に対応する図形を用いる。ただし、ここでは、車種とは、小型車、大型車、ミニバンなどの、おおまかな車のタイプを指している。

図２ｂは、このようにして他車マークが表示された案内画像を示すものであり、図示するように、自車周辺の他車の存在と位置を道路地図画像２０１の上で表す他車マーク２０４が、案内画像中に表示される。
以下、周辺他車探索部１６における他車の自車に対する相対位置と他車の車種の検出処理の詳細について説明する。
図３に、周辺他車探索部１６が行う周辺他車探索処理の手順を示す。
この処理は、周辺他車探索部１６が他車センサユニット２の各々について行う処理である。
図示するように、この処理において、周辺他車探索部１６は、まず、他車センサユニット２のレーダ装置２２１が、所定距離内の物体を検出するのを待つ（ステップ３０２）。そして、レーダ装置２２１が物体を検出したならば、レーダ装置２２１において検出した物体の自車に対する相対距離と自車から見た物体の存在角度範囲を取得する（ステップ３０４）。

そして、取得した相対距離と存在角度範囲に基づいて、他車センサユニット２のカメラ２２２が撮影した画像中の、検出物が写っている領域を画像抽出領域として算出し（ステップ３０６）、算出した画像抽出領域中の画像を画像認識対象画像として、他車センサユニット２のカメラ２２２が撮影した画像から切り出す（ステップ３０８）。

すなわち、いま、図４ａに示すように、レーダ装置２２１の走査角度範囲４０１が設定され、カメラ２２２の視野角４０２が設定されている場合において、他車４０３が存在する場合には、物体の水平方向の存在角度範囲としてθ１〜θ２の範囲が求まる。また、垂直方向の物体の存在角度範囲も同様に求まる。そして、水平方向と垂直方向について求めた物体の存在角度範囲の中央の角度方向（水平方向に関してはθ１とθ２の中央の角度θ３方向）が物体の方向として求まり、この物体の方向に対してレーダ装置２２１が測定した物体までの距離Ｄを、物体の相対距離として求める。

そして、このような物体の方向に対して、図４ｂに示すように、カメラ２２２が撮影した画像４１０から切り出す画像抽出領域４１１の中心座標が一義的にカメラ２２２の視野に応じて定まり、物体の距離と画像抽出領域４１１の中心座標に対して、画像抽出領域４１１の大きさが、物体が自動車である場合に画像抽出領域４１１中に自動車全体の画像の全てが所定のマージンをもって含まれるように定まる。そして、カメラ２２２が撮影した画像４１０から、この画像抽出領域４１１中の画像部分が画像認識対象画像４２０として図４ｃに示すように抽出される。ここで、物体の方向と画像４１０から切り出す画像抽出領域４１１の中心座標との関係や、物体の距離及び画像抽出領域４１１の中心座標と画像抽出領域４１１の大きさとの関係は、予め計算によりもしくは実験により求めて認識処理用メモリ２２にセットしておく。

さて、図３に戻り、画像認識対象画像４２０を抽出したならば、この画像認識対象画像４２０を、カメラ２２２のレンズ歪みがキャンセルされるように補正する（ステップ３１０）。ここで、カメラ２２２のレンズとして超広角レンズや魚眼レンズを用いる場合には、カメラ２２２で撮影した画像４１０には、図４ｂに格子によって示したように対象物の画像が歪むレンズ歪みが生じる。そして、カメラ２２２で撮影した画像４１０中の各領域に生じるレンズ歪みの影響は、当該領域の画像４１０中の位置に応じて定まり、これをキャンセルするための画像処理の内容も画像４１０中の位置に応じて実用上一義的に定めることができる。したがって、画像認識対象画像４２０に生じているレンズ歪の影響の補正内容も、画像認識対象画像４２０を切り出した、カメラ撮影画像４１０中の位置に応じて実用上一義的に定めることができ、当該補正内容による補正を適用することにより、図４ｃ示す画像認識対象画像４２０は、図４ｄに示すようにレンズ歪みをキャンセルした画像に補正することができる。ここで、このような画像認識対象画像４２０のカメラ撮影画像４１０中の位置と、レンズ歪みをキャンセルするための補正の内容との関係は、予め計算によりもしくは実験により求めて認識処理用メモリ２２にセットしておく。

次に、図３に戻り、画像認識対象画像４２０を補正したならば、補正後の画像認識対象画像４２０のサイズが、所定のサイズとなるように、補正後の画像認識対象画像４２０を拡大または縮小する（ステップ３１２）。
ここで、この所定のサイズとは、車両を画像認識するために行うパターンマッチング用のテンプレート画像として、予め認識処理用メモリ２２に記憶させた画像のサイズである。したがって、たとえば図４ｆに示すような、車種毎のテンプレート画像が予め用意されている場合、補正後の画像認識対象画像４２０は図４ｅに示すように拡大される。ただし、テンプレート画像は、自動車のシルエットを表す二値画像としてもよく、この場合には、画像認識対象画像４２０または補正後の画像認識対象画像４２０に対して、画像認識対象画像４２０中の物体のアウトラインを求めると共に、当該画像認識対象画像４２０を、求めたアウトラインを持つシルエットを表す二値画像に変換して用いるようにする。

なお、ステップ３１２の処理は、物体までの距離に応じて定まる拡大率または縮小率で、補正後の画像認識対象画像４２０に自動車の画像が含まれている場合に、当該自動車の画像サイズがテンプレート画像に含まれる自動車の画像のサイズとなるように、補正後の画像認識対象画像４２０を拡大または縮小する処理とするようにしてもよい。なお、この場合、物体までの距離と拡大率または縮小率との関係は、予め計算によりもしくは実験により求めて認識処理用メモリ２２にセットしておく。

さて、このようにして補正後の画像認識対象画像４２０のサイズを調整したならば、各テンプレート画像とのパターンマッチングを施し（ステップ３１４）、画像認識対象画像４２０中に自動車の画像が含まれているかどうかと、画像認識対象画像４２０中に自動車の画像が含まれている場合には、その自動車の車種は何であるかを算定する。ここで、サイズを調整した画像認識対象画像４２０と所定レベル以上マッチングするテンプレート画像が存在しなかった場合に、画像認識対象画像４２０中に自動車の画像が含まれていないと判定する。他の場合には、尤もサイズを調整した画像認識対象画像４２０とマッチングしたテンプレート画像に対応する車種を、物体の車種として求める。

そして、画像認識対象画像４２０中に自動車の画像が含まれていないと判定された場合には（ステップ３１６）、ステップ３０２からの処理に戻り、画像認識対象画像４２０中に自動車の画像が含まれていると判定された場合には、判定した車種と、レーダが検出した物体の方向と距離より求まる、他車であるところの物体の自車に対する相対位置を主制御部に通知して（ステップ３１８）、ステップ３０２に戻る。

以上、本発明の実施形態について説明した。
以上の実施形態によれば、カメラ２２２で撮影した画像のうちの、レーダ装置２２１で検出した物体方向に対応する位置の、レーダ装置２２１で検出した物体までの距離に応じて定まる大きさの、物体が自動車である場合に当該自動車全体の画像が含まれることになる領域内の画像のみを対象として、カメラ２２２のレンズ歪みの補正や、画像認識処理の対象とする画像のサイズの標準化などの画像認識のための前処理と、パターンマッチングなどの画像認識処理を行うので、効率良く自車周辺の他車の検出を行うことができるようになる。

ところで、以上では画像間のパターンマッチングによって自動車を認識するようにしたが、これは、画像認識対象画像４２０から抽出した物体の特徴点と、予め認識処理用メモリ２２に記憶させた各車種の特徴点とのパターンマッチングによって、これを行うようにしてもよい。すなわち、この場合には、たとえば、ステップ３１２で画像認識対象画像４２０から特徴点を抽出し、ステップ３１４で物体までの距離に応じて特徴点の座標を、認識処理用メモリ２２に記憶させた各車種の特徴点の座標系に整合するように変換して、ステップ３１４で、座標系を変換した特徴点と、認識処理用メモリ２２に記憶させた各車種の特徴点とのパターンマッチングを行うようにする。

また、以上の実施形態では、検出した他車の位置を道路地図画像２０１上に表示する場合について説明したが、本実施形態において検出した他車の位置は、自車に接近した他車からの衝突回避動作を行わせる処理などの任意の処理に用いるようにしてよい。

本発明の実施形態に係る車載システムの構成を示すブロック図である。 本発明の実施形態において表示する案内画像の例を示す図である。 本発明の実施形態に係る周辺他車探索処理の手順を示すフローチャートである。 本発明の実施形態に係る周辺他車探索処理の処理例を示す図である。

符号の説明

１…ナビゲーション装置、２…他車センサユニット、１１…ＧＰＳ受信機、１２…車両状態センサ、１３…道路地図データ記憶部、１４…現在状態算出部、１５…ルート探索部、１６…周辺他車探索部、１７…メモリ、１８…制御部、１９…案内画像生成部、２０…操作部、２１…表示装置、２２…認識処理用メモリ、２２１…レーダ装置、２２２…カメラ。

Claims (6)

1. 自車周辺の他車を検出する他車検出装置であって、
   自車周辺を撮影するカメラと、
   自車周辺の物体までの距離と、自車から見た物体の方向を検出する周辺物体検出手段と、
   前記カメラが撮影した画像中の前記周辺物体検出手段が検出した物体の方向に従って定まる位置から、前記周辺物体検出手段が検出した物体の距離に従って定まるサイズの、前記カメラが撮影した画像の一部である画像を対象画像として抽出する対象画像抽出手段と、
   前記対象画像抽出手段が抽出した対象画像中に含まれる他車の画像を認識する画像認識処理を行う画像認識処理手段とを有することを特徴とする他車検出装置。
2. 自車周辺の他車を検出する他車検出装置であって、
   自車周辺を撮影するカメラと、
   自車周辺の物体までの距離と、自車から見た物体の方向を検出する周辺物体検出手段と、
   前記カメラが撮影した画像中の前記周辺物体検出手段が検出した物体の方向に従って定まる領域の画像を対象画像として抽出する対象画像抽出手段と、
   前記対象画像を、前記周辺物体検出手段が検出した物体の距離に応じた倍率で拡大または縮小する対象画像サイズ標準化手段と、
   前記対象画像サイズ標準化手段が拡大または縮小した対象画像中に含まれる他車の画像を認識する画像認識処理を行う画像認識処理手段とを有することを特徴とする他車検出装置。
3. 請求項１または２記載の他車検出装置であって、
   前記画像認識処理手段による画像認識処理に先立って、前記対象画像抽出手段が抽出した対象画像に対して、前記カメラのレンズによる歪みを補正する画像補正処理を施す補正手段を有することを特徴とする他車検出装置。
4. 請求項１、２または３記載の他車検出装置であって、
   前記周辺物体検出手段はレーダ装置であることを特徴とする他車検出装置。
5. 自車周辺の他車を検出する他車検出方法であって、
   カメラで自車周辺を撮影するステップと、
   自車周辺の物体までの距離と、自車から見た物体の方向を検出するステップと、
   前記カメラが撮影した画像中の、検出した物体の方向に従って定まる位置から、検出した物体の距離に従って定まるサイズの、前記カメラが撮影した画像の一部である画像を対象画像として抽出するステップと、
   前記対象画像中に含まれる他車の画像を認識する画像認識処理を行うステップとを有することを特徴とする他車検出方法。
6. 自車周辺の他車を検出する他車検出方法であって、
   カメラで自車周辺を撮影するステップと、
   自車周辺の物体までの距離と、自車から見た物体の方向を検出するステップと、
   前記カメラが撮影した画像中の、検出した物体の方向に従って定まる領域の画像を対象画像として抽出するステップと、
   前記対象画像を、検出した物体の距離に応じた倍率で拡大または縮小するステップと、
   前記拡大または縮小した対象画像中に含まれる他車の画像を認識する画像認識処理を行うステップとを有することを特徴とする他車検出方法。

Images