JP2011191227A - 物体認識装置 - Google Patents

Abstract

【課題】車載レーダの反射の検出パターンから車両、モータバイク、自転車、人（歩行者）等を区別して認識する認識精度の向上を図ることができる技術を提供する。
【解決手段】複数フレームのレーザレーダ２による対象物体の反射の検出パターンを重ねてつなぎ合わせることにより、対象物体の輪郭を明りょうに示す合成検出パターンが生成されて、対象物体の形状を明りょうに示す合成検出パターンに基づく、対象物体の形状およびサイズ、自車両１と対象物体との相対位置や相対速度、対象物体の動きのベクトルなどの特徴から、パターン認識が行われて対象物体の種別が識別されるため、物体の形状の一部を示す検出パターンに基づいてパターン認識が行われるのに比べ、レーザレーダ２の反射の検出パターン３０から車両、モータバイク、自転車、人（歩行者）等を区別して認識する認識精度の向上を図ることができる。
【選択図】図１

Description

この発明は、車載レーダの反射の検出パターンから車両、自転車、人（歩行者）等を区別して認識する物体認識装置に関する。

従来、車両の分野においては、様々な予防安全技術の研究開発が行われており、前方衝突被害軽減システムや後側方警報システムなどの種々の予防安全システムが実用化されている。しかしながら、これらの従来システムはいずれも車両（自動車）を認識するにとどまり、適用範囲が狭く、車両以外の障害物（自転車、歩行者等）も多く混在する複雑な交通環境には適用が困難である。

車両等の障害物の認識は、車載カメラを用いた画像処理で行なうことも可能であるが、そのためにカメラを用意する必要がある。一方、レーザレーダに代表される車載レーダは、測距レーダ等として車両に搭載されることが多く、車載レーダを用いて車両等の障害物を認識することがより実用的で安価である。

そして、車載レーダの反射の検出パターンから車両、自転車、歩行者等の様々な物体を区別して認識することができれば、前記の複雑な交通環境において極めて有用であり、前記の予防安全システムの適用範囲を広げるのに大きく貢献する。

ところで、近年の車載レーダの性能は著しく向上しており、例えばレーザレーダの場合、従来は、主に車両のリフレクタでの反射しか得られなかったが、近年は、近赤外線を利用すること等により、自転車（主にフレーム部分）や歩行者（主に足の部分）などでの反射も得られる。

そして、この種の車載レーダの反射の検出パターンから物体を認識する方法として、従来、車載レーダとしてのレーザレーダにより検出されたある時点の反射点群（クラスタ）の検出パターンが、設定したＬ、Ｉ、Ｏの３種類のパターンのいずれに属するかによって、認識対象の物体が矩形形状、フェンスや壁、その他の形状のいずれの種類の物体であるかを区別して推定し、認識することが提案されている（例えば、非特許文献１参照）。

ステファン ウェンダー（Ｓｔｅｆａｎ Ｗｅｎｄｅｒ）、他３名、「クラシフィケーション オブ レーザースキャナー メジャーメンツ アット インターセクション シナリオズ ウイズ オートマティク パラメータ オプティマイゼーション（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ Ｌａｓｅｒｓｃａｎｎｅｒ Ｍｅａｓｕｒｅｍｅｎｔｓ ａｔ Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｓｃｅｎａｒｉｏｓ ｗｉｔｈ Ａｕｔｏｍａｔｉｃ Ｐａｒａｍｅｔｅｒ Ｏｐｔｉｍｉｚａｔｉｏｎ）」、Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍ，２００５．Ｐｒｏｃｅｅｄｉｎｇｓ．ＩＥＥＥ、ＩＥＥＥ、２００５年６月、ｐ．９４−９９

前記非特許文献１に記載の認識では、レーザレーダにより検出されたある時点の１フレームのクラスタの検出パターンが、物体の一部の形状を示すＬ、Ｉ、Ｏの３種類のパターンのいずれに属するかによって、物体の種類を推定しているが、基準となるパターンの数が少ないため、検出パターンがいずれのパターンにも属さない場合がある。また、基準となるパターンを、Ｌ、Ｉ、Ｏの３種類のパターンから増やすことも考えられるが、このようにしても、１フレームのクラスタの検出パターンおよび基準となる各々のパターンは、それぞれ物体の一部の形状を示すものであるため、検出パターンがいずれのパターンにも属さなかったり、実際の物体とは異なる物体のパターンに属すおそれもある。

したがって、車両や自転車、人等の多種類の物体の形状の一部を示すクラスタの検出パターンを的確に該当する物体のパターンに区分することができず、物体の種別の認識率（正答率）が低くなるおそれがあった。なお、物体の種別を正確に識別できれば、認識した物体に応じて警報タイミングを異ならせる等の最適な運転支援が実現する。

本発明は、上記課題に鑑みてなされたものであり、車載レーダの反射の検出パターンから車両、モータバイク、自転車、人（歩行者）等を区別して認識する認識精度の向上を図ることができる技術を提供することを目的とする。

上記した目的を達成するために、本発明の物体認識装置は、車載レーダの反射の検出パターンに基づいて物体の種別を識別する物体認識装置であって、複数フレームの前記車載レーダによる対象物体の反射の検出パターンをつなぎ合わせて合成検出パターンを生成する合成手段と、前記合成検出パターンに基づいてパターン認識を行い前記対象物体の種別を識別する識別手段とを備えたことを特徴としている（請求項１）。

請求項１の発明によれば、複数フレームの車載レーダによる対象物体の反射の検出パターンを重ねてつなぎ合わせることにより、対象物体の輪郭を明りょうに示す合成検出パターンが合成手段により生成されて、対象物体の形状を明りょうに示す合成検出パターンに基づく、対象物体の形状およびサイズ、自車両と対象物体との相対位置や相対速度、対象物体の動きのベクトルなどの特徴から、識別手段によりパターン認識が行われて対象物体の種別が識別されるため、物体の形状の一部を示す検出パターンに基づいてパターン認識が行われるのに比べ、車載レーダの反射の検出パターンから車両、モータバイク、自転車、人（歩行者）等を区別して認識する認識精度の向上を図ることができる。

本発明の一実施形態のブロック図である。 車載レーダの反射の検出パターンを説明するための図である。 物体の反射点群のクラスを説明するための図である。 図１の動作説明用のフローチャートである。

本発明の物体認識装置の一実施形態について、図１〜図４を参照して説明する。

図１は本発明の一実施形態のブロック図であり、レーザレーダ２の反射の検出パターンに基づいて物体の種別を識別する物体認識装置の構成を示す。また、図２はレーザレーダ２の反射の検出パターンを説明するための図であって、（ｔ１）〜（ｔ４）はそれぞれ時刻ｔ１〜ｔ４における検出パターン３０の一例である。

車載レーダとしてのレーザレーダ２は、自車両１の前方のほぼ１８０°の範囲を探査する広角の測距レーダであり、近赤外線を利用すること等により、自転車や歩行者などの反射も得られる。そして、レーザレーダ２は、例えば自車両１のバンパーに取り付けられ、自車両１の前方を例えば８０ｍｓ秒間隔のフレーム毎に探査し、前方の他の車両（自動車）、モータバイク、自転車、歩行者（人）等での反射波を受信し、各高さにおける水平断面での前方の移動物体の距離データを取得し、この距離データを反射波の受信出力として受信処理部３に出力する。

受信処理部３は、前記距離データを受け取ってマイクロコンピュータ構成の認識処理部４のクラスタリング処理部５に送る。

クラスタリング処理部５は、前記受信出力の各反射点の距離データ等に基づき、レーザレーダ２から得られた各反射点の距離情報を各高さごとに水平面上にプロットして反射点の画像を形成する。そして、前方の他の車両、モータバイク、自転車、歩行者（人）等の物体を構成する点は離散的であるため、クラスタリング処理部５は、例えば周知のモルフォロジー演算を用いて近傍の各反射点を連結して、近傍の反射点同士をかたまり（反射点群のクラスタ）にまとめ、前方の他の車両、モータバイク、自転車、歩行者（人）等でのフレーム毎の各反射点群の検出パターン３０（クラスタ）を物体追跡処理部６に出力する（図２参照）。

物体追跡処理部６はフレーム毎の検出パターン３０を記憶部１２に一時記憶し、例えば、新たなフレームの反射が得られる毎に、その反射の各検出パターン３０と直前のフレームの検出パターン３０とを比較して同じクラスタのパターンか否かを判断し、例えば、検出パターン別にラベルを付す。なお、記憶部１２は書き換え自在のＲＡＭやフラッシュメモリ等からなる。

物体追跡処理部６によりラベルが付される等したフレーム毎の各検出パターン３０の情報は、本発明の合成手段として機能する合成処理部７に送られる。自車両１と、認識対象である物体との相対的な位置関係が時々刻々と変化する場合、各フレーム毎の検出パターン３０は、ある時点での物体の一部のみを示すものであって、その形状は各フレーム毎に異なるものとなる。したがって、各フレーム毎のクラスタの検出パターン３０は、物体の輪郭を明りょうに示すものではない。

そこで、合成処理部７は、複数フレームのレーザレーダ２による対象物体の反射の検出パターン３０を重ねてつなぎ合わせることにより、認識対象である物体の輪郭を明りょうに示す合成検出パターン３１を生成する。すなわち、物体追跡処理部６により検出パターン３０にラベル等が付されているため、合成処理部７は、各フレームにおける同一の対象物体の検出パターン３０を認識できる。

そして、合成処理部７は、複数フレームにおける認識対象である同一物体の検出パターン３０についてそれぞれ基準点ＢＰを設定し、設定した基準点ＢＰに基づいて各検出パターン３０を重ねてつなぎ合わせることで合成検出パターン３１を生成する。図２に示す例では、十字路４０を、自車両１が実線矢印方向に移動し、他の車両２０（物体）が破線矢印方向に移動しているときに、合成処理部７は、時刻ｔ１〜ｔ４のフレームにおける車両２０の検出パターン３０を重ねてつなぎ合わせて合成検出パターン３１を生成している。

具体的には、合成処理部７は、時刻ｔ１のフレームにおいて、凸包検出処理、コーナーディテクタ処理、ハフ変換等の処理を行うことで、検出パターン３０の、角、端、直角等を検出し、検出した検出パターン３０の屈曲部または端等を基準点ＢＰとして設定する。次に、合成処理部７は、時刻ｔ２のフレームにおいて、前記と同様の処理を行って、時刻ｔ２のフレームにおける検出パターン３０の基準点ＢＰを設定し、時刻ｔ１，ｔ２のフレームにおける両検出パターン３０どうしを、基準点ＢＰを基準として回転処理などすることにより重ねてつなぎ合わせて、時刻ｔ２における合成検出パターン３１を生成する。

続いて、合成処理部７は、同様にして時刻ｔ３のフレームにおける検出パターン３０の基準点ＢＰを設定し、時刻ｔ３のフレームにおける検出パターン３０を、時刻ｔ２における合成検出パターン３１に基準点ＢＰを基準として重ねてつなぎ合わせて、時刻ｔ３における合成検出パターン３１を生成する。さらに、合成処理部７は、時刻ｔ４のフレームにおける検出パターン３０の基準点ＢＰを設定し、同様にして時刻ｔ４のフレームにおける検出パターン３０を、時刻ｔ３における合成検出パターン３１に基準点ＢＰを基準として重ねてつなぎ合わせて、時刻ｔ４における合成検出パターン３１を生成する。

以上の処理を、合成処理部７は、後述するように、合成検出パターン３１に基づく物体認識が行うことができるようになるまで続けることにより、合成検出パターン３１が示す対象物体の輪郭を明りょうにする。なお、図２中、●は当該時刻において既に取得済みのレーザレーダ２による物体の反射点群を示し、○は当該時刻において新たに取得されたレーザレーダ２による物体の反射点群を示す。

また、図２に示すように、各フレームにおけるクラスタは、所定時刻ごとに順次取得されるため、一のフレームの検出パターン３０に設定された基準点ＢＰは、当該フレームの前後のフレームの両検出パターン３０にも含まれている蓋然性が非常に高い。そこで、前記した各フレームにおける検出パターン３０の基準点に関する特徴に着目し、合成処理部７は、各検出パターン３０に設定した基準点ＢＰに基づいて、検出パターン３０を順次重ね合わせて合成検出パターン３１を生成する。

また、合成処理部７は、上記した基準点ＢＰに基づく各検出パターン３０の合成に限らず、各フレームにおいて取得される検出パターンを、回転処理、平行移動処理等を行うことによるパターンマッチングにより、順次、重ね合わせて各検出パターン３０を合成して合成検出パターン３１を生成することもできる。

合成処理部７により各検出パターン３０がつなぎ合わされて生成された合成検出パターン３１の情報は、特徴量抽出部８に送られる。合成検出パターン３１（各検出パターン３０）の属性を認識するためには、合成検出パターン３１の画像上の特徴を知る必要がある。そこで、特徴量抽出部８は、合成検出パターン３１の形状、サイズ、自車両１との相対距離および相対位置、動きのベクトル、円形度等の特徴量を抽出して分類スコア算出部９に送る。

分類スコア算出部９は、例えば後述のＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いたパターン認識手法により、特徴量の類似度から検出パターンの各クラスの特徴パターンに対する類似度の数値を算出し、検出パターンに最も近い特徴パターンのクラス（属するクラス）を最も近い特徴パターンとして分類し、毎フレームの分類結果を物体属性推定部１０に送り、物体属性推定部１０は複数フレームの時系列の分類結果から物体を推定して認識する。

ところで、この実施形態の物体認識装置は、レーザレーダ２により得られた認識対象物体との距離データのみを用いたパターン認識により、車両（いわゆる自動車）、モータバイク（スクータ等も含む自動二輪車）、自転車、歩行者（人）の４種類の物体（障害物）を区別して認識する。これら４種類の物体は、同じ物体であっても、物体とレーザレーダ２との距離や、レーザレーダ２に対する物体の位置や方向によって「形」が大きく異なり、その反射点群の検出パターン３０も大きく異なる。

そこで、この実施形態では、前記したように複数フレームの検出パターン３０を重ねてつなぎ合わせることで合成検出パターン３１を生成し、対象物体の輪郭を明りょうにしている。そして、この実施形態では、前記４種類の物体について、それぞれ各物体の輪郭を示す１つの特徴パターン（クラス）が設定され、合成検出パターン３１と、設定された特徴パターンとがパターン認識により照合されて、合成検出パターン３１を、最も近い特徴パターンのクラスを求めてクラス分類し、その結果から属性（物体のカテゴリ）が推定されて物体の種類が物体属性推定部１０により認識される。

なお、前記パターン認識は、どのような認識手法で行なってもよいが、本実施形態においては、分類スコア算出部９により、ＳＶＭを用いたパターン認識手法で行なう。ＳＶＭは高い汎化能力を持つことが知られている。そして、前記した時系列変化の認識ではＳＶＭの特徴であるマージン最大化を狙い、時系列累積分類スコア（超平面までの距離）を用いて自転車を認識する。

つぎに、記憶部１２に記憶される特徴パターンについて説明する。

認識する物体の種類は、前記したように車両、モータバイク、自転車、歩行者（人）の４種類であり、各物体の輪郭を示すパターンにより４つのクラスを設定する。すなわち、車両についてはクラスＶ、モータバイクについてはクラスＭ、自転車についてはクラスＢ、歩行者（人）ついてクラスＰを設定する。そして、合成検出パターン３１を４つのクラスＶ、Ｍ、Ｂ、Ｐのいずれかに分類する。

図３は物体の反射点群のクラスを説明するための図であって、（ａ）は車両のクラスＶ、（ｂ）はモータバイクのクラスＭ、（ｃ）は自転車のクラスＢ、（ｄ）は歩行者（人）のクラスＰを示す。

各クラスＶ、Ｍ、Ｂ、Ｐのパターンの形状を説明する。

Ｖ：車両の水平面内における輪郭を示し、ほぼ矩形状のパターン形状である（図３（ａ））。
Ｍ：モータバイクの水平面内における輪郭を示し、細長い楕円形状のパターン形状である（図３（ｂ））。

Ｂ：自転車の水平面内における輪郭を示し、細長い楕円形状であるが、クラスＭのパターン形状に比べて少し厚みが小さいパターン形状である（図３（ｃ））。

Ｐ：歩行者の足部分の種々の反射によるパターン形状である（図３（ｄ））。

そして、これらの各クラスＶ、Ｍ、Ｂ、Ｐの特徴パターンの形状と、各特徴パターンの画像処理上の形状に関わる幅、奥行き、面積、周囲、慣性モーメント、円形度等の特徴量とが記憶部１２に記憶される。

この実施形態では、特徴量抽出部８は、合成検出パターン３１の、画像処理上の形状に関わる幅、奥行き、面積、周囲、慣性モーメント、円形度、主軸、動き方向、自車両１との相対距離および相対位置などの特徴量を抽出する。そして、分類スコア算出部９は、抽出された特徴量に基づいて、記憶部１２に記憶された特徴パターンと合成検出パターン３１との照合を行い、合成検出パターン３１のクラスを分類する。

ところで、ＳＶＭは教師あり学習を用いるパターン認識手法の一つであり、高次元の分類問題が得意といわれている。ＳＶＭは超平面とそれに最も近いデータとの距離(マージン)を最大化するように、訓練データ（学習サンプル）を分離する分離超平面を求める手法で未学習のサンプルに対しても高い認識性能を得ることができる。そこで、本実施形態においては、特徴量抽出部８および分類スコア算出部９を分類器により形成し、特徴量抽出部８により、分類器から出力される分離超平面までの距離（以下、スコアという）に着目し、分類スコア算出部９のパターン認識に必要な検出パターンの各特徴量につき、複数の学習サンプルのパターンの各特徴量を学習して未学習の前記検出パターンの各特徴量のスコアを検出する。なお、前記分類器は、ＳＶＭの二値分類器をワン−アゲンスト−レスト（ｏｎｅ−ａｇａｉｎｓｔ−ｒｅｓｔ）法を用いて多値分類器に拡張する。また、学習サンプルには、図３で示した各クラスについて、それぞれのクラスに属すると判断する種々の反射点群のパターンから選択した複数のパターンを使用するものとする。

分類スコア算出部９は、特徴量抽出部８のフレーム毎の抽出結果の合成検出パターン３１の各特徴量が、各クラスの特徴パターンのいずれにもっとも近いかを判断して、合成検出パターン３１に最も近い特徴パターンのクラスを特定し、フレーム毎に生成される合成検出パターン３１を該当するクラスに分類する。さらに、例えば３４フレーム（０．２秒）に亘って、同じ物体の合成検出パターン３１について分類したクラスを累積し、累積結果を物体属性推定部１０に送る。物体属性推定部１０は、累積数が最も大きなクラスを、その合成検出パターン３１のクラスに決定し、決定したクラスから属性を推定して物体を認識する。

また、分類スコア算出部９によりクラスに分類した結果に基づき、物体属性推定部１０によりフレーム毎にそのフレームで検出したクラスからカテゴリ別に分類して物体の認識を行ってもよく、複数フレームにおける分類スコア算出部９の分類結果に基づいて物体の認識を行ってもよい。すなわち、フレーム毎に物体を認識すれば、認識結果がフレーム毎に最高スコアとなったクラスから決定される。これでは、例えば最高スコアと同程度に高いクラスが正解のクラスになる場合、そのクラスが正解であるにもかかわらず、合成検出パターン３１を最高スコアのクラスに分類して誤認識する可能性がある。つまり、分類データの特徴によってはフレーム毎の最高スコアを用いるだけでは不十分で、認識精度を高めるにはその他のスコアも考慮して認識する必要があると考えられる。そこで、フレーム毎に算出される各クラスに対するスコアを時系列に観測し、最終的に累積スコアが最も大きくなったクラスから物体（カテゴリ）を認識してもよい。

図４は認識処理部４の各部５〜１０の処理手順の一例を示し、フレーム毎にレーザレーダ２の反射点群のデータを取得し（ステップＳ１）、クラスタリングの処理を施し（ステップＳ２）、クラスタにラベルを付す等して同じ物体を追跡する（ステップＳ３）。そして、直前のフレームにおける同じ物体の検出パターン３０、または、前回までの複数のフレームにおける同じ物体の検出パターン３０に基づく合成検出パターン３１と、今回のフレームにおける同じ物体の検出パターン３０とが重ねてつなぎ合わされて新たな合成検出パターン３１を生成し（ステップＳ４）、ステップＳ４において生成された合成検出パターン３１の各特徴量を抽出し（ステップＳ５）、ＳＶＭのパターン認識により、分類スコアを算出し（ステップＳ６）、対象物体の認識が行うことができなければ（ステップＳ７でＮＯ）、次のフレームにおいてステップＳ１からの処理を繰り返し行い、対象物体の認識を行うことができれば（ステップＳ７でＹＥＳ）、認識結果に応じた運転支援を行う（ステップＳ８）。

以上のように、上記した実施形態によれば、複数フレームのレーザレーダ２による対象物体の反射の検出パターン３０を重ねてつなぎ合わせることにより、対象物体の輪郭を明りょうに示す合成検出パターン３１が生成されて、対象物体の形状を明りょうに示す合成検出パターン３１に基づく、対象物体の形状およびサイズ、自車両１と対象物体との相対位置や相対速度、対象物体の動きのベクトルなどの特徴から、パターン認識が行われて対象物体の種別が識別されるため、物体の形状の一部を示す検出パターン３０に基づいてパターン認識が行われるのに比べ、レーザレーダ２の反射の検出パターン３０から車両、モータバイク、自転車、人（歩行者）等を区別して認識する認識精度の向上を図ることができる。

また、複数フレームのレーザレーダ２による対象物体の反射の検出パターン３０を重ねてつなぎ合わせて生成された、対象物体の輪郭を明りょうに示す合成検出パターン３１に基づいてパターン認識が行われるため、物体の形状の一部を示す検出パターン３０に基づいてパターン認識が行われるのに比べ、同一物体について形状の異なる複数のクラスを用意する必要がなく、また、合成検出パターン３１が分類されるクラス数が少ないため、合成検出パターン３１のクラス分類を容易に行うことができ、物体の識別時間の短縮を図ることができる。

また、物体属性推定部１０が認識した物体の情報が、認識処理部４から運転支援部１１に送られ、運転支援部１１は車両、モータバイク、歩行者（人）の別に応じた警報等の運転支援を行なうことができる。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、クラスの数や形状等は前記実施形態に限るものではなく、また、物体として、上記したもの以外に種々の物体の特徴パターンを予め記憶部１２に格納して物体を認識するようにしてもよい。また、パターン認識の手法は、ＳＶＭに限るものではなく、例えばニューラルネットワークを用いた認識手法であってもよい。

また、車載レーダはレーザレーダ２に限るものではなく、ミリ波レーダ、超音波レーダ等であってもよい。また、車載レーダの探査範囲はどのようであってもよく、車載レーダは、自車両１の後方や左右側を探査するものであってもよく、自車両１の全周を探査するものであってもよい。

また、上記した例では物体の認識を行うことができるまで合成処理部７による複数の検出パターン３０の合成を行っているが、複数の検出パターン３０が合成されることにより生成される合成検出パターン３１の形状がほぼ変化しなくなるまで、すなわち、合成検出パターン３１の横幅および縦幅の大きさがほぼ一定となるまで、合成処理部７による複数の検出パターン３０の合成を行ってもよい。

つぎに、認識処理部４の構成や処理手順等が前記実施形態と異なっていてもよいのも勿論である。

そして、本発明は、車載レーダを用いた種々の車両の物体認識装置に適用することができる。

２ レーザレーダ（車載レーダ）
４ 認識処理部（識別手段）
７ 合成処理部（合成手段）
２０ 車両（物体）
３０ 検出パターン
３１ 合成検出パターン

Claims (1)

1. 車載レーダの反射の検出パターンに基づいて物体の種別を識別する物体認識装置であって、
   複数フレームの前記車載レーダによる対象物体の反射の検出パターンをつなぎ合わせて合成検出パターンを生成する合成手段と、
   前記合成検出パターンに基づいてパターン認識を行い前記対象物体の種別を識別する識別手段と
   を備えたことを特徴とする物体認識装置。

Images