JP2017223607A - 物体認識統合装置および物体認識統合方法 - Google Patents

Abstract

【課題】複数のセンサの各センサによって検出された検出データを、物体の識別の不正確さを考慮して、統合することができる物体認識統合装置および物体認識統合方法を得る。【解決手段】複数のセンサごとに生成される観測データに含まれる物体種類および物体種類候補ごとの確からしさと、前回物体データに含まれる物体種類および物体種類候補ごとの確からしさとから、観測データと前回物体データとの対応関係を決定し、「対応可能性あり」と決定された観測データと前回物体データとの対応付けを行うことで相関データを生成し、その相関データを用いて前回物体データを更新することで今回物体データを生成するように構成されている。【選択図】図１

Description

本発明は、自車に搭載した複数のセンサからそれぞれ受信した物体の検出データを統合する物体認識統合装置および物体認識統合方法に関するものである。

従来において、自車に搭載した複数のセンサの各センサによって検出された検出データを統合・融合するセンサフュージョン技術を用いて、自車周辺の物体等を認識し、その認識結果から、車間距離維持制御、車線維持制御、自動ブレーキ制御等の各種制御を行う予防安全・自動運転技術の開発が進んでいる。

従来の物体認識統合装置（例えば、特許文献１参照）では、自車に搭載したレーザレーダによって自車前方を探査し、所定の歩行者検出範囲の外で検出し追尾した物体を、歩行者ではないと判定し、自車に搭載した光学カメラによって撮像された自車前方画像における歩行者検出対象から除外する。続いて、レーザレーダが検出し追尾した物体の相対速度等に基づいて、その物体を、前方車、対向車、静止障害物等のいずれかに識別し、歩行者検出対象から除外する。このような除外処理後の画像において、自車予測経路に近いほど歩行者検出閾値を低く設定した上で画像認識処理を施すことで、歩行者を検出する。

特許第５１７８２７６号公報

ここで、特許文献１に記載の従来技術では、光学カメラの画像認識処理の負荷を軽減するために、レーザレーダの検出結果に基づいて、歩行者ではない物体を歩行者検出対象から除外し、残った物体について画像認識処理を施すことで歩行者を検出する。しかしながら、歩行者検出対象から除外した物体が歩行者でないとは限らない。

例えば、歩行者は車両等に比べてレーザレーダの反射強度が低いことから、レーザレーダの検出閾値を低くすれば、歩行者検出範囲外であっても、レーザレーダによって歩行者を検出することができる。この場合、このように検出した歩行者は、光学カメラの歩行者検出対象から除外される。

一方、レーザレーダの検出閾値を高くすれば、歩行者検出範囲内であっても、レーザレーダによって歩行者を検出することができないので、実際には、歩行者検出範囲内に歩行者が存在していても、その歩行者は、光学カメラの歩行者検出対象から除外される。

また、立ち止まっている歩行者は、同程度の反射強度を持つ静止障害物と区別することができないことから、検出した物体を静止障害物と判定すると、やはり、その物体は光学カメラの歩行者検出対象から除外される。

なお、以上のことは、歩行者以外の車両等を認識対象とする場合、レーザレーダの代わりにミリ波レーダ等のセンサを用いる場合等においても、同様である。

以上から分かるように、従来の物体認識統合装置では、複数のセンサのうちいずれか選択したセンサの検出結果に基づいて他センサの検出処理を行う。したがって、その選択したセンサによって検出されなかった物体、または検出された場合であっても識別を誤った物体を、他センサで検出することができないという問題がある。

本発明は、例えば上記のような課題を解決するためになされたものであり、複数のセンサの各センサによって検出された検出データを、物体の識別の不正確さを考慮して、統合することができる物体認識統合装置および物体認識統合方法を得ることを目的とする。

本発明における物体認識統合装置は、複数のセンサのそれぞれから検出データを受信し、受信した検出データからセンサごとに観測データを生成し、センサごとの観測データを出力するデータ受信部と、データ受信部から出力された観測データに含まれる物体種類および物体種類候補ごとの確からしさと、今回の処理時刻よりも１つ前の前回の処理時刻における物体データである前回物体データに含まれる物体種類および物体種類候補ごとの確からしさとから、観測データと前回物体データとの対応関係について、「対応可能性あり」と「対応可能性なし」とのいずれかに決定し、「対応可能性あり」と決定された観測データと前回物体データとの対応付けを行い、観測データと、前回物体データと、対応付けとをまとめた相関データを生成し、生成した相関データを出力する相関データ生成部と、相関データ生成部から出力された相関データから、前回物体データに含まれる物体の状態、物体種類および確からしさを更新することで、今回の処理時刻における物体データである今回物体データを生成し、生成した今回物体データを出力する物体データ生成部と、を備えたものである。

また、本発明における物体認識統合方法は、複数のセンサのそれぞれから検出データを受信し、受信した検出データからセンサごとに観測データを生成し、センサごとの観測データを出力するデータ受信ステップと、データ受信ステップで出力された観測データに含まれる物体種類および物体種類候補ごとの確からしさと、今回の処理時刻よりも１つ前の前回の処理時刻における物体データである前回物体データに含まれる物体種類および物体種類候補ごとの確からしさとから、観測データと前回物体データとの対応関係について、「対応可能性あり」と「対応可能性なし」とのいずれかに決定し、「対応可能性あり」と決定された観測データと前回物体データとの対応付けを行い、観測データと、前回物体データと、対応付けとをまとめた相関データを生成し、生成した相関データを出力する相関データ生成ステップと、相関データ生成ステップで出力された相関データから、前回物体データに含まれる物体の状態、物体種類および確からしさを更新することで、今回の処理時刻における物体データである今回物体データを生成し、生成した今回物体データを出力する物体データ生成ステップと、を備えたものである。

本発明によれば、複数のセンサの各センサによって検出された検出データを、物体の識別の不正確さを考慮して、統合することができる物体認識統合装置および物体認識統合方法を得ることができる。

本発明の実施の形態１における物体認識統合装置を含む物体認識統合システムの構成を示すブロック図である。 本発明の実施の形態１における物体認識統合装置の動作を示すフローチャートである。 本発明の実施の形態１における相関データ生成部が残差ベクトルを用いた対応可能性判定を修正する際に用いる対応表である。

以下、本発明による物体認識統合装置および物体認識統合方法を、好適な実施の形態にしたがって図面を用いて説明する。なお、図面の説明においては、同一部分または相当部分には同一符号を付し、重複する説明を省略する。

実施の形態１．
図１は、本発明の実施の形態１における物体認識統合装置４を含む物体認識統合システムの構成を示すブロック図である。図１における物体認識統合システムは、第１のセンサ１、第２のセンサ２、車両情報センサ３、物体認識統合装置４、表示部５および車両制御部６を備える。

第１のセンサ１および第２のセンサ２は、物体から放射された光、電磁波等の検出波、または物体に検出波を照射して物体から反射した検出波を受信し、受信した検出波に対して信号処理、画像処理等の処理が行われることで、物体までの距離、物体の方位角、物体の相対速度等を検出するタイプのセンサである。具体的には、第１のセンサ１および第２のセンサ２として、例えば、ミリ波レーダ、レーザレーダ、超音波センサ、赤外線センサ、光学カメラ等を用いることができる。

第１のセンサ１および第２のセンサ２の自車への搭載位置、および第１のセンサ１および第２のセンサ２の各センサの検出範囲は、既知であるものとする。また、第１のセンサ１および第２のセンサ２の自車への搭載位置等は任意に設定することができる。

ここで、本発明では、第１のセンサ１によって検出された第１の検出データと、第２のセンサ２によって検出された第２の検出データとを統合するので、第１のセンサ１の検出範囲と、第２のセンサ２の検出範囲において、共通する部分、すなわち、重複する部分が存在することが望ましい。また、第１のセンサ１と第２のセンサ２とは同一のセンサ方式としてもよいが、第１のセンサ１および第２のセンサ２の一方のセンサによって検出することができない物体を他方のセンサによって検出可能とするため、第１のセンサ１と第２のセンサ２とは相異なるセンサ方式とすることが望ましい。

具体的には、例えば、第１のセンサ１としてミリ波レーダを用い、第２のセンサ２として光学カメラを用い、第１のセンサ１を自車の前方バンパー部中央に搭載し、第２のセンサ２を自車のルームミラー裏側に搭載し、自車の前方を両センサの共通の検出範囲とすることが考えられる。

第１のセンサ１および第２のセンサ２の各センサは、検出可能な検出範囲に存在する物体に関する情報を、検出データとして検出し、その検出データを物体認識統合装置４に送信する。

ここで、検出データは、例えば、センサによって検出された物体のそのセンサに対する相対位置および相対速度、その物体の種類（以下、物体種類と表記する）の情報を含む。以下、第１のセンサ１によって検出された検出データを第１の検出データと表記し、第２のセンサ２によって検出された検出データを第２の検出データと表記する。

例えば、センサが光学カメラの場合、光学カメラの検出データに含まれる物体種類は、画像処理の抽出対象として予め定められ、例えば、「車両」または「歩行者」のいずれかである。ただし、画像処理の抽出対象以外の物体は、光学カメラによる誤検出を除いて、光学カメラの検出データには含まれない。

また例えば、センサがミリ波レーダの場合、ミリ波レーダの検出データに含まれる物体種類は、検出された物体に由来する反射強度、信号対雑音比等の特徴量から推定することができる。例えば、検出された物体において、反射強度が大きければ「車両」と識別し、反射強度が小さければ「歩行者」と識別することができる。

ただし、検出された物体が車両であっても反射強度が小さい場合があったり、検出された物体が車両以外の物体であっても反射強度が大きい場合があったりすることから、ミリ波レーダは、検出された物体の種類を必ずしも特定することができるわけではない。そこで、本実施の形態１では、特徴量を用いて、物体種類候補ごとの確からしさを算出し、その算出値に基づいて、物体種類を特定するように構成されている。

なお、ここでいう物体種類候補ごとの確からしさとは、検出された物体が物体種類候補である確からしさを意味し、０以上１以下の実数値によって表される。確からしさの値が大きいほど、検出した物体が物体種類候補である確率が高い。

例えば、物体種類候補として「車両」および「歩行者」を想定し、検出された物体が「車両」である確からしさが０．７以上であり、かつ、検出された物体が「歩行者」である確からしさが０．３未満であれば、物体種類を「車両」として特定する。一方、確からしさの値からは、「車両」および「歩行者」のいずれにも物体種類を特定することができない場合には、便宜上、物体種類を「その他」と分類する。

なお、本実施の形態１においては、説明を分かりやすくするため、以下の前提を置く。すなわち、第１のセンサ１は、物体までの距離、および物体の相対速度を精度良く検出するとともに、物体に由来する反射強度等の特徴量を用いて物体を識別することができる一方、その識別の精度が悪く、物体種類を正確に特定することができるとは限らないものとする。

また、第２のセンサ２は、物体の方位角を精度良く検出するとともに、検出された物体の種類を正確に特定することができる一方、識別対象となる物体以外の物体を検出することができないものとする。

以上の前提を満たす、第１のセンサ１および第２のセンサ２のセンサ方式の組合せとして、例えば、第１のセンサ１をミリ波レーダとし、第２のセンサ２を光学カメラとすることができるが、センサ方式の組合せは、これに限るものではない。

車両情報センサ３は、自車に関する情報を自車データとして検出し、その自車データを物体認識統合装置４に送信する。なお、自車データは、例えば、自車の速度、車輪速、ステアリング角、ヨーレート等の情報を含む。

なお、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を用いて、自車の緯度、経度、進行方向等を、自車データとして検出するように、車両情報センサ３を構成してもよい。

物体認識統合装置４は、第１のセンサ１から受信した第１の検出データと、第２のセンサ２から受信した第２の検出データから、物体の情報を推定し、その推定結果を物体データとして出力する。物体認識統合装置４は、データ受信部４１、相関データ生成部４２および物体データ生成部４３を有する。なお、物体認識統合装置４は、例えば、メモリに記憶されたプログラムを実行するＣＰＵと、システムＬＳＩ等の処理回路によって実現される。

データ受信部４１は、第１のセンサ１から第１の検出データを受信し、第２のセンサ２から第２の検出データを受信し、車両情報センサ３から自車データを受信する。また、データ受信部４１は、受信した各データから、第１のセンサ１および第２のセンサ２のセンサごとに観測データを生成する。データ受信部４１は、生成したセンサごとの観測データを相関データ生成部４２に出力する。

相関データ生成部４２は、データ受信部４１から入力された観測データと、物体データ生成部４３から入力された物体データとの対応関係を決定することで、観測データと物体データとの対応付けを行う。また、相関データ生成部４２は、その観測データと、その物体データと、その対応付けとをまとめた相関データを生成する。相関データ生成部４２は、生成した相関データを物体データ生成部４３に出力する。

物体データ生成部４３は、相関データ生成部４２から入力された相関データに基づいて、物体データを更新することで、更新後の物体データを出力する。

ここで、物体データは、例えば、第１のセンサ１または第２のセンサ２によって検出された物体の状態、物体種類、物体種類候補ごとの確からしさ等の情報を含む。物体の状態とは、位置ベクトル、速度ベクトル、加速度ベクトル等の情報である。また、物体データ生成部４３は、例えば、最小二乗法、カルマンフィルタ、粒子フィルタ等を用いて、物体の状態を更新する。

なお、物体データに含まれる物体種類は、第１のセンサ１および第２のセンサ２の各センサによって検出される検出データに含まれる物体種類とは、独立して設定することができる。ただし、各センサの識別結果を活用するために、物体データに含まれる物体種類は、各センサによって検出される検出データに含まれる物体種類を可能な限り含むように設定することが望ましい。

例えば、ミリ波レーダの検出データに含まれる物体種類が「車両」、「歩行者」および「その他」のいずれかに識別され、光学カメラの検出データに含まれる物体種類が「車両」および「歩行者」のいずれかに識別されるように構成されている場合、物体データに含まれる物体種類が「車両」、「歩行者」および「その他」のいずれかに識別されるように設定される。また、物体データに含まれる物体種類候補ごとの確からしさは、０以上１以下の実数値によって表される。

物体データ生成部４３は、例えば自車内部のインストゥルメントパネル、ヘッドマウントディスプレイ等の表示部５に物体データを出力する。この場合、表示部５は、運転者等に向けて、物体データ生成部４３から入力された物体データを表示する。

また、物体データ生成部４３は、例えばブレーキ制御装置、ステアリング制御装置等の車両制御部６に物体データを出力する。この場合、車両制御部６は、物体データ生成部４３から入力された物体データを用いて、車間距離維持制御、車線維持制御、自動ブレーキ制御等の制御を行う。

次に、本実施の形態１における物体認識統合装置４の動作について、図２を参照しながら説明する。図２は、本発明の実施の形態１における物体認識統合装置４の動作を示すフローチャートである。

なお、物体認識統合装置４は、例えば、予め設定された動作周期で図２のフローチャートの処理を繰り返し実行する。また、図２のフローチャートの処理は、ある処理時刻ｔｋ、すなわち、今回の処理時刻ｔｋでの物体認識統合装置４の動作を示している。以下では、今回の処理時刻ｔｋの１つ前の前回の処理時刻をｔｋ−１と表記する。また、処理時刻ｔｋの物体データを今回物体データと表記し、処理時刻ｔｋ−１の物体データを前回物体データと表記する。

まず、ステップＳ１０１において、データ受信部４１は、第１のセンサ１から第１の検出データを受信し、第２のセンサ２から第２の検出データを受信し、処理がステップＳ１０２へと進む。

ステップＳ１０１では、データ受信部４１は、第１のセンサ１および第２のセンサ２の各センサから検出データを受信するとともに、車両情報センサ３から自車データを併せて受信する。また、第１の検出データ、第２の検出データおよび自車データの受信は、処理時刻ｔｋ−１から処理時刻ｔｋまでの時間内に行われる。

さらに、第１のセンサ１と第２のセンサ２の両方のセンサから常に検出データを受信するわけではなく、どちらか一方のセンサのみから検出データを受信したり、両方のセンサから検出データを受信しなかったりする場合がある。

ステップＳ１０２において、データ受信部４１は、第１のセンサ１から受信した第１の検出データと、第２のセンサ２から受信した第２の検出データから、センサごとに観測データを生成し、処理がステップＳ１０３へと進む。なお、データ受信部４１は、第１のセンサ１および第２のセンサ２の両方のセンサから検出データを受信しなかった場合、観測データを生成しない。

また、データ受信部４１は、第１のセンサ１および第２のセンサ２の両方のセンサから検出データを受信した場合、第１の検出データから生成される第１のセンサ１の観測データと、第２の検出データから生成される第２のセンサ２の観測データとの、相関データ生成部４２への入力順序を決定する。

なお、これらの観測データの相関データ生成部４２への入力順序は、例えば、各センサからの検出データの受信の早い順に、各センサの観測データが相関データ生成部４２へ入力されるように決定される。

また、データ受信部４１は、センサごとに生成された観測データの入力状態を未入力にリセットする。

ここで、センサごとに観測データを生成する具体例について説明する。例えば、データ受信部４１は、車両情報センサ３から受信した自車データを用いて、第１の検出データおよび第２の検出データを必要に応じて加工することで、センサごとに観測データを生成する。

より具体的には、例えば、受信した検出データに物体の相対速度が含まれる場合、データ受信部４１は、受信した自車データに含まれる自車速度と組み合わせることで物体の対地速度を算出し、その算出結果を観測データとして生成する。

なお、第１の検出データおよび第２の検出データを加工せずに、第１の検出データをそのまま第１のセンサの観測データとして生成し、第２の検出データをそのまま第２のセンサの観測データとして生成するようにしてもよい。

このように、データ受信部４１は、複数のセンサのそれぞれから検出データを受信し、受信した検出データからセンサごとに観測データを生成し、センサごとの観測データを出力する。また、相関データ生成部４２は、すべての物体データの更新フラグを０にセットする。

ステップＳ１０３において、データ受信部４１は、まだ入力済でないセンサの観測データが存在するか否かを判定する。まだ入力済でないセンサの観測データが存在すると判定された場合には、処理がステップＳ１０４へと進む。一方、そうでないと判定された場合には、データ受信部４１は、今回物体データを前回物体データで上書きし、今回物体データのすべての選択状態を未選択にリセットして、処理がステップＳ１１４へと進む。

ステップＳ１０４において、データ受信部４１は、まだ入力済でないセンサの観測データを１つ選択し、その選択した観測データを相関データ生成部４２に入力し、処理がステップＳ１０５へと進む。

ステップＳ１０４では、相関データ生成部４２は、データ受信部４１から入力された観測データの選択状態を未選択にリセットする。また、相関データ生成部４２は、物体データ生成部４３から前回物体データを入力する。

ステップＳ１０５において、相関データ生成部４２は、データ受信部４１から入力された観測データのうち、まだ選択済でない観測データが存在するか否かを判定する。まだ選択済でない観測データが存在すると判定された場合には、相関データ生成部４２は、まだ選択済でない観測データを１つ選択し、その観測データの選択状態を選択済に変更し、処理がステップＳ１０６へと進む。一方、そうでないと判定された場合には、処理がステップＳ１０７へと進み、観測データのループ処理が終了となり、さらに、処理がステップＳ１０８へと進む。

ステップＳ１０６において、相関データ生成部４２は、ステップＳ１０５で選択した観測データと対応する可能性のある前回物体データを探索する。

ここで、物体の検出データが時系列として空間的に連続して得られることと、各センサで同じ物体を検出したときの検出データは空間的な位置関係が近いことを前提として、前回物体データと観測データとの対応関係を定めることができる。すなわち、前回物体データと観測データとの、位置、速度等の残差ベクトルの長さが閾値よりも大きい場合、対応関係として、「対応可能性なし」と定める。一方、その残差ベクトルの長さが閾値以下である場合、対応関係として、「対応可能性あり」と定める。

上記の具体例として、物体データ生成部４３から相関データ生成部４２に入力された前回物体データすべてについて、相関データ生成部４２は、各前回物体データの状態ベクトルから計算した位置ベクトルの予測値と、選択した観測データの位置ベクトルとの残差ベクトルを計算する。続いて、相関データ生成部４２は、その計算結果として、残差ベクトルのユークリッド距離が予め設定された閾値以下であれば、前回物体データと、選択した観測データとは「対応可能性あり」と判定する。

なお、前回物体データと観測データとの対応関係を判定するにあたって、上記のように残差ベクトルのユークリッド距離を用いて判定する代わりに、例えば、縦位置の残差の絶対値が閾値以下、かつ、横位置の残差が閾値以下であれば、「対応可能性あり」と判定するようにしてもよい。また、前回物体データに含まれる物体の状態の更新にカルマンフィルタを用いる場合、残差ベクトルを誤差共分散行列で正規化したマハラノビス距離を用いて、対応関係を判定するようにしてもよい。さらに、残差ベクトルとして、位置ベクトルだけでなく、ドップラー速度、または速度ベクトルの残差を含めて、対応関係を判定するようにしてもよい。

このように、相関データ生成部４２は、観測データと前回物体データとの対応関係について、残差ベクトルを用いた対応可能性判定を行う。

ただし、一方のセンサで検出可能な物体が他方のセンサでは検出不可能であったり、検出データの誤差が大きかったりするために、観測データと、その観測データに対応する物体とは異なる物体に対応する前回物体データとが、「対応可能性あり」と誤って判定される場合がある。

また、観測データと前回物体データとの対応関係が正しく判定されない場合、前回物体データに含まれる物体の状態が実際の物体の挙動と異なることに起因して、異常な情報が表示されたり、車両制御において誤アクセル、誤ブレーキ、誤ハンドル等の誤作動が起きたりする可能性がある。

そこで、ステップＳ１０６では、相関データ生成部４２は、観測データに含まれる物体種類と、前回物体データに含まれる物体種類とを照合する。相関データ生成部４２は、その照合結果から、観測データに含まれる物体種類と、前回物体データに含まれる物体種類とが異なる場合、物体種類の異なる観測データと前回物体データとは「対応可能性なし」と決定することで、上記の残差ベクトルを用いた対応可能性判定を修正する。

ただし、観測データに含まれる物体種類は、前回物体データに含まれる物体種類と必ずしも一対一に対応するとは限らない。例えば、ミリ波レーダは識別の精度が悪いので、ミリ波レーダの検出データから生成された観測データに含まれる物体種類が誤っていたり、物体種類が特定不可能であったりすることがある。また、例えば、光学カメラは識別の精度が良いものの、識別対象以外の物体を検出することができないので、前回物体データに含まれる物体種類において、光学カメラの検出データから生成された観測データに含まれる物体種類とは異なるものが存在することがある。

そこで、ステップＳ１０６では、相関データ生成部４２は、図３に示す対応表を用いて、残差ベクトルを用いた対応可能性判定を修正する。図３は、本発明の実施の形態１における相関データ生成部４２が残差ベクトルを用いた対応可能性判定を修正する際に用いる対応表である。

すなわち、相関データ生成部４２は、観測データに含まれる物体種類と、前回物体データに含まれる物体種類とがともに特定されている場合、物体種類の組合せが同じときのみ、「対応可能性あり」の判定を維持する。一方、相関データ生成部４２は、物体種類の組合せが異なるときには、「対応可能性あり」の判定を維持しない、すなわち、「対応可能性あり」の判定を、「対応可能性なし」と修正する。

一方、相関データ生成部４２は、観測データに含まれる物体種類、または前回物体データに含まれる物体種類が、特定されていない場合、すなわち、「その他」として分類されている場合、データに含まれる物体種類候補ごとの確からしさを用いて、「対応可能性あり」の判定を維持するか否かを決定する。

相関データ生成部４２は、具体的には、図３に示すように物体種類の組合せが「×」に対応する組合せの場合、残差ベクトルを用いた対応可能性判定として、「対応可能性あり」の判定であれば、その判定を「対応可能性なし」に修正する。

つまり、物体種類の組合せが「×」に対応する組合せの場合、「対応可能性なし」と決定される。このように定めておくことで、観測データと前回物体データとの対応関係について、互いの物体種類が異なる場合、「対応可能性なし」と決定されることとなる。

物体種類の組合せが「○」に対応する組合せの場合、残差ベクトルを用いた対応可能性判定として、「対応可能性あり」の判定であれば、その判定を維持する。

つまり、物体種類の組合せが「○」に対応する組合せの場合、「対応可能性あり」と決定される。このように定めておくことで、観測データと前回物体データとの対応関係について、互いの物体種類が同じ場合、「対応可能性あり」と決定されることとなる。

このように、相関データ生成部４２は、観測データおよび前回物体データの両方のデータに含まれる物体種類がいずれも特定されている場合、両方のデータに含まれるそれぞれの物体種類が互いに異なるか否かによって、対応関係を決定する。

物体種類の組合せが「△」に対応する組合せの場合、残差ベクトルを用いた対応可能性判定として、「対応可能性あり」の判定であれば、前回物体データに含まれる物体種類候補ごとの確からしさと、選択した観測データに含まれる物体種類候補ごとの確からしさとが類似していることを条件に、その判定を維持する。

例えば、前回物体データに含まれる物体種類が「歩行者」であり、選択した観測データが第１のセンサ１としてのミリ波レーダの検出データから生成されたものであってその観測データに含まれる物体種類が「その他」である場合を考える。

上記の場合、選択した観測データに含まれる物体種類候補ごとの確からしさにおいて、物体が「歩行者」である確からしさが、物体が「車両」である確からしさよりも大きく、かつ予め設定された閾値（例えば、０．３）以上であるときには、「対応可能性あり」の判定を維持する。

つまり、物体種類の組合せが「△」に対応する組合せの場合、観測データにおいて、前回物体データで特定されている「歩行者」に対応する確からしさが大きいときには、「対応可能性あり」と決定される。このように定めておくことで、観測データと前回物体データとの対応関係について、観測データにおける、前回物体データで特定されている物体種類に対応する確からしさが大きい場合、「対応可能性あり」と決定されることとなる。

一方、選択した観測データに含まれる物体種類候補ごとの確からしさにおいて、物体が「歩行者」である確からしさが、物体が「車両」である確からしさよりも小さいときには、「対応可能性あり」の判定を「対応可能性なし」に修正する。

つまり、物体種類の組合せが「△」に対応する組合せの場合、観測データにおいて、前回物体データで特定されている「歩行者」に対応する確からしさが小さいときには、「対応可能性なし」と決定される。このように定めておくことで、観測データと前回物体データとの対応関係について、観測データにおける、前回物体データで特定されている物体種類に対応する確からしさが小さい場合、「対応可能性なし」と決定されることとなる。

このように、相関データ生成部４２は、観測データおよび前回物体データの一方のデータに含まれる物体種類が特定され、他方のデータに含まれる物体種類が特定されていない場合、他方のデータにおける、一方のデータで特定されている物体種類に対応する確からしさによって、対応関係を決定する。

なお、本実施の形態１では、観測データと前回物体データとの対応関係について、残差ベクトルを用いた対応可能性判定を行わずに、観測データと前回物体データとの対応関係を決定するようにしてもよい。この場合、相関データ生成部４２は、観測データに含まれる物体種類および物体種類候補ごとの確からしさと、前回物体データに含まれる物体種類および物体種類候補ごとの確からしさとから、対応関係を決定する。

以上のように、相関データ生成部４２は、データ受信部４１から入力された観測データに含まれる物体種類および物体種類候補ごとの確からしさと、前回物体データに含まれる物体種類および物体種類候補ごとの確からしさとから、対応関係について、「対応可能性あり」と「対応可能性なし」とのいずれかに決定する。

図２の説明に戻り、ステップＳ１０８において、相関データ生成部４２は、ステップＳ１０６で決定された対応関係から、前回物体データと観測データとの対応付けを行い、処理がステップＳ１０９へと進む。

すなわち、相関データ生成部４２は、ステップＳ１０６で「対応可能性あり」と決定された前回物体データと観測データとについて、どの前回物体データと、どの観測データとが同一の物体に由来するものであるかを決定する。

相関データ生成部４２は、前回物体データと「対応可能性あり」と決定された観測データが０個の場合、何もしない。相関データ生成部４２は、前回物体データと「対応可能性あり」と決定された観測データが１個以上である場合、前回物体データと観測データとの残差ベクトルの大小に基づいて、物体データと対応付ける観測データを一意に決定する。具体的には、相関データ生成部４２は、前回物体データと「対応可能性あり」と決定された観測データのうち、前回物体データと観測データとの残差ベクトルの加重平均が最も小さい観測データを、前回物体データと対応付ける。

なお、前回物体データと「対応可能性あり」と決定された複数の観測データについて、位置ベクトルの加重平均を計算し、その加重平均を代表値として前回物体データと対応付けてもよい。例えば、ＳＮＮ（Ｓｉｍｐｌｅ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）アルゴリズム、ＧＮＮ（Ｇｌｏｂａｌ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）アルゴリズム、ＪＰＤＡ（Ｊｏｉｎｔ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）アルゴリズムなどを用いることができる。

また、前回物体データと「対応可能性あり」と決定された観測データのうち、前回物体データと観測データとの残差ベクトルと、前回物体データと観測データとの確からしさの残差との加重平均が最も小さい観測データを、前回物体データと対応付けてもよい。

また、前回物体データと「対応可能性あり」と決定された観測データのうち、前回物体データに含まれる物体種類と同一の物体種類について最も大きい確からしさを持つ観測データを、前回物体データと対応付けてもよい。つまり、観測データに含まれる物体種類候補ごとの確からしさのうち、前回物体データに含まれる物体種類と同一の物体種類に対応する確からしさが最も大きい観測データを、前回物体データと対応付ける。

また、前回物体データと「対応可能性あり」と決定された観測データのうち、前回物体データに含まれる物体種類候補ごとの確からしさと最も類似する確からしさを持つ観測データを、前回物体データと対応付けてもよい。

例えば、前回物体データに含まれる物体種類候補ごとの確からしさにおいて、物体が「車両」である確からしさが０．４０であり、物体が「歩行者」である確からしさが０．２０であり、観測データＡ，Ｂの２個の観測データが存在するものとする。

また、一方の観測データＡに含まれる物体種類候補ごとの確からしさにおいて、物体が「車両」である確からしさが０．３５であり、物体が「歩行者」である確からしさが０．２５であるものとする。さらに、他方の観測データＢに含まれる物体種類候補ごとの確からしさにおいて、物体が「車両」である確からしさが０．３５であり、物体が「歩行者」である確からしさが０．４０であるものとする。

上記の場合、前回物体データと「対応可能性あり」と決定された観測データＡ，Ｂのうち、前回物体データに含まれる物体種類候補ごとの確からしさと最も類似する確からしさを持つ観測データＡを、前回物体データと対応付ける。

なお、以上の対応付けの決定方法は、物体データや観測データの自車からの距離、角度、相対速度、物体データの観測データとの対応回数等に応じて、条件付きで任意に組み合わせてもよい。

相関データ生成部４２は、前回物体データと、観測データと、前回物体データと観測データとの対応付けとをまとめた相関データを、物体データ生成部４３に入力する。また、物体データ生成部４３は、相関データに含まれる観測データの選択状態を未選択にリセットする。

このように、相関データ生成部４２は、「対応可能性あり」と決定された観測データと前回物体データとの対応付けを行うことで、相関データを生成する。

ステップＳ１０９において、物体データ生成部４３は、相関データ生成部４２から入力された相関データにおいて、まだ選択済でない観測データが存在するか否かを判定する。まだ選択済でない観測データが存在すると判定された場合には、物体データ生成部４３は、まだ選択済でない観測データを１つ選択し、処理がステップＳ１１０へと進む。一方、そうでないと判定された場合には、処理がステップＳ１１３へと進み、観測データのループ処理が終了となり、さらに、物体データ生成部４３は、前回物体データを今回物体データで上書きし、センサの観測データを入力済にセットして、処理がステップＳ１０３に戻る。

ステップＳ１１０において、物体データ生成部４３は、相関データ生成部４２から入力された相関データにおいて、選択した観測データと対応付けられた前回物体データが存在するか否かを判定する。選択した観測データに対応付けられた前回物体データが存在すると判定された場合には、処理がステップＳ１１１へと進む。一方、そうでないと判定された場合には、処理がステップＳ１１２へと進む。

ステップＳ１１１において、物体データ生成部４３は、選択した観測データを用いて、その選択した観測データに対応付けられた前回物体データに含まれる物体の状態、物体種類および物体種類候補ごとの確からしさを更新し、更新後の前回物体データを今回物体データとして生成する。

なお、前回物体データに含まれる位置ベクトル、速度ベクトル、加速度ベクトル等の物体の状態は、例えば、最小二乗法、カルマンフィルタ、粒子フィルタ等を用いて更新される。また、前回物体データに含まれる物体種類と物体種類候補ごとの確からしさは、例えば、選択した観測データに含まれる物体種類と物体種類候補ごとの確からしさを引き継ぐことで更新される。

なお、前回物体データに含まれる物体種類候補ごとの確からしさと、選択した観測データに含まれる物体種類候補ごとの確からしさとの加重平均を計算し、その計算結果から、前回物体データに含まれる物体種類を決定してもよい。ここで、確からしさの重み付けは、センサの種類によって変化させ、第２のセンサ２としての光学カメラに対応する重み付けを高くし、第１のセンサ１としてのミリ波レーダに対応する重み付けを低くすることが望ましい。そして、物体データ生成部４３は、更新された確からしさに基づいて、前回物体データに含まれる物体種類を決定する。

物体データ生成部４３は、選択した観測データを用いて更新された前回物体データについて、更新フラグを１にセットする。

一方、ステップＳ１１２において、物体データ生成部４３は、選択した観測データに基づいて、新しい物体データを今回物体データとして生成し、更新フラグを１にセットする。

このように、物体データ生成部４３は、相関データ生成部４２から入力された相関データから、前回物体データに含まれる物体の状態、物体種類および物体種類候補ごとの確からしさを更新することで、更新後の前回物体データを、今回物体データとして生成する。

ステップＳ１１４において、物体データ生成部４３は、まだ選択済でない今回物体データが存在するか否かを判定する。まだ選択済でない今回物体データが存在すると判定された場合には、物体データ生成部４３は、まだ選択済でない今回物体データを１つ選択し、選択状態を選択済にセットし、処理がステップＳ１１５へと進む。一方、そうでないと判定された場合には、処理がステップＳ１２０へと進み、今回物体データのループ処理が終了となる。

ステップＳ１１５において、物体データ生成部４３は、選択した今回物体データについて、更新フラグが１であるか否かを判定する。更新フラグが１であると判定された場合には、処理がステップＳ１１６へと進む。そうでないと判定された場合には、処理がステップＳ１１７へと進む。

ステップＳ１１６において、物体データ生成部４３は、選択した今回物体データについて、ロスト回数を０にリセットし、処理がステップＳ１１８へと進む。

ステップＳ１１７において、物体データ生成部４３は、選択した今回物体データについて、ロスト回数をインクリメントし、処理がステップＳ１１８へと進む。

ステップＳ１１８において、物体データ生成部４３は、選択した今回物体データについて、ロスト回数が予め設定された閾値以上であるか否かを判定する。そのロスト回数が閾値以上であると判定された場合には、処理がステップＳ１１９へと進む。一方、そうでないと判定された場合には、次の選択済でない今回物体データの選択に移る。

ステップＳ１１９において、物体データ生成部４３は、選択した今回物体データが、いずれのセンサの検出データから生成された観測データとも対応しなくなり、物体をいずれのセンサでも検出することができなくなったと判断し、選択した今回物体データを削除する。

そして、物体データ生成部４３は、今回物体データを、相関データ生成部４２、また、表示部５および車両制御部６に出力して、処理時刻ｔｋでの処理が終了となる。

以上、本実施の形態１によれば、複数のセンサごとに生成される観測データに含まれる物体種類および物体種類候補ごとの確からしさと、前回物体データに含まれる物体種類および物体種類候補ごとの確からしさとから、観測データと前回物体データとの対応関係を決定し、「対応可能性あり」と決定された観測データと前回物体データとの対応付けを行うことで相関データを生成し、その相関データを用いて前回物体データを更新することで今回物体データを生成するように構成されている。

これにより、複数のセンサの各センサによって検出された検出データを、物体の識別の不正確さを考慮して、統合することができる。また、一方のセンサで検出できた物体が他方のセンサで検出できなかったり、検出データの誤差が大きかったりする場合であっても、検出データと物体データとを正しく対応させ、センサシステム全体の認識精度を向上させることができる。

なお、本実施の形態１では、自車に搭載したセンサが２個の場合に対して本願発明を適用する例を説明したが、センサが３個以上の場合でも、同様に、本願発明が適用可能である。

１ 第１のセンサ、２ 第２のセンサ、３ 車両情報センサ、４ 物体認識統合装置、４１ データ受信部、４２ 相関データ生成部、４３ 物体データ生成部、５ 表示部、６ 車両制御部。

本発明における物体認識統合装置は、複数のセンサのそれぞれから検出データを受信し、受信した検出データからセンサごとに、物体の状態、物体種類および物体種類候補ごとの確からしさを含む観測データを生成し、センサごとの観測データを出力するデータ受信部と、データ受信部から出力された観測データに含まれる物体種類および物体種類候補ごとの確からしさと、今回の処理時刻よりも１つ前の前回の処理時刻における、物体の状態、物体種類および物体種類候補ごとの確からしさを含む物体データである前回物体データに含まれる物体種類および物体種類候補ごとの確からしさとから、観測データと前回物体データとの対応関係について、「対応可能性あり」と「対応可能性なし」とのいずれかに決定し、「対応可能性あり」と決定された観測データと前回物体データとの対応付けを行い、観測データと、前回物体データと、対応付けとをまとめた相関データを生成し、生成した相関データを出力する相関データ生成部と、相関データ生成部から出力された相関データに含まれる対応付けが行われた観測データと前回物体データについて、観測データを用いて、観測データに対応付けられた前回物体データに含まれる物体の状態、物体種類および確からしさを更新することで、今回の処理時刻における物体データである今回物体データを生成し、生成した今回物体データを出力する物体データ生成部と、を備えたものである。

また、本発明における物体認識統合方法は、複数のセンサのそれぞれから検出データを受信し、受信した検出データからセンサごとに、物体の状態、物体種類および物体種類候補ごとの確からしさを含む観測データを生成し、センサごとの観測データを出力するデータ受信ステップと、データ受信ステップで出力された観測データに含まれる物体種類および物体種類候補ごとの確からしさと、今回の処理時刻よりも１つ前の前回の処理時刻における、物体の状態、物体種類および物体種類候補ごとの確からしさを含む物体データである前回物体データに含まれる物体種類および物体種類候補ごとの確からしさとから、観測データと前回物体データとの対応関係について、「対応可能性あり」と「対応可能性なし」とのいずれかに決定し、「対応可能性あり」と決定された観測データと前回物体データとの対応付けを行い、観測データと、前回物体データと、対応付けとをまとめた相関データを生成し、生成した相関データを出力する相関データ生成ステップと、相関データ生成ステップで出力された相関データに含まれる対応付けが行われた観測データと前回物体データについて、観測データを用いて、観測データに対応付けられた前回物体データに含まれる物体の状態、物体種類および確からしさを更新することで、今回の処理時刻における物体データである今回物体データを生成し、生成した今回物体データを出力する物体データ生成ステップと、を備えたものである。

相関データ生成部４２は、前回物体データと「対応可能性あり」と決定された観測データが０個の場合、何もしない。相関データ生成部４２は、前回物体データと「対応可能性あり」と決定された観測データが１個以上である場合、前回物体データと観測データとの残差ベクトルの大小に基づいて、物体データと対応付ける観測データを一意に決定する。具体的には、相関データ生成部４２は、前回物体データと「対応可能性あり」と決定された観測データのうち、前回物体データと観測データとの残差ベクトルの大きさが最も小さい観測データを、前回物体データと対応付ける。

また、前回物体データと「対応可能性あり」と決定された観測データのうち、前回物体データと観測データとの残差ベクトルの大きさと、前回物体データと観測データとの確からしさの残差との加重平均が最も小さい観測データを、前回物体データと対応付けてもよい。

Claims (9)

1. 複数のセンサのそれぞれから検出データを受信し、受信した前記検出データから前記センサごとに観測データを生成し、前記センサごとの前記観測データを出力するデータ受信部と、
   前記データ受信部から出力された前記観測データに含まれる物体種類および物体種類候補ごとの確からしさと、今回の処理時刻よりも１つ前の前回の処理時刻における物体データである前回物体データに含まれる物体種類および物体種類候補ごとの確からしさとから、前記観測データと前記前回物体データとの対応関係について、「対応可能性あり」と「対応可能性なし」とのいずれかに決定し、前記「対応可能性あり」と決定された前記観測データと前記前回物体データとの対応付けを行い、前記観測データと、前記前回物体データと、前記対応付けとをまとめた相関データを生成し、生成した前記相関データを出力する相関データ生成部と、
   前記相関データ生成部から出力された前記相関データから、前記前回物体データに含まれる物体の状態、前記物体種類および前記確からしさを更新することで、前記今回の処理時刻における物体データである今回物体データを生成し、生成した前記今回物体データを出力する物体データ生成部と、
   を備えた物体認識統合装置。
2. 前記相関データ生成部は、
   前記観測データと前記前回物体データとの前記対応関係について、残差ベクトルを用いた対応可能性判定を行い、
   前記観測データに含まれる前記物体種類および前記確からしさと、前記前回物体データに含まれる前記物体種類および前記確からしさとから、前記対応可能性判定を修正することで、前記対応関係を決定する
   請求項１に記載の物体認識統合装置。
3. 前記相関データ生成部は、
   前記観測データおよび前記前回物体データの両方のデータに含まれる物体種類がいずれも特定されている場合、前記両方のデータに含まれるそれぞれの物体種類が互いに異なるか否かによって、前記対応関係を決定する
   請求項１または２に記載の物体認識統合装置。
4. 前記相関データ生成部は、
   前記観測データおよび前記前回物体データの一方のデータに含まれる物体種類が特定され、他方のデータに含まれる物体種類が特定されていない場合、前記他方のデータにおける、前記一方のデータで特定されている物体種類に対応する前記確からしさによって、前記対応関係を決定する
   請求項１から３のいずれか１項に記載の物体認識統合装置。
5. 前記相関データ生成部は、
   前記前回物体データと前記「対応可能性あり」と決定された前記観測データのうち、前記前回物体データと前記観測データとの残差ベクトルの加重平均が最も小さい観測データを、前記前回物体データと対応付ける
   請求項１から４のいずれか１項に記載の物体認識統合装置。
6. 前記相関データ生成部は、
   前記前回物体データと前記「対応可能性あり」と決定された前記観測データのうち、前記前回物体データに含まれる物体種類と同一の物体種類について最も大きい前記確からしさを持つ観測データを、前記前回物体データと対応付ける
   請求項１から４のいずれか１項に記載の物体認識統合装置。
7. 前記相関データ生成部は、
   前記前回物体データと前記「対応可能性あり」と決定された前記観測データのうち、前記前回物体データに含まれる前記確からしさと最も類似する前記確からしさを持つ観測データを、前記前回物体データと対応付ける
   請求項１から４のいずれか１項に記載の物体認識統合装置。
8. 前記相関データ生成部は、
   前記前回物体データと前記「対応可能性あり」と決定された前記観測データのうち、前記前回物体データと前記観測データとの残差ベクトルと、前記前回物体データと前記観測データとの前記確からしさの残差との加重平均が最も小さい観測データを、前記前回物体データと対応付ける
   請求項１から４のいずれか１項に記載の物体認識統合装置。
9. 複数のセンサのそれぞれから検出データを受信し、受信した前記検出データから前記センサごとに観測データを生成し、前記センサごとの前記観測データを出力するデータ受信ステップと、
   前記データ受信ステップで出力された前記観測データに含まれる物体種類および物体種類候補ごとの確からしさと、今回の処理時刻よりも１つ前の前回の処理時刻における物体データである前回物体データに含まれる物体種類および物体種類候補ごとの確からしさとから、前記観測データと前記前回物体データとの対応関係について、「対応可能性あり」と「対応可能性なし」とのいずれかに決定し、前記「対応可能性あり」と決定された前記観測データと前記前回物体データとの対応付けを行い、前記観測データと、前記前回物体データと、前記対応付けとをまとめた相関データを生成し、生成した前記相関データを出力する相関データ生成ステップと、
   前記相関データ生成ステップで出力された前記相関データから、前記前回物体データに含まれる物体の状態、前記物体種類および前記確からしさを更新することで、前記今回の処理時刻における物体データである今回物体データを生成し、生成した前記今回物体データを出力する物体データ生成ステップと、
   を備えた物体認識統合方法。

Images