JP2014153874A - 物標認識装置 - Google Patents

Abstract

【課題】レーダセンサにおいて位相折返しが発生する角度範囲での物標の認識精度を向上させる。
【解決手段】レーダセンサ部２で検出される物標候補であるレーダ物標と、画像センサ部３で検出される物標候補である画像物標との結合関係に基づいて虚像らしさを表す個別尤度Ｐ１を求め（Ｓ２１０）、実像らしさを表す個別尤度Ｐ２を求め（Ｓ２２０）、更に、物標候補の移動速度から歩行者らしさを表す個別尤度Ｐ３を求め（Ｓ２３０）、これらの個別尤度Ｐ１〜Ｐ３を統合した統合尤度Ｐを求める（Ｓ２４０）。この統合尤度Ｐに基づいて、運転支援実行部５への情報提供の対象となる物標を選択する。
【選択図】図４

Description

本発明は、レーダセンサ及び画像センサの情報を利用して物標を認識する物標認識装置に関する。

従来、車両の運転支援等に用いるために、レーダセンサや画像センサを利用して車両の周囲に存在する各種物標を認識する物標認識装置が各種用いられている。
ところで、レーダセンサの一つであるミリ波レーダでは、レーダ波を反射した物標からの反射波を複数のアンテナで受信し、各アンテナからの受信信号間に生じる位相差Δθを利用して、電波を反射した物標の方位を求めることが行われている。但し、位相の周期性からΔθ＝θ０（｜θ０｜＜π）と、Δθ＝θ０±２ｎπ（ｎ＝１，２，…）とを区別することができない。

従って、位相差Δθが−π＜Δθ≦＋π［ｒａｄ］となる範囲に対応する方位角度領域（基本検知範囲）内に物標が存在すれば、その方位を正しく検出することができるが、基本検知範囲外、即ち、位相差Δθが、Δθ≦−π又はΔθ＞πとなる範囲に物標が存在する場合には、その物標の方位を、基本検知エリア内にあるものとして誤検出してしまうことが知られている。

このような位相折返しによる誤検出を防止する方法の一つとして、特許文献１には、レーダで検出した物標候補位置をカメラで認識し、レーダでの検出結果に対応する物標が認識できればミリ波レーダでの検出結果を真（実像である）とし、認識できなければ位相折返しによる虚像であると仮定し、実像が存在すると予想される基本検知エリア外の方位（位置）について、カメラによる物標認識を改めて実施する。その結果、物標が存在すれば、予想した位置を物標位置として採用することが記載されている。

特開２００７−２６３９８６号公報

しかし、特許文献１に記載の従来装置では、カメラ側で誤認識が発生すると、位相折返しによる虚像（ゴースト）を実像として誤認識してしまうため、安定した認識結果を得ることができないという問題があった。

本発明は、上記問題点を解決するために、レーダセンサにおいて位相折返しが発生する角度範囲での物標の認識精度を向上させることを目的とする。

本発明の物標認識装置は、レーダセンサ及び画像センサを用いて予め設定された測定サイクル毎に物体を認識する。但し、レーダセンサは、受信信号の位相差から一意に方位が決まる範囲を基本検知範囲、基本検知範囲に隣接した範囲であり該範囲内に物標が存在すると位相折返しによって基本検知範囲内で虚像が検出される範囲を付加検知範囲、虚像が現れる基本検知範囲内の領域を折返領域として、基本検知範囲及び付加検知範囲を探査範囲とする。また、画像センサは、レーダセンサの探査範囲より広い角度範囲を撮像するように設定されている。

そして本発明の物標認識装置では、候補検出手段が、測定サイクル毎にレーダセンサでの検出結果に基づき基本検知範囲内に物標が存在するものとして物標候補を検出し、候補追加手段が、候補検出手段により折返領域内で検出された物標候補のそれぞれについて、該物標候補は虚像であり実像が付加検知範囲内に存在するものとして求めた物標候補を追加する。

また、追跡手段が、候補検出手段及び候補追加手段により検出及び追加された物標候補のそれぞれについて、前回の測定サイクルでの検出結果との間で履歴接続の有無を検出する。結合判断手段が、物標候補のそれぞれについて、画像センサで検出された物標である画像物標の中に物標候補に対応付けられるものが存在するか否かにより、画像物標との結合の有無を判断する。そして、尤度算出手段が、少なくとも結合判断手段での判断結果を用いて、物標候補の虚像らしさを表す尤度を設定，更新する。

このように構成された本発明の物標認識装置では、履歴接続が確認されている候補物標の虚像らしさを表す尤度が、時系列的に求められるため、瞬時的な誤認識（誤結合）によって、物標候補が実像であるか虚像であるかの判断を誤ってしまうことを抑制することができる。

運転支援システムの構成を示すブロック図である。 探査範囲等を示す説明図である。 物標認識処理の内容を示すフローチャートである。 折返確率算出処理の内容を示すフローチャートである。 個別尤度を設定，更新する処理の内容を示す説明図である。 個別尤度及び統合尤度が変化する様子を例示するグラフである。

以下に本発明の実施形態を図面と共に説明する。
＜全体構成＞
本発明が適用された運転支援システム１は、図１に示すように、自車両の前方に設定された探査領域に向けてレーダ波を照射し、その反射波を受信するレーダセンサ部２と、探査領域を撮像する画像センサ部３と、レーダセンサ部２及び画像センサ部３での検出結果に従って、探査領域内に存在する各種物標を検知する統合処理部４と、統合処理部４での処理結果に従い、各種車載機器を制御して所定の運転支援を実行する運転支援実行部５とを備えている。運転支援システム１において、統合処理部４は、レーダセンサ部２、画像センサ部３、及び運転支援実行部５のそれぞれと通信可能に接続されている。なお、通信を実現するための構成は、特に限定されない。

＜レーダセンサ部＞
レーダセンサ部２は、車両の前端部に配置され、ミリ波を利用して所定の探査領域内に存在する物標を検知する周知のＦＭＣＷ（Frequency Modulated Continuous Wave ）レーダからなり、ミリ波を反射した反射点（物標候補）に関する情報を、レーダ物標情報として統合処理部４へ送信する。但し、レーダセンサ部２は、送信アンテナ及び受信アンテナのうち少なくとも一方がアレイアンテナによって構成され、送信アンテナと受信アンテナの組み合わせをチャンネルと呼ぶものとして、複数のチャンネルを用いてミリ波の送受信を行い、各チャンネルにて得られる受信信号の位相差を利用して、方位検出を行うことができるように構成されている。

そして、レーダセンサ部２は、ＦＭＣＷレーダにおける周知の手法により物標候補毎に、自車両との距離や相対速度を検出する候補検出処理部２ａ、反射波の受信信号の位相差を利用して物標候補が存在する方位を求める方位算出処理部２ｂを備える。また、レーダセンサ部２は、候補検知処理部２ａによって検出された物標候補が、いわゆる位相折返しによって生じる虚像である可能性がある場合に、実像が存在すると推定される方位を求めて物標候補の一つ（距離，相対速度は元の物標候補と同じ）として追加する候補追加処理部２ｃ、候補検出処理部２ａ及び候補追加処理部２ｃによって検出，追加された物標候補のそれぞれについて、これら物標候補が、過去の測定サイクルで検出された物標候補と履歴接続の関係にあるか否か（同一のものであると推定できるか否か）を判定するトラッキング処理部２ｄを備える。なお、これら各部２ａ〜２ｄは、ＣＰＵが実行する処理によって実現される。また、各部２ａ〜２ｄで実現される候補検出処理、方位算出処理、候補追加処理、トラッキング処理の個々の内容については、周知であるため詳細な説明は省略する。

但し、ここでは、図２に示すように、受信信号の位相差Δθから一意に方位を決定することができる範囲（−π＜Δθ≦π）に相当する角度範囲を基本検知範囲、基本検知範囲の左右両側に隣接した範囲であり、その範囲内に物標（実像）が存在すると位相折返しによって基本検知範囲内で虚像が検出される範囲を付加検知範囲、その虚像が現れる基本検知範囲内の領域を折返領域と呼ぶものとする。

つまり、レーダセンサ部２は、基本検知範囲及び付加検知範囲の全体を探査範囲として物標候補を検出し、レーダセンサ部２によって検出される物標候補には、基本検知範囲の折返領域外で検出されるものと、基本検知範囲の折返領域内で検出されるものと、折返領域内での検出結果が虚像であり付加検知範囲に実像が存在するとして付加されるものとが存在する。以下では、折返領域内で検出される物標候補、及びその物標候補に対応して付加される物標候補を折返候補とも呼び、折返候補と基本検知範囲の折返領域外で検出された物標候補を総称してレーダ物標と呼び、レーダ物標のそれぞれについてレーダ物標情報が生成される。

そして、レーダ物標情報には、自車両からの物標候補までの距離、自車両に対する物標候補の相対速度、自車両から見て物標候補が存在する方位、折返候補であるか否かを示す折返フラグ（折返候補であればオン）、トラッキング処理によって得られる履歴接続情報が含まれる。

折返フラグは、候補追加処理により、物標候補が折返候補であればオンに設定され、折返候補でなければオフに設定される。履歴接続情報には、過去に検出された物標候補との履歴接続の有無を表す新規フラグ（履歴接続が無ければオン）、過去に履歴接続が確認された回数を表す接続回数が少なくとも含まれている。なお、新規フラグがオフである物標候補は、接続関係にある過去の物標候補の履歴接続情報を受け継ぐ。

＜画像センサ部＞
画像センサ部３は、自車両の前側における中央付近に配置されＣＣＤカメラからなる。画像センサ部３は、レーダセンサの探査範囲（基本検知範囲＋付加検知範囲：図２参照）より広い角度範囲を撮像範囲とするＣＣＤカメラを備える。そして、画像センサ部３は、ＣＣＤカメラで撮像した画像の画像データに対して、テンプレートマッチング等の周知の画像処理を行うことにより、撮像範囲内に存在する所定の物標（車両、歩行者等）を検出する。画像センサ部３は、この処理により検出された物標（以下、画像物標という）の情報を画像物標情報として統合処理部４へ送信する。なお、画像物標情報には、検出した画像物標の種類、大きさ、位置についての情報が少なくとも含まれている。

＜運転支援実行部＞
運転支援実行部５の制御対象となる車載機器には、各種画像を表示するモニタや、警報音や案内音声を出力するスピーカが少なくとも含まれている。更に、制御対象となる車載機器には、自車両に搭載された内燃機関，パワートレイン機構，ブレーキ機構等を制御する各種制御装置が含まれていてもよい。

＜統合処理部＞
統合処理部４は、ＣＰＵ，ＲＯＭ，ＲＡＭからなるマイクロコンピュータを中心に構成され、レーダセンサ部２及び画像センサ部３から取得するレーダ物標情報及び画像物標情報に基づいて運転支援実行部５に提供するための物標情報を生成する物標認識処理を少なくとも実行する。

以下、物標認識処理を、図３に示すフローチャートに沿って説明する。本処理は、エンジンが始動すると、所定の測定サイクル毎に繰り返し実行される。
まず、Ｓ１１０では、レーダセンサ部２で生成されたレーダ物標情報を取得し、続くＳ１２０では、画像センサ部３で生成された画像物標情報を取得する。

続くＳ１３０では、個別センサ基本処理を実行する。この処理では、レーダ物標情報に基づき、レーダ物標に対応する画像物標が検出されることが予測される探索範囲（撮像画像上の領域）を設定したり、逆に、画像物標情報に基づき、画像物標に対応するレーダ物標が検出されることが予測される探索範囲（距離、方位）を設定したりする処理を行う他、レーダ物標情報や画像物標情報に加えて、車両の各部から取得（図示せず）する車両の挙動情報（車速、加速度、ヨーレート等）を用いて各種演算を実行することにより、レーダ物標や画像物標に関する様々な基本情報を生成する。

続くＳ１４０では、探索・結合処理を実行する。この処理では、Ｓ１３０で求めた探索範囲を探索することにより、レーダ物標に対応する画像物標が存在するか否かを表す結合情報を生成する。この結合情報は、レーダ物標に対応する画像物標が存在すれば「結合有」を表す値に設定され、レーダ物標に対応する画像物標が存在しなければ「結合無」を表す値に設定される。また、レーダ物標が「結合有」と判断された場合、そのレーダ物標の情報（レーダ物標情報）に、結合関係にある画像物標の情報（画像物標情報）をマージし、更に、結合情報を付加したものを結合物標情報として生成する。一方、レーダ物標が「結合無」と判断された場合、そのレーダ物標の情報（レーダ物標情報）に結合情報を付加しただけのものを結合物標情報として生成する。

続くＳ１５０では、候補物標情報が表す候補物標のそれぞれについて、位相折返しに基づく虚像である確率を表す尤度を算出する折返し確率演算処理（後述する）を実行する。
続くＳ１６０では、折返フラグがオンに設定されている候補物標（即ち、折返物標）のうちＳ１５０で求められた尤度が所定値より低いもの、及び折返しフラグがオフに設定されている候補物標（即ち、非折返物標）の中から、予め設定された優先度に従って、上位所定個の候補物標を検出物標として抽出し、その抽出した検出物標についての物標情報（結合物標情報）を運転支援実行部５に送信して、本処理を終了する。

次に、Ｓ１５０で実行する折返し確率演算処理の詳細を、図４に示すフローチャートに沿って説明する。
本処理が起動すると、まず、Ｓ２１０では、瞬時結合状態を表す個別尤度Ｐ１を算出する。具体的には、新規フラグがオンに設定されている候補物標については、個別尤度Ｐ１をＰ１＝５０［％］に初期化する。一方、新規フラグがオフに設定されている候補物標、即ち、履歴接続があると判断され過去の測定サイクルで検出された候補物標から個別尤度Ｐ１を受け継いでいる場合には、折返フラグの設定及び結合情報に従って、個別尤度Ｐ１を増減する。

即ち、図５（ａ）に示すように、折返フラグがオンである場合、結合情報が「結合有」であれば、候補物標が折返し（虚像）である可能性は低いものとして個別尤度Ｐ１を所定値だけ減少させ、結合情報が「結合無」であれば、候補物標が折返し（虚像）である可能性は高いものとして個別尤度Ｐ１を所定値だけ増加させる。また、折返フラグがオフである場合、結合情報の内容に関わらず候補物標が折返し（虚像）である可能性は低いため個別尤度Ｐ１を所定値だけ減少させる。但し、個別尤度Ｐ１の減少幅は、結合情報が「結合有」である場合の方が「結合無」である場合より大きくしてもよい。また、ここでは、個別尤度Ｐ１の最大値を８０［％］、最小値を５０［％］に制限することにより、個別尤度Ｐ１が虚像らしさを評価する値となるように設定されている。

続くＳ２２０では、レーダ物標が画像物標と結合が確認された回数の累積値である累積結合回数に応じた個別尤度Ｐ２を算出する。具体的には、新規フラグがオンに設定されている候補物標については、個別尤度Ｐ２をＰ２＝５０［％］に初期化する。一方、新規フラグがオフに設定されている候補物標については、結合情報が「結合有」であれば個別尤度Ｐ２を減少させ、結合情報が「結合無」であれば個別尤度Ｐ２の値を維持する。ここでは、個別尤度Ｐ２の最大値を５０［％］、最小値を２０［％］に制限することにより、個別尤度Ｐ２が実像らしさ（虚像らしくなさ）を評価する値となるように設定されている。

続くＳ２３０では、物標移動状態を表す個別尤度Ｐ３を算出する。この個別尤度Ｐ３は、上述した個別尤度Ｐ１，Ｐ２とは異なり、新規フラグの設定に関わらず、測定サイクル毎に瞬時的に判断される。具体的には、候補物標の移動速度が、付加検知範囲での検出対象となる歩行者の平均的な特性に従って設定された許容範囲（ここでは５．０〜８．０［ｋｍ／ｈ］）内であれば、個別尤度Ｐ３を５０［％］より小さな値（ここでは２０［％］）に設定し、歩行者の平均的な特性から外れる不許容範囲（１．０［ｋｍ／ｈ］未満又は１２．０［ｋｍ／ｈ］以上）内である場合は、個別尤度Ｐ３を５０［％］に設定する。また、候補物標の移動速度が、許容範囲と不許容範囲との間である場合、個別尤度Ｐ３は、移動速度に応じて２０［％］〜５０［％］の間で線形補間した値に設定される。なお、個別尤度Ｐ３は、歩行者らしさを評価する値となるように設定されている。

続くＳ２４０では、個別尤度Ｐ１〜Ｐ３に基づき（１）式を用いて統合尤度Ｐを算出し、本処理を終了する。

なお、Ｘは、その時々の状況を表し、Ｘｉ（ｉ＝１，２，３）は個別尤度Ｐｉの値を決定する状況を表す。つまり、Ｘ１は、現測定サイクルでの折返しフラグの設定値、結合情報の内容を表し、Ｐ１（Ｘ１）は、このＸ１と、過去の測定サイクルで検出された物標候補から引き継いだ個別尤度Ｐ１とに従って算出された現測定サイクルの個別尤度Ｐ１を表す。

＜動作例＞
ここで、個別尤度Ｐ１〜Ｐ３と、これらを統合した統合尤度Ｐの算出例を、図６を参照して説明する。図６に示すように、最初、レーダ物標としてだけ検出され、画像物標との結合関係が確認されていない状態では、個別尤度Ｐ１，Ｐ２は５０［％］（Ｐ１は最大値と最小値との間の値、Ｐ２は最大値）に初期化される。その後、個別尤度Ｐ１は、「結合無（ＯＦＦ）」が確認される毎に所定の割合で増加し、最大値（Ｐ１＝８０［％］）に達すると、それ以上に増加することはなく最大値に保持される。また、個別尤度Ｐ１，Ｐ２は、「結合有（ＯＮ）」が確認される毎に所定の割合で減少し、最小値（Ｐ１では５０［％］，Ｐ２では２０［％］）に達すると、それ以上に減少することはなく最小値に保持される。

つまり、個別尤度Ｐ１は、結合情報に従って最小値（５０［％］）から最大値（８０［％］）の間で増加方向にも減少方向にも変化し、一方、個別尤度Ｐ２は、最大値（５０［％］）に初期化され、結合情報に従って、時間の経過と共に減少方向にだけ変化する。

また、個別尤度Ｐ３は、測定サイクル毎に、候補物標の移動速度の瞬時値に応じて最大値（５０［％］）から最小値（２０［％］）までの間のいずれかの値に決まる。
そして、（１）式に従って求められた統合尤度Ｐは、個別尤度Ｐ１〜Ｐ３のうち、５０［％］から離れた値をもつものの影響を強く受けた値となる。

＜効果＞
以上説明したように、本実施形態では、レーダセンサ部２で検出される物標候補であるレーダ物標と、画像センサ部３で検出される物標候補である画像物標との結合関係に基づいて虚像らしさを表す個別尤度Ｐ１と、実像らしさを表す個別尤度Ｐ２を求め、更に、物標候補の移動速度から歩行者らしさを表す個別尤度Ｐ３を求め、これらの個別尤度Ｐ１〜Ｐ３をから求めた統合尤度Ｐに基づいて、運転支援実行部５への情報提供の対象となる物標を選択している。

特に、個別尤度Ｐ１，Ｐ２については、新規フラグがオフである物標候補、即ち、過去の測定サイクルで検出された物標候補との履歴接続が確認されている物標候補については、個別尤度Ｐ１，Ｐ２の値を受け継ぎ、今回の測定サイクルで得られた結合情報に従って個別尤度Ｐ１，Ｐ２を更新している。

このように、本実施形態によれば、物標が実像であるか虚像であるかの判断を、異なる基準で求められた複数の個別尤度Ｐ１〜Ｐ３を使用し、しかも、個別尤度Ｐ１，Ｐ２については時系列的に求めているため、瞬時的な誤認識（誤結合）によって、判断を誤ってしまうことを抑制することができる。

また、個別尤度の一つとして、検出対象の特徴（移動速度）に基づき、現測定サイクルで得られた情報だけを用いて求める個別尤度Ｐ３が含まれているため、物標候補が特に検出を要する対象物（ここでは歩行者）である場合に、正しい認識結果を速やかに得ること、即ち、認識の早期化を図ることができる。

特に、運転支援実行部５が、認識された歩行者に対して衝突回避制御を行う場合、回避制御の対象となる歩行者は、車両の近くに存在し、付加検知範囲に存在する歩行者を正しくかつ速やかに検知できる必要がある。本実施形態は、このような用途において好適に利用することができる。

＜他の実施形態＞
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。例えば、一つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を一つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。

上記実施形態では、統合尤度Ｐを、３種類の個別尤度Ｐ１〜Ｐ３から求めているが、いずれか２種類、又は４種類以上の個別尤度から求めるようにしてもよい。

１…運転支援システム ２…レーダセンサ部 ３…画像センサ部 ４…統合処理部 ５…運転支援実行部

Claims (5)

1. 受信信号の位相差から一意に方位が決まる範囲を基本検知範囲、前記基本検知範囲に隣接した範囲であり該範囲内に物標が存在すると位相折返しによって前記基本検知範囲内で虚像が検出される範囲を付加検知範囲、前記虚像が現れる前記基本検知範囲内の領域を折返領域として、前記基本検知範囲及び前記付加検知範囲を探査範囲とするレーダセンサ（２）、及び前記レーダセンサの探査範囲より広い角度範囲を撮像範囲とする画像センサ（３）を用いて予め設定された測定サイクル毎に物体を認識する物体認識装置であって、
   前記測定サイクル毎に、前記レーダセンサでの検出結果に基づき前記基本検知範囲内に物標が存在するものとして物標候補を検出する候補検出手段（２ａ）と、
   前記候補検出手段により前記折返領域内で検出された物標候補のそれぞれについて、該物標候補は虚像であり実像が前記付加検知範囲内に存在するものとして求めた物標候補を追加する候補追加手段（２ｃ）と、
   前記候補検出手段及び前記候補追加手段により検出及び追加された前記物標候補のそれぞれについて、過去の測定サイクルで検出された物標候補との間で履歴接続の有無を判断する追跡手段（２ｄ）と、
   前記物標候補のそれぞれについて、前記画像センサで検出された物標である画像物標の中に前記物標候補に対応付けられるものが存在するか否かにより、前記画像物標との結合の有無を判断する結合判断手段（４，Ｓ１４０）と、
   少なくとも前記結合判断手段での判断結果を用いて、前記物標候補の虚像らしさを表す尤度を設定，更新する尤度算出手段（４，Ｓ１５０）と、
   を備えることを特徴とする物標認識装置。
2. 前記尤度算出手段は、
   複数の判断基準を用い、該判断基準のそれぞれについて個別の尤度を求める個別尤度算出手段（４，Ｓ２１０〜Ｓ２３０）と、
   前記個別尤度算出手段により算出された尤度を統合した統合尤度を求める統合尤度算出手段（４，Ｓ２４０）と、
   を備えることを特徴とする請求項１に記載の物標認識装置。
3. 前記個別尤度算出手段は、前記候補検出手段により前記折返領域内で検出された物標候補、及び前記候補追加手段によって追加された物標候補を折返候補と呼ぶものとして、前記折返候補であり且つ前記画像物標との結合がない場合に値が増加し、それ以外の場合に値が減少する第１の個別尤度を少なくとも求めること（Ｓ２１０）を特徴とする請求項２に記載の物標認識装置。
4. 前記個別尤度算出手段は、前記画像との結合がある場合に値が減少し、前記画像との結合がない場合に値が維持される第２の個別尤度を少なくとも求めること（Ｓ２２０）を特徴とする請求項２又は請求項３に記載の物標認識装置。
5. 前記個別尤度算出手段は、前記付加検知範囲で検出対象となる物標がもつ平均的な特性を利用し、平均的な特性を満たしている場合に５０％より低い値に設定され、平均的な特性から外れている場合に５０％より高い値に設定される第３の個別尤度を少なくとも求めること（Ｓ２３０）を特徴とする請求項２乃至請求項４のいずれか１項に記載の物標認識装置。