[本開示の一態様をするに至った経緯]
図1Aは、特許文献1において、レーダ装置が、物体(セグメント)を検出し、複数のフレームに渡って物体を追従する動作の一例を示す図である。図1Aにおいて、横軸はレーダ装置が測定した方位(図1Aでは正面方向から右側方向の範囲)を表し、縦軸はレーダ装置からの距離を表し、各マス目(以下、「セル」と称する)では、対応する方位及び距離の位置における反射強度(パワー)が表わされる。
図1Aでは、まず、レーダ装置は、各フレームにおいて、所定の条件に基づいて反射点の中から代表点のセルを決定する。次いで、レーダ装置は、各代表点に対して設定されたセグメントの領域内に含まれる他の反射点をセグメントのメンバのセルとしてグルーピングする。各セグメントには、互いに異なるグループIDが付されている。すなわち、レーダ装置は、代表点のセル及びメンバのセルを含むセグメント(ただし、メンバのセルを含まない場合もある)を1つの物体として検出する。
図1Aでは、レーダ装置は、各フレームにおいて、前フレームにおいて検出されたセグメントと同一のセグメントに対してグループIDを引き継ぐことにより(セグメントの対応付け)、物体を追従する。例えば、レーダ装置は、検索範囲内に、代表点が存在するかによって、同一セグメントの有無を判断する。図1Aでは、追従結果として、レーダ装置は、前フレームにおいて検出された4つのセグメントA〜Dのうち、3つのセグメントA〜Cを、現フレームにおいて追従する(継続グループ:3個)。
従来のレーダ装置は、監視対象が車両であるため、強反射波を抽出すればよく、かつ、反射波の出力位置は、スパース(疎)である。また、従来のレーダ装置は、監視対象に歩行者を含まない場合、例えば、車両のサイズ、又は、車線の情報を用いることにより、同一の車両からの反射波を同一セグメントとしてグルーピングすることは比較的容易である。
レーダ装置において、監視対象が車両及び歩行者である場合には、歩行者周辺の状況、例えば、車両と歩行者との間に障害物(例えば、植え込み、ガードレール)が存在するか否によって、歩行者に対する監視重要度が異なる。このため、歩行者を監視対象に含める場合には、路側物の検出も実施する必要がある。
従来のレーダ装置の監視対象が歩行者又は路側物である場合、次のような問題が発生する。
従来のレーダ装置は、歩行者又は路側物を含む弱反射波と、例えば、グランドクラッタの不要波との切り分けは困難である。弱反射波の検出対象物を全て検出するめたには、検出用閾値を低く設定する必要がある。このため、従来のレーダ装置は、所望の検出対象物以外に、不要波も検出する。不要波の検出は、誤検出の原因であり、レーダ装置の後段処理に負荷を強いる。このため、レーダ装置の検出結果を入力とするアプリケーションの性能低下などの不都合が発生する。検出用閾値は、過度に低く設定することは困難であり、その結果、従来のレーダ装置は、検出対象の検出が不安定になる。例えば、従来のレーダ装置は、前フレームでは検出されなかった反射点が現フレームにおいて新たに検出されるケース(又はその逆のケース)が生じ易い。
図1Bは、複数のフレームに渡って物体を追従する動作の他の一例を示す。例えば、図1Bは、前フレームにおいて4つのセグメントA〜Dが検出され、現フレームでは、前フレームの4つのセグメントのうち3つのセグメントA〜Cが再度検出され、残りのセグメントDがフレームアウトし(現フレームでは対応するセグメント無し)、かつ、新たな代表点によるセグメントEが1つ増加検出された状態を示す。
図1Bでは、従来のレーダ装置は、前フレームと現フレームとの間の追従処理(セグメントの対応付け)において、セグメントEの発生によって、異なるセグメント同士を、同一セグメント(同一グループID)として、対応付ける。
図1Bに示す現フレームでは、前フレームにおける3つのセグメントA〜Cが、現フレームの3つのセグメントA〜Cとして追従され、現フレームのセグメントEは新たなセグメントとして出力されず、前フレームのセグメントCが、現フレームのセグメントEに誤って対応付けられ、前フレームのセグメントDが、現フレームのセグメントCに誤って対応付けられ、4つのセグメントA〜Dが追従処理の結果として出力される。
従来のレーダ装置は、物体の検出精度が不十分であるため、物体がレーダ装置の検知範囲に、入ってから出ていくまでの間に、例えば、グループIDの付与間違い、フレームアウトしたセグメントの誤検出が発生し、物体の追従が不安定な状態である。
更に、路側物(例えば、植え込み又はガードレール)は、様々な形状、サイズが想定されるので、車両のように所定のサイズを物体の領域(セグメント領域)として規定することは困難である。
このため、特許文献1のように、予め蓄積した検出対象の物体のサイズ(セグメント領域)を用いて、反射点を個々の物体毎に検出する方法では、蓄積した物体のサイズと異なる物体に対してグループIDを引き継ぐ場合に、候補となるセグメント領域が多く存在するため、グループIDの引き継ぎ(対応付け)に間違いが発生し易く、追従処理が不安定である。
本開示に係る一態様は、かかる課題を解決するものであって、レーダによる反射物体の検出精度を向上させ、物体に対する安定した追従処理を目的とする。
(実施の形態1)
以下、本開示の実施の形態について図面を参照して詳細に説明する。
[レーダ装置100の構成]
本開示の実施の形態に係るレーダ装置100は、図2Aに示す車両に搭載される。
レーダ装置100は、搭載された車両の周辺(例えば、前方、前側方)に存在する物体(他の車両、歩行者、路側物)を検出し、検出した情報に基づいて、車両周辺の物体(すなわち、障害物)が存在しない領域(以下、「クリアランス領域」と称する)を決定する(例えば、図2Bを参照。詳細は後述する)。なお、路側物は、例えば、ガードレール、樹木を含む。
レーダ装置100は、例えば、決定したクリアランス領域の情報を、例えば、運転支援装置としての衝突防止装置(図示せず)へ提供する。なお、レーダ装置100は、クリアランス領域に加え、移動物体(例えば、車両、歩行者)を別の方法を用いて検出してもよい(図2Bを参照)。
図3は、レーダ装置100の構成例を示すブロック図である。図3に示すレーダ装置100は、送受信部101、境界検出部102、移動量計算部103、バッファ104、境界推定部105、スムージング部106を備える。
送受信部101は、ミリ波レーダを用いて生成されたレーダ信号を送信アンテナから所定の方位に対して(所定の角度毎に)送信し、各方位に存在する各物体によって反射されたレーダ信号を反射信号として受信アンテナにおいて受信する。また、送受信部101は、反射信号を用いて反射点を検知し、検知した反射点を表す反射点情報を生成する。反射点情報として、例えば、距離、方位、相対速度、反射強度を含む。送受信部101は、フレーム毎に生成した反射点情報(レーダプロファイルと称する)を境界検出部102へ出力する。
境界検出部102は、送受信部101から入力された各フレームの反射点情報を用いて、車両周辺の物体が存在しない領域(クリアランス領域)との境界となる反射点の位置(以下、境界候補位置と呼ぶ)を検出する。
境界検出部102は、レーダ装置100の検知範囲内の各方位において、反射点情報に示される反射点のうち、レーダ装置100からの距離が最も近い反射点の位置を、各方位における境界候補位置としてフレーム毎に検出する。つまり、境界検出部102は、クリアランス領域と物体が存在する領域との境界の候補を検出する。例えば、境界検出部102は、補間処理として、評価対象セル(評価対象となる反射点)の複数の周辺セルの情報を用い、複数の周辺セル中にパワー閾値を超えるセル数の割合が一定以上あれば、評価対象セルを境界候補して検出しても良い。
なお、境界候補位置は、最も近い反射点でなくてもよく、複数のフレームにおいて、平均化処理した後の反射点でもよい。
境界検出部102は、検出した境界候補位置を示す境界候補情報をバッファ104及びスムージング部106へ出力する。なお、境界候補情報は、例えば、送受信部101のレーダ座標系によって表される。
移動量計算部103は、例えば、センサ(図示せず)によって検知された車両の速度及び舵角の情報から算出した車両の移動量に関する車両移動データ(例えば、車速及び方位)、及び、車両に搭載されたレーダ装置100の設置情報を用いて、レーダ装置100の移動データ(例えば、レーダ装置100の移動速度およびレーダ装置100の移動方位)を計算する。レーダ装置100の移動データは、例えば、フレーム単位によって計算される。移動量計算部103は、レーダ装置100の移動データ及び車両移動データを含む移動情報をバッファ104に出力する。
尚、車両移動データの算出は、車両の速度及び舵角の情報から計算される方法に限定するものではなく、ジャイロセンサ、又は、加速度センサの情報を利用して計算されても良いし、参考特許文献1の記載に基づいて、他のセンサ情報を用いずにレーダ装置100が受信する周囲の反射波から静止物の反射波を特定して算出されてもよい(参考特許文献1: 国際公開第2015/037173号)。
バッファ104は、境界検出部102から入力される境界候補情報、及び、移動量計算部103から入力される移動情報を格納(記憶)する。なお、過去フレームは1つとは限らず複数フレーム前からの過去フレーム群であっても良く、バッファ104に過去フレーム群を保管する場合は、移動情報もペアリング(関連付け)し、保管する。また、バッファ104は、格納されている過去フレームの境界候補情報及び移動情報を境界推定部105へ出力する。
境界推定部105は、過去フレームの境界候補情報、及び、過去フレームから現フレームまでの車両の移動状況を表す移動情報が入力される。境界推定部105は、過去フレームの境界候補情報と移動情報とに基づいて、現フレームにおけるレーダ装置100からの距離が最も近い反射点の位置を、推定境界位置として推定する。
図4に境界推定処理の一例を示す。境界推定部105は、過去フレームにおける境界候補位置を、過去フレームから現フレームまでのレーダ装置100の移動情報(例えば、方位、距離)に応じて移動させた位置を計算する。そして、境界推定部105は、計算した位置を現フレームのレーダ座標系における位置に変換し、変換後の位置を現フレームの推定境界位置(白三角△)に設定する。
なお、過去フレームの境界候補位置が連続的に出力され、かつ、現フレームへの変換後の位置において連続性が失われた方位(白四角□)には、現フレームでも連続した境界位置として出力するために、境界推定部105は、例えば、線形補間の手法を用いて補間処理する。例えば、両サイド方位における距離の平均値を用いる。
また、境界推定部105は、過去フレームにて境界位置が存在しなかった方位(バツ印×)は、現フレームへの変換後の方位において、例えば、「値不定」の情報を付与する。同様に、境界推定部105は、移動情報により新たにフレームインした方位(バツ印×)においても、例えば、「値不定」の情報を付与する。
境界推定部105は、過去フレーム群を用いる場合は、過去フレームから1フレーム毎に次フレームでの推定境界位置を算出する。境界推定部105は、算出結果を元に次フレームの推定境界位置を算出し、現フレームでの推定境界位置を算出するまで再帰的に境界推定処理を繰り返す。これにより過去フレーム群がN個存在する場合は、N個の推定境界情報が出力される。
境界推定部105は、推定境界位置を示す1つもしくは複数の推定境界情報をスムージング部106に出力する。
スムージング部106は、境界検出部102から入力される境界候補情報(現フレームにおいて送受信部101により検出された境界位置を示す情報)、及び、境界推定部105から入力される推定境界情報(過去フレームから推定された現フレームの境界位置を示す情報の1つ以上)に対してスムージング処理(合成処理)し、車両周辺の物体が存在しない領域(クリアランス領域)との境界位置を算出する。スムージング部106は、算出された境界位置を示す境界情報を出力する。
スムージング部106は、境界候補情報及び推定境界情報の各々に示される反射点の位置(つまり、レーダ装置100からの距離)の平均値又は加重平均値を現フレームの境界位置として方位毎に算出してもよい。
スムージング処理とは、例えば、スムージング部106が、境界候補情報及び推定境界情報各々において方位毎に境界位置の有無を求める。スムージング部106は、境界候補情報又は推定境界情報に対し、予め設定された尤度重みを用いて尤度値を算出し、尤度値が所定の閾値以上である場合、境界位置が存在すると判定する。
また、スムージング部106は、境界候補情報及び推定境界情報各々において方位毎に境界位置が存在する場合に、予め設定された出力値重みを用いて、境界候補情報及び推定境界情報各々における境界位置の距離に重み付けし、加重平均を用いて出力距離を算出する。
つまり、スムージング部106は、尤度値を用いて判定した境界位置の有無により境界位置が存在すると判定された場合に、出力距離を境界位置として出力する。
なお、上記のスムージング部106の処理は一例であり、別な方法で境界位置を導いても良い。例えば、スムージング部106は、境界候補情報又は推定境界情報において、抽出対象である注目方位および注目方位の左右に隣接する左右方位における境界位置の距離を抽出し、抽出した距離を昇順に並び替える。スムージング部106は、並び替えた後、中央値となる距離を注目方位に対する境界位置の距離として出力する。詳細についは、後述する。
これにより、レーダ装置100は、検知範囲において各方位の境界位置を連結又は補間することによって形成される境界線(車両からの距離が最も近い反射点の位置)と、車両との間の領域を、クリアランス領域として特定する(例えば、図2Bを参照)。
[レーダ装置100の動作]
次に、上述したレーダ装置100の動作例について図5及び図6A〜図6Fを用いて詳細に説明する。
図5は、レーダ装置100の動作の流れを示すフロー図である。
また、図6A〜図6Fは、レーダ装置100の各構成部において得られる情報をレーダ座標系において表した図である。図6A〜図6Fでは、一例として、方位(横軸)が10セルであり、距離(縦軸)が8セルである。すなわち、図6A〜図6Fでは、送受信部101において反射点がセル単位に検出される。また、図6A〜図6Fでは、過去フレームの一例として、現フレームの1つ前のフレーム(前フレーム)が過去フレームである。
図5において、ステップ(以下、単に「ST」と表す)101では、送受信部101は、レーダ検知範囲(例えば、図2Aを参照)におけるレーダプロファイルをフレーム毎に算出する。図6A〜図6Fでは、送受信部101は、反射強度(パワー)が所定の閾値以上である反射点が存在するセルを有力セルとして表したレーダプロファイルを生成する。
ST102では、境界検出部102は、ST101において生成されたレーダプロファイルに基づいて、レーダ装置100からの距離が最も近い反射点(セル)の位置を境界候補位置として検出する。図6A〜図6Fでは、境界検出部102は、各方位において、レーダプロファイルに示される反射点(有力セル)のうち、レーダ装置100からの距離が最も近い反射点の位置を選択セルとして検出する。境界検出部102は、反射点が存在しない場合でも周辺セルの情報を用いて反射点(有力セル)であるかを判定しても良い。図6A〜図6Fでは、境界検出部102は、方位毎に検出した反射点(選択セル)の位置を境界候補位置として表した境界候補情報を生成する。
ST103では、移動量計算部103は、各種車両センサによって検知される車両の移動データ(方位、速度)からセンサ(レーダ装置の)移動データ(レーダ装置の移動方位、レーダ装置の移動速度)を計算し、レーダ装置100の移動データを含む移動情報を生成する。
ST104では、境界推定部105は、過去に生成された境界候補情報及び移動情報(過去データ)がバッファ104に格納されているか否かを判断する。過去データが無い場合(ST104:No)、レーダ装置100はST108の処理に進む。ここで、過去データが無い場合とは、例えば、境界情報の初回計算時である。
過去データが有る場合(ST104:Yes)、ST105では、境界推定部105は、バッファ104から過去データとして1つもしくは複数の過去フレームの境界候補情報、及び、過去フレーム毎に対応する移動情報を入力する。
ST106では、境界推定部105は、ST105において入力した過去データを用いて、過去フレームの境界候補位置(選択セル)を、現フレームの座標系(カレント座標系)の位置(推定セル)に変換する。境界推定部105は、変換後の結果において、同方位に複数の位置が存在する場合には、レーダ装置100からの距離が最も近い反射点の位置を推定境界位置として推定する。境界推定部105は、過去フレームにおいて境界位置が連続的に出力されていた場合は、現フレームへの変換後も、過去フレームとの関係性を担保するために、例えば、補間処理を施してもよい。
具体的には、境界推定部105は、前フレームの境界候補情報に示される境界候補位置(選択セル)を、移動情報に示される車両の移動状況に従って移動させ、移動後の反射点の位置を推定境界位置(推定セル)に設定する。例えば、図6A〜図6Fでは、移動情報において、前フレームから現フレームにかけて、車両が正面方向に1セル分、近づいたレーダプロファイルである。境界推定部105は、前フレームの境界候補位置(選択セル)を、1セル分、正面方向に近づいた位置を推定境界位置(推定セル)として設定する。
図6Aは、現フレームのレーダプロファイルを示す図であり、図6Bは、現フレームの境界候補情報に示される境界候補位置(選択セル)を示す図であり、図6Cは、前フレームの境界候補位置(選択セル)を示す図であり、図6Dは、現フレームの推定境界情報に示される推定境界位置(推定セル)を示す図であり、図6Eは、境界候補情報と推定境界情報との合成を示す図であり、図6Fは、現フレームの境界情報を示す図である。
ST107では、スムージング部106は、ST102において得られた現フレームの境界候補情報に示される境界候補位置(図6B)と、ST106において得られた推定境界情報に示される推定境界位置(図6D)とに対してスムージング処理する(図6E)。つまり、スムージング部106では、境界候補情報と推定境界情報とが合成される。スムージング部106は、現フレームにおいて検出された境界候補位置と、前フレームにおいて検出された境界候補位置から推定された推定境界位置との間(つまり、フレーム間の境界候補位置)についてスムージング処理する。
例えば、スムージング部106は、各方位において、現フレームの境界候補位置と、推定境界位置とが同一位置である場合には、当該位置を現フレームの境界位置に設定する。また、スムージング部106は、各方位において、現フレームの境界候補位置と、推定境界位置とが異なる場合には、これらの位置に対応する距離に対する、例えば、平均又は加重平均のスムージング処理を施し、処理結果に対応する位置を現フレームの境界位置に設定する(図6F)。
推定境界位置が1つ以上ある場合は、スムージング部106は、例えば、境界位置の存在の有無、又は、出力距離を、境界候補位置を含む各情報に重み付け処理することで、出力判定を行っても良い(処理の一例としては、尤度値を用いて求める方法である)。
また、スムージング部106は、図6A〜図6Fにおいて示した境界位置から出力距離を決める以外にも、周辺方位の境界位置から出力位置を求めても良い。
スムージング部106は、注目方位及び隣接する左右方位における距離を、現フレームの境界候補情報と過去フレームの推定境界情報とから抽出し、リストに格納(記憶)する。スムージング部106は、格納後のリストを昇順に並び替えた後、リストの中央値を注目方位に対する境界位置の距離として出力する。なお、全ての方位で、上記の処理を繰り返す。
図7A〜図7Cに処理イメージを示す。図7Aでは、注目方位θに隣接する左右±2方位の範囲を対象方位とし、推定境界情報は過去4フレーム分を用いる。図7Aでは、スムージング部106は、対象方位×対象境界情報(現フレームの境界候補情報及び過去フレームの推定境界情報)のマトリクスにおいて距離を抽出する。「不定」となっている要素は、境界検出部102、又は、境界推定部105での処理の結果、距離が定まらなかった要素である。
図7Aに示すマトリクスの中で、スムージング部106は、「不定」位置を除く有効位置を抽出し、図7Bに示す有効位置リストを生成し、図7Cにおいて、有効位置リストを昇順に並び替える。図7Cにおいて、並び替え後のリストでの中央値(median value)は、「55」となり、「55」が注目方位θに対する境界位置の距離となる。
スムージング部106により出力された現フレームの境界位置(出力セル)よりも車両側の領域を、車両周辺の物体が存在しない領域(クリアランス領域)と、見做してもよい(図6A〜図6Fを参照)。
ST108では、スムージング部106は、過去データが有る場合(ST104:Yes)にはST107において算出された現フレームの境界位置を示す境界情報を出力し、過去データが無い場合(ST104:No)にはST102において算出した境界候補情報を、現フレームの境界情報として出力する。
なお、境界情報は、境界位置を示す情報に限らず、クリアランス領域を示す情報であってもよい。
ST109では、レーダ装置100は、境界情報の出力処理を継続するか否かを判断する。境界情報の出力処理を継続する場合(ST109:Yes)、レーダ装置100は、ST101の処理に戻り、境界情報の出力処理を継続しない場合(ST109:No)、レーダ装置100は、処理を終了する。
レーダ装置100は、現フレームにおいて送受信部101によって検出された境界候補位置に加え、過去のフレームにおいて検出されている境界候補位置から推定される現フレームの推定境界位置を用いて、クリアランス領域と物体が存在する領域との境界位置を決定する。
従来のレーダ装置において、例えば、歩行者又は路側物による弱反射波も検知対象とする場合には(図2Aを参照)、弱反射波を検出するための閾値を若干高く設定するため、レーダ装置による反射波の検出精度が不十分である。例えば、レーダ装置による検出の有無がフレーム間において、ばらつく不安定な物体が存在する。
しかし、本実施の形態のレーダ装置100は、周辺セルを用いた同一フレーム内での有力セル判定する、又は、複数のフレームを用いて送受信部101により検出された反射点の位置を推定することで、上記クリアランス領域との境界位置を検出できる。つまり、レーダ装置100は、現フレームでの送受信部101による反射波の検出精度の低下を、現在、少なくとも1つ以上の過去のフレームによる検出結果(境界候補情報)を用いて補う。
よって、本実施の形態によれば、各フレームでの送受信部101による反射点の検出精度が低下する場合でも、クリアランス領域と物体が存在する領域との境界位置を精度良く検出できる。
更に、本実施の形態によれば、レーダ装置100は、車両周辺の物体が存在しないクリアランス領域と物体が存在する領域との境界位置を検出し、クリアランス領域を特定する(図6A〜図6Fを参照)。すなわち、レーダ装置100は、特許文献1(例えば、図2A及び図2Bを参照)のように複数の領域(セグメント)を出力するのではなく、検出結果として、一まとまりの領域を出力する(図6Fを参照)。つまり、レーダ装置100は、フレーム間での同一物体の同定を省略し、境界候補位置のスムージング処理を用いる。
レーダ装置100が搭載された車両周辺の一連の物体(例えば、他の車両、歩行者、路側物)を連続する物体として一まとまりによって扱うことにより、レーダ装置100は、各物体がレーダ装置100の検知範囲に入ってから出ていくまでの間に未検出となる物体、又は、異なる物体(異なるID)として検出される物体として、誤判断することを抑制できる。
例えば、送受信部101による検出結果がフレーム間でばらつき、不安定な検出結果のとなる物体であっても、レーダ装置100は、精度良く検出される境界位置(図6A〜図6Fに示す出力セル)を補間することにより、不安定な検出結果の物体に起因する影響を抑え、クリアランス領域を安定して特定できる。
本実施の形態によれば、レーダ装置100は、路側物(例えば、植え込み又はガードレール)のように様々な形状又はサイズが想定される物体が検出対象であっても、複数のフレームに渡って物体検出及び物体を安定して追従できる。
以上より、本実施の形態によれば、レーダ装置100は、物体に対する追従を安定して処理でき、クリアランス領域の検出性能を向上できるので、レーダ装置100の後段に備えられる、例えば、衝突防止装置の運転支援装置(図示せず)でのシステム精度及び応答性を改善できる。
なお、上記実施の形態では、バッファ104において、過去の境界候補情報を過去データとして格納する場合について説明したが、バッファ104において過去の境界情報(つまり、スムージング部106の出力)を過去データとして格納してもよい。
(実施の形態2)
実施の形態1は、静止物体及び移動物体の存在しない領域をクリアランス領域として抽出したが、本実施の形態は、静止物体の存在しない領域を静止物体クリアランス領域として抽出する。
[レーダ装置200の構成]
本開示の実施の形態に係るレーダ装置200は、図8Aに示す車両に搭載される。
レーダ装置200は、搭載された車両の周辺(例えば、前方、前側方)に存在する物体(他の車両、歩行者、路側物)を検出し、検出した情報に基づいて、車両周辺の静止物体が存在しない領域(以下、「静止物体クリアランス領域」と称する)を決定する(例えば、図8Bを参照。詳細は後述する)。なお、路側物は、例えば、ガードレール、樹木を含む。
レーダ装置200は、例えば、決定した静止物体クリアランス領域の情報を、例えば、運転支援装置としての衝突防止装置(図示せず)へ提供する。なお、レーダ装置200は、静止物体クリアランス領域に加え、移動物体(例えば、車両、歩行者)を別の方法を用いて検出してもよい(図8Bを参照)。
図9Aは、レーダ装置200の構成例を示すブロック図である。図9Aに示すレーダ装置200は、送受信部101、静止物体抽出部201、静止物体境界検出部202、移動量計算部103、バッファ104、境界推定部105、スムージング部106を備える。静止物体抽出部201、静止物体境界検出部202以外は、実施の形態1で説明済みである内容については説明を省略する。
静止物体抽出部201は、送受信部101から入力された各フレームの反射点情報(ドップラ値)と移動量計算部103から入力されたレーダ装置200の移動データである移動方位、移動速度を用いて、静止物体を抽出する。
ここで、静止物体の抽出方法について、図9Bを用いて一例を説明する。図9Bは、移動する車両と静止物から得られるドップラ補正値との関係を示す図である。
θsは、車両の移動方向(センサ移動方位)であり、第1象限を正の方向(図9B上の右上方)に移動する。Vsは、車両の移動速度(センサ速度)であり、Xsはレーダ装置200(センサ)の正面方向を示し、θは静止物の位置する方位を示し、図9Bでは第1象限に静止物が存在する。
なお、方位θに位置する静止物を観測するための計算式(方位θのドップラ補正値)は、センサ移動速度Vs、センサ移動方位θsと静止物の方向θで規定される角度α(=θs-θ)を用いて数式(1)のように計算できる。
DOffset(θ)[km/h]= VS cos(α) = VS cos(θs - θ) (1)
静止物体抽出部201は、レーダ装置200によって測定された各フレーム及び各方位の反射点が持つドップラ値が、数式(1)に基づいて算出されたドップラ補正値にマージン分を加味した範囲に含まれるかどうかを判断し、含まれる場合は静止物体として抽出し、静止物体境界検出部202に出力する。
静止物体境界検出部202は、車両周辺の静止物体が存在しない領域(静止物体クリアランス領域)との境界となる反射点の位置(以下、静止物体境界候補位置と呼ぶ)を検出する。
静止物体境界検出部202は、レーダ装置200の検知範囲内の各方位において、反射点情報に示される反射点のうち、静止物体抽出部201が抽出した静止物体のうち、レーダ装置200からの距離が最も近い反射点の位置を、各方位における静止物体境界候補位置としてフレーム毎に検出する。
つまり、静止物体境界検出部202は、静止物体クリアランス領域と静止物体が存在する領域との境界の候補を検出する。例えば、静止物体境界検出部202は、補間処理として、評価対象セル(評価対象となる反射点)の複数の周辺セルの情報を用い、複数の周辺セル中にパワー閾値を超えるセル数の割合が一定以上あれば、評価対象セルを静止物体境界候補して検出しても良い。
なお、静止物体境界候補位置は、静止物体で最も近い反射点でなくてもよく、複数のフレームにおいて、平均化処理した後の反射点でもよい。
静止物体境界検出部202は、検出した静止物体境界候補位置を示す静止物体境界候補情報をバッファ104及びスムージング部106へ出力する。なお、静止物体境界候補情報は、例えば、送受信部101のレーダ座標系によって表される。
バッファ104は、静止物体境界検出部202から入力される静止物体境界候補情報、及び、移動量計算部103から入力される移動情報を格納(記憶)する。なお、過去フレームは1つとは限らず複数フレーム前からの過去フレーム群であっても良く、バッファ104に過去フレーム群を保管する場合は、移動情報もペアリング(関連付け)し、保管する。また、バッファ104は、格納されている過去フレームの静止物体境界候補情報及び移動情報を境界推定部105へ出力する。
境界推定部105は、過去フレームの静止物体境界候補情報、及び、過去フレームから現フレームまでの車両の移動状況を表す移動情報が入力される。境界推定部105は、過去フレームの静止物体境界候補情報と移動情報とに基づいて、現フレームにおけるレーダ装置200から、静止物体であり、かつ距離が最も近い反射点の位置を、推定静止物体境界位置として推定する。
境界推定部105は、推定静止物体境界位置を示す1つもしくは複数の推定静止物体境界情報をスムージング部106に出力する。
スムージング部106は、静止物体境界検出部202から入力される静止物体境界候補情報(現フレームにおいて送受信部101により検出された境界位置を示す情報)、及び、境界推定部105から入力される推定静止物体境界情報(過去フレームから推定された現フレームの静止物体境界位置を示す情報の1つ以上)に対してスムージング処理(合成処理)し、車両周辺の静止物体が存在しない領域(静止物体クリアランス領域)との境界位置を算出する。スムージング部106は、算出された境界位置を示す静止物体境界情報を出力する。
これにより、レーダ装置200は、検知範囲において各方位の静止物体境界位置を連結又は補間することによって形成される境界線(車両からの距離が最も近い静止物体からの反射点の位置)と、車両との間の領域を、静止物体クリアランス領域として特定する(例えば、図8Bを参照)。
[レーダ装置200の動作]
次に、上述したレーダ装置200の動作例について図10A〜図10Fを用いて詳細に説明する。
図10A〜図10Fは、レーダ装置200の各構成部において得られる情報をレーダ座標系において表した図である。図6A〜図6F同様、一例として、方位(横軸)が10セルであり、距離(縦軸)が8セルである。すなわち、図10A〜図10Fでは、送受信部101において反射点がセル毎に検出される。また、図10A〜図10Fでは、過去フレームの一例として、現フレームの1つ前のフレーム(前フレーム)を過去フレームとした。
図10Aは、現フレームのレーダプロファイルを示す図であり、図10Bは、現フレームの静止物体境界候補情報に示される境界候補位置(選択セル)を示す図であり、図10Cは、前フレームの静止物体境界候補位置(選択セル)を示す図であり、図10Dは、現フレームの推定静止物体境界情報に示される推定静止物体境界位置(推定セル)を示す図であり、図10Eは、静止物体境界候補情報と推定静止物体境界情報との合成を示す図であり、図10Fは、現フレームの静止物体境界情報を示す図である。
図10A〜図10Fでは、送受信部101は、反射強度(パワー)が所定の閾値以上である反射点が存在するセルを有力セルとして表したレーダプロファイルを生成する。
静止物体抽出部201は、レーダプロファイルの中から図9Bに示したドップラ補正値を用いて静止物体を抽出し、静止物体境界検出部202は静止物体抽出部201が抽出した静止物体の反射点のうちレーダ装置200からの距離が最も近い反射点(セル)の位置を静止物体境界候補位置として検出する。
図10A〜図10Fでは、静止物体境界検出部202は、反射点が存在しない場合でも周辺セルの情報を用いて反射点(有力セル)であるかを判定しても良い。図10A〜図10Fでは、静止物体抽出部201は、方位毎に検出した反射点(選択セル)の位置から静止物体の位置を抽出し(図10B)、静止物体境界検出部202はその中から静止物体境界候補位置として表した静止物体境界候補情報を生成する。
なお、移動物は、例えば図9Bを用いて説明した静止物体抽出部201において、静止物体ではない物体、つまり、設定した閾値以上のドップラ速度と判定された物体である。
境界推定部105は、過去に生成された静止物体境界候補情報及び移動情報(過去データ)がバッファ104に格納されているか否かを判断する。なお、過去データが無い場合とは、例えば、境界情報の初回計算時である。
過去データが有る場合、境界推定部105は、バッファ104から過去データとして1つもしくは複数の過去フレームの静止物体境界候補情報、及び、過去フレーム毎に対応する移動情報を入力する。
境界推定部105は、過去データを用いて、過去フレームの静止物体境界候補位置(選択セル)を、現フレームの座標系(カレント座標系)の位置(推定セル)に変換する(図10C)。境界推定部105は、変換後の結果において、同方位に複数の位置が存在する場合には、レーダ装置200からの距離が最も近い静止物体からの反射点の位置を推定静止物体境界位置として推定する(図10D)。境界推定部105は、過去フレームにおいて境界位置が連続的に出力されていた場合は、現フレームへの変換後も、過去フレームとの関係性を担保するために、例えば、補間処理を施してもよい。
具体的には、境界推定部105は、前フレームの静止物体境界候補情報に示される境界候補位置(選択セル:図10C)を、移動情報に示される車両の移動状況に従って移動させ、移動後の反射点の位置を推定静止物体境界位置(推定セル:図10D)に設定する。例えば、図10A〜図10Fでは、移動情報において、前フレームから現フレームにかけて、車両が正面方向に1セル分、近づいたレーダプロファイルである。境界推定部105は、前フレームの静止物体境界候補位置(選択セル)を、1セル分、正面方向に近づいた位置を推定静止物体境界位置(推定セル)として設定する。
スムージング部106は、現フレームの静止物体境界候補情報に示される静止物体境界候補位置(図10B)と、推定静止物体境界情報に示される推定静止物体境界位置(図10D)とに対してスムージング処理する(図10E)。
実施の形態1と異なり、図10Bに示すように、静止物体よりも近い距離に移動物体が存在する場合には、静止物体までの距離に基づき、静止物体境界候補位置が出力される。スムージング部106では、静止物体境界候補情報と推定静止物体境界情報とが合成される。
スムージング部106は、現フレームにおいて検出された静止物体境界候補位置と、前フレームにおいて検出された静止物体境界候補位置から推定された推定静止物体境界位置との間(つまり、フレーム間の静止物体境界候補位置)についてスムージング処理する。
例えば、スムージング部106は、各方位において、現フレームの静止物体境界候補位置と、推定静止物体境界位置とが同一位置である場合には、当該位置を現フレームの静止物体境界位置に設定する。また、スムージング部106は、各方位において、現フレームの静止物体境界候補位置と、推定静止物体境界位置とが異なる場合には、これらの位置に対応する距離に対する、例えば、平均又は加重平均のスムージング処理を施し、処理結果に対応する位置を現フレームの静止物体境界位置に設定する(図10F)。
本実施の形態によれば、レーダ装置200は、路側物(例えば、植え込み又はガードレール)のように様々な形状又はサイズが想定される静止物体が検出対象であっても、複数のフレームに渡って静止物体検出及び静止物体を安定して追従できる。
なお、図11Aに示された現フレームのレーダプロファイルのうち、図11Bに示す図示しない移動物体検出部により検出された移動物体の検出結果を、図10Fに示す現フレームの静止物体境界位置と合わせることで、静止物体境界よりもレーダ装置200に近い領域を移動する物体(例えば歩行者)の検出性能を向上できるので(図11C)、レーダ装置200の後段に備えられる、例えば、衝突防止装置の運転支援装置(図示せず)でのシステム精度及び応答性を改善できる。
(実施の形態3)
本実施の形態は、実施の形態1、実施の形態2におけるレーダ装置に、カメラ装置を追加した物体認識装置(車載レーダ装置)について説明する。
[物体認識装置300の構成]
本開示の実施の形態に係る物体認識装置300は、図12に示す車両に搭載される。
物体認識装置300に搭載されたレーダは、実施の形態2と同様に、搭載された車両の周辺(例えば、前方、前側方)に存在する物体(他の車両、歩行者、路側物)を検出し、検出した情報に基づいて、車両周辺の静止物体が存在しない領域(以下、「静止物体クリアランス領域」と称する)を決定する(例えば、図8Bを参照)。なお、路側物は、例えば、ガードレール、樹木を含む。
物体認識装置300に搭載されたカメラは、搭載された車両の周辺(例えば、前方、前側方)に存在する物体(他の車両、歩行者、路側物)を知覚し、知覚した情報に基づいて、車両周辺の物体を検出、認識する。
図12に示すように、レーダの検知範囲とカメラの視野(知覚)範囲を重複させ、各々の検知や知覚結果を融合させることにより、物体の検知や認識精度を高めることができることが知られており、フュージョン方式と呼ばれる。
図13は、物体認識装置300の構成例を示すブロック図である。カメラ受信部301、物体認識部302、物体認識領域設定部303以外は、実施の形態1または実施の形態2で説明済みである内容については説明を省略する。
カメラ受信部301は、受光信号(輝度情報/画像情報とも呼ばれる)を一定の間隔(例えば20回/秒)で物体認識領域設定部303へ出力する。
物体認識領域設定部303は、カメラ受信部301からの画像情報、スムージング部106からの現フレームの静止物体境界位置に基づき、物体認識領域を設定し、物体認識部302に出力する。詳細は、以下で図14A〜図14Cを用いて説明する。
物体認識部302は、物体認識領域設定部303から出力された物体認識領域の範囲で物体の検出及び認識を行う。画像のパターン認識は、下記参照文献に開示されているように、複数のPositive(検出対象)サンプルと、複数のNegative(非検出対象)サンプルを含む学習画像DB(Database)を用い、統計的な学習計算により識別器を作成する(図示なし)。画像中から歩行者を認識するには、検出対象領域画像を拡大/縮小し、サンプルサイズの窓毎にラスタスキャンし、識別処理を繰り返し行うことができる。
[参照文献]
西村他、オートモーティブ分野向け画像センシング技術の開発、パナソニックテクニカルジャーナル、Oct.2011 P.64
図14Aは、ラスタスキャン方式について説明したものである。検出対象領域画像に対し、全てのセルを対象に、識別処理を行う。図14Aに示すように、最遠かつ正面(図14Aの左上)のセルから最近かつ右のセル(図14Aの右下)まで、全セルについて識別処理を行う。このため、演算量が多く、ハードウェア負荷や処理遅延として対応が求められている。
図14Bは、本実施の形態における物体認識領域(スキャン対象出力セル)の一例について示した図である。現フレームの静止物体境界情報(図14C)を元に、出力セルの周辺セル、例えば、出力セルから距離軸方向にそれぞれ1セルまでを、識別処理の対象(物体認識領域情報)とする。なお、周辺セルは、1セルに限定されない。これにより、認識処理の演算量の課題を軽減でき、ハードウェアの小型化や高速処理が可能となる。
また、静止物体境界付近から飛び出してくる移動物(車両、自転車、人、又は、動物)を検出することは、交通事故やヒヤリハット(インシデント)とも親和性が高く、交通事故削減や軽減に効果的である。
以上より、本実施の形態による物体認識装置300は、衝突可能性の高い移動物に対し検出性能を向上できるので、物体認識装置300の後段に備えられる、例えば、衝突防止装置の運転支援装置(図示せず)でのシステム精度及び応答性を改善できる。
なお、本実施の形態では、静止物体境界情報(図14C)を用いて説明したが、これに限定されるものではなく、例えば、実施の形態1の図6Fで説明した現フレームの境界情報を用いても同様に実施できる。
また、レーダ装置100は、図示しないが、例えば、CPU(Central Processing Unit)、制御プログラムを格納したROM(Read Only Memory)等の記憶媒体、およびRAM(Random Access Memory)等の作業用メモリを有する。この場合、上記した各部の機能は、CPUが制御プログラムを実行することにより実現される。但し、レーダ装置100のハードウェア構成は、かかる例に限定されない。例えば、レーダ装置100の各機能部は、集積回路であるIC(Integrated Circuit)として実現されてもよい。各機能部は、個別に1チップ化されてもよいし、各機能部の一部または全部を含むように1チップ化されてもよい。
本開示に係る実施形態の種々の態様として、以下のものが含まれる。
第1の開示に係る車載レーダ装置は、所定の検知範囲に対してレーダ信号をフレーム毎に送信し、前記レーダ信号が物体に反射された反射信号を受信する送受信部と、前記所定の検知範囲内の各方位において、前記反射信号を用いて検知される反射点のうち、車載レーダ装置からの距離が近い反射点の位置を、前記所定の検知範囲内において物体が存在しない領域の境界候補位置として、前記フレーム毎に検出する検出部と、前記車載レーダ装置の移動量に関する移動量データを計算する計算部と、前記移動量データに基づいて、過去のフレームにおいて検出された前記境界候補位置を現フレームでの境界位置に変換し、前記車載レーダ装置からの距離が近い反射点の位置を、推定境界位置として推定する推定部と、前記現フレームの前記境界候補位置と前記推定境界位置とを用いてスムージング処理し、前記所定の検知範囲内において物体が存在しない領域との境界位置を算出するスムージング部と、を具備する。
第2の開示に係る車載レーダ装置は、上記第1の開示の車載レーダ装置であって、前記スムージング部は、前記所定の検知範囲内の各方位の前記境界候補位置又は前記推定境界位置に対し、予め設定された尤度重みを用いて尤度値を算出し、尤度値が所定の閾値以上である場合、境界位置が存在すると判断し、前記所定の検知範囲内の各方位に境界位置が存在する場合に、予め設定された出力値重みを用いて境界位置の距離に重み付けし、加重平均を用いて算出した出力距離を境界位置として出力する。
第3の開示に係る領域検出方法は、所定の検知範囲に対してレーダ信号をフレーム毎に送信し、前記レーダ信号が物体に反射された反射信号を受信する車載レーダ装置における領域検出方法であって、前記所定の検知範囲内の各方位において、前記反射信号を用いて検知される反射点のうち、前記車載レーダ装置からの距離が近い反射点の位置を、前記所定の検知範囲内において物体が存在しない領域の境界候補位置として、フレーム毎に検出し、前記車載レーダ装置の移動量に関する移動量データを計算し、前記移動量データに基づいて、過去のフレームにおいて検出された前記境界候補位置を現フレームでの境界位置に変換し、前記車載レーダ装置からの距離が近い反射点の位置を、推定境界位置として推定し、前記現フレームの前記境界候補位置と前記推定境界位置とを用いてスムージング処理し、前記所定の検知範囲内において物体が存在しない領域との境界位置を算出する。
第4の開示に係る領域検出方法は、上記第3の開示の領域検出方法であって、前記スムージング処理は、前記所定の検知範囲内の各方位の前記境界候補位置又は前記推定境界位置に対し、予め設定された尤度重みを用いて尤度値を算出し、尤度値が所定の閾値以上である場合、境界位置が存在すると判断し、前記所定の検知範囲内の各方位に境界位置が存在する場合に、予め設定された出力値重みを用いて境界位置の距離に重み付けし、加重平均を用いて算出した出力距離を境界位置として出力する。
以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
上記各実施形態では、本開示はハードウェアを用いて構成する例にとって説明したが、本開示はハードウェアとの連携においてソフトウェアでも実現することも可能である。
また、上記各実施形態の説明に用いた各機能ブロックは、典型的には、入力端子及び出力端子を有する集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサを用いて実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、LSI内部の回路セルの接続又は設定を再構成可能なリコンフィギュラブル プロセッサ(Reconfigurable Processor)を利用してもよい。
さらには、半導体技術の進歩又は派生する別技術により、LSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックを集積化してもよい。バイオ技術の適用等が可能性としてありえる。
本開示の一態様に係る車載レーダ装置は、検知範囲に対してレーダ信号をフレーム毎に送信し、前記レーダ信号が1つ以上の物体に反射された1つ以上の反射信号を受信する送受信部と、前記検知範囲内の各方位において、前記1つ以上の反射信号に基づいて検知される1つ以上の反射点の位置を、前記検知範囲内において前記1つ以上の物体が存在しない領域であるクリアランス領域の境界候補位置として、前記フレーム毎に検出する検出部と、車載レーダ装置の移動量に関する移動量データを計算する計算部と、前記移動量データに基づいて、過去のフレームにおいて検出された前記境界候補位置を現フレームでの境界位置に変換することによって、推定された推定境界位置を生成する推定部と、前記現フレームの前記境界候補位置と前記推定境界位置とを用いて、前記検知範囲内において前記クリアランス領域の連続する境界位置を算出し、前記クリアランス領域の情報を出力するスムージング部と、を具備する構成を採る。
本開示の別の一態様に係る車載レーダ装置は、検知範囲に対してレーダ信号を送信し、前記レーダ信号が1つ以上の物体に反射された1つ以上の反射信号を受信する送受信部と、前記検知範囲内の各方位において、前記1つ以上の反射信号に基づいて検知される1つ以上の反射点の位置を、前記検知範囲内において前記1つ以上の物体が存在しない領域であるクリアランス領域の境界候補位置として、検出する検出部と、前記境界候補位置を用いて、前記検知範囲内において前記クリアランス領域の連続する境界位置を算出し、前記クリアランス領域の情報を出力するスムージング部と、を具備する構成を採る。
本開示の一態様に係る領域検出装置は、車両に搭載される領域検出装置であって、検知範囲に対して信号をフレーム毎に送信し、前記信号が1つ以上の物体に反射された1つ以上の反射信号を受信する送受信部と、前記検知範囲内の各方位において、前記1つ以上の反射信号に基づいて検知される1つ以上の反射点の位置を、前記検知範囲内において前記1つ以上の物体が存在しない領域であるクリアランス領域の境界候補位置として、前記フレーム毎に検出する検出部と、前記領域検出装置の移動量に関する移動量データを計算する計算部と、前記移動量データに基づいて、過去のフレームにおいて検出された前記境界候補位置を現フレームでの境界位置に変換することによって、推定された推定境界位置を生成する推定部と、前記現フレームの前記境界候補位置と前記推定境界位置とを用いて、前記検知範囲内において前記クリアランス領域の連続する境界位置を算出し、前記クリアランス領域の情報を出力するスムージング部と、を具備する構成を採る。
本開示の別の一態様に係る領域検出装置は、車両に搭載される領域検出装置であって、検知範囲に対して複数の信号を送信し、前記複数の信号が1つ以上の物体に反射された複数の反射信号を受信する送受信部と、前記複数の反射信号に基づいて検知される複数の反射点のうち、連続する反射点に基づいて、前記検知範囲内において前記1つ以上の物体が存在しない領域であるクリアランス領域の境界線に関する情報を出力する境界線検出部と、を具備する構成を採る。
本開示の一態様に係る領域検出方法は、検知範囲に対してレーダ信号をフレーム毎に送信し、前記レーダ信号が1つ以上の物体に反射された1つ以上の反射信号を受信し、前記検知範囲内の各方位において、前記1つ以上の反射信号に基づいて検知される1つ以上の反射点の位置を、前記検知範囲内において前記1つ以上の物体が存在しない領域であるクリアランス領域の境界候補位置として、前記フレーム毎に検出し、車載レーダ装置の移動量に関する移動量データを計算し、前記移動量データに基づいて、過去のフレームにおいて検出された前記境界候補位置を現フレームでの境界位置に変換することによって、推定された推定境界位置を生成し、前記現フレームの前記境界候補位置と前記推定境界位置とを用いて、前記検知範囲内において前記クリアランス領域の連続する境界位置を算出し、前記クリアランス領域の情報を出力する。
本開示の別の一態様に係る領域検出方法は、検知範囲に対してレーダ信号を送信し、前記レーダ信号が1つ以上の物体に反射された1つ以上の反射信号を受信し、前記検知範囲内の各方位において、前記1つ以上の反射信号に基づいて検知される1つ以上の反射点の位置を、前記検知範囲内において前記1つ以上の物体が存在しない領域であるクリアランス領域の境界候補位置として、検出し、前記境界候補位置を用いて、前記検知範囲内において前記クリアランス領域の連続する境界位置を算出し、前記クリアランス領域の情報を出力する。
本開示のさらに別の一態様に係る領域検出方法は、車両に搭載される領域検出装置における領域検出方法であって、検知範囲に対して信号をフレーム毎に送信し、前記信号が1つ以上の物体に反射された1つ以上の反射信号を受信し、前記検知範囲内の各方位において、前記1つ以上の反射信号に基づいて検知される1つ以上の反射点の位置を、前記検知範囲内において前記1つ以上の物体が存在しない領域であるクリアランス領域の境界候補位置として、前記フレーム毎に検出し、前記領域検出装置の移動量に関する移動量データを計算し、前記移動量データに基づいて、過去のフレームにおいて検出された前記境界候補位置を現フレームでの境界位置に変換することによって、推定された推定境界位置を生成し、前記現フレームの前記境界候補位置と前記推定境界位置とを用いて、前記検知範囲内において前記クリアランス領域の連続する境界位置を算出し、前記クリアランス領域の情報を出力する。
本開示のさらに別の一態様に係る領域検出方法は、車両に搭載される領域検出装置における領域検出方法であって、検知範囲に対して複数の信号を送信し、前記複数の信号が1つ以上の物体に反射された複数の反射信号を受信し、前記複数の反射信号に基づいて検知される複数の反射点のうち、連続する反射点に基づいて、前記検知範囲内において前記1つ以上の物体が存在しない領域であるクリアランス領域の境界線に関する情報を出力する。