JP2014142202A - 車載物標検出装置 - Google Patents

Abstract

【課題】ミリ波等の電波を用いたセンサ及び画像センサの両方を搭載し、撮像画像から物標を識別する画像処理の処理量を低減可能な車載物標検出装置を提供する。
【解決手段】画像取得手段（Ｓ１１０）は、予め設定された測定サイクル毎に、自車両前方の撮像画像を取得する。位置情報取得手段（Ｓ１１５）は、電波の送受信により、電波を反射した物標候補の、自車両に対する方位及び距離（位置情報）を取得する。探索範囲設定手段（Ｓ１３５）は、画像取得手段（Ｓ１１０）が撮像画像を取得するタイミングで位置情報によって表される物標候補の三次元空間での位置を測定位置とし、撮像画像上にて該測定位置に対応する位置を画面測定位置として、該画面測定位置を基準として画像探索範囲を設定する。画像認識手段（Ｓ１４０）は、撮像画像上に設定された画像探索範囲において、予め定められた検出対象を検出する画像認識処理を実行する。
【選択図】図８

Description

本発明は、車両に搭載され、車両の周囲に存在する物標を検出する車載物標検出装置に関する。

従来、車両の周囲に存在する物標を検出する車載物標検出装置として、電波（ミリ波）を用いて物標を検出する電波を用いたセンサ（例えばミリ波センサ）や、カメラで撮像した撮像画像を用いて物標を検出する画像センサが知られている。ミリ波センサは物標までの距離や相対速度の検出精度が画像センサに比べて高く、画像センサは物標の形状（幅や大きさ）や物標への方位角の検出精度がミリ波センサに比べて高い。

そこで、ミリ波センサ及び画像センサの両方を搭載し、検出項目（距離、方位角等）をより精度よく検出するいずれか一方のセンサによる出力を、その検出項目の検出結果とし、これらの検出結果に従って物標を検出する装置が考えられている（例えば特許文献１参照）。

特開２００１−９９９３０号公報

しかしながら、画像センサによる画像認識では、撮像画像を所定の倍率で段階的に縮小した複数の二次画像を生成し、各二次画像の画面全体において、物標について予め準備されたテンプレートを用いたパタンマッチングを繰り返し行うことが一般的である。このパタンマッチングを繰り返し行う方法は、画像処理の処理量が膨大なものになるという問題があった。

本発明は、こうした問題にかんがみなされたものであり、ミリ波等の電波を用いたセンサ及び画像センサの両方を搭載し、撮像画像から物標を識別する画像処理の処理量を低減可能な車載物標検出装置を提供することを目的とする。

上記目的を達成するためになされた本発明の車載物標検出装置は、請求項１に記載のように、画像取得手段は予め設定された測定サイクル毎に、自車両前方を撮像した撮像画像を繰り返し取得する。また、位置情報取得手段は、電波を送受信することによって、該電波を反射した物標候補について、少なくとも自車両に対する方位と距離とを位置情報として取得する。物標候補とは、電波を反射した一または複数の物標をいうものとする。つまり、ミリ波により検出される物標候補は、一つの検出対象からなるとは限らない。

また、画像認識手段は、画像認識によって、撮像画像上の予め設定された画像探索範囲を探索し、予め定められた検出対象を検出し、該検出対象について少なくとも撮像画像上の位置である画像検出位置を記憶する。

なお、探索範囲設定手段は、画像取得手段が撮像画像を取得するタイミングで位置情報取得手段により取得される位置情報によって表される物標の三次元空間での位置を測定位置とし、撮像画像上にて測定位置に対応する位置を画面測定位置として、該画面測定位置を基準として画像探索範囲を設定する。

従って、本発明の車載物標検出装置によると、撮像画像全体について画像処理を実行するのではなく、三次元空間での物標候補の距離と方位とを用いて画像処理を実行する探索範囲を限定するため、画像処理の処理量を低減することができる。

一般に、電波（例えばミリ波）を用いる測定手段では、距離の検出精度が高く、方位の検出精度は距離の検出精度ほどは高くない。これは、電波の広がりにより方位分解能が低下するためである。このため、ミリ波を用いる測定手段では、自車両より比較的遠方に位置し、かつ互いに接近して位置する複数の検出対象を分離して検出することが困難である。

ここで、例えば、画面上で自車両の車幅方向に一致する横方向において、画面測定位置を基準（中心）として、画像探索範囲を広く設定すると、接近して位置する複数の検出対象を画像処理によってもれなく検出することができる反面、画像処理の処理量が増加する。一方、画像探索範囲の横方向を狭く設定すると、接近して位置する複数の検出対象のうちのいずれかについて検出もれが生じる虞がある。

そこで、請求項２に記載の車載物標検出装置では、物標候補が複数の検出対象からなるか否かを推定する物標状態推定手段を備え、探索範囲設定手段が、基準探索範囲設定手段と探索範囲切替手段とを備える。基準探索範囲設定手段は、物標候補が複数の検出対象からなるものではないと、物標状態推定手段によって推定された場合に、予め設定された第１探索範囲を前記画像探索範囲とする。一方、探索範囲切替手段は、物標候補が複数の検出対象からなると物標状態推定手段によって推定された場合に、撮像画像上で自車両の車幅方向に一致する横方向へ第１探索範囲を拡大した第２探索範囲に、画像探索範囲を切り替える。

従って、このような車載物標検出装置によると、車両前方に存在する物標候補が複数の検出対象からなると推定された場合、画像探索範囲を広く設定するため、これらの検出対象について検出もれを抑制することができる。また、車両前方に存在する物標候補が複数の検出対象からなるものではないと推定された場合は、第１探索範囲を画像探索範囲とすることにより、画像処理の処理量の増加を抑制することができる。

第１実施形態の車載物標検出装置のブロック図である。 ピラミッド画像群を説明する説明図である。 画像探索範囲の設定と、該画像探索範囲でのパタンマッチング処理を説明する説明図である。 第１探索範囲を説明する説明図である。 第２探索範囲を説明する説明図である。 （ａ）は物標候補が一つの検出対象からなる場合に画面測定位置がばらつく範囲を説明する説明図であり、（ｂ）は物標候補が近接して位置する複数の検出対象からなる場合に、画面測定位置がばらつく範囲と第１探索範囲との関係を説明する説明図であり、（ｃ）は（ｂ）の場合のミリ波受信信号の強度分布の一例を示す説明図である。 第１ばらつき範囲を説明する説明図である。 識別対象検出処理のフローチャートである。 ばらつき推定の処理についてのフローチャートである。 探索範囲設定の処理についてのフローチャートである。 画像認識の処理についてのフローチャートである。 ばらつきフラグリセット判定についてのフローチャートである。 第２探索範囲を設定することによって、近接して位置する複数の検出対象が検出可能となることを説明する説明図である。 第２実施形態でのばらつき推定の処理についてのフローチャートである。 第２ばらつき範囲を説明する説明図である。 第３実施形態でのばらつき推定の処理についてのフローチャートである。

［第１実施形態］
以下に本発明の第１実施形態を図面と共に説明する。
［全体構成］
本発明の車載物標検出装置１は、図１に示すように、車載カメラ１０、レーダ装置２０及び運転支援実行装置３０と通信可能に接続されている。

車載カメラ１０は、画像センサからなり、予め設定された撮像周期毎に、自車両前方を撮像した撮像画像の画像データを車載物標検出装置１へ出力する。
レーダ装置２０は、電波（ここでは、ミリ波）を送受信することによって検出した物標候補との相対的位置関係を表す位置情報を、車載物標検出装置１へ出力する。

運転支援実行装置３０は、車載物標検出装置１の出力に従って各種運転支援を実行する。制御対象となる運転支援実行装置３０の車載機器には、各種画像を表示する画像表示装置３１や、警報音や案内音声を出力する音響装置３２が少なくとも含まれている。

［車載物標検出装置］
車載物標検出装置１は、画像処理部４１と位置情報生成部４３と識別対象検出部４５とを備える。画像処理部４１は、車載カメラ１０から取得される画像データを用いて、図２に示すように、撮像した基本画像ａを所定の比率で段階的に縮小した複数の二次画像ｂ、ｃ・・・（以下、これらの撮像画像及び複数の二次画像をピラミッド画像群と称する）を生成する。位置情報生成部４３は、車載カメラ１０が撮像画像を取得する毎に、レーダ装置２０から入力される位置情報を識別対象検出部４５に出力する。

識別対象検出部４５は、撮像画像上で、画像処理部４１から入力された画像データ及び位置情報生成部４３で生成された位置情報を用いて設定される画像探索範囲を探索し、レーダ装置２０で検出された物標候補が検出対象（以下では、検出対象を「車両」として説明する）であるか否かを判定する。そして、物標候補が検出対象である場合、該物標候補（検出対象）の撮像画像上の位置である画像検出位置を記憶し、運転支援実行装置３０に出力する。

なお、レーダ装置２０で検出された物標候補が検出対象であるか否かは、所謂パタンマッチング処理により判定される。つまり、識別対象検出部４５は、まず、位置情報として検出された自車両から物標候補までの距離に従って、画像処理部４１から入力されたピラミッド画像群の中から１ないしは複数の画像を選択する（図３参照）。更に、選択された選択画像面内において、画像探索範囲を設定する。

そして、該画像探索範囲において、予め準備された、検出対象を表す画像データであるテンプレートを順次移動させ、テンプレートとの一致の度合いを算出することによって画像探索範囲内に検出対象が存在するか否かを判定する、パタンマッチング処理を実行する。テンプレートの大きさは、自車両からある所定距離離れて位置する検出対象（車両）が撮像画像の画面上に写る大きさに設定されている。

ここで、画像探索範囲は、次のように設定される。つまり、識別対象検出部４５は、はじめに、位置情報生成部４３で生成された位置情報によって表される物標候補の三次元空間での位置を測定位置とし、該測定位置に対応する撮像画像上の位置を画面測定位置として、位置情報を画面測定位置に変換する。撮像画像上では、図４に示すように、自車両の車幅方向に一致する方向を横方向とし、自車両の車体の向きに一致する方向を縦方向として、画面測定位置は、縦方向をｘ軸方向、横方向をｙ軸方向とするｘ、ｙ座標系で表される。以下では特に、ｙ軸方向での位置を横位置という。

そして、識別対象検出部４５は、物標候補が一つの検出対象からなると推定される場合、該物標候補の画面測定位置を中心として、予め定められた範囲である第１探索範囲を画像探索範囲として設定する。ここでは、第１探索範囲は、撮像画像上で標準的な大きさを有する車両の幅をＷ０、高さをＨ０として、横方向の大きさＷ１がＷ０の３倍、縦方向の大きさがＨ０の２倍の矩形状に設定されている。

但し、物標候補が近接した距離に位置する複数の検出対象からなると推定される場合、識別対象検出部４５は、図５に示すように、第１探索範囲の横方向の端部のうち、撮像画面上で自車両の正面を現す位置に近い側を所定幅拡大した範囲である第２探索範囲を、画像探索範囲として設定する。ここでは、自車両の正面を表す位置は撮像画面の略中央に設定されている。また、第２探索範囲は、縦方向の大きさＨ２が第１探索範囲に等しく、横方向の大きさＷ２が、第１探索範囲に比べて、Ｗ０の２倍分大きい矩形状に設定されている。

物標候補が近接した距離に位置する複数の検出対象であると推定される場合に、上記のように画像探索範囲を横方向に広げて設定するのは、次の理由による。つまり、物標候補が一つの検出対象からなる場合、図６（ａ）に示すように、画面測定位置、即ちミリ波の受信信号の強度がピークとなる位置は、車両の後部バンパーやナンバープレート等でのミリ波の反射によって、車幅Ｗ０の範囲内でばらついて検出される。

一方、物標候補が近接した距離に位置する複数の検出対象からなる場合、これらが自車両から所定距離（数十ｍ）以上離れて位置していると、ミリ波の広がりによる方位分解能の低下によって、これらを分離して検出することが困難となる。つまり、同図（ｂ）、（ｃ）に示すように、２台の車両Ａ、Ｂが距離ｄを隔てて近接して位置している場合、ミリ波の受信信号の強度が最大値となる位置（画面測定位置）は、車両一台分の車幅Ｗ０を超えた範囲で、ばらついて検出される。

距離ｄは、近接する検出対象を分離して検出可能な距離である分離検出可能距離以下の値であり、該分離検出可能距離はレーダ装置２０の性能等により決定される。ここで、画像探索範囲が画面上の横方向において狭く設定されていると、２台の車両Ａ、Ｂのうち、いずれかの検出もれが生じる虞がある。また、画像探索範囲が横方向に広く設定されていると、検出もれが抑制される反面、画像処理の処理量が増加する。

そこで、物標候補が近接した距離に位置する複数の検出対象からなる場合は、上記のように、第１探索範囲に代えて第２探索範囲を画像探索範囲として設定している。
なお、識別対象検出部４５は、物標候補が近接した距離に位置する複数の検出対象からなるか否かの推定を、次のように行う。まず、図７に示すように、撮像画像上で、車両の占める矩形状の領域（対象占有領域）の幅（車両の幅に相当する）を想定車幅Ｗｓとする。そして、横方向において、該想定車幅Ｗｓの外側に設定された所定の範囲である第１ばらつき範囲Ｂ１内に、現測定サイクルでの画面測定位置が位置する場合、物標候補が近接する複数の検出対象からなると推定する。

想定車幅Ｗｓは、前回の測定サイクルでの画面測定位置（以下、前回測定位置という）に対応する位置に画像処理によって検出された車両（検出対象）の車幅とする。前回測定位置に対応する位置に画像処理によって検出された検出結果を使用しない場合は、想定車幅Ｗｓを、撮像画像上での一般的な車両（例えば、乗用車）の車幅とする。また、第１ばらつき範囲Ｂ１の横方向の大きさは、分離検出可能距離及び検出対象の横方向の幅等に基づいて設定され、ここでは０．５ｍ〜１ｍ程度に設定されている。

［車載物標検出装置での処理］
画像処理部４１、位置情報生成部４３、及び識別対象検出部４５は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた周知のマイクロコンピュータが実行する処理によって実現される。画像処理部４１にてピラミッド画像を生成する処理は周知であるため、ここではその説明を省略する。また、位置情報生成部４３が実行する処理は、レーダ波の送信タイミングから反射波の受信タイミングまでの時間差を用いて、レーダ波を反射した反射点までの距離を求めると共に、レーダ波の照射方向、或いは受信ビームの方向等から反射波の到来方向を求め、これらの情報を用いて反射点の分布から物標候補を検出する周知のものであるため、その説明を省略する。以下では、識別対象検出部４５が実行する処理について説明する。

［識別対象検出処理］
識別対象検出部４５が実行する識別対象検出処理の内容を、図８に示すフローチャートに沿って説明する。

本処理は、車載カメラ１０の撮像周期毎に繰り返し起動する。本処理が起動すると、まず、ステップ（以下単に「Ｓ」と記す）１１０では、現測定サイクルでの画像データ（ピラミッド画像の画像データ）を画像処理部４１から取得する。次にＳ１１５では、現測定サイクルでの物標候補の位置情報を位置情報生成部４３から取得する。

続くＳ１２０では、位置情報生成部４３にてミリ波を反射した物標候補が複数検出された場合、これらの物標候補に対して優先順位を設定する。優先順位は、検出した物標候補の位置情報を用いて、自車両からの距離が小さいものから大きいものへと順に優先順位が高くなるように設定される。そして、これらの物標候補それぞれに対する探索済みフラグを、初期化（０にセット）する。

次に、Ｓ１２５では、探索済みフラグが０にセットされている物標候補のうちから、Ｓ１２０にて設定された優先順位が最も高い物標候補を一つ選択し、選択した物標候補の探索済みフラグを１にセットする。続くＳ１３０では、Ｓ１２５で選択した物標候補が複数の検出対象からなるか否かを推定する、ばらつき推定の処理（物標状態推定処理）を実行する。

次にＳ１３５では、Ｓ１３０で実行したばらつき推定の結果に従って画像探索範囲を設定する処理を実行する。続くＳ１４０では、Ｓ１３５で設定された画像探索範囲にて画像認識の処理を実行し、選択された物標候補が検出対象であるか否かを判断し、検出対象である場合は、該物標候補について撮像画像上の位置である画像検出位置を記憶する。次に、Ｓ１４５では、画像認識の処理を実行した回数をカウントする累積探索数をインクリメントし、続くＳ１５０では、この累積探索数が上限値である上限探索値以下であるか否かを判断する。ここで、累積探索数が上限探索値以上である場合、Ｓ１６０に移行する。一方、累積探索数が上限探索値未満である場合、Ｓ１５５に移行する。

Ｓ１５５では、優先順位を設定された物標候補の中に、Ｓ１３０〜Ｓ１４０の処理（以下、探索処理という）を実施していない未処理物標候補が存在するか否かを判断する。具体的には、全ての物標候補について探索済みフラグが１にセットされていない場合、未探索物標候補が有ると判断する。ここで、未処理物標候補が存在すればＳ１２５に移行し、Ｓ１３０〜Ｓ１５０の一連の処理を繰り返し実行する。一方、未処理物標候補が無いと判断された場合、即ち全ての物標候補に対して探索済みフラグが１にセットされている場合、Ｓ１６０に移行する。最後に、Ｓ１６０では、Ｓ１４０にて検出された検出対象の画面上の位置を検出結果として出力し、本処理を終了する。

［ばらつき推定］
次に、上記処理のＳ１３０にて実行する、ばらつき推定の処理を図９に示すフローチャートに基づき説明する。Ｓ２１０では、選択された物標候補までの距離が所定距離（数十ｍ）以上であるか否かを判定する。ここで、物標候補までの距離が所定距離未満である場合、Ｓ２２０に移行してばらつきフラグを０にセットし、Ｓ２３０に移行する。一方、物標候補までの距離が所定距離以上である場合、Ｓ２３０に移行する。

次にＳ２３０では、前回の測定サイクルにて実行した画像処理（Ｓ１４０）によって検出された検出対象の画像検出位置の中に、現測定サイクルで選択された物標候補の画面測定位置（以下、現サイクル測定位置という）に対応する画像検出位置（以下、前回検出位置という）が存在するか否かを判定する。

ここで、前回検出位置が無い場合、Ｓ２７０に移行する。一方、前回検出位置が有る場合、Ｓ２４０に移行する。Ｓ２４０では、ばらつきリセットフラグが０であるか否かを判断する。ここで、ばらつきリセットフラグが０ではない場合、Ｓ２７０に移行する。一方、ばらつきリセットフラグが０である場合、Ｓ２５０に移行する。

次にＳ２５０では、現サイクル測定位置が、上述の第１ばらつき範囲Ｂ１（図７参照）内に位置するか否かを判断する。ここで、現サイクル測定位置が第１ばらつき範囲Ｂ１の範囲内に位置する場合、選択された物標候補が複数の検出対象からなると推定して、ばらつきフラグを１にセットし、本処理を終了する。一方、現サイクル測定位置が、第１ばらつき範囲Ｂ１外に位置する場合、Ｓ２７０に移行し、選択された物標候補が複数の検出対象からなるものではないと推定し、Ｓ２７０にてばらつきフラグを０にセットする。続くＳ２８０では、ばらつきリセットフラグを０にセットし、本処理を終了する。

［探索範囲設定］
次に、上記処理のＳ１３５にて実行する、探索範囲設定の処理を図１０に示すフローチャートに基づき説明する。はじめに、Ｓ３１０では、ばらつき推定の処理が実行された後に、ばらつきフラグが１にセットされているか否かを判断する。ここで、ばらつきフラグが１に設定されていない場合、Ｓ３２０に移行して第１探索範囲を画像探索範囲として設定し、Ｓ３４０に移行する。一方、ばらつきフラグが１に設定されている場合、Ｓ３３０に移行して第２探索範囲を画像探索範囲として設定し、Ｓ３４０に移行する。

続くＳ３４０では、前回の測定サイクルで、前回検出位置が検出されていたか否かを判断する。ここで、前回検出位置が検出されていなかった場合、本処理を終了する。
一方、前回の測定サイクルで、前回検出位置が検出されていた場合、Ｓ３５０に移行する。続くＳ３５０では、前回検出位置を中心とした第１探索範囲と、Ｓ３２０またはＳ３３０にて設定された画像探索範囲とを合わせた範囲を合成探索範囲とし、該合成探索範囲を画像探索範囲として設定し、本処理を終了する。

［画像認識］
次に、上記処理のＳ１４０にて実行する、画像認識の処理を図１１に示すフローチャートに基づき説明する。はじめに、Ｓ４１０では、位置情報として検出された自車両から物標候補までの距離に従って、画像処理部４１から入力されたピラミッド画像群（図２参照）の中から一ないしは複数の画像を選択する（図３参照）。

そして、図１１に示すように、選択された選択画像面内のうち、探索範囲設定（Ｓ１３５）の実行により設定された画像探索範囲において、検出対象を表す画像データであるテンプレートを順次移動させ、パタンマッチング処理を実行し、テンプレートとの一致度を表す認識値（尤度）を算出する。パタンマッチング処理としては、ＳＶＭを用いる方法、特徴量を算出する方法等、種々の周知の手法を用いてよい。

次にＳ４２０では、パタンマッチング処理により検出対象（車両）を検出したか否かを判断する。つまり、テンプレートとの一致の度合いを表す認識値（尤度）が予め定めた画像検出閾値以上である場合に、車両を検出したと判断する。ここで、車両を検出した場合、Ｓ４３０に移行し、検出した車両の位置（画像検出位置）をメモリに記憶させ、本処理を終了する。一方、車両を検出しなかった場合、Ｓ４４０に移行し、ばらつきフラグリセット判定の処理を実行し、本処理を終了する。

［ばらつきフラグリセット判定］
次に、画像認識の処理（Ｓ４４０）にて実行する、ばらつきフラグリセット判定の処理を図１２に示すフローチャートに基づき説明する。はじめに、Ｓ５１０では、ばらつきフラグが１にセットされていない場合、Ｓ５３０に移行する。そして、ばらつきフラグが１にセットされている場合、Ｓ５２０に移行する。

続くＳ５２０では、ばらつきフラグが１にセットされているときの画像探索範囲である第２探索範囲において、画像認識（Ｓ１４０）の処理を実行して取得される尤度が、予め設定した認識閾値を超えたか否かを判定する。尤度が認識閾値未満である場合はＳ５３０に移行し、尤度が認識閾値以上である場合はＳ５５０に移行する。

ばらつきフラグが１にセットされていない場合及び尤度が認識閾値未満である場合に移行するＳ５３０では、ばらつき継続中カウンタに０をセットし、続くＳ５４０では、ばらつきリセットフラグに０をセットし、本処理を終了する。

尤度が認識閾値以上である場合に移行するＳ５５０では、ばらつき継続中カウンタに１を加算し、Ｓ５６０に移行する。続くＳ５６０では、ばらつき継続中カウンタが予め設定した所定回数（ここでは５回）未満の場合、本処理を終了する。そして、ばらつき継続中カウンタが所定回数以上の場合、Ｓ５７０に移行する。次にＳ５７０では、ばらつきリセットフラグを１にセットし、続くＳ５８０では、ばらつきリセットフラグを１にセットし、本処理を終了する。

ここで、認識閾値は、尤度（認識値）が認識閾値未満である場合は、その探索範囲では検出対象が検出される可能性が非常に低いことを意味するように、上述の画像検出閾値より小さい値に設定されている。

［効果］
以上説明したように、車載物標検出装置１では、まず、物標候補と自車両との距離に基づいて、ピラミッド画像の中から一ないしは複数の画像を選択し、更に、この選択した画像において、ミリ波による検出結果を用いて画像探索範囲を設定し、パタンマッチングによる画像認識の処理を該画像探索範囲に限定して実行する。これにより、生成されたピラミッド画像群の画像データ全てを用いて検出対象を検出する従来の手法と比べて、マイクロコンピュータでの画像処理の処理量を大幅に低減することができる。

また、車載物標検出装置１では、ミリ波による方位分解能が低下する程度遠方に、近接して位置する複数の検出対象が存在すると推定される場合、第１探索範囲に代えて第２探索範囲が画像探索範囲として設定されるため、図１３に示すように、複数の検出対象をもれなく検出することができる。さらに、第２探索範囲は第１探索範囲を横方向にて自車両正面側に広げた範囲に設定されているため、自車両正面方向に存在する検出対象を確実に検出することができる。また、第２探索範囲では、自車両正面側にのみ範囲を広げたことにより、画像探索範囲が必要以上に大きく設定されない為、画像処理の処理量の増加を必要最小限に抑制することすることができる。

さらにまた、車載物標検出装置１では、予め設定した所定回数の測定サイクルに亘って、第２探索範囲内で検出対象が検出されない場合（Ｓ５６０：ＹＥＳ）、画像探索範囲を、第２探索範囲から第１探索範囲に再設定する。これにより、画像処理の処理量の増加を抑制することができる。

なお、物標候補が複数の検出対象からなるものではないと推定された場合（Ｓ３１０：ＮＯ）は、デフォルトの範囲である第１探索範囲が画像探索範囲として設定される（Ｓ３２０）ため、画像処理の処理量を不必要に増加させることがない。

また、車載物標検出装置１では、前回の測定サイクルで画像認識（Ｓ１４０）によって検出対象が検出されている場合、前回検出位置での画像探索範囲と現サイクル測定位置での画像探索範囲とを重ね合わせた合成探索範囲を、画像探索範囲として設定する（Ｓ３５０）。これにより、画像探索範囲における検出対象の検出もれを抑制することができる。

さらにまた、車載物標検出装置１では、物標候補までの距離が所定距離未満の場合（Ｓ２１０：ＮＯ）、近接して位置する複数の検出対象をミリ波によって分離し検出できるものとして、ばらつき推定を実施しない構成としている。これにより、マイクロコンピュータに対する処理負荷を低減することができる。

また、車載物標検出装置１では、レーダ装置２０にて複数の物標候補が検出された場合、検出された物標候補のうち、自車両に近い順に（Ｓ１２０、Ｓ１２５参照）、所定数の物標候補についてのみ（Ｓ１５０参照）、探索処理を実行する。これにより、物標検出のために許容されている、マイクロコンピュータに対する処理負荷の範囲内で、自車両から近距離に存在する物標候補（即ち、より検出の重要度の高い物標候補）についての処理を確実に実行することができる。

さらにまた、車載物標検出装置１では、測定サイクルが所定回数に満たない場合であっても、第２探索範囲における尤度が認識閾値未満であると算出された場合には（Ｓ５２０：ＮＯ）、第２探索範囲では近接して位置する複数の検出対象が存在する可能性が非常に低いものと推定して、ばらつき継続中カウンタをリセットする（Ｓ５３０）。これにより、次回の測定サイクルでは、探索範囲が第２探索範囲から第１範囲に再設定されるため、結果として、画像処理の処理量を抑制することができる。

［請求項との対応］
Ｓ１１０が特許請求の範囲の「画像取得手段」（の機能としての処理）に相当し、Ｓ１１５が特許請求の範囲の「位置情報取得手段」に相当し、Ｓ１４０が特許請求の範囲の「画像認識手段」に相当し、Ｓ１３５が特許請求の範囲の「探索範囲設定手段」に相当する。

また、Ｓ１３０が特許請求の範囲の「物標状態推定手段」に相当し、Ｓ２３０が特許請求の範囲の「対応付け手段」に相当し、Ｓ３２０が特許請求の範囲の「基準探索範囲設定手段」に相当し、Ｓ３３０が特許請求の範囲の「探索範囲切替手段」に相当する。さらにまた、Ｓ４４０が特許請求の範囲の「探索範囲再設定手段」に相当し、Ｓ３５０が特許請求の範囲の「合成探索範囲設定手段」に相当する。また、Ｓ４１０が特許請求の範囲の「認識値算出手段」に相当する。

さらにまた、Ｓ２５０が特許請求の範囲の「物標状態推定実行手段」に相当し、Ｓ２７０が特許請求の範囲の「物標状態推定禁止手段」に相当し、Ｓ１２０が特許請求の範囲の「優先順位設定手段」に相当する。

［第２実施形態］
以下に本発明の第２実施形態を図面と共に説明する。
［全体構成］
[構成]
装置構成は第１実施形態の車載物標検出装置１と同じである。但し、識別対象検出部４５で実行されるばらつき推定の処理が第１実施形態のものとは一部異なっているため、その異なる部分を中心に説明する。

［ばらつき推定］
図１４に示すように、本実施形態のばらつき推定の処理では、図９に示した処理と比較して、Ｓ２４２〜Ｓ２４６が追加されている。

即ち、本処理が起動すると、Ｓ２１０からＳ２４０の処理を実行した後、前回検出位置が検出されている場合に、前回の測定サイクルでの画像認識の処理（Ｓ４１０）にて算出された該検出対象についての尤度が、予め設定された確度閾値以上であったか否かを判断する。確度閾値は、上述の画像検出閾値より大きい値に設定されている。ここで、算出された尤度が確度閾値以上であった場合、Ｓ２４４に移行し、ばらつき範囲を上述の第１ばらつき範囲Ｂ１に設定する（図７参照）。一方、算出された尤度が確度閾値未満であった場合、図１５に示すように、ばらつき範囲を車両本体中心側に広げた第２ばらつき範囲Ｂ２に設定する。

そして、Ｓ２５０に移行し、現サイクル測定位置が第１ばらつき範囲Ｂ１又は第２ばらつき範囲Ｂ２内に位置するか否かを判定し、続くＳ２６０からＳ２８０の処理を実行して本処理を終了する。

［効果］
以上説明したように、本実施形態では、ばらつき推定の処理において、前回の測定サイクルにて算出された検出対象の尤度が、画像検出閾値以上であり、かつ確度閾値未満の場合、検出対象が検出されてはいるが、その検出精度が十分高いものではないとして、第１ばらつき範囲に代えて、第１ばらつき範囲Ｂ１を車両本体側に広げた第２ばらつき範囲Ｂ２をばらつき範囲として設定する。これにより、近接して位置する複数の検出対象の検出もれを抑制することができる。

［請求項との対応］
Ｓ２４４が特許請求の範囲の「基準ばらつき範囲設定手段」に相当し、Ｓ２４６が特許請求の範囲の「拡大ばらつき範囲設定手段」に相当する。

［第３実施形態］
以下に本発明の第３実施形態を図面と共に説明する。
［全体構成］
[構成]
装置構成は第１実施形態の車載物標検出装置１とほぼ同じであるが、位置情報生成部４３は、位置情報に加えて、レーダ装置２０から入力される受信信号の強度の最大値（ピーク値。以下、単に受信信号強度という）を識別対象検出部４５に出力する点が異なる。

また、識別対象検出部４５で実行される、ばらつき推定の処理が第１実施形態のものとは一部異なっている。以下では、その異なる部分を中心に説明する。
［ばらつき推定］
図１６に示すように、本実施形態のばらつき推定の処理では、図９に示した処理と比較して、Ｓ２３０がＳ２３１に置換され、Ｓ２３２、Ｓ２３３が追加され、Ｓ２５０がＳ２５１に置換されている。即ち、本処理が起動すると、Ｓ２１０及びＳ２２０の処理を実行した後、Ｓ２３１では、現測定サイクルのＳ１１５（図８参照）で取得する位置情報（現サイクル位置情報）に相当する前回測定サイクルでの位置情報（前回位置情報）の有無を判断する。

ここで、前回位置情報が無い場合、Ｓ２７０に移行し、前回位置情報がある場合、Ｓ２３２に移行する。次にＳ２３２では、受信信号強度を取得する。
続くＳ２３３では、自車両からの距離が同じであれば大型の車両（例えばトラック等）であるほどレーダ装置２０での受信信号強度が大きいことを利用して、受信信号強度に応じて想定車幅Ｗｓを設定する。

具体的には、予め、車両の大きさ（例えば、一般的な乗用車と、トラック等の大型車）毎に、実際の測定等によって自車両からの距離と受信信号の強度との対応関係を取得しておき、受信信号において乗用車とトラックとを区別する境界値を第１強度閾値として設定し、自車両からの距離と第１強度閾値との対応関係を表した閾値対応テーブル準備しておく。

そして、前回測定サイクルのＳ２３２にて取得した受信信号の強度が、予め設定された第１強度閾値より小さい場合、想定車幅Ｗｓとして予め設定されたデフォルトの幅を設定する。デフォルトの幅は、例えば、一般的な乗用車の車幅に設定されている。一方、受信信号の強度が予め設定された第１強度閾値以上である場合、想定車幅Ｗｓとして、デフォルトの幅より大きい幅を設定する。この場合、想定車幅は、一般的な乗用車より大きいトラック等の車幅に設定されている。

次に、Ｓ２４０の処理を実行してＳ２５１に移行し、前回位置情報及び現サイクル位置情報（ミリ波による）を用いて、前回測定サイクルから現測定サイクルまでの間に、自車両の車幅方向に一致する方向（三次元空間での横方向）において、物標候補の位置（三次元空間での横位置）がどの程度変化したのかを検出する。

そして、この横位置の差がＳ２３３で設定した想定車幅Ｗｓ以上である場合、Ｓ２６０に移行してばらつきフラグを１に設定し、本処理を終了する。一方、前回測定位置と現サイクル測定位置との差が想定車幅Ｗｓ未満である場合、Ｓ２７０に移行してばらつきフラグを０に設定し、Ｓ２８０の処理を実行して本処理を終了する。

［効果］
以上説明したように、本実施形態では、検出対象の大きさに比例して受信信号の強度が大きくなることを用いて想定車幅Ｗｓを設定し、該想定車幅Ｗｓをミリ波の検出結果から得られる三次元空間での横位置と比較し、物標候補が複数の検出対象からなるか否かを推定する。

これによると、第１実施形態のように画像処理によらず、ミリ波の検出結果のみを用いて物標候補が複数の検出対象からなるか否かを推定するため、処理を簡素化することができる。

また、本実施形態では、第１強度閾値より小さい値である第２強度閾値を更に設定し、受信信号の強度が、第２強度閾値未満の場合は想定車幅Ｗｓを一般的な小型車の車幅に設定し、第２強度以上第１強度未満の場合は想定車幅Ｗｓを乗用車の車幅に設定する構成としてもよい。このように、より細かく検出対象の大きさ毎に想定車幅Ｗｓを設定することにより、より画像処理の処理量を低減することができる。

なお、本実施形態では、Ｓ２３３にて、前回の測定サイクルでの受信信号の強度を用いて想定車幅Ｗｓを設定していたが、現測定サイクルでの受信信号の強度を用いて想定車幅Ｗｓを設定するように構成してもよい。

［請求項との対応］
Ｓ２３２が特許請求の範囲の「受信信号強度取得手段」に相当し、Ｓ２３３が特許請求の範囲の「検出対象幅設定手段」に相当し、Ｓ２５１が特許請求の範囲の「位置状態推定手段」に相当し、想定車幅Ｗｓが特許請求の範囲の「検出対象推定幅」に相当し、第１強度閾値が特許請求の範囲の「強度閾値」に相当する。

［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲にて様々な態様で実施することが可能である。

（イ）上記実施形態において、ばらつき推定（Ｓ１３０）では、予め定めたサイクル数（ばらつきサイクル数）に亘って、ばらついていると推定された場合に、ばらつきフラグを１に設定するように構成してもよい。具体的には、例えば、ばらつきサイクル数が１０（サイクル）である場合、１０サイクル毎に区切って、ばらつき推定を実施する構成としてもよい。または、１サイクルずつずらして１０サイクル毎にばらつき推定を実施する構成としてもよい。これにより、ノイズ等による影響を抑制することができる。

（ロ）上記実施形態において、探索範囲設定では、現サイクル測定位置が撮像画面上で自車両の真正面を表す位置であった場合、画像探索範囲の切替（Ｓ３１０〜Ｓ３３０）を禁止する構成を追加してもよい。これは、例えば、上記実施形態の車載物標検出装置がプリクラッシュセーフティシステム等に適用される場合、より検出の重要度の高い、自車両の真正面方向に存在する物標候補が検出されているため、必要以上に画像探索範囲を広げないようにするためである。これにより、画像処理の処理量の増加を必要最小限に抑制することができる。

（ハ）上記実施形態では、レーダ装置２０にて複数の物標候補が検出された場合、検出された物標候補のうち、自車両に近い順に、所定数の物標候補についてのみ（Ｓ１２０、Ｓ１２５、Ｓ１５０）、探索処理を実行していた。これに対し、次回の測定サイクルにおいて、残りの物標候補の探索処理を実行するようにしてもよい。これによると、自車両より遠方に存在する物標候補が検出されるため、自車両の周囲に関する情報量を増加させることができ、自車両を走行させる際にこのような情報を利用することができる。

（ニ）上記実施形態では、物標候補までの距離が所定距離未満の場合（Ｓ２１０：ＮＯ）、ばらつき推定を実施しない構成としていたが、物標候補までの距離に関わらず、ばらつき推定を実施する構成としてもよい。

（ホ）上記実施形態では、想定車幅外の所定の範囲をばらつき範囲として設定し、この範囲内に画面測定位置が位置する場合に、ばらつきフラグを１にセットするように構成されていた。これに対し、画面測定位置が、単に想定車幅外に位置している場合に、ばらつきフラグを１にセットするように構成してもよい。

（ヘ）上記実施形態では、探索範囲設定の処理（Ｓ１３５）にて、第１探索範囲を横方向の一方（自車両側）に拡大した範囲を、第２探索範囲に設定していた。これに対し、第１探索範囲を横方向の両方に拡大した範囲を第２探索範囲としてもよい。

（ト）上記実施形態では、検出対象を車両としていたが、これに限るものではなく、検出対象を車両以外のもの（例えば歩行者）としてもよい。

１・・・車載物標検出装置 １０・・・車載カメラ ２０・・・レーダ装置 ３０・・・運転支援実行装置 ３１・・・画像表示装置 ３２・・・音響装置 ４１・・・画像処理部 ４３・・・位置情報生成部 ４５・・・識別対象検出部

Claims (11)

1. 予め設定された測定サイクル毎に、自車両前方の撮像画像を取得する画像取得手段（Ｓ１１０）と、
   電波を送受信することによって、前記電波を反射した物標候補について、少なくとも自車両に対する方位及び距離を表す位置情報を取得する位置情報取得手段（Ｓ１１５）と、
   画像認識によって、前記撮像画像上の予め設定された画像探索範囲を探索し、予め定められた検出対象を検出し、該検出対象について少なくとも前記撮像画像上の位置である画像検出位置を記憶する画像認識手段（Ｓ１４０）と、
   前記画像取得手段が前記撮像画像を取得するタイミングで前記位置情報取得手段により取得される前記位置情報によって表される前記物標候補の三次元空間での位置を測定位置とし、前記撮像画像上にて前記測定位置に対応する位置を画面測定位置として、該画面測定位置を基準として前記画像探索範囲を設定する探索範囲設定手段（Ｓ１３５）と、
   を備えることを特徴とする車載物標検出装置。
2. 前記物標候補が複数の前記検出対象からなるか否かを推定する物標状態推定手段（Ｓ１３０）を備え、
   前記探索範囲設定手段は、
   前記物標状態推定手段により前記物標候補が複数の検出対象からなるものではないと推定された場合に、前記画面測定位置を中心とする予め設定された第１探索範囲を、前記画像探索範囲とする基準探索範囲設定手段（Ｓ３２０）と、
   前記物標状態推定手段によって前記物標候補が複数の検出対象からなると推定された場合に、前記撮像画像上で前記自車両の車幅方向に一致する横方向へ前記第１探索範囲を拡大した第２探索範囲に、前記画像探索範囲を切り替える探索範囲切替手段（Ｓ３３０）と、
   を備えることを特徴とする請求項１に記載の車載物標検出装置。
3. 前記探索範囲設定手段は、
   予め設定した所定数の測定サイクルに亘って、取得された前記撮像画像にて前記第２探索範囲内で前記検出対象が検出されない場合、前記第２探索範囲を前記第１探索範囲に戻す探索範囲再設定手段（Ｓ４４０）を備えることを特徴とする請求項２に記載の車載物標検出装置。
4. 前記第２探索範囲は、前記横方向のうち画面上で自車両を表す位置に近い側を、予め定められた所定幅拡大した範囲であることを特徴とする請求項２又は３に記載の車載物標検出装置。
5. 前記探索範囲設定手段は、
   前回の測定サイクルで前記画像認識手段にて前記検出対象が検出されていた場合に、現測定サイクルでの前記第１探索範囲及び前記第２探索範囲のうちいずれか一方と、前回の測定サイクルでの前記画像探索範囲とを合わせた範囲を、現測定サイクルでの前記画像探索範囲とする合成探索範囲設定手段（Ｓ３５０）を備えることを特徴とする請求項２から４のいずれか一項に記載の車載物標検出装置。
6. 前記探索範囲設定手段は、
   前記位置情報取得手段により取得された前記物標候補の距離が予め設定された所定距離未満である場合、前記探索範囲切替手段による前記探索範囲の切り替えを禁止することを特徴とする請求項２から５のいずれか一項に記載の車載物標検出装置。
7. 前記物標状態推定手段は、
   前回の測定サイクルでの画像認識によって検出された画像検出位置を中心として予め設定されたばらつき範囲内に現測定サイクルでの前記画面測定位置が位置する場合、前記物標候補が複数の前記検出対象からなると推定すること、を特徴とする請求項２から６のいずれか一項に記載の車載物標検出装置。
8. 前記画像認識手段により前記画像探索範囲で前記検出対象が検出された場合に、該画像探索範囲で前記検出対象が認識される可能性を表す認識値を求める認識値算出手段（Ｓ４１０）を備え、
   前記物標状態推定手段は、
   前記画像認識手段によって検出された前記検出対象が前記撮像画像上に占める領域を対象占有領域とし、画面上の前記横方向にて、該対象占有領域を端部から予め定められた所定距離離れた位置まで拡大したときの前記対象占有領域外の領域を第１ばらつき範囲として、前記認識値が予め設定した認識閾値を超えている場合に、前記ばらつき範囲として前記第１ばらつき範囲を用いる基準ばらつき範囲設定手段（Ｓ２４４）と、
   前記認識値が前記認識閾値を超えていない場合に、前記ばらつき範囲を、前記第１ばらつき範囲を前記対象占有領域の中心側に拡大した第２ばらつき範囲とする拡大ばらつき範囲設定手段（Ｓ２４６）と、
   を備えることを特徴とする請求項７に記載の車載物標検出装置。
9. 前記物標状態推定手段は、
   現測定サイクルで前記位置情報取得手段にて前記電波を反射した物標候補が複数検出された場合、現測定サイクルで前記位置情報取得手段にて取得された位置情報と、前回の測定サイクルでの前記画像認識手段にて検出された画像検出位置と用いて、前記位置情報取得手段にて前記電波を反射した物標候補と、前記画像認識手段にて検出された前記検出対象とを対応付ける対応付け手段（Ｓ２３０）と、
   前記対応付け手段により対応付けがなされた物標候補に対して、該物標候補が複数の前記検出対象からなるか否かの推定を実行する物標状態推定実行手段（Ｓ２５０）と、
   前記対応付け手段により対応付けがなされなかった物標候補に対して、前記第１探索範囲を前記画像探索範囲とする物標状態推定禁止手段（Ｓ２７０）と、
   を備えること、を特徴とする請求項２から８のいずれか一項に記載の車載物標検出装置。
10. 前記物標状態推定手段は、
    前記物標候補が反射した電波を受信信号として、該受信信号の強度の最大値である受信信号強度を取得する受信信号強度取得手段（Ｓ２３２）と、
    前記自車両の車幅方向に一致する三次元空間での横方向における前記検出対象の推定幅を検出対象推定幅として、前記受信信号強度が予め設定した強度閾値より大きい場合は、前記受信信号強度が前記強度閾値未満である場合と比べて、前記検出対象推定幅をより広く設定する検出対象幅設定手段（Ｓ２３３）と、
    前記物標候補について、前回の測定サイクルと現測定サイクルでの三次元空間での横方向における位置の差を前記位置情報を用いて検出し、前記位置の差が前記検出対象推定幅を越えている場合、前記物標候補が複数の前記検出対象からなると推定する位置状態推定手段（Ｓ２５１）と、
    を備えることを特徴とする請求項２から６のいずれか一項に記載の車載物標検出装置。
11. 前記位置情報取得手段にて前記電波を反射した物標候補が複数検出された場合、該物標候補に対して、前記位置情報取得手段で取得された距離が小さいものから大きいものへと順に優先順位を高く設定する優先順位設定手段（Ｓ１２０）を備え、
    前記画像認識手段は、前記優先順位が高く設定された前記物標候補から順に、前記画像認識手段による画像認識を実行することを特徴とする請求項１から１０のいずれか一項に記載の車載物標検出装置。