JP2005084034A - 物体検出装置 - Google Patents

Abstract

【課題】 高精度に物体を検出することができる物体検出装置を提供することを課題とする。
【解決手段】 物体検出装置であって、レーダにより物体を検出するレーダ検出手段と、画像により物体を検出する画像検出手段と、レーダ検出手段による検出結果と画像検出手段による検出結果とを照合する照合手段とを備え、照合手段は、前回の照合において２つの検出手段で同一の物体を検出していると判断している場合、今回の照合において、レーダ検出手段で今回検出された物体と前回の照合において２つの検出手段で検出されたと判断された物体とを照合するとともに（Ｓ１０、Ｓ１１）、画像検出手段で今回検出された物体と前回の照合において２つの検出手段で検出されたと判断された物体とを照合し（Ｓ１２、Ｓ１３）、当該２つの照合結果に基づいて２つの検出手段で同一の物体を検出しているか否かを判断することを特徴とする（Ｓ１４）。
【選択図】 図５

Description

本発明は、レーダによる検出と画像による検出とを利用した物体検出装置に関する。

近年、衝突防止装置、車間距離制御装置、追従走行装置等の運転支援システムが開発されている。これら運転支援システムでは、自車の前方を走行する車両等の物体（障害物）を検出することが重要となる。物体検出装置には、検出精度を向上させるために、レーザレーダ等のレーダによる検出手段及びステレオカメラ等の画像による検出手段の２つの検出手段を備える装置がある（特許文献１、特許文献２参照）。この２つの検出手段を備える物体検出装置では、レーダによる検出結果と画像による検出結果とを照合し、この照合結果に基づいて前方の物体を検出している。
特開２００３−８４０６４号公報 特開平７−１２５５６７号公報

しかしながら、従来の２つの検出手段を備える物体検出装置では、２つの検出手段から検出結果が得られると、その一瞬一瞬で得られた２つの検出結果を照合しているので、２つの検出手段のうち少なくとも一方の精度が低下すると、正しい照合ができない場合が多々ある。そのため、従来の物体検出装置は、２つの検出手段を利用しているにもかかわらず、検出精度が低下し、誤って物体を検出したりあるいは物体を検出できない場合がある。

そこで、本発明は、高精度に物体を検出することができる物体検出装置を提供することを課題とする。

本発明に係る物体検出装置は、レーダにより物体を検出するレーダ検出手段と、画像により物体を検出する画像検出手段と、レーダ検出手段による検出結果と画像検出手段による検出結果とを照合し、２つの検出手段で同一の物体を検出しているか否かを判断する照合手段とを備え、照合手段は、前回の照合において２つの検出手段で同一の物体を検出していると判断している場合、今回の照合において、レーダ検出手段で今回検出された物体と前回の照合において２つの検出手段で検出されたと判断された物体とを照合するとともに、画像検出手段で今回検出された物体と前回の照合において２つの検出手段で検出されたと判断された物体とを照合し、当該２つの照合結果に基づいて２つの検出手段で同一の物体を検出しているか否かを判断することを特徴とする。

この物体検出装置では、レーダ検出手段によって物体を検出するとともに、画像検出手段によって物体を検出する。物体検出装置の照合手段では、所定時間毎に、レーダ検出手段による検出結果と画像検出手段による検出結果とを照合する。照合手段では、前回の照合結果で２つの検出手段で同一の物体を検出していると判断した場合、その前回の照合結果を用いて照合を行う。具体的には、照合手段では、レーダ検出手段で今回検出された物体及び画像検出手段で今回検出された物体と前回の照合結果において判断されている２つの検出手段で検出された物体とを照合する。そして、照合手段では、レーダ検出手段で今回検出された物体との照合結果と画像検出手段で今回検出された物体との照合結果とに基づいて２つの検出手段で同一の物体を検出しているか否かを判断する。このように、物体検出装置では、２つ検出手段による検出結果を直接照合するのではなく、前回の照合結果を利用して２つの検出結果と時系列での照合を行うので、瞬間的な照合しか行わない場合に比べて検出精度が向上し、安定的な照合を行うことができる。特に、瞬間的に検出手段の精度が低下したときでも、過去の照合結果を利用しているので、照合が可能である。また、物体検出装置では、前回の照合結果を利用することにより、２つの検出手段の照合を簡単に行うことができる。

なお、レーダ検出手段としては、例えば、ミリ波レーダ、レーザレーダがある。画像検出手段としては、例えば、ステレオカメラがある。

本発明の上記物体検出装置では、照合手段は、今回の照合において前回の照合結果を利用した照合により２つの検出手段で検出されたと判断された物体を除いてレーダ検出手段で今回検出された物体と画像検出手段で今回検出された物体とを照合し、２つの検出手段で同一の物体を検出しているか否かを判断する構成としてもよい。

この物体検出装置の照合手段では、前回の照合結果を利用した今回の照合において２つの検出手段で同一の物体を検出していると判断した場合、その判断された物体を除いてレーダ検出手段で今回検出された物体と画像検出手段で今回検出された物体とを照合する。そして、照合手段では、２つの検出手段で今回検出された同一の物体があるか否かを判断する。このように、物体検出装置では、時系列での照合結果を考慮した上で、その一瞬一瞬で得られた２つの検出結果により瞬間的な照合を行う。そのため、物体検出装置では、今回の検出で検出した物体も確実に照合することができる。

本発明によれば、前回の照合結果を利用して時系列での照合も行うことによって、高精度に物体を検出することができる。

以下、図面を参照して、本発明に係る物体検出装置の実施の形態を説明する。

本実施の形態では、本発明に係る物体検出装置を、自動車に搭載され、前方の障害物を検出する障害物検出装置に適用する。本実施の形態に係る障害物検出装置は、ミリ波レーダ及びステレオカメラの２つの検出手段を備えている。

図１を参照して、障害物検出装置１について説明する。図１は、本実施の形態に係る障害物検出装置の構成図である。

障害物検出装置１は、自動車に搭載され、自車の前方の障害物（車両等）を検出する装置である。障害物検出装置１は、前方の障害物に関する情報を必要とする衝突防止装置、車間距離制御装置、追従走行装置等の運転支援装置に障害物情報を提供する。障害物検出装置１では、２つの検出手段による検出結果と前回の照合結果により時系列で照合を行い、更に、時系列での照合結果を除いた今回の検出結果により瞬間的な照合を行い、高精度に自車の前方の障害物を特定する。そのために、障害物検出装置１は、ミリ波レーダ２、ステレオカメラ３及びＥＣＵ４[Electronic Control Unit]を備えている。なお、障害物検出装置１は、運転支援装置と別体とし、運転支援装置に検出した障害物情報を送信する構成でもよいし、あるいは、運転支援装置に組み込まれる構成でもよい。

本実施の形態では、ミリ波レーダ２が特許請求の範囲に記載するレーダ検出手段に相当し、ステレオカメラ３が特許請求の範囲に記載する画像検出手段に相当し、ＥＣＵ４が特許請求の範囲に記載する照合手段に相当する。

ここで、本実施の形態で使用する用語について説明しておく。ミリ波物標は、ミリ波レーダ２によって検出した物体（物標）である。画像物標は、ステレオカメラ３によって検出した物体（物標）である。フュージョン物標は、ミリ波物標と画像物標とを照合することによってミリ波レーダ２及びステレオカメラ３の両方の検出手段で検出された物体であると特定された物体（物標）であり、障害物検出装置１における障害物情報となる。単独ミリ波物標は、ミリ波レーダ２でのみ検出した物体（物標）であり、つまり、ミリ波物標の中からフュージョン物標を除いたものである。単独画像物標は、ステレオカメラ３でのみ検出した物体（物標）であり、つまり、画像物標の中からフュージョン物標を除いたものである。各物標は、自車からの位置を特定するために、自車からの距離、自車との相対速度、自車の進行方向に対する角度（横位置情報）等の情報を有している。

ミリ波レーダ２は、ミリ波を利用して物体を検出するレーダである。ミリ波レーダ２は、自動車の前面の中央に取り付けられる。ミリ波レーダ２では、ミリ波を水平面内でスキャンしながら自車から前方に向けて出射し、反射してきたミリ波を受信する。そして、ミリ波レーダ２では、出射から受信までの時間を計測することによって自車の前端部から前方の物体までの距離を計算する。また、ミリ波レーダ２では、ドップラ効果を利用して前方の物体との相対速度を計算する。また、ミリ波レーダ２では、反射してきたミリ波の中で最も強く反射してきたミリ波の方向を検出し、その方向から自車の進行方向と物体の方向とのなす角度を計算する。ミリ波レーダ２による物体検出では、反射したミリ波を受信できた場合に物体を検出したことになるので、反射したミリ波を受信する毎に１個のミリ波物標が得られる。なお、ミリ波レーダ２で距離、相対速度、角度を計算する構成としているが、ミリ波レーダ２で検出した検出値に基づいてＥＣＵ４で計算する構成としてもよい。

なお、ミリ波レーダ２による検出では、距離及び相対速度の精度が高く、角度の精度が低い。ミリ波レーダ２では、送信したミリ波が反射して戻るまでの時間により距離を演算するので、距離の精度が高い。また、ミリ波レーダ２では、ドップラ効果を利用して相対速度を演算するので、相対速度の精度が高い。しかし、ミリ波は検出対象の物体の幅方向のいずれの箇所で最も強く反射してきたかが判らないので、幅方向の位置（横位置）が変動し、角度の精度は低くなる。

ステレオカメラ３は、２台のＣＣＤカメラ（図示せず）からなり、２台のＣＣＤカメラが水平方向に数１０ｃｍ程度離間されて配置されている。ステレオカメラ３も、自動車の前面の中央に取り付けられる。ステレオカメラ３では、２つのＣＣＤカメラで撮像した各画像データを画像処理部（図示せず）に送信する。この画像処理部は、ステレオカメラ３に一体で設けられてもよいし、あるいは、ＥＣＵ４内に構成されてもよい。

画像処理部では、各画像データから物体を特定し、物体の位置に関する情報を計算する。ステレオカメラ３による物体検出では、２つの画像データから物体を特定できた場合に物体を検出したことになるので、物体を特定する毎に１個の画像物標が得られる。画像処理部では、２つの画像データにおける物体の見え方のずれを利用して三角測量的に自車の前端部から前方の物体までの距離を計算する。また、画像処理部では、その算出した距離の時間変化から相対速度を計算する。また、画像処理部では、検出した物体の幅方向の両端部を検出し、自車の進行方向と２つの端部の方向とのなす角度をそれぞれ計算する。したがって、画像物標の横位置情報は物体の幅方向の両端部に対する２つの角度情報からなる。

なお、ステレオカメラ３による検出では、距離及び相対速度の精度が低く、角度の精度が高い。左右の画像データから検出対象の物体の幅方向の両端部を高精度に検出できるので、角度の精度は高くなる。しかし、数１０ｃｍ程度離間した左右のＣＣＤカメラによる画像データを利用しているので、距離を計算する際に非常に鋭角な三角測量となり、距離及び相対速度の精度は低くなる。

ＥＣＵ４は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等からなる電子制御ユニットである。ＥＣＵ４は、ミリ波レーダ２及びステレオカメラ３が接続され、ミリ波レーダ２からミリ波物標を取り入れ、ステレオカメラ３から画像物標を取り入れる。そして、ＥＣＵ４では、ＣＰＵのマスタクロックに基づいて一定時間毎に、前回の照合結果（前回フュージョン物標）と今回の照合の際に取り入れたミリ波物標及び画像物標に基づいて照合処理を行い、今回フュージョン物標を求める。なお、ＥＣＵ４に画像処理部が構成される場合、ＥＣＵ４では、ステレオカメラ３から画像データを取り入れ、画像データから画像物標を求める。

まず、ＥＣＵ４では、前回フュージョン物標（ｎ３＿ｐｒｅ個）と今回の照合の際に取り入れた今回ミリ波物標（ｎ＿ｍ個）及び今回画像物標（ｎ＿ｉ個）とに基づいて時系列照合処理を行い、時系列フュージョン物標（ｎ３’個）を検出する。次に、ＥＣＵ４では、時系列フュージョン物標を除いたミリ波物標（ｎ＿ｍ−ｎ３’個）と画像物標（ｎ＿ｉ−ｎ３’個）とに基づいて瞬間的照合処理を行い、瞬間的フュージョン物標（ｎ３”個）を検出する。そして、ＥＣＵ４では、時系列フュージョン物標と瞬間的フュージョン物標とを合わせて今回の照合処理におけるフュージョン物標（ｎ３＝ｎ３’＋ｎ３”個）を確定する。さらに、ＥＣＵ４では、今回ミリ波物標の中でフュージョン物標として選ばれなかったものを単独ミリ波物標（ｎ１＝ｎ＿ｍ−ｎ３個）として確定し、今回画像物標の中でフュージョン物標として選ばれなかったものを単独画像物標（ｎ２＝ｎ＿ｉ−ｎ３個）として確定する。

図２を参照して、ＥＣＵ４における時系列照合処理について説明する。図２は、障害物検出装置における前回フュージョン物標と今回ミリ波物標及び今回画像物標との時系列照合処理の説明図である。なお、図２に示す例では、前回の照合処理によって３つの前回フュージョン物標ＦＦ１〜ＦＦ３が得られ、ミリ波レーダ２による今回の検出によって４つの今回ミリ波物標ＮＭ１〜ＮＭ４が得られ、ステレオカメラ３による今回の検出によって５つの今回画像物標ＮＩ１〜ＮＩ５が得られている。

ＥＣＵ４では、前回の照合処理によってｎ３＿ｐｒｅ個の前回フュージョン物標が得られた場合、今回の照合でもフュージョン物標として検出される可能性の高い前回フュージョン物標とミリ波レーダ２による今回の検出によって得られたらｎ＿ｍ個のミリ波物標及びがステレオカメラ３による今回の検出によって得られたらｎ＿ｉ個の画像物標とを照合する。

まず、ＥＣＵ４では、ｎ３＿ｐｒｅ個の中から１個づつ取り出した前回フュージョン物標とｎ＿ｍ個の今回ミリ波物標とを順次照合し、前回フュージョン物標と類似度の高い今回ミリ波物標が存在するか否かを判定する。この照合では、ミリ波類似度計算式に基づいて前回フュージョン物標とｎ＿ｍ個の今回ミリ波物標との類似度を各々計算し、最も類似度が高い今回ミリ波物標を選択する。ミリ波類似度計算式は、前回フュージョン物標、今回ミリ波物標が各々有している距離、相対速度、角度の値に重みを付けて類似度を計算する式であり、ミリ波レーダ２による検出で精度の高い距離及び相対速度の重みが大きく設定され、精度の低い角度の重みが小さく設定されている。ＥＣＵ４では、その選択した今回ミリ波物標の類似度が閾値（同一の物体とはみなすことはできない類似度を判定するための閾値）以上の場合にはその今回ミリ波物標が取り出した前回フュージョン物標と同一の物体であるとみなし、ミリ波照合結果としてその前回フュージョン物標にマーキングを施す。ＥＣＵ４では、前回フュージョン物標に対する今回ミリ波物標との照合をｎ３＿ｐｒｅ回繰り返し行う。

図２に示す例では、前回フュージョン物標ＦＦ１と類似度が高い今回ミリ波物標が存在するのでミリ波照合結果として前回フュージョン物標ＦＦ１にマーキングされており、前回フュージョン物標ＦＦ２と類似度が高い今回ミリ波物標が存在するのでミリ波照合結果として前回フュージョン物標ＦＦ２にマーキングされており、前回フュージョン物標ＦＦ３と類似度が高い今回ミリ波物標が存在しないのでミリ波照合結果として前回フュージョン物標ＦＦ３にマーキングされていない。

次に、ＥＣＵ４では、ｎ３＿ｐｒｅ個の中から１個づつ取り出した前回フュージョン物標とｎ＿ｉ個の今回画像物標とを順次照合し、前回フュージョン物標と類似度の高い今回画像物標が存在するか否かを判定する。この照合では、画像類似度計算式に基づいて前回フュージョン物標とｎ＿ｉ個の今回画像物標との類似度を各々計算し、最も類似度が高い今回画像物標を選択する。画像類似度計算式は、前回フュージョン物標、今回画像物標が各々有している距離、相対速度、角度の値に重みを付けて類似度を計算する式であり、ステレオカメラ３による検出で精度の高い角度の重みが大きく設定され、精度の低い距離及び相対速度の重みが小さく設定されている。ＥＣＵ４では、その選択した今回画像物標の類似度が閾値以上の場合にはその今回画像物標が取り出した前回フュージョン物標と同一の物体であるとみなし、画像照合結果としてその前回フュージョン物標にマーキングを施す。ＥＣＵ４では、前回フュージョン物標に対する今回画像物標との照合をｎ３＿ｐｒｅ回繰り返し行う。

図２に示す例では、前回フュージョン物標ＦＦ１と類似度の高い今回画像物標が存在するので画像照合結果として前回フュージョン物標ＦＦ１にマーキングされており、前回フュージョン物標ＦＦ２と類似度の高い今回画像物標が存在しないので画像照合結果として前回フュージョン物標ＦＦ２にマーキングされておらず、前回フュージョン物標ＦＦ３と類似度の高い今回画像物標が存在するので画像照合結果として前回フュージョン物標ＦＦ３にマーキングされている。

続いて、ＥＣＵ４では、ミリ波照合結果と画像照合結果とを比較し、２つの照合結果で共にマーキングされている前回フュージョン物標を選択する。そして、ＥＣＵ４では、その選択した前回フュージョン物標を時系列フュージョン物標とし、その時系列フュージョン物標の情報として距離と相対速度の情報を今回ミリ波物標が有している情報から設定し、角度の情報を今回画像物標が有している情報から設定する。ちなみに、時系列フュージョン物標の個数は、前回フュージョン物標の個数以下となる。

図２に示す例では、ミリ波照合結果では前回フュージョン物標ＦＦ１と前回フュージョン物標ＦＦ２とがマーキングされ、画像照合結果では前回フュージョン物標ＦＦ１と前回フュージョン物標ＦＦ３とがマーキングされているので、時系列フュージョン物標として前回フュージョン物標ＦＦ１のみが選択されている。

図３を参照して、ＥＣＵ４における瞬間的照合処理について説明する。図３は、障害物検出装置における時系列フュージョン物標を除いたミリ波物標と画像物標との瞬間的照合処理の説明図である。なお、図３に示す例では、時系列フュージョン物標を除いてミリ波レーダ２による今回の検出によって５つのミリ波物標Ｍ１〜Ｍ５が得られ、時系列フュージョン物標を除いてステレオカメラ３による今回の検出によって６つの画像物標Ｉ１〜Ｉ６が得られている。

ＥＣＵ４では、ミリ波レーダ２による検出結果からｎ＿ｍ個の今回ミリ波物標が得られているので、その中からｎ３’個の時系列フュージョン物標を除き、ミリ波物標を基準とした照合を行うために（ｎ＿ｍ−ｎ３’）個から１個づつミリ波物標を取り出す。そして、ＥＣＵ４では、基準となるミリ波物標と（ｎ＿ｉ−ｎ３’）個の画像物標とを順次照合し、基準となるミリ波物標に最も近い画像物標を１個だけ選択する。この照合では、自車からの距離及び自車の進行方向に対する角度を照合し、必要に応じて自車との相対速度も照合する。距離の照合では、ミリ波レーダ２の精度に応じて閾値として距離差（例えば、数メートル）が設けられている。ＥＣＵ４では、基準となるミリ波物標の自車からの距離と最も近い画像物標の自車からの距離との距離差が閾値以上の場合には最も近い画像物標を選択不可とする。また、角度の比較では、ミリ波レーダ２の精度に応じて閾値として角度差（例えば、数°）が設けられている。ＥＣＵ４では、基準となるミリ波物標の自車の進行方向に対する角度と最も近い画像物標の自車の進行方向に対する角度との角度差が閾値以上の場合には最も近い画像物標を選択不可とする。そして、ＥＣＵ４では、最も近い画像物標を選択できた場合にはその基準としたミリ波物標と選択した画像物標とをミリ波ベースペアとして保持する。ＥＣＵ４では、ミリ波物標を基準とした上記照合を（ｎ＿ｍ−ｎ３’）回繰り返し行う。

図３に示す例では、ミリ波物標Ｍ１を基準とした場合には画像物標Ｉ１が選択されてミリ波ベースペアＭＰ１ができ、ミリ波物標Ｍ２を基準とした場合には画像物標Ｉ２が選択されてミリ波ベースペアＭＰ２ができ、ミリ波物標Ｍ３を基準とした場合には画像物標Ｉ２が選択されてミリ波ベースペアＭＰ３ができ、ミリ波物標Ｍ４を基準とした場合には全ての画像物標Ｉ１〜Ｉ６との比較において閾値を超えてミリ波ベースペアができず、ミリ波物標Ｍ５を基準とした場合には画像物標Ｉ３が選択されてミリ波ベースペアＭＰ４ができる。

ＥＣＵ４では、ステレオカメラ３による検出結果からｎ＿ｉ個の今回画像物標が得られているので、その中からｎ３’個の時系列フュージョン物標を除き、画像物標を基準とした照合を行うために（ｎ＿ｉ−ｎ３’）個から１個づつ画像物標を取り出す。そして、ＥＣＵ４では、基準となる画像物標と（ｎ＿ｍ−ｎ３’）個のミリ波物標とを順次照合し、基準となる画像物標に最も近いミリ波物標を１個だけ選択する。この照合でも、ミリ波物標を基準にした照合と同様に、自車からの距離及び自車の進行方向に対する角度を照合し、ステレオカメラ３の精度に応じた閾値として距離差及び角度差が設定されている。ＥＣＵ４では、基準となる画像物標と最も近いミリ波物標との距離差が閾値以上の場合又は角度差が閾値以上の場合には最も近いミリ波物標を選択不可とする。そして、ＥＣＵ４では、最も近いミリ波物標を選択できた場合にはその基準とした画像物標と選択したミリ波物標とを画像ベースペアとして保持する。ＥＣＵ４では、画像物標を基準とした上記照合を（ｎ＿ｉ−ｎ３’）回繰り返し行う。

図３に示す例では、画像物標Ｉ１を基準とした場合にはミリ波物標Ｍ１が選択されて画像ベースペアＩＰ１ができ、画像物標Ｉ２を基準とした場合にはミリ波物標Ｍ２が選択されて画像ベースペアＩＰ２ができ、画像物標Ｉ３を基準とした場合にはミリ波物標Ｍ５が選択されて画像ベースペアＩＰ３ができ、画像物標Ｉ４を基準とした場合にはミリ波物標Ｍ５が選択されて画像ベースペアＩＰ４ができ、画像物標Ｉ５を基準とした場合には全てのミリ波物標Ｍ１〜Ｍ５の照合において閾値を超えて画像ベースペアができず、画像物標Ｉ６を基準とした場合には全てのミリ波物標Ｍ１〜Ｍ５の照合において閾値を超えて画像ベースペアができない。

続いて、ＥＣＵ４では、ミリ波ベースペアと画像ベースペアとを順次比較し、同一のミリ波物標と画像物標とからなるミリ波ベースペア及び画像ベースペアを選択する。そして、ＥＣＵ４では、その選択した同一のミリ波物標と画像物標とからなるペアをフュージョンペア（瞬間的フュージョン物標）とし、その瞬間的フュージョン物標の情報として距離と相対速度の情報を今回ミリ波物標が有している情報から設定し、角度の情報を今回画像物標が有している情報から設定する。

図３に示す例では、ミリ波ベースペアＭＰ１と画像ベースペアＩＰ１とは同一のミリ波物標Ｍ１と画像物標Ｉ１とからなるのでフュージョンペアＦＰ１ができ、ミリ波ベースペアＭＰ２と画像ベースペアＩＰ２とは同一のミリ波物標Ｍ２と画像物標Ｉ２とからなるのでフュージョンペアＦＰ２ができ、ミリ波ベースペアＭＰ４と画像ベースペアＩＰ３とは同一のミリ波物標Ｍ５と画像物標Ｉ３とからなるのでフュージョンペアＦＰ３ができ、ミリ波ベースペアＭＰ３は同一のミリ波物標と画像物標とからなる画像ベースペアがなく、画像ベースペアＩＰ４は同一のミリ波物標と画像物標とからなるミリ波ベースペアがない。

図１を参照して、障害物検出装置１における照合処理を説明する。ここでの説明では、まず、図４のフローチャットに沿って照合処理全体について説明し、図５のフローチャートに沿って時系列照合処理について説明し、図６のフローチャートに沿って瞬間的照合処理について説明する。図４は、障害物検出装置における照合処理を示すフローチャートである。図５は、障害物検出装置における時系列照合処理を示すフローチャートである。図６は、障害物検出装置における瞬間的照合処理を示すフローチャートである。

まず、照合処理全体について説明する。障害物検出装置１では、断続的に、ミリ波レーダ２による物体検出によってミリ波物標（ｎ＿ｍ個）を検出し、ステレオカメラ３による物体検出によって画像物標（ｎ＿ｉ個）を検出する。また、障害物検出装置１では、一定時間毎に照合処理を行っており、前回の照合結果で前回フュージョン物標（ｎ３＿ｐｒｅ個）を検出している場合、その前回フュージョン物標と今回の検出されている今回ミリ波物標（ｎ＿ｍ個）及び今回画像物標（ｎ＿ｉ個）とに基づいて時系列での照合を行い、時系列フュージョン物標（ｎ３’個）を決定する（Ｓ１）。初回の照合処理では前回フュージョン物標は０個なので、時系列照合処理は行わない。また、初回でなくても前回フュージョン物標が０個の場合には、時系列照合処理は行わない。

次に、障害物検出装置１では、今回ミリ波物標から時系列フュージョン物標を除いたミリ波物標（ｎ＿ｍ−ｎ３’個）と今回画像物標から時系列フュージョン物標を除いた画像物標（ｎ＿ｉ−ｎ３’個）とに基づいて瞬間的な照合を行い、瞬間的フュージョン物標（ｎ３”個）を決定する（Ｓ２）。時系列フュージョン物標が０個の場合には、今回ミリ波物標（ｎ＿ｍ個）と今回画像物標（ｎ＿ｉ個）とに基づく瞬間的照合処理になる。また、今回ミリ波物標及び今回画像物標が全て前回フュージョン物標と同一の物体と判断された場合、瞬間的照合処理は行わない。

そして、障害物検出装置１では、時系列フュージョン物標と瞬間的フュージョン物標とを合わせて今回の照合処理におけるフュージョン物標（ｎ３＝ｎ３’＋ｎ３”個）を確定し、さらに、単独ミリ波物標（ｎ１＝ｎ＿ｍ−ｎ３個）を確定するとともに単独画像物標（ｎ２＝ｎ＿ｉ−ｎ３個）を確定する（Ｓ３）。このように、障害物検出装置１では、各回の照合処理毎に、フュージョン物標、単独ミリ波物標、単独画像物標を確定していく。そして、この確定したフュージョン物標が、次回の照合処理において前回フュージョン物標として用いられる。

次に、時系列照合処理について説明する。障害物検出装置１では、前回の照合処理でフュージョン物標を検出しているか否かを判定し、前回フュージョン物標を検出している場合には以下の処理に移る。

まず、障害物検出装置１では、前回フュージョン物標（ｎ３＿ｐｒｅ個）に対して、ｎ＿ｍ個の今回ミリ波物標と距離及び相対速度に重点をおいた類似度計算を各々行う（Ｓ１０）。そして、障害物検出装置１では、前回フュージョン物標との類似度の高い（閾値以上の類似度の）ミリ波物標が存在するか否かを判定し、存在する場合にはミリ波照合結果においてその前回フュージョン物標にマーキングを行う（Ｓ１０）。続いて、障害物検出装置１では、ｎ３＿ｐｒｅ個の前回フュージョン物標についての判定が全て終了したかを判定し（Ｓ１１）、全て終了するまでＳ１０の処理を繰り返し実行する。このように、障害物検出装置１では、ミリ波レーダ２による検出結果の中に前回の照合処理で検出された前回フュージョン物標が存在するか探索し、存在する場合には今回のフュージョン物標としての確度が高いのでその前回フュージョン物標に目印を付けておく。

次に、障害物検出装置１では、前回フュージョン物標（ｎ３＿ｐｒｅ個）に対して、ｎ＿ｉ個の今回画像物標と角度に重点をおいた類似度計算を各々行う（Ｓ１２）。そして、障害物検出装置１では、前回フュージョン物標と類似度の高い（閾値以上の類似度の）画像物標が存在するか否かを判定し、存在する場合には画像照合結果においてその前回フュージョン物標にマーキングを行う（Ｓ１２）。続いて、障害物検出装置１では、ｎ３＿ｐｒｅ個の前回フュージョン物標についての判定が全て終了したかを判定し（Ｓ１３）、全て終了するまでＳ１２の処理を繰り返し実行する。このように、障害物検出装置１では、ステレオカメラ３による検出結果の中に前回の照合処理で検出された前回フュージョン物標が存在するか探索し、存在する場合には今回のフュージョン物標としての確度が高いのでその前回フュージョン物標に目印を付けておく。

続いて、障害物検出装置１では、ミリ波照合結果と画像照合結果とを比較し、２つの照合結果でマーキングが一致する前回フュージョン物標を時系列フュージョン物標（ｎ３’個）として確定し、時系列フュージョン物標の情報（距離、相対速度、角度）を設定する（Ｓ１４）。このように、障害物検出装置１では、前回フュージョン物標に対して今回ミリ波物標及び今回画像物標による両方向からの照合結果（ミリ波照合結果及び画像照合結果）を照合し、２つの照合結果におけるマーキングが一致する場合のみ検出対象の物体として確定する。

次に、瞬間的照合処理について説明する。障害物検出装置１では、時系列照合処理で時系列フュージョン物標を検出している場合には今回ミリ波物標から時系列フュージョン物標を除いたミリ波物標（ｎ＿ｍ−ｎ３’個）を瞬間的照合処理の照合対象とするとともに今回画像物標から時系列フュージョン物標を除いた画像物標（ｎ＿ｉ―ｎ３’個）を瞬間的照合処理の照合対象とし、時系列フュージョン物標を検出していない場合には今回ミリ波物標及び今回画像物標をそのまま瞬間的照合処理の照合対象とする。

まず、障害物検出装置１では、ミリ波物標をベースにして、（ｎ＿ｉ−ｎ３’）個の画像物標と各々照合する（Ｓ２０）。そして、障害物検出装置１では、ベースのミリ波物標に最も近い画像物標を選択し、そのミリ波物標と画像物標との距離差及び角度差が両方閾値以下の場合にそのベースのミリ波物標と最も近い画像物標とをペアとしたミリ波ベースペアを確定する（Ｓ２０）。続いて、障害物検出装置１では、（ｎ＿ｍ−ｎ３’）個のミリ波物標についての照合が全て終了したかを判定し（Ｓ２１）、全て終了するまでＳ２０の処理を繰り返し実行する。このように、障害物検出装置１では、ミリ波レーダ２による検出結果をベースにしてステレオカメラ３による検出結果を探索し、各ミリ波物標に対して最も確からしい画像物標を１個だけ特定する。

次に、障害物検出装置１では、画像物標をベースにして、（ｎ＿ｍ−ｎ３’）個のミリ波物標と各々照合する（Ｓ２２）。そして、障害物検出装置１では、ベースの画像物標に最も近いミリ波物標を選択し、その画像物標とミリ波物標との距離差及び角度差が両方閾値以下の場合にそのベースの画像物標と最も近いミリ波物標とをペアとした画像ベースペアを確定する（Ｓ２２）。続いて、障害物検出装置１では、（ｎ＿ｉ−ｎ３’）個の画像物標についての照合が全て終了したかを判定し（Ｓ２３）、全て終了するまでＳ２２の処理を繰り返し実行する。このように、障害物検出装置１では、ステレオカメラ３による検出結果をベースにしてミリ波レーダ２による検出結果を探索し、各画像物標に対して最も確からしいミリ波物標を１個だけ特定する。

そして、障害物検出装置１では、確定した全てのミリ波ベースペアと全ての画像ベースペアとを照合し、同一のミリ波物標と画像物標とからなるミリ波ベースペアと画像ベースペアを見つけ出す（Ｓ２４）。障害物検出装置１では、同一のミリ波物標と画像物標とからなるミリ波ベースペアと画像ベースペアとを見つけ出せた場合にはその同一のミリ波物標と画像物標とをフュージョンペアと確定する（Ｓ２４）。そして、障害物検出装置１では、そのフュージョンペアから瞬間的フュージョン物標（ｎ３”個）を確定し、瞬間的フュージョン物標の情報（距離、相対速度、角度）を設定する（Ｓ２５）。このように、障害物検出装置１では、ミリ波物標及び画像物標による両方向からの照合結果（ミリ波ベースペア及び画像ベースペア）を照合し、２つのペアにおけるミリ波物標と画像物標とが一致する場合のみフュージョン物標として確定する。

障害物検出装置１によれば、時系列照合処理において前回の照合結果を利用して照合を行うので、時々刻々と変化する検出結果同士の照合に比べて安定的な照合を行うことができ、検出結果同士の照合で対象物体と検出できないときでも照合できる場合がある。特に、ノイズや電波障害等によってミリ波レーダ２やステレオカメラ３による検出精度が一時的に低下した場合でも、照合が可能であり、対象物体を照合できないことは少なくなる。また、障害物検出装置１では、ミリ波レーダ２、ステレオカメラ３の精度が良いパラメータに重点をおいて類似度判定を行うので、検出精度も高い。

障害物検出装置１によれば、瞬間的照合処理においてミリ波物標と画像物標の両方向から照合を行いかつ両方向からの照合結果が一致した場合だけフュージョン物標が存在すると判断するので、画像で検出した物体とミリ波で検出した物体が一致していると判断する精度（フュージョン精度）が非常に高い。また、障害物検出装置１によれば、一方の物標に対して他方の物標の中から最も近い物標を選択し、かつ、ミリ波ベースペアと画像ベースペアとで一致するペアを探索するだけの簡単な処理によって照合を行うので、処理負荷が軽い。さらに、障害物検出装置１では、前回の照合で検出されていなかった物体でも、今回の検出結果から確実にフュージョン物標と判断することができる。

障害物検出装置１では、前方を走行している車両等の画像による検出結果とミリ波による検出結果を照合することができるので、様々な運転支援システムに確度の高い障害物情報を提供することができる。そのため、ドライバに対して適切な運転支援を行うことができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では自動車に搭載される障害物検出装置に適用したが、非接触で物体を検出する様々な物体検出に適用可能である。

また、本実施の形態ではミリ波レーダ、ステレオカメラで２つの検出手段を構成したが、レーザレーダ等の他の検出手段で構成してもよいし、３つ以上の検出手段で構成してもよい。

また、本実施の形態では各物標の位置を距離、相対速度、角度で特定したが、２次元座標系等の他の情報で各物標の位置を特定してもよい。

また、本実施の形態では時系列照合処理において前回フュージョン物標と今回ミリ波物標とによる照合と前回フュージョン物標と今回画像物標とによる照合において一致した物体のみを時系列フュージョン物標とする構成としたが、どちらか一方の照合において前回フュージョン物標と一致した物体を時系列フュージョン物標とするように構成してもよい。

本実施の形態に係る障害物検出装置の構成図である。 図１の障害物検出装置における前回フュージョン物標と今回ミリ波物標及び今回画像物標との時系列照合処理の説明図である。 図１の障害物検出装置における時系列フュージョン物標を除いたミリ波物標と画像物標との瞬間的照合処理の説明図である。 図１の障害物検出装置における照合処理を示すフローチャートである。 図１の障害物検出装置における時系列照合処理を示すフローチャートである。 図１の障害物検出装置における瞬間的照合処理を示すフローチャートである。

符号の説明

１…障害物検出装置、２…ミリ波レーダ、３…ステレオカメラ、４…ＥＣＵ

Claims (2)

1. レーダにより物体を検出するレーダ検出手段と、
   画像により物体を検出する画像検出手段と、
   前記レーダ検出手段による検出結果と前記画像検出手段による検出結果とを照合し、前記２つの検出手段で同一の物体を検出しているか否かを判断する照合手段と
   を備え、
   前記照合手段は、前回の照合において前記２つの検出手段で同一の物体を検出していると判断している場合、今回の照合において、前記レーダ検出手段で今回検出された物体と前記前回の照合において２つの検出手段で検出されたと判断された物体とを照合するとともに、前記画像検出手段で今回検出された物体と前記前回の照合において２つの検出手段で検出されたと判断された物体とを照合し、当該２つの照合結果に基づいて前記２つの検出手段で同一の物体を検出しているか否かを判断することを特徴とする物体検出装置。
2. 前記照合手段は、前記今回の照合において前回の照合結果を利用した照合により２つの検出手段で検出されたと判断された物体を除いて前記レーダ検出手段で今回検出された物体と前記画像検出手段で今回検出された物体とを照合し、前記２つの検出手段で同一の物体を検出しているか否かを判断することを特徴とする請求項１に記載する物体検出装置。

Images