JP2006292621A - 物体検出装置 - Google Patents
物体検出装置 Download PDFInfo
- Publication number
- JP2006292621A JP2006292621A JP2005115938A JP2005115938A JP2006292621A JP 2006292621 A JP2006292621 A JP 2006292621A JP 2005115938 A JP2005115938 A JP 2005115938A JP 2005115938 A JP2005115938 A JP 2005115938A JP 2006292621 A JP2006292621 A JP 2006292621A
- Authority
- JP
- Japan
- Prior art keywords
- target
- radar
- ecu
- current
- detection means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
【課題】 2つの検出手段のうちの一方の検出手段で物体を検出できない場合でも検出対象の物体を設定することができる物体検出装置を提供することを課題とする。
【解決手段】 レーダによる情報と画像による情報に基づいて物体を検出する物体検出装置1であって、レーダによって物体を検出するレーダ検出手段2と、画像によって物体を検出する画像検出手段3と、レーダ検出手段2によって検出した物体の位置情報と画像検出手段3によって検出した物体の位置情報に基づいてレーダ検出手段2によって検出した物体と画像検出手段3によって検出した物体とが同一物体か否かを判断する判断手段8とを備え、2つの検出手段2,3の一方の検出手段で過去に同一物体と判断した物体を検出できない場合、当該過去に同一物体と判断した物体に設定された情報から求めた予測移動軌跡と他方の検出手段で検出した物体の位置情報とに基づいて同一物体か否かを判断することを特徴とする。
【選択図】 図1
【解決手段】 レーダによる情報と画像による情報に基づいて物体を検出する物体検出装置1であって、レーダによって物体を検出するレーダ検出手段2と、画像によって物体を検出する画像検出手段3と、レーダ検出手段2によって検出した物体の位置情報と画像検出手段3によって検出した物体の位置情報に基づいてレーダ検出手段2によって検出した物体と画像検出手段3によって検出した物体とが同一物体か否かを判断する判断手段8とを備え、2つの検出手段2,3の一方の検出手段で過去に同一物体と判断した物体を検出できない場合、当該過去に同一物体と判断した物体に設定された情報から求めた予測移動軌跡と他方の検出手段で検出した物体の位置情報とに基づいて同一物体か否かを判断することを特徴とする。
【選択図】 図1
Description
本発明は、レーダによる情報と画像による情報に基づいて物体を検出する物体検出装置に関する。
近年、衝突低減装置、車間距離制御装置、追従走行装置などの運転支援装置が開発されている。これら運転支援装置では、自車両の前方を走行する車両を検出することが重要となる。物体検出装置には、検出精度を向上させるために、ミリ波レーダなどのレーダによる検出手段及びステレオカメラなどの画像による検出手段の2つの検出手段を備える装置がある。この2つの検出手段を備える物体検出装置では、レーダによる情報に基づいて検出されたレーダ検出物と画像による情報に基づいて検出した画像検出物とを照合し、レーダ検出物と画像検出物とが同一の物体か否かを判断し、同一と判断した物体を車両などの検出対象の物体として設定する(特許文献1参照)。
特開2004−117071号公報
2つの検出手段を備える装置では、過去に同一と判断した物体(検出対象の物体として設定した物体)を2つの検出手段のうちの一方の検出手段による物体検出で追跡できなくなる場合がある。例えば、ステレオカメラによる物体検出の場合、トンネルの出入口などで明るさが変化し、その変化に対応できずに一時的に物体を検出可能な画像が得られないときがある。そのような場合、画像による情報に基づいて物体を検出できなので、画像検出物を設定できず、過去に同一と判断した物体と同じ物体とみなせる画像検出物がなくなる。この場合、レーダ検出物と画像検出物との照合を行えないので、検出対象の物体を設定できない。
そこで、本発明は、2つの検出手段のうちの一方の検出手段で物体を検出できない場合でも検出対象の物体を設定することができる物体検出装置を提供することを課題とする。
本発明に係る物体検出装置は、レーダによって物体を検出するレーダ検出手段と、画像によって物体を検出する画像検出手段と、レーダ検出手段によって検出した物体の位置情報と画像検出手段によって検出した物体の位置情報に基づいて、レーダ検出手段によって検出した物体と画像検出手段によって検出した物体とが同一物体か否かを判断する判断手段とを備え、レーダ検出手段または画像検出手段の一方の検出手段で過去に同一物体と判断した物体を検出できない場合、当該過去に同一物体と判断した物体に設定された情報から求めた予測移動軌跡と他方の検出手段で検出した物体の位置情報とに基づいて同一物体か否かを判断することを特徴とする。
この物体検出装置では、レーダ検出手段によるレーダ情報に基づいて物体を検出し、この検出した物体についてレーダ情報から得られる位置情報を取得する。また、物体検出装置では、画像検出手段による画像情報に基づいて物体を検出し、この検出した物体について画像情報から得られる位置情報を取得する。そして、物体検出装置では、判断手段によりレーダ検出手段による検出物体の位置情報と画像検出手段による検出物体の位置情報とに基づいて各検出手段による検出物体が同一物体か否かを判断し、同一物体と判断された物体に対して位置情報などの各種情報を設定する。この際、過去に同一物体と判断した物体をレーダ検出手段による物体検出または画像検出手段による物体検出で検出できない場合(つまり、検出していた物体をいずれか一方の検出手段による物体検出で追跡できない場合)がある。この場合、物体検出装置では、過去に同一と判断していた物体に設定されている位置情報などからその物体の移動する軌跡を予測する。そして、物体検出装置では、その予測移動軌跡による現在の位置と追跡を継続している他方の検出手段で検出した物体の位置情報とに基づいて同一物体か否かを判断する。このように、物体検出装置では、一方の検出手段による物体検出で追跡中の物体を検出できない場合でも、過去に検出した物体の情報を利用して予測移動軌跡を生成することにより、その予測移動軌跡と他方の検出手段による検出物体との照合を行うことができる。そのため、物体検出装置では、追跡を継続でき、検出対象の物体を設定できる。
本発明に係る物体検出装置は、レーダによって物体を検出するレーダ検出手段と、画像によって物体を検出する画像検出手段と、レーダ検出手段によって検出した物体の位置情報と画像検出手段によって検出した物体の位置情報に基づいて、レーダ検出手段によって検出した物体と画像検出手段によって検出した物体とが同一物体か否かを判断する判断手段とを備え、レーダ検出手段または画像検出手段の一方の検出手段で過去に同一物体と判断した物体を検出できない場合、他方の検出手段での検出が継続している間、他方の検出手段によって検出した物体の位置情報に基づいて物体を設定することを特徴とする。
この物体検出装置では、レーダ検出手段によるレーダ情報に基づいて物体を検出し、この検出した物体についてレーダ情報から得られる位置情報を取得する。また、物体検出装置では、画像検出手段による画像情報に基づいて物体を検出し、この検出した物体について画像情報から得られる位置情報を取得する。そして、物体検出装置では、判断手段によりレーダ検出手段による検出物体の位置情報と画像検出手段による検出物体の位置情報とに基づいて各検出手段による検出物体が同一物体か否かを判断し、同一物体と判断された物体に対して位置情報などの各種情報を設定する。この際、過去に同一物体と判断した物体をレーダ検出手段による物体検出または画像検出手段による物体検出で検出できない場合がある。この場合、物体検出装置では、他方の検出手段でその過去に同一物体と判断した物体を検出していれば、他方の検出手段で得られた物体についての位置情報により追跡中の物体を設定する。このように、物体検出装置では、一方の検出手段による物体検出で追跡中の物体を検出できない場合でも、追跡中の他方の検出手段による情報を用いて検出対象の物体を設定することができる。
本発明の上記物体検出装置では、画像検出手段で過去に同一物体と判断した物体を検出できない場合、過去に同一物体と判断した物体に対して設定した横幅情報、画像検出手段から遠ざかる方向の長さ情報及び/又は高さ情報を利用して物体を設定する構成としてもよい。
この物体検出装置では、過去に同一物体と判断した物体を画像検出手段による物体検出で検出できない場合、その過去に同一物体と判断された物体に設定されている物体の大きさを表す横幅情報、画像検出手段から遠ざかる方向の長さ情報(奥行き情報)及び/又は高さ情報を追跡中の物体に設定する。画像検出手段によって追跡中の物体を検出できなないために物体の大きさ情報が得られないが、物体の大きさは変化しないので、過去に設定されている大きさ情報を利用する。このように、物体検出装置では、画像検出手段による物体検出で追跡中の物体を検出できない場合でも、検出対象の物体に詳細な情報を設定することができる。
本発明によれば、2つの検出手段うちの一方の検出手段で物体を検出できない場合でも検出対象の物体を設定することができる。
以下、図面を参照して、本発明に係る物体検出装置の実施の形態を説明する。
本実施の形態では、本発明に係る物体検出装置を、車両に搭載される衝突軽減装置に適用する。本実施の形態に係る衝突軽減装置は、検出対象として前方車両を検出し、前方車両との衝突を防止/軽減するために各種制御を行う。特に、本実施の形態に係る衝突軽減装置では、前方車両を検出するためにミリ波レーダとステレオカメラの2つのセンサを備え、ミリ波レーダによる検出物体とステレオカメラによる検出物体とを照合することによって前方車両を検出する。本実施の形態には、照合処理の違いにより2つの形態があり、第1の実施の形態が各センサについて検出物体に対する追跡処理を行わない形態であり、第2の実施の形態が各センサについて検出物体に対する追跡処理を行う形態である。
図1〜図10を参照して、第1の実施の形態に係る衝突軽減装置1について説明する。図1は、本実施の形態に係る衝突軽減装置の構成図である。図2は、本実施の形態に係るレーダ物標、ステレオ画像物標及びフュージョン物標の説明図である。図3は、第1の実施の形態に係る前回フュージョン物標とレーダ物標との照合方法の説明図である。図4は、第1の実施の形態に係る前回フュージョン物標とステレオ画像物標との照合方法の説明図である。図5は、本実施の形態に係るレーダ物標とステレオ画像物標との照合方法の説明図である。図6は、第1の実施の形態に係るフュージョン物標の情報のバッファリングのタイミングの説明図である。図7は、第1の実施の形態に係るバッファリングデータの更新の説明図である。図8は、第1の実施の形態に係る横速度の演算方法の説明図である。図9は、第1の実施の形態に係る前回フュージョン物標との照合の結果、ミリ波レーダによる物体検出によって前回フュージョン物標を追跡できかつステレオカメラによる物体検出によって前回フュージョン物標を追跡できなかった場合の説明図である。図10は、第1の実施の形態に係る前回フュージョン物標との照合の結果、ミリ波レーダによる物体検出によって前回フュージョン物標を追跡できずかつステレオカメラによる物体検出によって前回フュージョン物標を追跡できた場合の説明図である。
衝突軽減装置1は、前方車両を検出し、前方物体を検出した場合には衝突の可能性に応じてブレーキ制御、サスペンション制御、シートベルト制御及び警報制御を行う。衝突軽減装置1は、前方車両を検出するために、ミリ波レーダによる情報に基づいてレーダ物標を設定するとともにステレオカメラによるステレオ画像に基づいてステレオ画像物標を設定し、レーダ物標とステレオ画像物標との照合によってフュージョン物標(前方車両)を設定する。この際、衝突軽減装置1では、レーダ物標、ステレオ画像物標それぞれについて追跡を行わずに、レーダ物標またはステレオ画像物標と前回フュージョン物標との照合を行う。特に、衝突軽減装置1では、前方車両の検出精度を向上させるために、前回フュージョン物標との照合の結果、ミリ波レーダ、ステレオカメラのいずれか一方のセンサで前回フュージョン物標を追跡できなかった場合には過去のフュージョン物標の情報から物標の移動軌跡を推定し、その推定移動軌跡と他のセンサで検出した物標との照合を行う。衝突軽減装置1は、ミリ波レーダ2、ステレオカメラ3、ブレーキECU[Electronic Control Unit]4、サスペンション制御アクチュエータ5、シートベルトアクチュエータ6、ブザー7及び衝突軽減ECU8などを備え、これらがCAN[Controller Area Network](車内LANの標準インターフェース規格)通信で各種信号を送受信する。
なお、本実施の形態では、ミリ波レーダ2が特許請求の範囲に記載するレーダ検出手段に相当し、ステレオカメラ3が特許請求の範囲に記載する画像検出手段に相当し、衝突軽減ECU8が特許請求の範囲に記載する判断手段に相当する。
まず、図2を参照して各物標について説明しておく。レーダ物標は、ミリ波レーダ2による情報に基づいて検出された物体である。レーダ物標には、レーダ情報から取得できる物体までの距離、物体の横位置、物体との相対速度が設定される。ステレオ画像物標は、ステレオカメラ3によるステレオ画像に基づいて検出された物体である。ステレオ画像物標には、ステレオ画像から取得できる物体の前端面までの距離、物体の前端面中央の横位置、物体との相対速度、物体の横幅(自車両に対して左右方向の長さ)、物体の奥行き(自車両から遠ざかる方向の長さ)、物体の高さ、物体の高さ位置が設定される。フュージョン物標は、レーダ物標とステレオ画像物標との照合において類似度が高く、そのレーダ物標とステレオ画像物標とが同一物体であると判断できる物体である。フュージョン物標には、レーダ物標からの距離及び相対速度とステレオ画像物標からの横位置、横幅、奥行き、高さ、高さ位置が設定される。このフュージョン物標の情報が、前方車両についての情報となる。
ミリ波レーダ2は、ミリ波を利用して物体を検出するためのレーダである。ミリ波レーダ2は、自車両の前側の中央に取り付けられる。ミリ波レーダ2では、ミリ波を水平面内でスキャンしながら自車両から前方に向けて送信し、反射してきたミリ波を受信する。そして、ミリ波レーダ2では、そのミリ波の送受信データをレーダ信号として衝突軽減ECU8に送信する。
ステレオカメラ3は、2台のCCDカメラからなり、2台のCCDカメラが水平方向に所定間隔離間されて配置されている。ステレオカメラ3も、自車両の前側の中央に取り付けられる。ステレオカメラ3では、2つのCCDカメラで撮像した左右のステレオ画像のデータを各画像信号として衝突軽減ECU8に送信する。
ブレーキECU4は、4輪の各ホイールシリンダの油圧を調節し、4輪のブレーキ力を制御するECUである。ブレーキECU4では、各輪の目標ブレーキ力に基づいて油圧制御信号をそれぞれ設定し、その各油圧制御信号を各ホイールシリンダの油圧を変化させるブレーキ制御アクチュエータに対してそれぞれ送信する。特に、ブレーキECU4では、衝突軽減ECU8から各輪に対する目標ブレーキ力信号を受信すると、その目標ブレーキ力信号に示される目標ブレーキ力に基づいて油圧制御信号をそれぞれ設定する。ちなみに、ブレーキ制御アクチュエータでは、油圧制御信号を受信すると、油圧制御信号に示される目標油圧に基づいてホイールシリンダの油圧を変化させる。
サスペンション制御アクチュエータ5は、4輪の各油圧式アクティブサスペンションの油圧を変化させるアクチュエータである。サスペンション制御アクチュエータ5では、衝突軽減ECU8から各輪に対する目標減衰力信号を受信すると、各目標減衰力信号に示される目標減衰力に基づいて目標油圧を設定し、目標油圧に基づいて油圧式アクティブサスペンションの油圧を変化させる。なお、図1には、サスペンション制御アクチュエータ5は1個しか描いていないが、4輪のサスペンション毎にそれぞれ設けられる。
シートベルトアクチュエータ6は、各シートベルトを引き込み、シートベルトによる拘束力を変化させるアクチュエータである。シートベルトアクチュエータ6では、衝突軽減ECU8から各シートベルトに対する目標引込量信号を受信すると、各目標引込量信号に示される目標引込量に応じてシートベルトを引き込む。なお、図1には、シートベルトアクチュエータ6は1個しか描いていないが、シートベルト毎にそれぞれ設けられる。
ブザー7は、衝突軽減ECU8から警報信号を受信すると、ブザー音を出力する。
衝突軽減ECU8は、CPU[Central Processing Unit]、ROM[Read OnlyMemory]、RAM[Random Access Memory]などからなる電子制御ユニットであり、衝突軽減装置1を統括制御する。衝突軽減ECU8は、CPUのマスタクロックに基づく一定時間毎に、ミリ波レーダ2からのレーダ信号及びステレオカメラ3からの各画像信号を取り入れる。そして、衝突軽減ECU8では、一定時間毎に、レーダ情報に基づくレーダ物標設定処理及びステレオ画像に基づくステレオ画像物標設定処理を行い、前回フュージョン物標と今回のレーダ物標及びステレオ画像物標に基づく照合処理を行い、今回フュージョン物標を設定する。さらに、衝突軽減ECU8では、今回フュージョン物標(前方車両)と自車両との関係に基づいて衝突軽減処理を行う。
レーダ物標設定処理について説明する。衝突軽減ECU8では、ミリ波が出射から受信までの時間に基づいて前方の物体までの距離を演算する。また、衝突軽減ECU8では、前方の物体との相対速度を演算する。また、衝突軽減ECU8では、反射してきたミリ波の中で最も強く反射してきたミリ波の方向を検出し、その方向から自車両の進行方向と物体の方向とのなす角度を求め、その角度から横位置を演算する。ミリ波レーダ2による物体検出では、反射したミリ波を受信できた場合に物体を検出したことになるので、反射したミリ波を受信する毎に1個のレーダ物標が得られる。また、ミリ波レーダ2による物体検出では、物体までの距離を正確に検出できるので、距離及び相対速度の精度が特に高い。
ステレオ画像物標設定処理について説明する。衝突軽減ECU8では、左右のステレオ画像における物体の見え方のずれを利用して三角測量的に前方の物体を立体的に特定し、ステレオカメラ3から物体までの位置(物体の前端面までの距離、物体の前端面中央の横位置、物体の高さ位置)を演算するとともに、物体の立体的な大きさ(横幅、奥行き、高さ)を演算する。また、衝突軽減ECU8では、前方の物体との相対速度を演算する。ステレオカメラ3による物体検出では、左右のステレオ画像から物体を特定できた場合に物体を検出したことになるので、物体を特定する毎に1個のステレオ画像物標が得られる。また、ステレオカメラ3による物体検出では、物体を立体的に検出できるので、物体の大きさの情報を取得できる。
照合処理について説明する。まず、衝突軽減ECU8では、一定時間毎に、前回フュージョン物標と今回レーダ物標との照合を行う。具体的には、衝突軽減ECU8では、図3に示すように、前回フュージョン物標LFの位置(距離、横位置)を中心として距離の閾値と横位置の閾値を設定し(図3の破線で示す平面領域参照)、前回フュージョン物標LFの相対速度を中央値として相対速度の閾値を設定する。そして、衝突軽減ECU8では、今回レーダ物標TLの位置(距離、横位置)が前回フュージョン物標LFの位置を中心とした距離の閾値内かつ横位置の閾値内に入っているか否かを判定するとともに、今回レーダ物標TLの相対速度が相対速度の閾値内に入っているか否かを判定する。そして、衝突軽減ECU8では、この判定において全ての閾値内に入っている場合に今回レーダ物標TLが前回フュージョン物標LFと類似性があると判定し、1つでも閾値内に入っていない場合に類似性がないと判定する。この照合では、精度の高い情報がそれぞれ設定されている前回フュージョン物標を中心とし、レーダ物標が持っている位置情報を考慮して照合を行う。
また、衝突軽減ECU8では、一定時間毎に、前回フュージョン物標と今回ステレオ画像物標との照合を行う。具体的には、衝突軽減ECU8では、図4に示すように、前回フュージョン物標LFの位置(距離、横位置、高さ位置)を中心として距離の閾値、横位置の閾値、高さ位置の閾値を設定するとともに物体の奥行きの閾値、物体の横幅の閾値、物体の高さの閾値を設定し(図4の破線で示す立体領域参照)、前回フュージョン物標LFの相対速度を中央値として相対速度の閾値を設定する。そして、衝突軽減ECU8では、今回ステレオ画像物標TIの位置(距離、横位置、高さ)が前回フュージョン物標LFの位置を中心とした距離の閾値内かつ横位置の閾値内かつ高さ位置の閾値内に入っているか否か及び今回ステレオ画像物標TIの大きさ(奥行き、横幅、高さ)が奥行きの閾値内かつ横幅の閾値内かつ高さの閾値内に入っているか否かを判定するとともに、今回ステレオ画像物標TIの相対速度が相対速度の閾値内に入っているか否かを判定する。そして、衝突軽減ECU8では、この判定において全ての閾値内に入っている場合に今回ステレオ画像物標TIが前回フュージョン物標LFと類似性があると判定し、1つでも閾値内に入っていない場合に類似性がないと判定する。この照合では、精度の高い情報がそれぞれ設定されている前回フュージョン物標を中心とし、ステレオ画像物標が持っている位置情報に立体物の大きさ情報を考慮して照合を行う。
ここで、衝突軽減ECU8では、前回フュージョン物標との照合の結果、前回フュージョン物標に対して類似性のある今回レーダ物標と今回ステレオ画像物標とが共に存在するか(つまり、ミリ波レーダ2による物体検出及びステレオカメラ3による物体検出で共に前回フュージョン物標を追跡できたか)、前回フュージョン物標に対して類似性のある今回レーダ物標のみが存在するか(つまり、ミリ波レーダ2による物体検出で前回フュージョン物標を追跡できかつステレオカメラ3による物体検出で前回フュージョン物標を追跡できなかったか)、前回フュージョン物標に対して類似性のある今回ステレオ画像物標のみが存在するか(つまり、ミリ波レーダ2による物体検出で前回フュージョン物標を追跡できずかつステレオカメラ3による物体検出で前回フュージョン物標を追跡できたか)、あるいは、前回フュージョン物標に対して類似性のある今回レーダ物標と今回ステレオ画像物標が共に存在しないのか(つまり、ミリ波レーダ2による物体検出及びステレオカメラ3による物体検出で共に前回フュージョン物標を追跡できなかったか)を判定する。
前回フュージョン物標に対して類似性のある今回レーダ物標と今回ステレオ画像物標がそれぞれ存在する場合、衝突軽減ECU8では、その今回レーダ物標と今回ステレオ画像物標との照合を行う。具体的には、衝突軽減ECU8では、図5に示すように、今回レーダ物標TLの位置(距離、横位置)を中心として距離の閾値、横位置の閾値を設定するとともに物体の奥行きの閾値、物体の横幅の閾値を設定し(図5の破線で示す平面領域参照)、今回レーダ物標TLの相対速度を中央値として相対速度の閾値を設定する。そして、衝突軽減ECU8では、今回ステレオ画像物標TIの位置(距離、横位置)が今回レーダ物標TLの位置を中心とした距離の閾値内かつ横位置の閾値内に入っているか否か及び今回ステレオ画像物標TIの大きさ(奥行き、横幅)が奥行きの閾値内かつ横幅の閾値内に入っているか否かを判定するとともに、今回ステレオ画像物標TIの相対速度が相対速度の閾値内に入っているか否かを判定する。そして、衝突軽減ECU8では、この判定において全ての閾値内に入っている場合に今回レーダ物標TLと今回ステレオ画像物標TIとが類似性があると判定し、1つでも閾値内に入っていない場合に類似性がないと判定する。類似性があると判定した場合、衝突軽減ECU8では、前回フュージョン物標を今回フュージョン物標として更新し、今回フュージョン物標の情報として今回レーダ物標の距離及び相対速度を設定するとともに今回ステレオ画像物標の横位置、横幅、奥行き、高さ、高さ位置を設定する。一方、類似性がないと判定した場合、衝突軽減ECU8では、今回レーダ物標と今回ステレオ画像物標から前回フュージョン物標と類似度が高い方の物標を抽出し、その抽出した物標により今回フュージョン物標として更新する。前回フュージョン物標との類似度については、前回フュージョン物標との位置の差、大きさの差、相対速度の差から求められる。今回レーダ物標により更新する場合、衝突軽減ECU8では、今回フュージョン物標の情報として今回レーダ物標の距離、横位置及び相対速度を設定するとともに前回フュージョン物標の横幅、奥行き、高さを設定し、高さ位置を無効値とする。一方、今回ステレオ画像物標により更新する場合、衝突軽減ECU8では、今回フュージョン物標の情報として今回ステレオ画像物標の距離、横位置、相対速度、横幅、奥行き、高さ、高さ位置を設定する。この照合では、距離の精度が高く、物体のほぼ中央を横位置とする今回レーダ物標を中心とし、レーダ物標とステレオ画像物標が持っている位置情報にステレオ画像物標の持っている大きさ情報を考慮して照合を行う。
衝突軽減ECU8では、図6に示すように、フュージョン物標に対する情報を設定する毎に、横位置を所定のバッファリング領域に格納する。バッファリング領域としては、例えば、図7に示すように、過去の5サイクル分のフュージョン物標の各情報を格納するための領域が確保される。衝突軽減ECU8では、バッファリング領域の1サイクル分の領域にフュージョン物標の情報が設定される毎に順次格納していく。この際、衝突軽減ECU8では、格納領域に全てデータが格納されている場合には最も古いデータを削除し、その削除した格納領域に今回のフュージョン物標の横位置を格納する。そして、衝突軽減ECU8では、図8に示すように、バッファリング領域に格納されている過去数サイクル分の横位置を用いて、連続するサイクル間の横位置の差をそれぞれ演算する。さらに、衝突軽減ECU8では、その各サイクル間の差を1サイクルの実行時間で除算し、その除算値を各サイクル間の横速度とする。図8に示す例では、現在の横位置Piと1サイクル前の横位置Pi−1とのサイクル間横速度Vi、1サイクル前の横位置Pi−1と2サイクル前の横位置Pi−2とのサイクル間横速度Vi−1、2サイクル前の横位置Pi−2と3サイクル前の横位置Pi−3とのサイクル間横速度Vi−2、3サイクル前の横位置Pi−3と4サイクル前の横位置Pi−4とのサイクル間横速度Vi−3を求める。そして、衝突軽減ECU8では、求めた全てのサイクル間横速度の平均値を演算し、その平均値をフュージョン物標の横速度として記憶する。図8に示す例では、4つのサイクル間横速度Vi,Vi−1,Vi−2,Vi−3の平均値を求め、フュージョン物標の横速度とする。
前回フュージョン物標に対して類似性のある今回レーダ画像物標のみが存在する場合、今回レーダ物標と今回ステレオ画像物標との照合を行うことができない。そこで、衝突軽減ECU8では、過去のフュージョン物標の移動軌跡を推定し、その推定移動軌跡によるフュージョン物標の現在位置と今回レーダ物標との照合を行う。具体的には、図9に示すように、衝突軽減ECU8では、前回フュージョンLFに設定されている横速度(平均値)と相対速度からフュージョン物標の移動軌跡を演算する。そして、衝突軽減ECU8では、その推定移動軌跡から物標の現在位置を演算し、その現在位置と今回レーダ物標TLとの照合を行う。照合の結果、類似性があると判定した場合、衝突軽減ECU8では、前回フュージョン物標を今回フュージョン物標として更新し、今回フュージョン物標の情報として今回レーダ物標の横位置、距離及び相対速度を設定するとともに前回フュージョン物標の横幅、奥行き、高さを設定し、高さ位置を無効値に固定する。一方、類似性がないと判定した場合、衝突軽減ECU8では、今回フュージョン物標を設定しない。ここでの照合は、上記した今回レーダ物標と前回フュージョン物標との照合と同様の照合方法で行い、通常の照合のときより各閾値を厳しくする(つまり、閾値を通常より小さい値にする)。なお、フュージョン物標の移動軌跡を推定する際に、横位置については今回レーダ物標TLの横位置とバッファリングされているフュージョン物標の横位置によって横速度を再度演算したものを用いてもよいし、相対速度について今回レーダ物標TLの相対速度を用いてもよい。
前回フュージョン物標に対して類似性のある今回ステレオ画像物標のみが存在する場合、今回レーダ物標と今回ステレオ画像物標との照合を行うことができない。そこで、衝突軽減ECU8では、過去のフュージョン物標の移動軌跡を推定し、その推定移動軌跡によるフュージョン物標の現在位置と今回ステレオ画像物標との照合を行う。具体的には、衝突軽減ECU8では、図10に示すように、衝突軽減ECU8では、前回フュージョンLFに設定されている横速度(平均値)と相対速度からフュージョン物標の移動軌跡を演算する。そして、衝突軽減ECU8では、その推定移動軌跡から物標の現在位置を演算し、その現在位置と今回ステレオ画像物標TIとの照合を行う。照合の結果、類似性があると判定した場合、衝突軽減ECU8では、前回フュージョン物標を今回フュージョン物標として更新し、今回フュージョン物標の情報として今回ステレオ画像物標の横位置、距離、相対速度、横幅、奥行き、高さ及び高さ位置を設定する。一方、類似性がないと判定した場合、衝突軽減ECU8では、今回フュージョン物標を設定しない。ここでの照合は、上記した今回ステレオ画像物標と前回フュージョン物標との照合と同様の照合方法で行い、通常の照合のときより各閾値を厳しくする。なお、フュージョン物標の移動軌跡を推定する際に、横位置については今回ステレオ物標TIの横位置とバッファリングされているフュージョン物標の横位置によって横速度を再度演算したものを用いてもよいし、相対速度について今回ステレオ物標TIの相対速度を用いてもよい。
なお、推定移動軌跡を用いた照合を行った場合、衝突軽減ECU8では、その推定移動軌跡を用いた照合を行ったサイクル数をカウントする。そして、衝突軽減ECU8では、そのカウント数が追跡中止回数N0より多いか否かを判定する。衝突軽減ECU8では、カウント数が追跡中止回数N0以下の場合、推定移動軌跡を利用したそのフュージョン物標の追跡を継続し、カウントが追跡中止回数N0を超える場合にはそのフュージョン物標の追跡を終了する。なお、追跡中止回数N0は、ミリ波レーダ2やステレオカメラ3の異常と確実に判断できるサイクル数を設定する。
前回フュージョン物標に対して類似性のある今回レーダ物標と今回ステレオ画像物標が共に存在しない場合、衝突軽減ECU8では、その前回フュージョン物標を削除する。
更新された今回フュージョン物標と類似性がなかった今回レーダ物標と今回ステレオ画像とがそれぞれ残っている場合、衝突軽減ECU8では、その残っている今回レーダ物標と今回ステレオ画像物標との照合を行う。この照合方法は、上記した今回レーダ物標と今回ステレオ画像と同様の照合方法である。衝突軽減ECU8では、類似性があると判定した今回レーダ物標と今回ステレオ画像とがある場合、今回フュージョン物標として新たに設定し、上記と同様に今回フュージョン物標の各情報を設定する。また、衝突軽減ECU8では、類似性があると判定した今回レーダ物標と今回ステレオ画像とがない場合、今回フュージョン物標を設定しない。
なお、各照合において照合対象の物標が複数ある場合(例えば、今回レーダ物標が複数ある場合)、全ての組み合せについてそれぞれ照合を行う。また、各閾値は、ミリ波レーダ2やステレオカメラ3による検出精度などを考慮して予め設定され、衝突軽減ECU8に格納されている。距離の閾値や相対速度の閾値については、自車両の車速を考慮して可変としてもよい。奥行き、横幅、高さは物体の大きさを表し、検出対象が車両なので、奥行き、横幅、高さの各閾値については一般的な車両の大きさに基づいて設定される。
衝突軽減処理について説明する。今回フュージョン物標がある場合(つまり、前方車両が存在する場合)、衝突軽減ECU8では、車速を考慮して、今回フュージョン物標に設定されている距離情報に基づいて衝突する可能性の段階(例えば、可能性が高い、低い、無しの3段階)を設定する。そして、衝突軽減ECU8では、衝突する可能性の段階に応じて、ブレーキECU4、サスペンション制御アクチュエータ5,・・・、シートベルトアクチュエータ6,・・・、ブザー7を制御する。
この制御を衝突する可能性の段階が3段階の場合を例に挙げて説明する。衝突の可能性が無い段階では、衝突軽減ECU8では、ブレーキECU4、サスペンション制御アクチュエータ5,・・・、シートベルトアクチュエータ6,・・・、ブザー7に対する制御を行わない。
衝突の可能性が低い段階では、衝突軽減ECU8では、ブレーキECU4、サスペンション制御アクチュエータ5,・・・に対する制御を行わず、シートベルトアクチュエータ6,・・・、ブザー7に対する制御を行う。具体的には、衝突軽減ECU8では、前方に車両が接近していることを知らせるためにシートベルトを少し引き込むための目標引込量信号を設定し、その目標引込量信号をシートベルトアクチュエータ6,・・・にそれぞれ送信する(運転席のシートベルトアクチュエータ6にのみ送信するようにしてもよい)。また、衝突軽減ECU8では、前方に車両が接近していることを知らせるために警報信号を設定し、その警報信号をブザー7に送信する。
衝突の可能性が高い段階では、衝突軽減ECU8では、ブレーキECU4、サスペンション制御アクチュエータ5,・・・、シートベルトアクチュエータ6,・・・、ブザー7全てに対する制御を行う。具体的には、衝突軽減ECU8では、車両を減速させるための目標ブレーキ力信号を設定し、その目標ブレーキ力信号をブレーキECU4に送信する。また、衝突軽減ECU8では、車両が傾かないように(前部が沈みこまないように)するための目標減衰力信号を設定し、その目標減衰力信号をサスペンション制御アクチュエータ5,・・・にそれぞれ送信する。また、衝突軽減ECU8では、乗員を強く拘束するための目標引込量信号を設定し、その目標引込量信号をシートベルトアクチュエータ6,・・・にそれぞれ送信する。また、衝突軽減ECU8では、前方に車両が接近していることを知らせるために警報信号を設定し、その警報信号をブザー7に送信する。
なお、衝突する可能性だけでなく、前方車両とのオーバラップ量なども求め、これら他の情報も考慮してブレーキECU4、サスペンション制御アクチュエータ5,・・・、シートベルトアクチュエータ6,・・・、ブザー7を制御するようにしてもよい。
図1〜図10を参照して、衝突軽減装置1における動作について説明する。特に、衝突軽減ECU8における照合処理の流れについては図11のフローチャートに沿って説明する。図11は、第1の実施の形態に係る照合処理の流れを示すフローチャートである。
ミリ波レーダ2では、前方にミリ波を送信するとともに反射してきたミリ波を受信し、その送受信データをレーダ信号として衝突軽減ECU8に送信する。ステレオカメラ3では、前方をそれぞれ撮像し、その撮像した左右のステレオ画像を各画像信号として衝突軽減ECU8にそれぞれ送信する。
衝突軽減ECU8では、ミリ波レーダ2からのレーダ信号を受信するとともに、ステレオカメラ3からの各画像信号をそれぞれ受信する。そして、衝突軽減ECU8では、一定時間毎に、レーダ信号によるレーダ情報に基づいてレーダ物標を設定する。また。衝突軽減ECU8では、一定時間毎に、各画像信号による左右のステレオ画像に基づいてステレオ画像物標を設定する。
そして、衝突軽減ECU8では、一定時間毎に、以下の照合処理を行う。衝突軽減ECU8では、距離、横位置の位置情報及び相対速度により、前回フュージョン物標とレーダ物標との照合を行う(S10)。また、衝突軽減ECU8では、距離、横位置、高さ位置の位置情報、奥行き、横幅、高さの大きさ情報及び相対速度により、前回フュージョン物標とステレオ画像物標との照合を行う(S11)。そして、衝突軽減ECU8では、照合の結果、前回フュージョン物標と類似性のあるレーダ物標及び/又はステレオ画像物標が存在するか否かを判定する(S12)。
S12にて前回フュージョン物標と類似性のあるレーダ物標とステレオ画像物標がそれぞれ存在すると判定した場合、衝突軽減ECU8では、距離、横位置の位置情報、奥行き、横幅の大きさ情報及び相対速度により、そのレーダ物標とステレオ画像物標との照合を行う(S13)。衝突軽減ECU8では、S13での照合において類似性があるか否かを判定する(S14)。S14にて類似性があると判定した場合、衝突軽減ECU8では、照合を行った前回フュージョン物標を今回フュージョン物標に更新し、その今回フュージョン物標の情報としてレーダ物標の距離及び相対速度を設定するとともにステレオ画像物標の横位置、横幅、奥行き、高さ、高さ位置を設定する(S15)。この際、類似性のあったレーダ物標とステレオ画像物標を削除する。一方、S14にて類似性がないと判定した場合、衝突軽減ECU8では、前回フュージョン物標と類似性の高い物標を今回フュージョン物標として更新し、その今回フュージョン物標の情報として類似性の高い物標の情報を用いて設定する(S16)。この際、類似性の高い物標を削除する。
S12にて前回フュージョン物標と類似性のある物標としてレーダ物標またはステレオ画像物標のどちらか一方の物標が存在すると判定した場合、衝突軽減ECU8では、前回フュージョン物標の横速度と相対速度から移動軌跡を推定する(S17)。そして、衝突軽減ECU8では、その推定移動軌跡による現在位置と類似性のあった物標との照合を行う(S18)。衝突軽減ECU8では、S18での照合において類似性があるか否かを判定する(S19)。S19にて類似性があると判定した場合、衝突軽減ECU8では、照合を行った前回フュージョン物標を今回フュージョン物標に更新し、その今回フュージョン物標の情報として類似性のあった物標の情報を用いて設定する(S20)。この際、類似性のあったレーダ物標あるいはステレオ画像物標を削除する。
S12にて前回フュージョン物標と類似性のあるレーダ物標とステレオ画像物標が共に存在しないと判定した場合、衝突軽減ECU8では、その前回フュージョン物標を削除する(S21)。このS10〜S21までの処理を、全ての前回フュージョン物標と全てのレーダ物標及び全てのステレオ画像物標との全ての組み合せについて行う。ここまでの処理によって、前回フュージョン物標に対する追跡が終了する。
レーダ物標とステレオ画像物標が残っている場合、衝突軽減ECU8では、距離、横位置の位置情報、奥行き、横幅の大きさ情報及び相対速度により、レーダ物標とステレオ画像物標との照合を行う(S22)。
衝突軽減ECU8では、S22での照合において類似性があるか否かを判定する(S23)。S23にて類似性があると判定した場合、衝突軽減ECU8では、類似性のあったレーダ物標とステレオ画像物標とにより今回のフュージョン物標を設定し、その今回フュージョン物標の情報としてレーダ物標の距離及び相対速度を設定するとともにステレオ画像物標の横位置、横幅、奥行き、高さ、高さ位置を設定する(S24)。このS22〜S24までの処理を、残っていた全てのレーダ物標と全てのステレオ画像物標との全ての組み合せについて行う。ここまでの処理によって、全てのレーダ物標と全てのステレオ画像物標との照合処理が終了する。
ちなみに、フュージョン物標を設定した場合、衝突軽減ECU8では、横位置をバッファリングし、バッファリングしている横位置を用いて平滑化した横速度を演算する。
照合処理によって今回のフュージョン物標が設定された場合、衝突軽減ECU8では、そのフュージョン物標に設定されている情報に基づいて衝突する可能性の段階を設定し、衝突する可能性の段階に応じて、ブレーキECU4、サスペンション制御アクチュエータ5,・・・、シートベルトアクチュエータ6,・・・、ブザー7を制御する。この制御によって、前方車両との衝突の可能性が低い段階では、シートベルトアクチュエータ6,・・・によるシートベルトの引き込みとブザー7によるブザー音の出力によって前方車両の接近を運転者に認識させる。さらに、前方車両との衝突の可能性が高くなると、ブレーキECU4による自動ブレーキ力による減速とサスペンション制御アクチュエータ5,・・・によるサスペンションの硬さ調節を行い、シートベルトアクチュエータ6,・・・によるシートベルトの更なる引き込みによって乗員を強く拘束し、ブザー7によるブザー音の出力によって前方車両の更なる接近を運転者に認識させる。一方、照合処理によって今回のフュージョン物標が設定されなかった場合、衝突軽減ECU8では、今回の衝突軽減処理を行わない。
この衝突軽減装置1によれば、2つのセンサによる物体検出のうち一方のセンサによる物体検出で追跡中のフュージョン物標を検出できない場合でも、過去のフュージョン物標の情報を利用して推定移動軌跡を生成することにより、その推定移動軌跡を利用して追跡中の他方のセンサによる物標と照合を行うことができる。そのため、フュージョン物標の追跡を継続でき、フュージョン物標を更新できる。さらに、衝突軽減装置1によれば、バッファリングしたデータから横速度を求めているので、移動軌跡の推定精度が高い。
また、この衝突軽減装置1によれば、位置情報に加えて大きさの情報を用いて照合を行うので、検出対象の車両の大きさを考慮して照合を行うことができ、前方車両を高精度に検出することができる。さらに、衝突軽減装置1によれば、相対速度も用いて照合を行うので、移動体である前方車両をより高精度に検出することができる。
図1、図2、図5、図12及び図13を参照して、第2の実施の形態に係る衝突軽減装置11について説明する。図12は、第2の実施の形態に係るレーダ物標とステレオ画像物標との照合の結果、ミリ波レーダによる物体検出によって前回フュージョン物標を追跡できかつステレオカメラによる物体検出によって前回フュージョン物標を追跡できなかった場合の説明図である。図13は、第2の実施の形態に係るレーダ物標とステレオ画像物標との照合の結果、ミリ波レーダによる物体検出によって前回フュージョン物標を追跡できずかつステレオカメラによる物体検出によって前回フュージョン物標を追跡できた場合の説明図である。なお、衝突軽減装置11では、第1の実施の形態に係る衝突軽減装置1と同様の構成については同一の符号を付し、その説明を省略する。
衝突軽減装置11は、衝突軽減装置1と比較すると、レーダ物標設定処理、ステレオ画像物標設定処理、照合処理が異なる。つまり、衝突軽減装置11では、レーダ物標、ステレオ画像物標それぞれについて追跡を行い、レーダ物標またはステレオ画像物標と前回フュージョン物標との照合を行わない。したがって、衝突軽減装置11は、衝突軽減装置1とは衝突軽減ECUにおける処理のみが異なり、第1の実施の形態に係る衝突軽減ECU8の代わりに衝突軽減ECU18を備えている。なお、第2の実施の形態では、衝突軽減ECU18が特許請求の範囲に記載する判断手段に相当する。
衝突軽減ECU18も、第1の実施の形態に係る衝突軽減ECU8と同様に、衝突軽減装置11を統括制御する電子制御ユニットである。衝突軽減ECU18は、衝突軽減ECU8とレーダ物標設定処理、ステレオ画像物標設定処理、照合処理が異なる。そこで、その各処理についてのみ説明する。
レーダ物標設定処理について説明する。衝突軽減ECU18では、第1の実施の形態と同様に、一定時間毎に、レーダ情報からレーダ物標を得る。さらに、衝突軽減ECU18では、一定時間毎に、前回レーダ物標とその得たレーダ物標との照合を行う。この照合は、第1の実施の形態における前回フュージョン物標と今回レーダ物標との照合方法と同様の照合方法であり、距離、横位置、相対速度により照合を行う。この際、前回フュージョン物標の代わりに前回レーダ物標を中心にして各閾値を設定し、その各閾値内にレーダ物標が入っているか否かを判定する。衝突軽減ECU18では、照合において類似性があると判定した場合には前回レーダ物標を今回レーダ物標として更新し、今回の情報を設定する。一方、衝突軽減ECU18では、照合において類似性がないと判定した場合には前回レーダ物標を削除する。また、衝突軽減ECU18では、前回レーダ物標と類似性のなかったレーダ物標を今回レーダ物標として新たに設定する。
ステレオ画像物標設定処理について説明する。衝突軽減ECU18では、第1の実施の形態と同様に、一定時間毎に、ステレオ画像からステレオ画像物標を得る。さらに、衝突軽減ECU18では、一定時間毎に、前回ステレオ画像とその得たステレオ画像物標との照合を行う。この照合は、第1の実施の形態における前回フュージョン物標と今回ステレオ画像物標との照合方法と同様の照合方法であり、距離、横位置、高さ位置、奥行き、横幅、高さ、相対速度により照合を行う。この際、前回フュージョン物標の代わりに前回ステレオ画像物標を中心にして各閾値を設定し、その各閾値内にステレオ画像物標が入っているか否かを判定する。衝突軽減ECU18では、照合において類似性があると判定した場合には前回ステレオ画像物標を今回ステレオ画像物標として更新し、今回の情報を設定する。一方、衝突軽減ECU18では、照合において類似性がないと判定した場合には前回ステレオ画像物標を削除する。また、衝突軽減ECU18では、前回ステレオ画像物標と類似性のなかったステレオ画像物標を今回ステレオ画像物標として新たに設定する。
なお、衝突軽減ECU18では、各センサによる検出によって物標として認識したものについてそれぞれ認識番号を付与し、その認識番号を用いて追跡が行われているか否かを判定する。
照合処理について説明する。衝突軽減ECU18では、一定時間毎に、今回レーダ物標と今回ステレオ画像物標との照合を行う。この照合は、第1の実施の形態における残った今回レーダ物標と今回ステレオ画像物標との照合方法と同様の照合方法であり、距離、横位置、奥行き、横幅、相対速度により照合を行う。なお、照合において照合対象の物標が複数ある場合(例えば、今回レーダ物標が複数ある場合)、全ての組み合せについてそれぞれ照合を行う。
衝突軽減ECU18では、今回レーダ物標と今回ステレオ画像物標との照合の結果、類似性のある今回レーダ物標と今回ステレオ画像物標がそれぞれ存在するか否かを判定する。図5に示すように、類似性がある今回レーダ物標TLと今回ステレオ画像物標TIがそれぞれ存在する場合、衝突軽減ECU18では、その今回レーダ物標TLと今回ステレオ画像物標TIにより今回フュージョン物標を設定し、今回フュージョン物標の情報として今回レーダ物標TLの距離及び相対速度を設定するとともに今回ステレオ画像物標TIの横位置、横幅、奥行き、高さ、高さ位置を設定する。
類似性がある今回レーダ物標と今回ステレオ画像物標がそれぞれ存在しない場合、衝突軽減ECU18では、ミリ波レーダ2による物体検出によって前回フュージョン物標と同じ物標を追跡しているか(つまり、前回フュージョン物標と類似性がある今回レーダ物標のみが存在するか)否かを判定する。図12に示すように、ミリ波レーダ2による物体検出によって前回フュージョン物標LFと同じ物標を追跡している場合(ステレオカメラ3による物体検出では前回フュージョン物標LFと同じ物標を追跡できなかった場合)、衝突軽減ECU18では、今回レーダ物標TLと前回フュージョン物標LFにより今回フュージョン物標を設定し、そのフュージョン物標の追跡を継続する。衝突軽減ECU18では、今回フュージョン物標の情報として今回レーダ物標TLの距離、横位置及び相対速度を設定するとともに前回フュージョン物標LFの横幅、奥行き及び高さを設定し、高さ位置を無効値に固定する。大きさ情報は、ミリ波レーダ2では立体物の大きさを検出できず、立体物の大きさは変化しないので、前回フュージョン物標に設定されている大きさ情報が利用される。また、高さ位置は、前回フュージョン物標LFの位置から移動している可能性があり、ミリ波レーダ2では高さ位置を検出できないので、値が設定されない。
ミリ波レーダ2による物体検出によって前回フュージョン物標LFと同じ物標を追跡していない場合、衝突軽減ECU18では、ステレオカメラ3による物体検出によって前回フュージョン物標と同じ物標を追跡しているか(つまり、前回フュージョン物標と類似性がある今回ステレオ画像物標が存在するか)否かを判定する。図13に示すように、ステレオカメラ3による物体検出によって前回フュージョン物標LFと同じ物標を追跡している場合(ミリ波レーダ2による物体検出では前回フュージョン物標LFと同じ物標を追跡できなかった場合)、衝突軽減ECU18では、今回ステレオ画像物標TIにより今回フュージョン物標を設定し、そのフュージョン物標の追跡を継続する。衝突軽減ECU18では、今回フュージョン物標の情報として今回ステレオ画像物標TIの距離、横位置、相対速度、横幅、奥行き、高さ及び高さ位置を設定する。
ステレオカメラ3による物体検出によって前回フュージョン物標LFと同じ物標を追跡していない場合、衝突軽減ECU18では、今回フュージョン物標を設定せず、そのフュージョン物標の追跡を終了する。この場合、ミリ波レーダ2による物体検出とステレオカメラ3による物体検出で共に前回フュージョン物標LFと同じ物標を追跡していない。
なお、一方のセンサだけで過去のフュージョン物標と同じ物標を追跡している場合、衝突軽減ECU18では、今回レーダ物標と今回ステレオ画像物標との照合が行えなかったサイクル数をカウントする。そして、衝突軽減ECU18では、そのカウント数が追跡中止回数N0より多いか否かを判定する。衝突軽減ECU18では、カウント数が追跡中止回数N0以下の場合、その一方のセンサで検出した物標の情報を利用したそのフュージョン物標の追跡を継続し、カウントが追跡中止回数N0を超える場合にはそのフュージョン物標の追跡を終了する。
図1、図2、図5、図12及び図13を参照して、衝突軽減装置11における動作について説明する。特に、衝突軽減ECU18における照合処理の流れについては図14のフローチャートに沿って説明する。図14は、第2の実施の形態に係る照合処理の流れを示すフローチャートである。ここでは、衝突軽減装置1における動作と異なる衝突軽減ECU18におけるレーダ物標設定処理、ステレオ画像物標設定処理、照合処理についてのみ説明する。
衝突軽減ECU18では、ミリ波レーダ2からのレーダ信号を受信するとともに、ステレオカメラ3からの各画像信号をそれぞれ受信する。
そして、衝突軽減ECU18では、一定時間毎に、レーダ信号によるレーダ情報に基づいてレーダ物標を取得する。そして、衝突軽減ECU18では、一定時間毎に、前回レーダ物標を追跡するために、その取得したレーダ物標と前回レーダ物標との照合を行う。照合の結果、衝突軽減ECU18では、類似性のあった前回レーダ物標を今回のレーダ物標として更新して今回の情報を設定し、類似性のなかった前回レーダ物標を削除する。さらに、衝突軽減ECU18では、取得したレーダ物標のうち類似性のなかったレーダ物標を今回レーダ物標として新たに設定する。なお、前回レーダ物標が設定されていなかった場合、衝突軽減ECU18では、取得したレーダ物標を全て今回のレーダ物標として設定する。
また、衝突軽減ECU18では、一定時間毎に、各画像信号による左右のステレオ画像に基づいてステレオ画像物標を取得する。そして、衝突軽減ECU18では、一定時間毎に、前回ステレオ画像物標を追跡するために、その取得したステレオ画像物標と前回ステレオ画像物標との照合を行う。照合の結果、衝突軽減ECU18では、類似性のあった前回ステレオ画像物標を今回のステレオ画像物標として更新して今回の情報を設定し、類似性のなかった前回ステレオ画像物標を削除する。さらに、衝突軽減ECU18では、取得したステレオ画像物標のうち類似性のなかったステレオ画像物標を今回のステレオ画像物標として新たに設定する。なお、前回ステレオ画像物標が設定されていなかった場合、衝突軽減ECU18では、取得したステレオ画像物標を全て今回のステレオ画像物標として設定する。
そして、衝突軽減ECU18では、一定時間毎に、以下の照合処理を行う。衝突軽減ECU18では、距離、横位置の位置情報、奥行き、横幅の大きさ情報及び相対速度により、レーダ物標とステレオ画像物標との照合を行う(S30)。
衝突軽減ECU18では、S30での照合において類似性があるか否かを判定する(S31)。S31にて類似性があると判定した場合、衝突軽減ECU18では、類似性のあったレーダ物標とステレオ画像物標とにより今回のフュージョン物標を設定し、その今回フュージョン物標の情報としてレーダ物標の距離及び相対速度を設定するとともにステレオ画像物標の横位置、横幅、奥行き、高さ、高さ位置を設定する(S32)。
一方、S31にて類似性があるレーダ物標とステレオ画像物標とがそれぞれ存在しないと判定した場合、衝突軽減ECU18では、ミリ波レーダ2によって前回のフュージョン物標と同じ物標を追跡しているか否かを判定する(S33)。S33にて追跡していると判定した場合、衝突軽減ECU18では、その追跡している今回のレーダ物標の距離、横位置、相対速度と前回フュージョン物標に設定されている横幅、奥行き、高さにより今回のフュージョン物標を設定し、そのフュージョン物標の追跡を継続する(S34)。
一方、S33にて追跡していないと判定した場合、衝突軽減ECU18では、ステレオカメラ3によって前回のフュージョン物標と同じ物標を追跡しているか否かを判定する(S35)。S35にて追跡していると判定した場合、衝突軽減ECU18では、その追跡している今回のステレオ画像物標の距離、横位置、相対速度、横幅、奥行き、高さ、高さ位置により今回のフュージョン物標を設定し、そのフュージョン物標の追跡を継続する(S36)。
一方、S35にて追跡していないと判定した場合、衝突軽減ECU18では、そのフュージョン物標の追跡を終了する(S37)。
このS30〜S37の処理を、全てのレーダ物標と全てのステレオ画像物標との全ての組み合せについて行う。ここまでの処理によって、全てのレーダ物標と全てのステレオ画像物標との照合処理が終了する。
この衝突軽減装置11によれば、過去に設定されているフュージョン物標を一方のセンサによる物体検出で検出できない場合でも、そのフュージョン物標を他方のセンサによる物体検出で検出していれば、その他方のセンサによる各情報によってフュージョン物標を設定でき、追跡を継続することができる。特に、衝突軽減装置11では、過去に設定されているフュージョン物標をステレオカメラ3による物体検出で検出できない場合、過去のフュージョン物標に設定されている大きさ情報(横幅、奥行き、高さ)により今回のフュージョン物標の大きさ情報を設定することができる。
さらに、この衝突軽減装置11でも、位置情報に加えて大きさの情報を用いて照合を行うので、車両を高精度に検出することができ、相対速度も用いて照合を行うので、移動体である車両をより高精度に検出することができる。
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
例えば、本実施の形態では車両に搭載される衝突軽減装置に適用したが、車間距離制御装置、追従走行装置などの他の運転支援装置や周辺監視装置などの他の装置にも適用可能であり、物体検出装置単体としても活用可能である。また、検出対象としては、前方の車両以外にも、歩行者や自転車などの他の物体を検出することも可能である。また、搭載対象としては、車両以外にも、ロボットなどに搭載することも可能である。
また、本実施の形態ではレーダ検出手段としてミリ波レーダを用いる構成としたが、レーザレーダなどの他のレーダを用いてもよい。
また、本実施の形態では画像検出手段としてステレオカメラを用いる構成としたが、ステレオカメラ以外のカメラを用いてもよい。
また、本実施の形態ではミリ波レーダによる情報に基づくレーダ物標の設定及びステレオカメラによるステレオ画像に基づくステレオ画像物標の設定を衝突軽減ECUで行う構成としたが、ミリ波レーダに処理部を備え、ミリ波レーダでレーダ物標を設定する構成としてもよいし、また、ステレオカメラに画像処理部を備え、ステレオカメラでステレオ画像物標を設定する構成としてもよい。
また、本実施の形態では横幅や奥行きなどの大きさ情報及び相対速度も用いて照合を行う構成としたが、相対速度を用いないで照合を行う構成としてもよいし、あるいは、大きさ情報の全てまたは一部を用いないで照合を行う構成としてもよい。
また、本実施の形態では各照合において複数の閾値による判定で全ての閾値条件を満たしている場合に類似性があると判定する構成としたが、全ての閾値条件のうちの幾つかの閾値条件を満たしている場合に類似性があると判定する構成としてもよい。
また、第2の実施の形態では衝突軽減ECUにおいてミリ波レーダによる情報に基づくレーダ物標の追跡判定処理とステレオカメラによるステレオ画像に基づくステレオ画像物標の追跡判定処理及びレーダ物標とステレオ画像物標との照合処理を行う構成としたが、これら全ての処理を衝突軽減ECUで行う必要はなく、ミリ波レーダによる情報に基づくレーダ物標の追跡判定処理を行うためのミリ波レーダECUとステレオカメラによるステレオ画像に基づくステレオ画像物標の追跡判定処理を行うための画像ECUを衝突軽減ECUとは別に設ける構成としてもよい。この場合、物標の追跡判定処理についてはミリ波レーダECUと画像ECUでそれぞれ行い、照合処理については衝突軽減ECUで行うことになる。このような構成とする場合、ミリ波レーダECUをミリ波レーダと衝突軽減ECUとの間に配置し、画像ECUをステレオカメラと衝突軽減ECUとの間に配置することが適している。
1,11…衝突軽減装置、2…ミリ波レーダ、3…ステレオカメラ、4…ブレーキECU、5…サスペンション制御アクチュエータ、6…シートベルトアクチュエータ、7…ブザー、8,18…衝突軽減ECU
Claims (3)
- レーダによって物体を検出するレーダ検出手段と、
画像によって物体を検出する画像検出手段と、
前記レーダ検出手段によって検出した物体の位置情報と前記画像検出手段によって検出した物体の位置情報に基づいて、前記レーダ検出手段によって検出した物体と前記画像検出手段によって検出した物体とが同一物体か否かを判断する判断手段と
を備え、
前記レーダ検出手段または前記画像検出手段の一方の検出手段で過去に同一物体と判断した物体を検出できない場合、当該過去に同一物体と判断した物体に設定された情報から求めた予測移動軌跡と他方の検出手段で検出した物体の位置情報とに基づいて同一物体か否かを判断することを特徴とする物体検出装置。 - レーダによって物体を検出するレーダ検出手段と、
画像によって物体を検出する画像検出手段と、
前記レーダ検出手段によって検出した物体の位置情報と前記画像検出手段によって検出した物体の位置情報に基づいて、前記レーダ検出手段によって検出した物体と前記画像検出手段によって検出した物体とが同一物体か否かを判断する判断手段と
を備え、
前記レーダ検出手段または前記画像検出手段の一方の検出手段で過去に同一物体と判断した物体を検出できない場合、他方の検出手段での検出が継続している間、他方の検出手段によって検出した物体の位置情報に基づいて物体を設定することを特徴とする物体検出装置。 - 前記画像検出手段で過去に同一物体と判断した物体を検出できない場合、過去に同一物体と判断した物体に対して設定した横幅情報、画像検出手段から遠ざかる方向の長さ情報及び/又は高さ情報を利用して物体を設定することを特徴とする請求項2に記載する物体検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005115938A JP2006292621A (ja) | 2005-04-13 | 2005-04-13 | 物体検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005115938A JP2006292621A (ja) | 2005-04-13 | 2005-04-13 | 物体検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006292621A true JP2006292621A (ja) | 2006-10-26 |
Family
ID=37413336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005115938A Withdrawn JP2006292621A (ja) | 2005-04-13 | 2005-04-13 | 物体検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006292621A (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008304344A (ja) * | 2007-06-08 | 2008-12-18 | Kumamoto Univ | 物標検出装置 |
JP2009019914A (ja) * | 2007-07-10 | 2009-01-29 | Toyota Motor Corp | 物体検出装置 |
US7825849B2 (en) | 2006-02-24 | 2010-11-02 | Toyota Jidosha Kabushiki Kaisha | Object detecting apparatus and method for detecting an object |
JP2012163495A (ja) * | 2011-02-08 | 2012-08-30 | Hitachi Ltd | センサ統合システム及びセンサ統合方法 |
WO2012120856A1 (ja) * | 2011-03-10 | 2012-09-13 | パナソニック株式会社 | 物体検出装置及び物体検出方法 |
WO2014010546A1 (ja) * | 2012-07-10 | 2014-01-16 | 本田技研工業株式会社 | 故障判定装置 |
WO2017017766A1 (ja) * | 2015-07-27 | 2017-02-02 | 日産自動車株式会社 | 物体検出方法及び物体検出装置 |
JP6333437B1 (ja) * | 2017-04-21 | 2018-05-30 | 三菱電機株式会社 | 物体認識処理装置、物体認識処理方法および車両制御システム |
JP2018097765A (ja) * | 2016-12-16 | 2018-06-21 | 株式会社デンソー | 物体検出装置、及び物体検出方法 |
CN109459750A (zh) * | 2018-10-19 | 2019-03-12 | 吉林大学 | 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法 |
WO2019097731A1 (ja) * | 2017-11-20 | 2019-05-23 | 三菱電機株式会社 | 障害物認識装置および障害物認識方法 |
CN112937522A (zh) * | 2021-01-27 | 2021-06-11 | 北京中科慧眼科技有限公司 | 基于车辆紧急制动系统的数据处理方法、系统和智能终端 |
JP2022072327A (ja) * | 2020-10-29 | 2022-05-17 | トヨタ自動車株式会社 | 車両位置推定装置 |
-
2005
- 2005-04-13 JP JP2005115938A patent/JP2006292621A/ja not_active Withdrawn
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7825849B2 (en) | 2006-02-24 | 2010-11-02 | Toyota Jidosha Kabushiki Kaisha | Object detecting apparatus and method for detecting an object |
JP2008304344A (ja) * | 2007-06-08 | 2008-12-18 | Kumamoto Univ | 物標検出装置 |
JP2009019914A (ja) * | 2007-07-10 | 2009-01-29 | Toyota Motor Corp | 物体検出装置 |
JP2012163495A (ja) * | 2011-02-08 | 2012-08-30 | Hitachi Ltd | センサ統合システム及びセンサ統合方法 |
WO2012120856A1 (ja) * | 2011-03-10 | 2012-09-13 | パナソニック株式会社 | 物体検出装置及び物体検出方法 |
JP2012189445A (ja) * | 2011-03-10 | 2012-10-04 | Panasonic Corp | 物体検出装置及び物体検出方法 |
US9041588B2 (en) | 2011-03-10 | 2015-05-26 | Panasonic Intellectual Property Management Co., Ltd. | Object detection device and object detection method |
WO2014010546A1 (ja) * | 2012-07-10 | 2014-01-16 | 本田技研工業株式会社 | 故障判定装置 |
JP5497248B1 (ja) * | 2012-07-10 | 2014-05-21 | 本田技研工業株式会社 | 故障判定装置 |
CN104040606A (zh) * | 2012-07-10 | 2014-09-10 | 本田技研工业株式会社 | 故障判定装置 |
US8917321B1 (en) | 2012-07-10 | 2014-12-23 | Honda Motor Co., Ltd. | Failure-determination apparatus |
US10269127B2 (en) | 2015-07-27 | 2019-04-23 | Nissan Motor Co., Ltd. | Object detecting method and object detecting device |
KR101973343B1 (ko) * | 2015-07-27 | 2019-04-26 | 닛산 지도우샤 가부시키가이샤 | 물체 검출 방법 및 물체 검출 장치 |
CN107850670A (zh) * | 2015-07-27 | 2018-03-27 | 日产自动车株式会社 | 物体检测方法及物体检测装置 |
JPWO2017017766A1 (ja) * | 2015-07-27 | 2018-06-28 | 日産自動車株式会社 | 物体検出方法及び物体検出装置 |
EP3330742A4 (en) * | 2015-07-27 | 2018-08-08 | Nissan Motor Co., Ltd. | Object detecting method and object detecting device |
RU2667338C1 (ru) * | 2015-07-27 | 2018-09-18 | Ниссан Мотор Ко., Лтд. | Способ обнаружения объектов и устройство обнаружения объектов |
KR20180018767A (ko) * | 2015-07-27 | 2018-02-21 | 닛산 지도우샤 가부시키가이샤 | 물체 검출 방법 및 물체 검출 장치 |
WO2017017766A1 (ja) * | 2015-07-27 | 2017-02-02 | 日産自動車株式会社 | 物体検出方法及び物体検出装置 |
JP2018097765A (ja) * | 2016-12-16 | 2018-06-21 | 株式会社デンソー | 物体検出装置、及び物体検出方法 |
JP6333437B1 (ja) * | 2017-04-21 | 2018-05-30 | 三菱電機株式会社 | 物体認識処理装置、物体認識処理方法および車両制御システム |
JP2018179926A (ja) * | 2017-04-21 | 2018-11-15 | 三菱電機株式会社 | 物体認識処理装置、物体認識処理方法および車両制御システム |
JPWO2019097731A1 (ja) * | 2017-11-20 | 2020-04-02 | 三菱電機株式会社 | 障害物認識装置および障害物認識方法 |
WO2019097731A1 (ja) * | 2017-11-20 | 2019-05-23 | 三菱電機株式会社 | 障害物認識装置および障害物認識方法 |
CN109459750A (zh) * | 2018-10-19 | 2019-03-12 | 吉林大学 | 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法 |
JP2022072327A (ja) * | 2020-10-29 | 2022-05-17 | トヨタ自動車株式会社 | 車両位置推定装置 |
JP7338607B2 (ja) | 2020-10-29 | 2023-09-05 | トヨタ自動車株式会社 | 車両位置推定装置 |
CN112937522A (zh) * | 2021-01-27 | 2021-06-11 | 北京中科慧眼科技有限公司 | 基于车辆紧急制动系统的数据处理方法、系统和智能终端 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4428277B2 (ja) | 物体検出装置 | |
JP2006292621A (ja) | 物体検出装置 | |
JP4534846B2 (ja) | 物体検出装置 | |
JP4304517B2 (ja) | 物体検出装置 | |
US8200419B2 (en) | Braking control system and braking control method | |
CN110103958B (zh) | 融合前车辆传感器数据用于对在前物体的检测和测距 | |
US10576973B2 (en) | Driving assistance device and driving assistance method | |
JP6372228B2 (ja) | 衝突予想時間算出装置 | |
CN109891262B (zh) | 物体探测装置 | |
JP5012270B2 (ja) | 物体検出装置 | |
US11003924B2 (en) | System and method for detecting close cut-in vehicle based on free space signal | |
JP6787157B2 (ja) | 車両制御装置 | |
JP5178276B2 (ja) | 画像認識装置 | |
JP2007226680A (ja) | 物体検出装置 | |
JP7413935B2 (ja) | 車載センサシステム | |
US20190092235A1 (en) | Vehicle driving assistance method and apparatus using image processing | |
US20160042237A1 (en) | Detection apparatus, detection method, driving assistance apparatus, and driving assistance method | |
JP2006266927A (ja) | 物体検出装置 | |
JP2008190904A (ja) | 移動速度推定装置 | |
JP4670449B2 (ja) | 物体検出装置 | |
JP2011118723A (ja) | 車両の衝突を回避するための装置 | |
JP5169320B2 (ja) | 車両用物体検出装置及び車両用移動物体判別方法 | |
JP2008045998A (ja) | 物体検出装置 | |
CN114228706A (zh) | 车辆、控制车辆的方法以及记录介质 | |
KR20210129913A (ko) | 운전자 보조 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080401 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20090114 |