JP2013114606A - 物体検知装置 - Google Patents

物体検知装置 Download PDF

Info

Publication number
JP2013114606A
JP2013114606A JP2011262666A JP2011262666A JP2013114606A JP 2013114606 A JP2013114606 A JP 2013114606A JP 2011262666 A JP2011262666 A JP 2011262666A JP 2011262666 A JP2011262666 A JP 2011262666A JP 2013114606 A JP2013114606 A JP 2013114606A
Authority
JP
Japan
Prior art keywords
vehicle
vehicle information
distance
detection
detection means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011262666A
Other languages
English (en)
Other versions
JP5727356B2 (ja
Inventor
Hiroto Mitoma
寛人 三苫
Seiya Kato
聖也 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to JP2011262666A priority Critical patent/JP5727356B2/ja
Priority to US14/360,180 priority patent/US9734415B2/en
Priority to EP12854243.8A priority patent/EP2787496B1/en
Priority to PCT/JP2012/078559 priority patent/WO2013080745A1/ja
Publication of JP2013114606A publication Critical patent/JP2013114606A/ja
Application granted granted Critical
Publication of JP5727356B2 publication Critical patent/JP5727356B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • G01C3/085Use of electric radiation detectors with electronic parallax measurement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】複数の検知手段を備えた物体検知装置において、複数の検知手段を用いて取得された他車両情報の同定処理を行い、同一車両と判定された他車両情報を切り替える際に、各種制御アプリケーションに対応し得る他車両情報を出力する。
【解決手段】複数の検知手段105,107を用いて取得された他車両情報を同一車両のものか否かを判定し、同一車両のものと判定された複数の他車両情報のうちのいずれかをその複数の検知手段105,107の他車両情報検知精度に応じて選択し、この選択された他車両情報を別の他車両情報へ切り替える際、その他車両との相対速度と相対位置に基づく過渡時間で漸次的に別の他車両情報へ切り替える。
【選択図】図2

Description

本発明は物体検知装置に関し、特に車両に搭載される物体検知装置に関する。
従来から、自動車分野では安全性の向上を目的として様々な安全装置が装備されている。
近年、そのような安全装置の一例として、車両の周囲の物体を検知する外界認識センサの搭載が進められている。外界認識センサとしては、ステレオカメラやミリ波レーダ等が挙げられる。このような安全装置を用いることで、車両の周囲の物体を検知し、検知した周囲の状況に応じてドライバへの注意喚起や車両への走行制御を実行して車両の衝突を回避することできる。その衝突回避の方法としては、例えば、ステレオカメラで前方の車両を検知し、得られた車両同士の相対速度や相対位置によって車両同士が衝突すると判断した場合にドライバに注意を促し、さらにそれでも車両同士の衝突を回避できないと判断した場合には自動ブレーキをかけて衝突時の衝撃を軽減するといった方法がある。
ところで、ステレオカメラでは、その2つの撮像手段(カメラ)によって得られる画像上に映る同一車両の視差情報を用いて車両間等の距離を算出するため、検知距離は短くなり、相対速度が大きい場合に衝突を回避することが困難となるといった問題がある。一方で、単眼カメラでは、画像上から車両位置を検出すると共に、その検出された画像上での幅情報(画素数)と、仮定された車両の幅(例えば、1.7m)とカメラの特性から車両間の距離を算出することができ、一般に視差よりも画像上の車両幅の方が大きいことから、単眼カメラではステレオカメラで得られる距離よりも遠くから車両等の物体を検知することができる。しかしながら、単眼カメラでは、車両間の距離を算出する際の車両幅の仮定が実際と異なる場合、実際の距離に対して誤差が生じてしまうといった問題がある。それに対して、ステレオカメラでは、車両幅に関係なく視差から車両間の距離を算出することができることから、近距離領域においては実際の距離に対して誤差が生じにくいといった利点がある。
そこで、ステレオカメラの一方の撮像手段によって得られた画像を用いて単眼カメラでの距離算出手法によって車両間等の距離を算出し、ステレオカメラで検知することができない遠距離領域ではこの距離を出力すると共に、それよりも近距離領域では精度の良いステレオカメラによる車両間等の距離を出力することで、検知距離を長くして例えば車両同士の相対速度が大きな場合でも車両同士の衝突を回避することができる。
ところで、単眼カメラを用いて算出した車両間の距離に誤差が生じていて、ステレオカメラを用いて算出した車両間の距離との間に差が発生している場合、これらの距離を用いて車両の走行制御等を実行して車間制御を行う際に単眼カメラを用いて算出した距離とステレオカメラを用いて算出した距離を単に切り替えると、車両間距離がステップ的に急変して制御結果が悪化するといった問題がある。
このような問題に対して、特許文献1,2には、1つの検知手段で得られる情報から別の検知手段で得られる情報へ車両情報を切り替える際に、予め設定された過渡時間をかけて漸次的に車両情報を収束させる装置が開示されている。
特開2005−258570号公報 特開2002−32899公報
特許文献1,2に開示されている装置によれば、車両情報を切り替える際に予め設定された過渡時間をかけて漸次的に車両情報を切り替えることで、異なる撮像手段あるいは検知手段を用いて算出された距離の間に誤差が発生している場合にも、車両間距離のステップ的な急変を抑制して、ドライバにとって違和感の少ない車両制御を行うことができる。
しかしながら、特許文献1,2に開示されている装置においては、予め設定された固定の過渡時間をかけて漸次的に車両情報を収束させているため、検知対象(他車両等のターゲット)との相対速度が大きい場合には、車両情報の切り替えが完了する前にその検知対象と衝突してしまい、車両制御が適切に行われないといった課題がある。具体的には、ある車両情報から異なる車両情報へ車両情報を切り替える前の自車両と検知対象との距離が車両情報を切り替えた後の距離よりも長い場合には、実際の自車両と検知対象との距離が近いにも関わらず、当該車両は検知対象が遠くにあると判断してしまい、車両制御が遅れて衝突してしまう可能性がある。一方で、この車両制御の遅れを解消するために過渡時間を短くすると、自車両と検知対象との相対速度が小さい場合におけるACC制御等が不自然となってしまうといった課題が生じる。
本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、上記するような相反する事象を適切に処理し、ある車両情報から異なる車両情報への車両情報の切り替えを適切に行い、走行時の車両制御を適切に行うことができる物体検知装置を提供することにある。
上記する課題を解決するために、本発明に係る物体検知装置は、複数の検知手段を有し、該複数の検知手段を用いて複数の他車両情報を取得する他車両情報取得手段と、前記他車両情報取得手段の異なる検知手段によって取得された複数の他車両情報を所定の同定条件に基づいて同定処理する同定処理手段と、前記同定処理手段で同一車両と判定された複数の他車両情報のうちのいずれかを前記検知手段の他車両情報検知精度に基づいて選択する情報選択手段と、を備える物体検知手段であって、前記情報選択手段は、選択された他車両情報を、他車両との相対速度と相対距離に基づく過渡時間で前記同定処理手段で同一車両と判定された他の他車両情報へ切り替えることを特徴とする。
本発明の物体検知装置によれば、例えば相対距離を相対速度で除して得られる衝突余裕時間(TTC:Time to Collision)が長い場合には検知手段を用いて得られる他車両情報の切り替え時間を長くし、TTCが短い場合には検出手段を用いて得られる他車両情報の切り替え時間を短くすることができ、ACC(Auto Cruise Control)のように先行車との相対速度や相対距離の急な変動が発生すると車両制御に違和感が生じる制御アプリケーションにおいてはそのような車両制御の違和感を少なくすることができ、CMS(Collision Mitigation brake System)のように早急に真値に近いターゲット(他車両等)情報が要求される制御アプリケーションにおいては車両制御に対して遅れのないターゲット情報を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明に係る物体検知装置の一実施形態が適用された車両を概略的に示す全体斜視図。 本発明に係る物体検知装置の一実施形態を示す全体構成図。 図2に示す物体検知装置の同定処理手段の処理フローを示すフロー図。 HitMissテーブルの基本構成を示す図。 同定処理手段にて一旦同一であると判定された場合の再度の同定処理判定におけるM,Nの設定の一例を示す図であり、(a)は再度の同定処理判定で使用する過去のフレーム数を同一であると判定したときのNの値よりも大きくした図、(b)は再度の同定処理判定で使用するHit数を同一であると判定したときのMの値よりも小さくした図。 他車両情報の切り替え時間の一例を示す図。 他車両との相対速度が小さい場合の出力結果の一例を示す図。 他車両との相対速度が大きく、且つ、単眼画像処理手段による相対距離が相対的に大きく算出されている場合の出力結果の一例を示す図。 他車両との相対速度が大きく、且つ、単眼画像処理手段による相対距離が相対的に小さく算出されている場合の出力結果の一例を示す図。
以下、本発明に係る物体検知装置の実施の形態を図面を参照して説明する。
図1は、本発明に係る物体検知装置の一実施形態が適用された車両を概略的に示したものである。
図示する車両100には物体検知装置101(図2参照)が搭載されており、この物体検知装置101を構成する2つの撮像手段(カメラ)102,103が車両100の前方へ向けて当該車両100の所定の位置(図中、車両100のルームミラー100A)に横方向に並べて配置されている。なお、物体検知装置101を構成するその他の手段は、車両100の所定の位置に搭載されたコントロールユニット100Bに内蔵されたマイクロコンピュータ(不図示)に収容されている。また、2つの撮像手段102,103とコントロールユニット100Bは接続線(不図示)で接続されており、撮像手段102,103によって取得した画像は、接続線を介してコントロールユニット100Bへ送信されるようになっている。
図2は、本発明に係る物体検知装置の一実施形態を示したものである。なお、本実施形態においては、2つの撮像手段(カメラ)を使用し、他車両情報を取得するための複数の検知手段として、2つの撮像手段のうちの一方の撮像手段(単眼カメラ)からなる検知手段と、前記2つの撮像手段(ステレオカメラ)からなる検知手段と、を使用した。
図示する物体検知装置101は、2つの検知手段105,107のそれぞれから他車両情報を取得する他車両情報取得手段108と、他車両情報取得手段108の異なる検知手段105,107によって取得された他車両情報が同一の他車両によるものか否かを所定の同定条件に基づいて判定(同定処理)する同定処理手段109と、同定処理手段109で同一他車両と判定された2つの検知手段105,107による他車両情報(例えば、相対速度や相対位置等)のうちのいずれかを検知手段105,107の検知精度に基づいて選択すると共に、他車両情報や検知手段105,107の検知精度に応じてその選択された他車両情報を前記同定処理手段109で同一他車両と判定された他の他車両情報へ切り替える選択処理手段110と、から大略構成されている。ここで、他車両情報取得手段108の検知手段105は、2つの撮像手段102,103とステレオ画像処理手段104とから構成され、検知手段107は、撮像手段103と単眼画像処理手段106とから構成されている。なお、選択処理手段110で選択された他車両情報はコントローラ111に送信されて衝突回避等のための車両制御等に使用される。
上記する検知手段105は、2つの撮像手段102、103によって2つの画像を取得し、その2つの画像をステレオ画像処理手段104へ送信し、このステレオ画像処理手段104において、2つの画像からそれぞれ自車両の前方を走行する他車両の画像上での位置を抽出し、該抽出された他車両の位置の2つの画像の視差から三角測量の原理等を用いて自車両から他車両までの距離を計測する。また、このように算出した車両間の相対距離の前回値と今回値の微分値、あるいは前回車両画像と今回車両画像の拡大率や車両間距離等から、車両間の相対速度を算出する。なお、三角測量の原理等を用いて自車両から他車両までの距離を計測する場合には、2つの撮像手段102,103における同一他車両画像の視差より、当該車両100からその前方を走行する他車両までの距離を算出することができる。
また、検知手段107は、1つの撮像手段103によって1つの画像を取得し、その1つの画像を単眼画像処理手段106へ送信し、この単眼画像処理手段106において、その画像から自車両の前方を走行する他車両の画像上での位置を抽出し、抽出された他車両の車両幅を一般的な車両の大きさ(例えば、1.7m)と仮定して、得られた他車両の画像上での幅とカメラの焦点距離と画像素子のサイズから、相似の関係を用いて自車両に対する他車両の位置を特定する。また、検知手段105と同様に、このように算出した車両間の相対距離の前回値と今回値の微分値、あるいは前回車両画像と今回車両画像の拡大率や車両間距離等から、車両間の相対速度を算出する。
ここで、検知手段105は、画像の視差から自車両から他車両までの距離を算出するため、近距離においては視差が大きく、実際の車両間距離に対する誤差は小さくなる。しかしながら、自車両から他車両までの距離が遠い場合には視差が極めて小さくなり、実際の車両間距離に対する誤差が極端に大きくなる。したがって、このステレオカメラを用いた検知手段105は一般に遠距離での距離計測には適用されない。
一方で、検知手段107は、画像上の幅から自車両から他車両までの距離を算出するため、画像上で車両が特定できる範囲であれば車両間の距離計測が可能となり、自車両から他車両までの距離が遠い場合でも車両間の距離計測を行うができる。しかしながら、この検知手段107は車両幅を仮定しているため、例えばその仮定よりも小さな車両幅を有する他車両の場合には、実際よりも近くの距離として自車両から他車両までの距離が算出され、その仮定よりも大きな車両幅を有する車両の場合は、実際よりも遠くの距離として算出されてしまう。したがって、この検知手段107は、上記する検知手段105と比較して実際の車両間距離に対する誤差が大きくなる傾向にある。
図3は、図2に示す物体検知装置101の同定処理手段109の処理フローを示したものであり、この同定処理手段109は、上記するような異なる特性を有する検知手段105,107から得られるそれぞれの自車両前方の画像上での他車両の位置や相対速度について、それらの他車両情報が同一の他車両によるものかどうかを判定するものである。
具体的には、まず、他車両の位置と相対速度のそれぞれの他車両情報について、過去Nフレーム分の大きさで、検知手段105,107から送信されるそれぞれの他車両情報が一致したか否かをHit(一致)とMiss(不一致)で表すHitMiss値を保持するための図4に示すようなHitMissテーブル(バッファ)を用意する。なお、HitMissテーブルのフレーム間隔は例えば検知手段の処理周期とすることができる。次いで、検知手段105で算出された画像上での他車両の位置等(例えば、画像上での他車両中心の横方向位置や車両幅)と、検知手段107で算出された画像上での他車両の位置等との差分が閾値(実験的に求める)以内か否かを判定する(S202)。例えば、ステレオカメラの計測誤差をα(m)、単眼カメラの計測誤差をβ(m)としたときに、他車両の位置との差分が−α−β(m)(下限閾値)以上且つα+β(m)(上限閾値)以下であるか否かを判定する。
その差分が閾値以内である場合には、他車両の位置用のHitMissテーブルの今回値(現在値)にHitを入力する(S204)。また、その差分が閾値外である場合には、他車両の位置用のHitMissテーブルの今回値(現在値)にMissを入力する(S203)。ここで、次のフレームでHitMiss値をHitMissテーブルに入力する際には、過去値をすべて1つずつ過去のフレームにずらしてHitMissテーブルの過去値を更新し、今回の値をHitMissテーブルに入力する(S201)。すなわち、過去Nフレーム分のHitMissの履歴はHitMissテーブルに保存しておく。なお、車両間の相対速度についても同様に閾値を設け、過去Nフレーム分のHitMissの履歴はHitMissテーブルに保存しておく。
上記手順で作成した画像上での他車両の位置と相対速度用のHitMissテーブルそれぞれについて、過去Nフレーム中にMフレーム(実験的に求める)以上、Hitがあるか否かを判定する(S205)。Mフレーム以上にHitがあると判定した場合には、検知手段105,107のそれぞれの他車両情報について同一の他車両によるものと判定する(S206)。また、Hitの数がMフレームよりも少ない場合には、検知手段105,107のそれぞれの他車両情報について同一の他車両によるものでないと判定する(S207)。これにより、ノイズ(例えば、影や水滴)等によって他車両を検知できなかったフレームがあった場合でも、過去Nフレーム分のHitMiss値を考慮して判定することができ、ノイズに強い同定処理を行うことができる。なお、このMやNの基数は、それぞれのHitMissテーブル毎に設定することができる。
実際には、ステレオカメラや単眼カメラを使用した場合、カメラの撮影フレーム間をトラッキングすることで上記のようなノイズ等によって他車両を検知できなかった場合を繋ぐことができる。また、本実施形態では検知手段105,107で共通する撮像手段103を使用しており、異なる車両が同じ画面上の位置に出現することが極めて少ないため、この同定処理を簡素化するためにM=1、N=1とし、現フレームのみで同一の他車両によるものか否かを判定することができる。一方で、異なる撮像手段を使用する場合には、検知される対象が異なる場合があるため、判定確度を維持するためにMとNの値を実験的に求める必要がある。
ここで、一旦、同一と判定された後、例えば、他車両が自車両から離間していき、ステレオ画像処理手段104で求めることができない距離まで他車両が到達した際に、上記同定処理と同じ値のMとNで再度一致していないか否かを判定すると、ステレオ画像処理手段104で求めることができなくなった遠方の距離前後では、他車両情報が同一と判定されたり、同一でないと判定されたりして、その判定結果が連続的に切り替わることがある。そのため、本実施形態においては、一旦同一であると判定された場合に、再度の同定処理の判定において同一でないという判定を行うためのMとNの値を別途設け、これを用いて同定処理の判定を行う。
具体的には、一旦同一であると判定された場合の再度の同定処理の判定において、例えばHit数Mは変更せず、その判定で使用する過去のフレーム数を同一であると判定したときのNの値より大きくする(図5(a)参照)。あるいは、例えばフレーム数Nは変更せず、その再度の判定で使用するHit数を同一であると判定したときのMの値よりも小さくする(図5(b)参照)。これにより、同定処理の判定にヒステリシスを持たせることができ、判定結果が連続的に切り替わることを抑制することができる。例えば、上記するように同一であると判定する際のMとNを共に「1」と設定した場合には、同一でないと判定させるNの値を「5」と設定することで、ステレオ画像処理手段104で車両間の相対距離を精緻に求められなくなった十分に離れた距離で、単眼画像処理手段106のみで車両間の相対距離を求めることができ、判定結果が連続的に切り替わることを容易に抑制することができる。
なお、以上の同定処理において最終的に同一と判定されなかった、すなわち、検知手段105,107の片方のみでしか検知されなかった他車両情報については、同定していない他車両情報として次の処理へ受け渡すものとする。
図2に示す選択処理手段110は、異なる検知手段105,107から取得され、上記する同定処理手段109で同一と判定された自車両前方の他車両との相対位置や相対速度の他車両情報のうちのいずれかを、検知手段105,107の他車両情報検知精度に応じて選択する。
ステレオ画像処理手段104によって得られる車両間の相対位置精度と単眼画像処理手段106によって得られる車両間の相対位置精度について説明すると、上記したように、ステレオ画像処理手段104によって算出された相対位置精度の方が単眼画像処理手段106によって算出された相対位置精度よりも相対的に高い。そのため、ステレオ画像処理手段104によって算出された相対位置と単眼画像処理106によって算出された相対位置が共に存在する場合には、選択処理手段110は、ステレオ画像処理手段104によって算出された相対位置を選択する。また、車両間の相対速度は相対位置から算出されるため、自車両と他車両との相対速度についても、ステレオ画像処理手段104によって算出された相対速度精度の方が単眼画像処理手段106によって算出された相対速度精度よりも相対的に高い。そのため、ステレオ画像処理手段104によって算出された相対速度と単眼画像処理手段106によって算出された相対速度が共に存在する場合には、選択処理手段110は、ステレオ画像処理手段104によって算出された相対速度を選択する。そして、これら選択した相対位置や相対速度の他車両情報をコントローラ111へ送信する。
なお、選択処理手段110は、同定していない他車両情報については選択処理を行わず、そのままコントローラ111へ送信する。
ここで、他車両がステレオ画像処理手段104で車両間の相対距離を求められる範囲外に離間した場合には、選択処理手段110によって選択される他車両情報が、ステレオ画像処理手段104によって算出される相対距離から単眼画像処理手段106によって算出される相対距離へ切り替わったり、あるいはステレオ画像処理手段104で車両間の相対距離を求められる範囲内に他車両が接近してきた場合には、選択処理手段110によって選択される他車両情報が、単眼画像処理手段106によって算出される相対距離からステレオ画像処理手段104によって算出される相対距離へ切り替わったりする。そこで、本実施形態の物体検知装置101では、ステレオ画像処理手段104によって算出される相対速度と相対距離から衝突余裕時間(TTC)を算出し、その時間幅に応じて一方の他車両情報から他方の他車両情報へ他車両情報を切り替える時間(切り替え時間や過渡時間ともいう。)を設定する。なお、衝突余裕時間(TTC)は、相対距離を相対速度で除して得ることができる。
図6は、他車両情報の切り替え時間の一例を示したものである。
図示するように、車両同士が接近する場合であっても算出されたTTCが所定の値よりも大きい場合や、車両同士が離間する場合には他車両情報の切り替え時間を長くし、算出されたTTCが所定の値よりも小さい場合には他車両情報の切り替え時間を短くする。例えば車両の制御判断に必要な時間を2秒とすると、TTCが2秒以下の場合には他車両情報を適切な他車両情報へすぐに切り替える、すなわち他車両情報の切り替え時間を0秒と設定する。また、相対速度が大きい場合や相対距離が近い場合には、上記する同定判定手段109で使用するNの値を小さくして同定処理に要する時間を短くすることができる。また、TTCが2秒以上の場合には、TTCから2秒を引いた過渡時間で他車両情報を適切な他車両情報へ切り替える、すなわちTTCから2秒を引いた時間を他車両情報の切り替え時間に設定する。さらに、切り替え時間が長過ぎるとステレオ画像処理手段104によって算出された相対距離への収束が遅くなるため、他車両情報の切り替え時間は最大でも2秒となるように設定する。なお、車両同士が離間する場合(TTCがマイナスの値)には、車両制御への影響が少ないため、例えば他車両情報の切り替え時間を2秒で一定することができる。
図7を参照して他車両情報の具体的な切り替え方法について説明すると、本実施形態の物体検知装置101では、ステレオ画像処理手段104によって算出された相対距離をDst、単眼画像処理手段106によって算出された相対距離をDmo、切り替え時間(過渡時間)をTc、切り替え開始時刻をT0、現在時刻をTとすると、以下の式(1),(2)に基づいて、ステレオ画像処理手段104と単眼画像処理手段106とによって算出される相対距離の差を補間する補間相対距離Dipと、最終的に車両制御等で使用するための最終出力相対距離Doutを出力する。
Figure 2013114606
Figure 2013114606
なお、Dmo[T0]とDst[T0]はそれぞれ時刻T0における相対距離Dmo,Dstを意味しており、Dst[T]は時刻Tにおける相対距離Dstを意味している。なお、図示するように、切り替え開始時刻T0よりも以前では車両間の相対距離が遠いため、ステレオカメラを用いたステレオ画像処理手段104によっては相対距離が算出されていない。
上記する式(1),(2)によれば、時刻TがT0からT0+Tcまで変化すると、補間相対距離DipはDmo[T0]―Dst[T0]から0まで変化し、図7に示すように、最終出力相対距離Doutは、切り替え時間(過渡時間)Tcの間にDmo[T0]からDst[T0+Tc]まで漸次的に変化する。
なお、この最終出力相対距離Doutはコントローラ111へ送信されて車両制御等で使用される。また、車両間の相対速度についても同様の処理が行われ、車両制御等で使用するための最終出力相対速度Voutがコントローラ111へ送信される。
このような構成とすることで、例えばTTCが相対的に大きい場合には、図7で示すような単眼画像処理手段106によって算出される相対距離からステレオ画像処理手段104によって算出される相対距離への他車両情報の切り替えを行うことができ、急な相対距離や相対速度の変動のない情報をコントローラ111へ送信することができるため、ドライバにとって違和感の少ない車両制御を行うことができる。
また、TTCが相対的に小さい場合には、図6に基づき説明したように他車両情報の切り替え時間(過渡時間)を0秒とすることで、図8に示すように、他車両情報の切り替えをすぐに行うことができる(図中、時刻T0において単眼画像処理手段106によって算出される相対距離からステレオ画像処理手段104によって算出される相対距離へ切り替えられる)ため、応答性が良く、切り替えによる遅れのない情報をコントローラ111へ送信することができ、衝突等に対して遅れのない車両制御を行うことができる。
また、単眼画像処理手段106によって算出される相対距離からステレオ画像処理手段104によって算出される相対距離へ他車両情報を切り替える際に、仮に単眼画像処理手段106によって算出された相対距離がステレオ画像処理手段104によって算出された相対距離よりも近い場合には、図9に示すように、ステレオ画像処理手段104によって算出された相対距離が、他車両情報の切り替えを開始した時刻(T0)の単眼画像処理手段106によって算出された相対距離以下となるまで、切り替えを開始した時刻(T0)の単眼画像処理手段106によって算出された相対距離を出力し続ける。これにより、急に車両同士の相対距離が遠くなったと判断されて車両制御が一時的に解除されてしまうことを防止することができる。
以上より、本実施形態の物体検知手段101によれば、TTCが所定の値よりも大きい場合には、複数の検知手段によって取得され、同定処理手段で同一他車両と判定された他車両情報の切り替え時間を長くし、TTCが所定の値よりも小さい場合には、複数の検知手段によって取得され、同定処理手段で同一他車両と判定された他車両情報の切り替え時間を短くすることができ、ACCのように先行車との相対速度や相対距離の急な変動が発生すると車両制御に違和感が生じる制御アプリケーションにおいては車両制御の違和感を少なくすることができ、CMSのように早急に真値に近いターゲット(他車両等)情報が要求される制御アプリケーションにおいては車両制御に対して遅れのないターゲット情報を提供することができる。
なお、本実施形態では、複数の検知手段として、ステレオカメラと単眼カメラを用いた実施形態について説明したが、検知手段はこれに限定されるものではなく、例えば、GPSと通信機を備えた車両同士の位置の差分を用いた検出手段や、ミリ波レーダ等の検知手段を用いてもよい。
また、本実施形態では、検知手段として2つの検知手段を用いた実施形態について説明したが、3つ以上の検知手段を適用した場合でも各検知手段の他車両情報の検知精度によって適切な他車両情報を選択して車両制御に使用することができる。
また、本実施形態では、共通する撮像手段103を用いたステレオ画像処理手段104と単眼画像処理手段106による検知手段を適用することで、同定処理手段109におけるMとNの値をすぐに同一と判定することのできるM=1,N=1とすることができることを説明したが、例えば、ミリ波レーダと単眼カメラのように特性の大きく異なる検知手段を用いた場合には、同定処理手段で使用するこのM,Nの値も、切り替え時間と同様に、相対速度及び/又は相対位置に応じて変更することができる。例えば、相対速度と相対位置から算出されるTTCが大きい場合には、MとNを実験的に最適に規定した値を使用し、TTCが小さい場合には、MとNの値を実験的に最適に規定した値よりも小さくする。これにより、すぐに他車両情報が同一の他車両によるものか否かを判定し、その判定結果をコントローラ111へ早期に送信することができるため、車両制御の応答性を更に高めることができる。
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記憶装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
101:物体検知装置
102,103:撮像手段
104:ステレオ画像処理手段
105、107:検知手段
106:単眼画像処理手段
108:他車両情報取得手段
109:同定処理手段
110:選択処理手段
111:コントローラ

Claims (4)

  1. 複数の検知手段を有し、該複数の検知手段を用いて複数の他車両情報を取得する他車両情報取得手段と、
    前記他車両情報取得手段の異なる検知手段によって取得された複数の他車両情報を所定の同定条件に基づいて同定処理する同定処理手段と、
    前記同定処理手段で同一車両と判定された複数の他車両情報のうちのいずれかを前記検知手段の他車両情報検知精度に基づいて選択する情報選択手段と、を備える物体検知手段であって、
    前記情報選択手段は、選択された他車両情報を、他車両との相対速度と相対距離に基づく過渡時間で前記同定処理手段で同一車両と判定された他の他車両情報へ切り替えることを特徴とする物体検知装置。
  2. 前記同定処理手段は、他車両との相対速度及び/又は相対距離に応じて前記同定条件を変更することを特徴とする請求項1に記載の物体検知装置。
  3. 他車両との相対速度と相対距離に基づく前記過度時間は、相対距離を相対速度で除して得られる衝突余裕時間であることを特徴とする請求項1又は2に記載の物体検知装置。
  4. 前記複数の検知手段は、少なくとも単眼カメラとステレオカメラから構成されていることを特徴とする請求項1から3のいずれか一項に記載の物体検知装置。
JP2011262666A 2011-11-30 2011-11-30 物体検知装置 Active JP5727356B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011262666A JP5727356B2 (ja) 2011-11-30 2011-11-30 物体検知装置
US14/360,180 US9734415B2 (en) 2011-11-30 2012-11-05 Object detection system
EP12854243.8A EP2787496B1 (en) 2011-11-30 2012-11-05 Object detection device
PCT/JP2012/078559 WO2013080745A1 (ja) 2011-11-30 2012-11-05 物体検知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011262666A JP5727356B2 (ja) 2011-11-30 2011-11-30 物体検知装置

Publications (2)

Publication Number Publication Date
JP2013114606A true JP2013114606A (ja) 2013-06-10
JP5727356B2 JP5727356B2 (ja) 2015-06-03

Family

ID=48535213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011262666A Active JP5727356B2 (ja) 2011-11-30 2011-11-30 物体検知装置

Country Status (4)

Country Link
US (1) US9734415B2 (ja)
EP (1) EP2787496B1 (ja)
JP (1) JP5727356B2 (ja)
WO (1) WO2013080745A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015151458A1 (ja) * 2014-03-31 2015-10-08 株式会社デンソー 車載システム及び車載プログラム
WO2015174178A1 (ja) * 2014-05-15 2015-11-19 本田技研工業株式会社 移動支援装置
CN105522998A (zh) * 2014-10-15 2016-04-27 本田技研工业株式会社 物体识别装置
JP2016206717A (ja) * 2015-04-15 2016-12-08 日産自動車株式会社 物体検出装置及び物体検出方法
JP2016205953A (ja) * 2015-04-21 2016-12-08 日産自動車株式会社 物体検出装置及び物体検出方法
JP2020024562A (ja) * 2018-08-07 2020-02-13 本田技研工業株式会社 物体認識装置、車両制御装置、物体認識方法、およびプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5809653B2 (ja) * 2013-02-28 2015-11-11 富士フイルム株式会社 車間距離算出装置およびその動作制御方法
WO2014192369A1 (ja) * 2013-05-31 2014-12-04 日立オートモティブシステムズ株式会社 車両用危険報知制御装置
KR101480652B1 (ko) * 2013-12-11 2015-01-09 현대자동차주식회사 차선 변경 제어 장치 및 그 변경 제어 방법
WO2016039077A1 (ja) * 2014-09-11 2016-03-17 日立オートモティブシステムズ株式会社 画像処理装置
US9886856B2 (en) * 2014-12-04 2018-02-06 Here Global B.V. Near miss system
CN108602465B (zh) * 2016-01-28 2021-08-17 鸿海精密工业股份有限公司 车辆用图像显示系统及搭载了该图像显示系统的车辆
US11280606B2 (en) 2016-03-04 2022-03-22 Canon Kabushiki Kaisha Moving object and ranging apparatus capable of acquiring image and high-accurately measuring distance
US10690495B2 (en) 2016-03-14 2020-06-23 Canon Kabushiki Kaisha Ranging apparatus and moving object capable of high-accuracy ranging

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032899A (ja) * 2000-07-17 2002-01-31 Honda Motor Co Ltd 移動体用の物体検知装置
JP2003061075A (ja) * 2001-08-09 2003-02-28 Matsushita Electric Ind Co Ltd 物体追跡装置、物体追跡方法および侵入者監視システム
JP2005258570A (ja) * 2004-03-09 2005-09-22 Fuji Heavy Ind Ltd 車両用運転支援装置
JP2007232410A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 物標検出装置および物標検出方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04195600A (ja) * 1990-11-28 1992-07-15 Toyota Motor Corp 車載用測距装置
US7983802B2 (en) * 1997-10-22 2011-07-19 Intelligent Technologies International, Inc. Vehicular environment scanning techniques
JP3915746B2 (ja) * 2003-07-01 2007-05-16 日産自動車株式会社 車両用外界認識装置
GB0321560D0 (en) * 2003-09-15 2003-10-15 Trw Ltd Target detection apparatus for vehicles
JP4193765B2 (ja) * 2004-01-28 2008-12-10 トヨタ自動車株式会社 車両用走行支援装置
JP2007034477A (ja) * 2005-07-25 2007-02-08 Mazda Motor Corp 車両用走行支援装置
CA2674830A1 (en) * 2007-01-05 2008-07-17 Nestor, Inc. Video speed detection system
JP4337929B2 (ja) * 2007-12-25 2009-09-30 トヨタ自動車株式会社 移動状態推定装置
JP5066478B2 (ja) * 2008-04-22 2012-11-07 富士重工業株式会社 車両の運転支援装置
JP4678611B2 (ja) * 2008-06-05 2011-04-27 トヨタ自動車株式会社 障害物検出装置および障害物検出システム
JP4680294B2 (ja) * 2008-12-26 2011-05-11 トヨタ自動車株式会社 物体検出装置および物体検出方法
DE102009016580A1 (de) * 2009-04-06 2010-10-07 Hella Kgaa Hueck & Co. Datenverarbeitungssystem und Verfahren zum Bereitstellen mindestens einer Fahrerassistenzfunktion
JP5105213B2 (ja) * 2009-05-07 2012-12-26 トヨタ自動車株式会社 距離検出装置、及び、衝突判定装置
US8571786B2 (en) * 2009-06-02 2013-10-29 Toyota Jidosha Kabushiki Kaisha Vehicular peripheral surveillance device
US8305254B2 (en) * 2009-09-28 2012-11-06 Toyota Jidosha Kabushiki Kaisha Object detecting apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032899A (ja) * 2000-07-17 2002-01-31 Honda Motor Co Ltd 移動体用の物体検知装置
JP2003061075A (ja) * 2001-08-09 2003-02-28 Matsushita Electric Ind Co Ltd 物体追跡装置、物体追跡方法および侵入者監視システム
JP2005258570A (ja) * 2004-03-09 2005-09-22 Fuji Heavy Ind Ltd 車両用運転支援装置
JP2007232410A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 物標検出装置および物標検出方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015151458A1 (ja) * 2014-03-31 2015-10-08 株式会社デンソー 車載システム及び車載プログラム
WO2015174178A1 (ja) * 2014-05-15 2015-11-19 本田技研工業株式会社 移動支援装置
JPWO2015174178A1 (ja) * 2014-05-15 2017-04-20 本田技研工業株式会社 移動支援装置
CN105522998A (zh) * 2014-10-15 2016-04-27 本田技研工业株式会社 物体识别装置
JP2016081202A (ja) * 2014-10-15 2016-05-16 本田技研工業株式会社 物体認識装置
US9797734B2 (en) 2014-10-15 2017-10-24 Honda Motor Co., Ltd. Object recognition apparatus
JP2016206717A (ja) * 2015-04-15 2016-12-08 日産自動車株式会社 物体検出装置及び物体検出方法
JP2016205953A (ja) * 2015-04-21 2016-12-08 日産自動車株式会社 物体検出装置及び物体検出方法
JP2020024562A (ja) * 2018-08-07 2020-02-13 本田技研工業株式会社 物体認識装置、車両制御装置、物体認識方法、およびプログラム
JP7027279B2 (ja) 2018-08-07 2022-03-01 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム

Also Published As

Publication number Publication date
JP5727356B2 (ja) 2015-06-03
US20150092988A1 (en) 2015-04-02
US9734415B2 (en) 2017-08-15
EP2787496B1 (en) 2017-06-14
EP2787496A4 (en) 2015-06-17
WO2013080745A1 (ja) 2013-06-06
EP2787496A1 (en) 2014-10-08

Similar Documents

Publication Publication Date Title
JP5727356B2 (ja) 物体検知装置
JP6208244B2 (ja) 物体検知装置
US9457809B2 (en) Collision possibility determination apparatus, drive assist apparatus, collision possibility determination method, and collision possibility determination program
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
JP6363519B2 (ja) 車両制御装置
JP6694067B2 (ja) 物体検知装置及びそれを備えた車両制御システム
JP2016103223A (ja) 車両制御装置
JP2016085633A (ja) 対象物識別装置、運転支援システム、車両および対象物識別方法
KR20190051601A (ko) 차량의 센서 데이터 연계 장치 및 방법
KR102304851B1 (ko) Ecu, 상기 ecu를 포함하는 무인 자율 주행 차량, 및 이의 주변 차량 인지 방법
US20190256063A1 (en) Deceleration determination device and non-transitory computer readable storage medium for storing program thereof
JP2013054399A (ja) 車両周辺監視装置
JP2014238409A (ja) 距離算出装置及び距離算出方法
JP6834020B2 (ja) 物体認識装置および物体認識方法
JP6735801B2 (ja) 物体認識装置およびこれを用いた車両制御装置並びに物体認識方法およびこれを用いた車両制御方法
JP7146433B2 (ja) 衝突判定装置
JP2021009487A (ja) 情報処理装置及び車載システム
US20230004169A1 (en) Apparatus and Method for Controlling Mobile Body
WO2023013110A1 (ja) 外界認識装置
JP7236556B2 (ja) 物体検知装置および物体検知プログラム
JP2018185763A (ja) 注視領域推定装置
JP6877636B2 (ja) 車載カメラ装置
JP2020177457A (ja) 物標検出装置、物標検出方法、及び運転支援システム
JP2021026350A (ja) 情報処理装置、撮像装置、移動体、データ処理方法およびプログラム
JP2021064158A (ja) 物体検知装置、物体検知方法、および物体検知プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150402

R150 Certificate of patent or registration of utility model

Ref document number: 5727356

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250