JP2019526781A - 車両環境検知システム用に向上された物体検出及び運動状態推定 - Google Patents

車両環境検知システム用に向上された物体検出及び運動状態推定 Download PDF

Info

Publication number
JP2019526781A
JP2019526781A JP2018562039A JP2018562039A JP2019526781A JP 2019526781 A JP2019526781 A JP 2019526781A JP 2018562039 A JP2018562039 A JP 2018562039A JP 2018562039 A JP2018562039 A JP 2018562039A JP 2019526781 A JP2019526781 A JP 2019526781A
Authority
JP
Japan
Prior art keywords
detection
velocity
radar
component
detections
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018562039A
Other languages
English (en)
Inventor
ケルナー、ドミニク
シュナイダー、ニコラス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Veoneer Sweden AB
Original Assignee
Veoneer Sweden AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Veoneer Sweden AB filed Critical Veoneer Sweden AB
Publication of JP2019526781A publication Critical patent/JP2019526781A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/589Velocity or trajectory determination systems; Sense-of-movement determination systems measuring the velocity vector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示は、車外の物体に対して少なくとも1つの検出(6、6’;12、13;12’、13’)を検知するように構成され、少なくとも1つのレーダシステム(3)と、少なくとも1つのカメラ装置(4)と、少なくとも1つの処理部(5)と、を含む、車両環境検知システム(2)に関する。それぞれのレーダ検出(6;12、13)に対し、レーダシステム(3)は、x軸(7、14)に対する少なくとも1つの方位検出角度(φd、θ1、θ2)及びレーダシステム(3)に対して検出ドップラ速度により構成される検出されたドップラ速度成分(vD;vD1、vD2)が得られる。それぞれの検出に対し、処理部(5)は、−オプティカルフローを構成する少なくとも2つの画像フレームに対し、対応するカメラ検出(6’;12’、13’)を得ることと、−速度y成分vy;vy1’、vy2’をオプティカルフローから決定することであって、y成分vy;vy1’、vy2’は、結果得られる速度vr;vr1、vr2;vr1’、vr2’)を、x軸(7、14)に対して垂直に延びるy軸(9、15)に投影することにより構成されている、ことと、−結果得られる速度vr;vr1、vr2;vr1’、vr2’を、検出されたドップラ速度成分vD;vD1、vD2及び速度y成分vy;vy1、vy2;vr1’、vr2’から決定することと、を行うように構成されている。

Description

本開示の概要
本開示は、車外の物体に対して少なくとも1つの検出を検知するように構成された車両環境検知システムに関する。車両環境検知システムは、少なくとも1つのレーダシステムと、少なくとも1つのカメラ装置と、少なくとも1つの処理部と、を備える。それぞれの検出に対し、レーダシステムは、少なくとも1つの方位検出角度及び検出されたドップラ速度成分を得るように構成されている。
近年、速度制御や衝突防止などの機能を実現するために物体からの反射を検知する目的で、ドップラレーダシステムを車両に搭載する場合がある。こうしたレーダ装置において、目標方位角の形式の方位角、対象物体に対する距離及び車両と対象物体との間の相対速度を得る必要がある。
このようなドップラレーダシステムの多くは、レーダシステムに備えられる適切なアンテナを用いて送信、反射かつ受信される、いわゆるチャープ信号を生成するための手段を含む。チャープ信号は、周波数が連続的に2つの値の間をランピングされる特定の振幅を伴うFMCW(周波数変調連続波:Frequency Modulated Continuous Wave)であり、それによりチャープ信号は、ランプの間に、周波数が第1の低周波数から第2の高周波数まで変化する連続的正弦波の形状となる。開始から終了までの周波数の変化、帯域幅は、例えば、開始周波数の0.5%のオーダーであってもよい。
反射されたレーダエコーによって構成された受信信号は、受信された信号をベースバンド信号に変換するために、送信されたチャープ信号と混合される。これらのベースバンド信号又はIF(中間周波数)信号は、増幅され、受信されたアナログ信号をデジタル信号に変換するように構成されたアナログデジタルコンバータ(ADC)装置に複数のチャネルで転送される。デジタル信号は、受信された信号の位相及び振幅を同時にサンプリングして解析することにより、可能な標的の方位角を検索するために使用される。一般的に、解析は、高速フーリエ変換(FFT)処理により1つ以上のデジタル信号プロセッサ(DSP)で行われる。
検出された相対速度は、車両と物体との間に向けられた半径速度成分としてのみ得られ、他の速度成分は検出されない。また、物体が旋回しているかどうかに依存するヨーレートも、決定対象である。
これにより、歩行者の移動方向及び速度などの原点の二次元速度ベクトルが決定される車両用ドップラレーダシステムのための装置及び方法が必要とされる。平面内の自由度を有する幅のある物体の全運動状態が、例えば、移動方向、速度及び旋回/ヨーレートに決定される車両ドップラレーダシステムのための装置及び方法もまた必要である。速度ベクトルは、速度及び向きの両方を含む。
上記の目的は、車両の外にある少なくとも1つの対応する物体に対して少なくとも1つの検出を検知するように構成されている車両環境検知システムにより達成される。車両環境検知システムは、少なくとも1つのレーダシステムと、少なくとも1つのカメラ装置と、少なくとも1つの処理部と、を備える。それぞれのレーダ検出に対して、レーダシステムは、x軸に対する少なくとも1つの方位検出角度と、レーダシステムに対して検出されたドップラ速度によって構成される検出されたドップラ速度成分と、を得るように構成される。それぞれの検出に対し、処理部は、
−オプティカルフローを構成する少なくとも2つの画像フレームの間、カメラ装置から対応するカメラ検出を得ることと、
−オプティカルフローから速度y成分を決定することであって、速度y成分は、結果得られる速度を、x軸に対して垂直に延びるy軸上に投影することによって構成され、カメラ装置用の開口面軸線を形成することと、
−検出されたドップラ速度成分及び速度y成分から結果得られる速度を決定することと、を行うように構成されている。
上記の目的はまた、車両の外にある物体の少なくとも1つの検出のために結果得られる速度を決定するための方法により達成され、その方法は、
−レーダシステムを用いてx軸に対する少なくとも1つのレーダ検出方位検出角度を得ることと、
−レーダシステムに対して検出されたドップラ速度から構成される、対応する検出ドップラ速度成分を得ることと、を含む。
それぞれの検出に対し、方法は、
−オプティカルフローを構成する少なくとも2つの画像フレームの間、カメラ装置から対応するカメラ検出を得ることと、
−オプティカルフローから速度y成分を決定することであって、速度y成分は、x軸に対して垂直に延びるy軸上に結果得られる速度を投影し、カメラ装置用の開口面軸線を形成することから構成されることと、
−検出されたドップラ速度成分及び速度y成分から結果得られる速度を決定することと、を更に含む。
上記の目的はまた、車両の外にある物体に対して少なくとも1つのレーダ検出を検知するように構成されている車両環境検知システムによって達成される。車両環境検知システムは、少なくとも1つのレーダシステムと、少なくとも1つのカメラ装置と、少なくとも1つの処理部と、を備える。それぞれのレーダ検出に対して、レーダシステムは、x軸に対する少なくとも1つの方位検出角度と、レーダシステムに対して検出されたドップラ速度によって構成される検出されたドップラ速度成分と、を得るように構成される。処理部(5)は、カメラ装置から少なくとも1つのカメラ検出を得るように構成され、レーダ検出の数とカメラ検出の数との合計は、少なくとも3である。車両環境検知システムは、線形方程式系を解くことにより対象物体の二次元運動状態を計算するように構成されている。
Figure 2019526781

式中、vD1...vDNは、それぞれのレーダ検出に対して検出されたドップラ速度成分であり、θ...θは、それぞれのレーダ検出に対して検出された方位検出角度であり、vy1’...vyM’は、それぞれのカメラ検出に対して決定された速度y成分であり、xは、レーダシステムに対するx座標であり、yは、レーダシステムに対するy座標であり、xは、カメラ装置4に対するx位置であり、x’...x’はそれぞれのカメラ検出に対するx座標である。x軸及びy軸の原点に対し、vx0は、速度x成分であり、vy0は、原点速度に対する速度y成分であり、ωは、原点速度に対する角速度であり、二次元運動状態は、原点速度ベクトルと対応する角速度とを含む。
一例によると、カメラ装置は、ステレオカメラである。その際、別の例によると、処理部は、レーダ検出とは独立して全てのステレオカメラ検出を統合するように構成されており、レーダ検出をステレオカメラ検出とは異なることを可能にする。ステレオカメラ装置は、それぞれのステレオカメラ検出にx座標及び速度y成分を提供するように構成され、全てのステレオカメラ検出検知を線形方程式系で統合することを可能にする。
上記の目的はまた、既知の位置での原点速度ベクトルと、車外の対象物体に対する少なくとも1つのレーダ検出に対する角速度と、を含む二次元の運動状態を決定するための方法により達成される。方法は、
−x軸に対する少なくとも1つのレーダ検出方位検出角度を得ることと、
−レーダシステムに対して検出されたドップラ速度から構成される、対応するレーダ検出ドップラ速度成分を得ることと、を含む。
少なくとも1つのレーダ検出のそれぞれに対し、方法は、
−ステレオカメラ装置から少なくとも1つのカメラ検出を得ることであって、レーダ検出の数とカメラ検出の数との合計は、少なくとも3である、ことと、
−それぞれのステレオカメラ検出に対してx座標及び速度y成分を決定することと、
−線形方程式系を解くことによりそれぞれの物体(11)の二次元運動状態を決定することと、を更に含む。
Figure 2019526781
式中、vD1...vDNは、それぞれのレーダ検出に対して検出されたドップラ速度成分であり、θ...θは、それぞれのレーダ検出に対して検出された方位検出角度であり、vy1’...vyM’は、それぞれのカメラ検出に対して決定された速度y成分であり、xは、レーダシステムに対するx座標であり、yは、レーダシステムに対するy座標であり、xは、ステレオカメラ装置に対するx位置であり、x’...x’はそれぞれのカメラ検出に対するx座標である。x軸及びy軸の原点に対し、vx0は、速度x成分であり、vy0は、原点速度に対する速度y成分であり、ωは、原点速度に対する角速度である。
一例によると、方法は、二次元運動状態により、物体の上又は外にある任意の位置上の対応する速度ベクトルを計算することを更に含む。
別の例によると、方法は、レーダ検出から独立して全てのステレオカメラ検出を統合することを更に含み、レーダ検出がステレオカメラ検出とは異なることを可能にする。ステレオカメラ装置は、それぞれのステレオカメラ検出にx座標及び速度y成分を提供するように使用され、全てのステレオカメラ検出検知を線形方程式系に統合することを可能にする。
別の例によると、方法は、
−最も高い検出の数を伴う物体が第1の評価で認識されるように、同じ運動状態を伴う検出の最も大きな群を見つけることと、
−全ての物体が連続的に識別されるような反復法でこれらの検出を除外することと、
−幅のある物体に属さない検出を識別することと、を更に含む。
他の例は、従属請求項において開示されている。
多数の利点は、本開示により得られる。主に、いかなるモデル仮定もなしで、単一の測定サイクルで、幅のある物体の完全な二次元運動状態の直接的な計算が得られる。この解を線形方程式系で直接取得する。
本開示は、添付の図面を参照してより詳細に説明される。
第1の例に係る車両環境検知システムの概略上面図である。 第2の例に係る車両環境検知システムの第1の概略上面図である。 第2の例に係る車両環境検知システムの第2の概略上面図である。 本開示に係る方法のためのフロー図である。 本開示に係る更なる方法のためのフロー図である。
第1の例を示す図1を参照すると、ホスト車両1は、車両環境検知システム2を備え、車両環境検知システムは、レーダシステム3と、カメラ装置4と、処理部5と、を更に備える。ホスト車両1は、あるホスト車両速度vで移動しており、レーダ装置3による検出6において物体30が検出される車両の近傍に物体30が存在する。
検出6は、ここでは車両の速度vと同じ方向に延びる、車両1の前方走行方向に延びるx軸7に対して方位検出角度φを有するとしてレーダシステム3によって検出される。カメラ開口面軸線を形成する垂直方向に延びるy軸9もまた存在する。検出6は、第1の速度成分v及び第2の速度成分vを含む特定の結果得られる速度vを更に有し、第1の速度成分vは、検出されたドップラ速度成分により構成され、第2の速度成分vは、結果得られる速度vをy軸9上に投影した速度y成分により構成される。しかし、レーダシステム3は、第2の速度成分vを検知することができない。
本開示によれば、カメラ装置4は、少なくとも2つのフレームを含むオプティカルフローを検出するように構成され、処理部5は、オプティカルフローから第2の速度成分vを決定するように構成される。処理部5は、第1の速度成分v及び第2の速度成分vから、結果得られる速度vを決定するように更に構成される。
より詳細には、レーダシステム3は、車両1と検出6との間の距離と、同様に、検出6の検出角度φ及びドップラ速度vと、を測定する。検出6の位置は、対応するピクセルの識別を可能にする画像平面に変換される。画像平面において、オプティカルフローは、そのピクセル又はその周辺の領域について計算される。次いで、オプティカルフローは、ワールド座標に逆変換される。次いで、検出のために結果得られる速度vの形態の運動状態が計算される。
カメラ装置5は、モノカメラ又はステレオカメラを含んでもよく、ステレオカメラは、深度情報を伴うシーンフローを提供する。もちろん、任意の数のカメラ装置及びレーダシステムを使用してもよい。複数のレーダセンサを備えた1つのレーダシステムであってもよい。
全般的に、ドップラレーダシステムは、第1の速度成分vを決定することができ、これは主に長手方向の動きに等しい。モノカメラ装置に由来する単一のオプティカルフロー又はステレオカメラ装置に由来するシーンフローは、レーダシステムによって提供される距離/深度情報を用いて任意選択的に改善することができる。このオプティカルフローは、画像領域における横方向運動の正確な推定に使用される。取得された速度情報を組み合わせることは、例えば、他の交通関係者、車両、トラック、自転車など、物体30に属する単一の検出6の動きを1回の測定サイクルで決定する可能性と精度の大幅な向上をもたらし、オプティカルフローには、少なくとも2つのフレームが必要である。
第2の例を示す図2及び図3を参照すると、更に概略的な図が提示され、図2は、x軸14及びy軸15を有する座標系10におけるレーダシステム3の位置x、yを示し、図3は、座標系10におけるカメラ装置4の位置x、yを示す。図2及び図3の両方では、2つの異なるレーダ検出12、13でレーダシステム3によって検知され、結果として幅のある物体を構成する別の車両などの対象物体11がある。カメラ装置は、2つの異なるカメラ検出12’、13’において対象物体11を検知する。この例では、レーダ検出12、13及びカメラ検出12’、13’は、同じ位置にあるが、ステレオカメラ装置の場合、後述するように、これは必要ではない。
第1のレーダ検出12は、第1の検出された方位検出角度θを有する第1のレーダ検出位置x、yを有する(図2の方向の線に対して模式的にのみ示されている)。第1のレーダ検出12はまた、第1の速度x成分vx1及び第1の速度y成分vy1を含む第1の結果得られる速度vr1も有する。これに対応して、第2のレーダ検出13は、第2の検出された方位検出角度θを有する第2のレーダ検出位置x、yを有する(図2の方向の線に対して模式的にのみ示されている。更に、第2のレーダ検出13はまた、第2の速度x成分vx2及び第2の速度y成分vy2を含む第2の結果得られる速度vr2も有する。
座標系の原点を基準にして、第1の結果得られる速度vr1は、vx1、vy1として次のように表される。
Figure 2019526781
式中、vx0は、速度x成分であり、vy0は、座標系10の原点速度vに対する速度y成分であり、ωは、原点速度vに対する角速度である。全般的に、上記方程式(1)は、既知の位置x、yを有する対象物体11上の任意の点Nを保持する。
幅のある物体11の全2D運動状態は、既知の位置における原点速度ベクトルvと角速度、ヨーレート、ωによって表される。この例では、座標系10の原点を基準点として用いる。全般的に、原点速度ベクトルvは、いずれの位置にも変換できるため、いずれの基準点を使用することができる。方程式(1)は、座標系10の原点から第1のレーダ検出位置x、yへの原点速度ベクトルvの変換を表しているため、レーダシステム3の位置x、yから独立している。
その成分がvxS、vySであるレーダシステム3の位置x、yにおけるレーダ速度ベクトルvは、次のように表される。
Figure 2019526781
図2に示すように、レーダシステム3を用いたドップラ測定は、検出位置に対して半径方向に検出されたドップラ速度成分を提供し、第1の検出12には、第1の検出されたドップラ速度成分vD1があり、第2の検出13には、第2の検出されたドップラ速度成分vD2がある。第1の検出されたドップラ速度成分vD1は、次のように表現される。
Figure 2019526781
任意の数Nのレーダ検出を仮定すると、全ての速度成分について方程式(2)と方程式(3)とを組み合わせると、次のようなより一般的な表現となる。
Figure 2019526781
図3に示すように、第2のカメラ検出12’は、第1のカメラ検出位置x’、y’を有し、第1の速度x成分vx1’及び第1の速度y成分vy1’を含む第1の結果得られる速度vr1’を有する。これに対応して、第2のカメラ検出13’は、第2のカメラ検出位置x’、y’を有し、第2の速度x成分vx2’及び第2の速度y成分vy2’を含む第2の結果得られる速度vr2’を有する。第1のカメラ検出位置x’、y’は、任意選択的にレーダシステム3による距離測定のサポートを有するカメラによる測定距離とカメラ装置搭載位置x、yとの合計である。
カメラ装置4は、オプティカルフローによりy軸に投影される横方向速度y成分vy1’、vy2’を提供する。第1の速度y成分vy1’は、次のように表される。
Figure 2019526781
任意の数Nのレーダ検出及び任意の数Mのカメラ検出を仮定すると、全ての速度成分について方程式(4)と方程式(5)とを組み合わせると下式となる。
Figure 2019526781
数N及びMは、好適に選ばれてもよく、それぞれ等しい数及び等しくない数であってもよい。上述したように、運動状態v、原点でのω及び速度ベクトルを物体11のいずれの位置で有することは、方程式(1)を用いて計算できる。
ここで、第1の例と同じ原理を使用して、レーダ検出をカメラ装置からのオプティカルフローと組み合わせる。しかしここでは、同じ物体に属する複数の検出を用いるため、角速度、例えば、ヨーレートを検出することができる。いずれのモデル仮定もなく、幅のある物体の完全な二次元運動状態の直接的な計算が、単一の測定サイクルで得られる。この解を線形方程式系(6)で直接取得する。
直線運動状態、例えば、高速道路上で、ω=0が想定される場合、線形方程式系(6)の第1列、運動状態の第1行を削除することができる。2つの動作パラメータのみを決定することで、精度が上がる。
第1の例のように、カメラ装置5は、モノカメラ又はステレオカメラを含んでもよく、ステレオカメラは、深度情報を伴うシーンフローを提供する。もちろん、任意の数のカメラ装置及びレーダシステムを使用してもよい。複数のレーダセンサを備えた1つのレーダシステムであってもよい。
ステレオカメラ装置が使用される場合、第1の例のように画像領域内のレーダ位置を計算する代わりに、カメラ装置4の全ての検出のシーンフロー/オプティカルフローを直接的に統合することができる。これは、ステレオカメラの全ての検出は、レーダ検出から独立して統合されることを意味し、これによりレーダ検出12、13は、カメラ検出12’、13’と異なることができる。ステレオカメラ装置は、それぞれのステレオカメラ検出12’、13’に対するx座標x’...x’及び速度y成分vy1’...vyM’を直接提供することができ、全ての検出12’、14’を線形方程式系(6)に統合することを可能にする。これは、レーダ検出12、13がカメラ検出12’、13’と同一であり得ると同様に検出12’、13’とは異なり、かつ独立していることがあり得ることを意味する。カメラx座標xは、必須である。
したがって、レーダ検出12、13とは独立して、全てのステレオカメラ検出12’、13’を統合して、レーダ検出12、13をステレオカメラ検出12’、13’とは異なるようにすることが可能である。ステレオカメラ装置4は、それぞれのステレオカメラ検出12’、13’にx座標x’...x’及び速度y成分vy1’...vyM’を提供するように構成され、全てのステレオカメラ検出検知12’、13’を線形方程式系に統合することを可能にする。
ドップラレーダ検出に対する測定空間vDn、θ、n=1...Nを考慮すると、検出されたドップラ速度は、理想的には全ての検出に対する方位角にわたって余弦を行うこととなる。クラッタ、マイクロドップラ又は他の車両は、誤ったドップラ測定を引き起こすことがある。RANSAC(ランダムサンプルコンセンサス)などのロバストなアプローチによって、余弦を形成する全ての検出を見出すことにより、単一の幅のある物体からの全ての検出がグループ化される。RANSACは、外れ値を含む観察データのセットから数学的モデルのパラメータを推測するための一般に知られている反復法である。
これに対応して、オプティカルフローのカメラ装置測定に対して別の測定空間、vyn、x、n=1...Nを考慮すると、速度y成分vynであるオプティカルフローは、全ての検出について、カメラ装置4のx位置xにわたって直線を描く。物体11からの検出を識別することができ、レーダの場合と同様に誤った速度を排除することができる。組み合わせた方程式系(6)を用いて、レーダ装置3及びカメラ装置4に対して組み合わせた適合を行うことで、レーダ情報がカメラ検出の識別に役立つようにし、その逆もまた同様である。
このアプローチにおいて、運動学的距離、「速度差」は、同じ物体11に属する検出12、13を識別するために使用される。したがって、方程式系が構築され、いくつかの態様によれば、同じ運動状態に起因して、幅のある物体11からの検出を見つけるためにランダムサンプルコンセンサス(RANSAC)アルゴリズムが使用される。RANSACは、最も多い検出の数を伴う物体が第1の評価で認識されるように、同じ運動状態を伴う検出の最も大きな群を見つけるように構成される。これらの検出は、除外され、RANSACが再び行われる。続いて、全ての物体の検出が識別され、幅のある物体に属していないエンド検出において識別される。
更に、このアプローチは、セグメンテーション工程後でも使用することができ、誤運動状態を伴う誤ってセグメント化された検出(例えば、レーダからのマイクロドップラ、オプティカルフローからの間違った関連性)が除外される。
図4を参照して、本開示は、車両1の外にある物体11に対する少なくとも1つの検出6;12、13に対して結果得られる速度v;vr1、vr2を決定する方法に関する。方法は、
16:x軸7、14に対する少なくとも1つのレーダ検出方位検出角度φ、θ、θを得ることと、
17:レーダシステム3に対して検出されたドップラ速度により構成される、対応する検出されたドップラ速度成分v;vD1、vD2を得ることと、
18:オプティカルフローを構成する少なくとも2つの画像フレームについて、カメラ装置4から対応する画像ピクセルを得ることと、
19:速度y成分v;vy1、vy2をオプティカルフローから決定することであって、y成分v;vy1、vy2は、結果得られる速度v;vr1’、vr2’をx軸7、14に対して垂直に延びるy軸9、15上への投影することから構成され、カメラ装置4のために開口面軸線を形成することと、20:結果得られる速度v;vr1’、vr2’を、検出されたドップラ速度成分v;vD1、vD2及び速度y成分v;vy1、vy2から決定することと、を含む。
図5を参照して、ステレオカメラが使用されている場合、本開示は、車両の外にある物体11に対する少なくとも1つのレーダ検出12、13について、既知の位置にある原点速度ベクトルv及び対応する角速度ωを含む二次元運動状態を決定する方法に関する。方法は、
21:x軸14に対する少なくとも1つのレーダ検出方位検出角度θ、θを得ることと、
22:レーダシステム3に対して検出されたドップラ速度から構成される、対応するレーダ検出ドップラ速度成分vD1、vD2を得ることと、を含む。少なくとも1つのレーダ検出12、13のそれぞれに対し、方法は、
23:ステレオカメラ装置4から少なくとも1つのカメラ検出12’、13’を得ることであって、レーダ検出12、13の数とカメラ検出12’、13’の数との合計は、少なくとも3であることと、
24:それぞれのステレオカメラ検出12’、13’に対してx座標x’...x’及び速度y成分vy1’...vyM’を決定することと、
25:線形方程式系を解くことにより、それぞれの物体11の二次元運動状態を決定することと、を更に含む。
Figure 2019526781
式中、vD1...vDNは、それぞれのレーダ検出12、13に対して検出されたドップラ速度成分であり、θ...θは、それぞれのレーダ検出12、13に対して検出された方位検出角度であり、vy1’...vyM’は、それぞれのカメラ検出12’、13’に対して検出された速度y成分であり、xは、レーダシステム3に対するx座標であり、yは、レーダシステム3に対するy座標であり、xは、ステレオカメラ装置4に対するx位置であり、x’...x’は、それぞれのカメラ検出12’、13に対するx座標である。x軸14及びy軸15の原点に対し、vx0は、速度x成分であり、vy0は、原点速度vに対する速度y成分であり、ωは、原点速度vに対する角速度である。
本開示は、上記の例に限定されず、添付の特許請求の範囲内で自由に変化してもよい。例えば、レーダシステム2のマイクロ波部分は、既知の設計であると仮定され、レーダシステム2は、図示されていないより多くの部分、例えば、レーダ送信機、レーダ受信機及び受信アンテナアレイを含む。レーダシステム2は、多くの他の部品を更に備えてもよく、例えば、既知の方法で車両1に含まれる警告機器及び/又は情報機器に接続される。
計算及び決定手順は、処理部4によって実行され、処理部4は、多かれ少なかれ独立して異なるタスクを協働又は処理する1つのユニット又は複数のユニットの形態の処理部構成とみなされるべきである。いくつかのユニットの場合に、これらは互いに隣接して又は分散的に配置されてもよい。処理部は、任意の好適な場所、例えば、カメラ装置、レーダシステム又は他の好適な場所に配置することができる。
この例で与えられる全ての詳細は、もちろん本開示の例示としてのみ与えられており、決して限定的であると見なされるべきではない。
いくつかの態様では、カメラ検出12’、13’は、画像ピクセルに対応する。処理部5は、カメラ装置4から少なくとも1つのカメラ検出12’、13’を得るように構成されている。レーダ検出12、13の数とカメラ検出12’、13’の数との合計は、少なくとも3である。
全般的に、本開示は、車両1の外にある対応する物体30、11に対して少なくとも1つの検出6、6’;12、13;12’、13’を検知するように構成された車両環境検知システム2に関し、車両環境検知システム2は、少なくとも1つのレーダシステム3と、少なくとも1つのカメラ装置4と、少なくとも1つの処理部5と、を備え、それぞれのレーダ検出6;12、13に対し、レーダシステム3は、x軸(7、14)に対する少なくとも1つの方位検出角度φ、θ、θ及びレーダシステム3に対して検出されたドップラ速度により構成される、検出されたドップラ速度成分(v;vD1、vD2を得るように構成される。それぞれの検出に対し、処理部5は、
−オプティカルフローを構成する少なくとも2つの画像フレームに対し、カメラ装置4から対応するカメラ検出6’;12’、13’を得ることと、
−速度y成分v;vy1’、vy2’をオプティカルフローから決定することであって、速度y成分v;vy1’、vy2’は、結果得られる速度v;vr1、vr2;vr1’、vr2’をx軸7、14に対して垂直に延びるy軸9、15上に投影することから構成され、カメラ装置4のために開口面軸線を形成することと、
−結果得られる速度v;vr1、vr2;vr1’、vr2’を、検出されたドップラ速度成分v;vD1、vD2及び速度y成分v;vy1、vy2;vr1’、vr2’から決定することと、を行うように構成されている。
一例によると、少なくとも1つのレーダシステム3のそれぞれ1つ及び少なくとも1つのカメラ装置4のそれぞれ1つに対して、車両環境検知システム2は、少なくとも1つのレーダ検出12、13で対象物体11を検出するように構成され、それぞれのレーダ検出12、13は、対応するレーダ検出位置x、y;x、y)を有し、処理部5は、カメラ装置4から少なくとも1つのカメラ検出12’、13’を得るように構成され、レーダ検出12、13の数とカメラ検出12’、13’の数との合計は、少なくとも3であり、更に、車両環境検知システム2は、線形方程式系を解くことにより対象物体11の二次元運動状態を計算するように構成されている。
Figure 2019526781
式中、vD1...vDNは、それぞれのレーダ検出12、13に対して検出されたドップラ速度成分であり、θ...θは、それぞれのレーダ検出12、13に対して検出された方位検出角度であり、vy1’...vyM’は、それぞれのカメラ検出12’、13’に対して決定された速度y成分であり、xは、レーダシステム3に対するx座標であり、yは、レーダシステム3に対するy座標であり、xは、カメラ装置4に対するx位置であり、x’...x’はそれぞれのカメラ検出12’、13’に対するx座標であり、更に、x軸14及びy軸15の原点に対し、vx0は、速度x成分であり、vy0は、原点速度vに対する速度y成分であり、ωは、原点速度vに対する角速度であり、二次元運動状態は、原点速度ベクトルv及び対応する角速度ωを有する。
一例によると、前記車両環境検知システム2は、検出の数が最も高い物体が第1の評価で認識されるように同じ運動状態の検出の最も大きな群を見つけることと、全ての物体の検出が連続的に認識されるように反復的にこれらの検出を除外することと、を行うように構成され、幅のある物体に属さない検出が特定される。
一例によると、カメラ装置は、ステレオカメラである。
全般的に、本開示は、車両1の外にある物体11に対する少なくとも1つの検出6、6’;12、13;12’、13’に対して結果得られる速度v;vr1、vr2を、決定する方法であって、その方法は、
16:レーダシステム3を用いてx軸7、14に対する少なくとも1つのレーダ検出方位検出角度φ、θ、θを得ることと、
17:レーダシステム3に対して検出されたドップラ速度によって構成された対応する検出されたドップラ速度成分v;vD1、vD2を得ることと、を含む。それぞれの検出に対し、方法は、
18:オプティカルフローを構成する少なくとも2つの画像フレームに対し、カメラ装置4から対応するカメラ検出6’;12’、13’を得ることと、
19:速度y成分v;vy1、vy2をオプティカルフローから決定することであって、y成分v;vy1、vy2は、結果得られる速度v;vr1、vr2をx軸7、14に対して垂直に延びるy軸9、15上への投影することから構成され、カメラ装置4のために開口面軸線を形成することと、
20:結果得られる速度v;vr1、vr2を、検出されたドップラ速度成分v;vD1、vD2及び速度y成分v;vy1、vy2から決定することと、を更に含む。
全般的に、本開示はまた、車両1の外にある物体11に対して少なくとも1つのレーダ検出12、13を検知するように構成されている車両環境検知システム2にも関し、車両環境検知システム2は、少なくとも1つのレーダシステム3と、少なくとも1つのカメラ装置4と、少なくとも1つの処理部5と、を備え、それぞれのレーダ検出12、13に対し、レーダシステム3は、x軸7、14に対する方位検出角度φ、θ、θ及びレーダシステム3に対して検出されたドップラ速度から構成される検出されたドップラ速度成分vD1、vD2を得るように構成されている。処理部5は、カメラ装置4から少なくとも1つのカメラ検出12’、13’を得るように構成され、レーダ検出12、13の数とカメラ検出12’、13’の数との合計は、少なくとも3であり、更に、車両環境検知システム2は、線形方程式系を解くことにより対象物体11の二次元運動状態を計算するように構成されている。
Figure 2019526781
式中、vD1...vDNは、それぞれのレーダ検出12、13に対して検出されたドップラ速度成分であり、θ...θは、それぞれのレーダ検出12、13に対して検出された方位検出角度であり、vy1’...vyM’は、それぞれのカメラ検出12’、13’に対して決定された速度y成分であり、xは、レーダシステム3に対するx座標であり、yは、レーダシステム3に対するy座標であり、xは、カメラ装置4に対するx位置であり、x’...x’はそれぞれのカメラ検出12’、13’に対するx座標であり、更に、x軸14及びy軸15の原点に対し、vx0は、速度x成分であり、vy0は、原点速度vに対する速度y成分であり、ωは、原点速度vに対する角速度であり、二次元運動状態は、原点速度ベクトルv及び対応する角速度ωを有する。
一例によると、車両環境検知システム2は、二次元運動状態により、物体11の上又は外にある任意の位置上の対応する速度ベクトルを計算するように構成されている。
一例によると、車両環境検知システム2は、時間フィルタリングにより、速度ベクトル又は二次元運動状態のいずれか一方を統合するように構成されている。
一例によると、前記車両環境検知システム2は、検出の数が最も多い物体が第1の評価で認識されるように同じ運動状態の検出の最も大きな群を見つけることと、全ての物体の検出が連続的に認識されるように反復的にこれらの検出を除外することと、を行うように構成され、幅のある物体に属さない検出が特定される。
一例によると、カメラ装置は、ステレオカメラである。
一例によると、処理部5は、レーダ検出12、13から独立して全てのステレオカメラ検出12’、13’を統合するように構成され、レーダ検出12、13がステレオカメラ検出12’、13’とは異なることが可能となり、ステレオカメラ装置4は、それぞれのステレオカメラ検出12’、13’に対してx座標x’...x’及び速度y成分vy1’...vyM’を提供するように構成され、全てのステレオカメラ検出検知12’、13’が線形方程式系に統合されることを可能にする。
全般的に、本開示はまた、車両の外にある物体11に対する少なくとも1つのレーダ検出12、13に対して、既知の位置にある原点速度ベクトルv及び対応する角速度ωを含む二次元運動状態を決定する方法にも関し、方法は、
21:x軸14に対する少なくとも1つのレーダ検出方位検出角度θ、θを得ることと、
22:レーダシステム3に対して検出されたドップラ速度から構成される対応するレーダ検出ドップラ速度成分vD1、vD2を得ることと、を含む。少なくとも1つのレーダ検出12、13のそれぞれに対し、方法は、
23:ステレオカメラ装置4から少なくとも1つのカメラ検出12’、13’を得ることであって、レーダ検出12、13の数とカメラ検出12’、13’の数との合計は、少なくとも3であることと、
24:それぞれのステレオカメラ検出12’、13’に対してx座標x’...x’及び速度y成分vy1’...vyM’を決定することと、
25:線形方程式系を解くことによりそれぞれの物体11の二次元運動状態を決定することと、を更に含む。
Figure 2019526781
式中、vD1...vDNは、それぞれのレーダ検出12、13に対して検出されたドップラ速度成分であり、θ...θは、それぞれのレーダ検出12、13に対して検出された方位検出角度であり、vy1’...vyM’は、それぞれのカメラ検出12’、13’に対して決定された速度y成分であり、xは、レーダシステム3に対するx座標であり、yは、レーダシステム3に対するy座標であり、xは、ステレオカメラ装置4に対するx位置であり、x’...x’はそれぞれのカメラ検出12’、13’に対するx座標であり、更に、x軸14及びy軸15の原点に対し、vxは、速度x成分であり、vy0は、原点速度vに対する速度y成分であり、ωは、原点速度vに対する角速度である。
一例によると、方法は、二次元運動状態により、物体11の上又は外にある任意の位置上の対応する速度ベクトルを計算することを更に含む。
一例によると、方法は、レーダ検出12、13から独立して全てのステレオカメラ検出12’、13’を統合することを更に含み、レーダ検出12、13がステレオカメラ検出12’、13’とは異なることが可能となり、ステレオカメラ装置4は、それぞれのステレオカメラ検出12’、13’に対してx座標x’...x’及び速度y成分vy1’...vyM’を提供するために使用され、全てのステレオカメラ検出検知12’、13’が線形方程式系に統合されることを可能にする。
一例によると、方法は、
−最も多い検出の数を伴う物体が第1の評価で認識されるように、同じ運動状態を伴う検出の最も大きな群を見つけることと、
−全ての物体が連続的に識別されるような反復法でこれらの検出を除外することと、
−幅のある物体に属さない検出を識別することと、を更に含む。

Claims (15)

  1. 車両(1)の外にある少なくとも1つの対応する物体(30、11)に対して少なくとも1つの検出(6、6’;12、13;12’、13’)を検知するように構成された車両環境検知システム(2)であって、前記車両環境検知システム(2)は、少なくとも1つのレーダシステム(3)と、少なくとも1つのカメラ装置(4)と、少なくとも1つの処理部(5)と、を備え、それぞれのレーダ検出(6;12、13)に対し、前記レーダシステム(3)は、x軸(7、14)に対する少なくとも1つの方位検出角度(φ、θ、θ)及び前記レーダシステム(3)に対して検出されたドップラ速度によって構成された検出されたドップラ速度成分(v;vD1、vD2)を得るように構成され、それぞれの検出に対し、前記処理部(5)は、
    −オプティカルフローを構成する少なくとも2つの画像フレームに対し、前記カメラ装置(4)から対応するカメラ検出(6’;12’、13’)を得ることと、
    −速度y成分(V;vy1’、vy2’)を前記オプティカルフローから決定することであって、前記速度y成分(v;vy1’、vy2’)は、結果得られる速度(v;vr1、vr2;vr1’、vr2’)を、前記x軸(7、14)に対して垂直に延び、前記カメラ装置(4)のために開口面軸線を形成するy軸(9、15)上に投影することから構成される、ことと、
    −前記結果得られる速度(v;vr1、vr2;vr1’、vr2’)を、前記検出されたドップラ速度成分(v;vD1、vD2)及び前記速度y成分(v;vy1、vy2;vr1’、vr2’)から決定することと、を行うように構成されていることを特徴とする、車両環境検知システム。
  2. 前記少なくとも1つのレーダシステム(3)のそれぞれの1つ及び前記少なくとも1つのカメラ装置(4)のそれぞれの1つに対し、前記車両環境検知システム(2)は、少なくとも1つのレーダ検出(12、13)において対象物体(11)を検知するように構成され、それぞれのレーダ検出(12、13)は、対応するレーダ検出位置(x、y;x、y)を有し、前記処理部(5)は、前記カメラ装置(4)から少なくとも1つのカメラ検出(12’、13’)を得るように構成され、レーダ検出(12、13)の数とカメラ検出(12’、13’)の数との合計は、少なくとも3であり、更に、前記車両環境検知システム(2)は、線形方程式系
    Figure 2019526781
    [式中、vD1...vDNは、それぞれのレーダ検出(12、13)に対して検出されたドップラ速度成分であり、θ...θは、それぞれのレーダ検出(12、13)に対して検出された方位検出角度であり、vy1’...vyM’は、それぞれのカメラ検出(12’、13’)に対して決定された速度y成分であり、xは、前記レーダシステム(3)に対するx座標であり、yは、前記レーダシステム(3)に対するy座標であり、xは、前記カメラ装置(4)に対するx位置であり、x’...x’はそれぞれのカメラ検出(12’、13’)に対するx座標であり、更に、x軸(14)及びy軸(15)の原点に対し、vx0は、速度x成分であり、vy0は、原点速度(v)に対する速度y成分であり、ωは、前記原点速度(v)に対する角速度であり、前記二次元運動状態は、原点速度ベクトル(v)及び対応する角速度(ω)を有する]を解くことにより前記対象物体(11)の二次元運動状態を計算するように構成されていることを特徴とする、請求項1に記載の車両環境検知システム(2)。
  3. 前記車両環境検知システム(2)は、検出の数が最も多い物体が第1の評価で認識されるように同じ運動状態の検出の最も大きな群を見つけることと、全ての物体の検出が連続的に認識されるように反復的にこれらの検出を除外することと、を行うように構成され、幅のある物体に属さない検出が認識されることを特徴とする、請求項2に記載の車両環境検知システム(2)。
  4. 前記カメラ装置は、ステレオカメラであることを特徴とする、請求項1〜3のいずれか一項に記載の車両環境検知システム(2)。
  5. 車両(1)の外の物体(11)に対する少なくとも1つの検出(6、6’;12、13;12’、13’)に対して、結果得られる速度(v;vr1、vr2)を決定するための方法であって、前記方法は、
    (16)レーダシステム(3)を用いてx軸(7、14)に対する少なくとも1つのレーダ検出方位検出角度(φ、θ、θ)を得ることと、
    (17)前記レーダシステム(3)に対して検出されたドップラ速度によって構成される対応する検出されたドップラ速度成分(v;vD1、vD2)を得ることと、を含み、
    それぞれの検出に対し、前記方法は、
    (18)オプティカルフローを構成する少なくとも2つの画像フレームに対し、カメラ装置(4)から対応するカメラ検出(6’;12’、13’)を得ることと、
    (19)前記オプティカルフローから速度y成分(v;vy1、vy2)を決定することであって、前記速度y成分(v;vy1、vy2)は、前記結果得られる速度(v;vr1、vr2)をx軸(7、14)に対して垂直に延び、前記カメラ装置(4)のための開口面軸線を形成するy軸(9、15)に投影することにより構成される、ことと、
    (20)前記結果得られた速度(v;vr1、vr2)を前記検出されたドップラ速度成分(v;vD1、vD2)及び前記速度y成分(v;vy1、vy2)から決定することと、を更に含むことを特徴とする、方法。
  6. 車両(1)の外にある物体(11)に対して少なくとも1つのレーダ検出(12、13)を検知するように構成された車両環境検知システム(2)であって、前記車両環境検知システム(2)は、少なくとも1つのレーダシステム(3)と、少なくとも1つのカメラ装置(4)と、少なくとも1つの処理部(5)と、を備え、それぞれのレーダ検出(12、13)に対して、前記レーダシステム(3)は、x軸(7、14)に対して少なくとも1つの方位検出角度(φ、θ、θ)及び前記レーダシステム(3)に対して検出されたドップラ速度から構成される、検出されたドップラ速度成分(vD1、vD2)を得るように構成され、前記処理部(5)は、前記カメラ装置(4)から少なくとも1つのカメラ検出(12’、13’)を得るように構成され、レーダ検出(12、13)の数とカメラ検出(12’、13’)の数との合計は、少なくとも3であり、更に、前記車両環境検知システム(2)は、線形方程式系
    Figure 2019526781
    [式中、vD1...vDNは、それぞれのレーダ検出(12、13)に対して検出されたドップラ速度成分であり、θ...θは、それぞれのレーダ検出(12、13)に対して検出された方位検出角度であり、vy1’...vyM’は、それぞれのカメラ検出(12’、13’)に対して決定された速度y成分であり、xは、前記レーダシステム(3)に対するx座標であり、yは、前記レーダシステム(3)に対するy座標であり、xは、前記カメラ装置(4)に対するx位置であり、x’...x’はそれぞれのカメラ検出(12’、13’)に対するx座標であり、更に、x軸(14)及びy軸(15)の原点に対し、vx0は、速度x成分であり、vy0は、原点速度(v)に対する速度y成分であり、ωは、前記原点速度(v)に対する角速度であり、前記二次元運動状態は、原点速度ベクトル(v)及び対応する角速度(ω)を有する]を解くことにより前記対象物体(11)の二次元運動状態を計算するように構成されていることを特徴とする、車両環境検知システム(2)。
  7. 前記二次元運動状態により前記物体(11)の上又は外の任意の位置の対応する速度ベクトルを計算するように構成されていることを特徴とする、請求項6に記載の車両環境検知システム(2)。
  8. 前記車両環境検知システム(2)は、前記速度ベクトル又は前記二次元運動状態のいずれか一方を時間フィルタリングにより統合するように構成されていることを特徴とする、請求項6又は7に記載の車両環境検知システム(2)。
  9. 前記車両環境検知システム(2)は、検出の数が最も多い物体が第1の評価で認識されるように同じ運動状態の検出の最も大きな群を見つけることと、全ての物体の検出が連続的に認識されるように反復的にこれらの検出を除外することと、を行うように構成され、幅のある物体に属さない検出が認識されることを特徴とする、請求項6〜8のいずれか一項に記載の車両環境検知システム(2)。
  10. 前記カメラ装置は、ステレオカメラであることを特徴とする、請求項6〜9のいずれか一項に記載の車両環境検知システム(2)。
  11. 前記処理部(5)は、前記レーダ検出(12、13)から独立して全てのステレオカメラ検出(12’、13’)を統合するように構成され、前記レーダ検出(12、13)が前記ステレオカメラ検出(12’、13’)とは異なることが可能となり、前記ステレオカメラ装置(4)は、それぞれのステレオカメラ検出(12’、13’)に対してx座標(x’...x’)及び速度y成分(vy1’...vyM’)を提供するように構成され、全てのステレオカメラ検出検知(12’、13’)が線形方程式系に統合されることを可能にすることを特徴とする、請求項10に記載の車両環境検知システム(2)。
  12. 車両(1)の外にある物体(11)に対する少なくとも1つのレーダ検出(12、13)に対し、既知の位置にある原点速度ベクトル(v)及び対応する角速度(ω)を含む二次元運動状態を決定するための方法であって、前記方法は、
    (21)x軸(14)に対する少なくとも1つのレーダ検出方位検出角度(θ、θ)を得ることと、
    (22)前記レーダシステム(3)に対して検出されたドップラ速度から構成される、対応するレーダ検出ドップラ速度成分(vD1、vD2)を得ることと、を含み、
    前記少なくとも1つのレーダ検出(12、13)のそれぞれに対し、前記方法は、
    (23)ステレオカメラ装置(4)から少なくとも1つのカメラ検出(12’、13’)を得ることであって、レーダ検出(12、13)の数とカメラ検出(12’、13’)の数との合計は、少なくとも3である、ことと、
    (24)それぞれのステレオカメラ検出(12’、13’)に対してx座標(x’...x’)及び速度y成分(vy1’...vyM’)を決定することと、
    (25)線形方程式系
    Figure 2019526781
    [式中、vD1...vDNは、それぞれのレーダ検出(12、13)に対する検出ドップラ速度成分であり、θ...θは、それぞれのレーダ検出(12、13)に対する検出方位検出角度であり、vy1’...vyM’は、それぞれのカメラ検出(12’、13’)に対する決定速度y成分であり、xは、レーダシステム(3)に対するx座標であり、yは、レーダシステム(3)に対するy座標であり、xは、前記ステレオカメラ装置(4)に対するx位置であり、x’...x’はそれぞれのカメラ検出(12’、13’)に対するx座標であり、更に、x軸(14)及びy軸(15)の原点に対し、vxは、速度x成分であり、vy0は、前記原点速度vに対する速度y成分であり、ωは、原点速度vに対する角速度である]を解くことによりそれぞれの物体(11)の二次元運動状態を決定することと、を更に含むことを特徴とする、方法。
  13. 前記方法は、前記二次元運動状態により、前記物体(11)の上又は外にある任意の位置の対応する速度ベクトルを計算することを更に含むことを特徴とする、請求項12に記載の方法。
  14. 前記方法は、前記レーダ検出(12、13)から独立して全てのステレオカメラ検出(12’、13’)を統合することを更に含み、前記レーダ検出(12、13)が前記ステレオカメラ検出(12’、13’)とは異なることが可能となり、前記ステレオカメラ装置(4)は、それぞれのステレオカメラ検出(12’、13’)に対してx座標(x’...x’)及び速度y成分(vy1’...vyM’)を提供するために使用され、全てのステレオカメラ検出検知(12’、13’)が線形方程式系に統合されることを可能にすることを特徴とする、請求項12又は13に記載の方法。
  15. 前記方法は、
    −最も多い検出の数を伴う物体が第1の評価で認識されるように、同じ運動状態を伴う検出の最も大きな群を見つけることと、
    −全ての物体の検出が連続的に認識されるような反復法でこれらの検出を除外することと、
    −幅のある物体に属さない検出を認識することと、を更に含むことを特徴とする、請求項12〜14のいずれか一項に記載の方法。
JP2018562039A 2016-06-03 2017-06-01 車両環境検知システム用に向上された物体検出及び運動状態推定 Pending JP2019526781A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16172790.4A EP3252501B1 (en) 2016-06-03 2016-06-03 Enhanced object detection and motion state estimation for a vehicle environment detection system
EP16172790.4 2016-06-03
PCT/EP2017/063380 WO2017207727A1 (en) 2016-06-03 2017-06-01 Enhanced object detection and motion state estimation for a vehicle environment detection system

Publications (1)

Publication Number Publication Date
JP2019526781A true JP2019526781A (ja) 2019-09-19

Family

ID=56098142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018562039A Pending JP2019526781A (ja) 2016-06-03 2017-06-01 車両環境検知システム用に向上された物体検出及び運動状態推定

Country Status (5)

Country Link
US (1) US20200182992A1 (ja)
EP (1) EP3252501B1 (ja)
JP (1) JP2019526781A (ja)
CN (1) CN109313258B (ja)
WO (1) WO2017207727A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019215275A (ja) * 2018-06-13 2019-12-19 株式会社デンソーテン 物標検出装置および物標検出方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3415945B1 (en) * 2017-06-12 2024-01-10 Aptiv Technologies Limited Method of determining the yaw rate of a target vehicle
US20190187267A1 (en) * 2017-12-20 2019-06-20 Nxp B.V. True velocity vector estimation
DE102018200755A1 (de) 2018-01-18 2019-07-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Plausibilisieren einer Querbewegung
EP3572839A1 (en) 2018-05-23 2019-11-27 Aptiv Technologies Limited Method of estimating a velocity magnitude of a moving target in a horizontal plane and radar detection system
CN108761461B (zh) * 2018-05-29 2022-02-18 南京信息工程大学 基于天气雷达回波时序图像的降水预报方法
EP3575827A1 (en) 2018-06-01 2019-12-04 Aptiv Technologies Limited Method for robust estimation of the velocity of a target using a host vehicle
JP7221606B2 (ja) * 2018-07-30 2023-02-14 株式会社デンソーテン レーダ装置および軸ずれ検出方法
EP3611541B1 (en) 2018-08-16 2024-07-03 Aptiv Technologies AG Method of determining an uncertainty estimate of an estimated velocity
DE102019200849A1 (de) * 2019-01-24 2020-07-30 Conti Temic Microelectronic Gmbh Verfahren zum Erfassen einer Bewegung eines Objekts
CN112415516B (zh) * 2019-08-05 2023-09-08 宇通客车股份有限公司 一种车辆前方障碍区域感知方法及装置
DE102019134985B4 (de) 2019-12-18 2022-06-09 S.M.S, Smart Microwave Sensors Gmbh Verfahren zum Erfassen wenigstens eines Verkehrsteilnehmers
DE102020105192B4 (de) 2020-02-27 2022-03-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Detektieren bewegter Objekte in einer Fahrzeugumgebung und Kraftfahrzeug
DE102020116225B3 (de) 2020-06-19 2021-08-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum radarbasierten Nachverfolgen von fahrzeugexternen Objekten, Objektnachverfolgungseinrichtung und Kraftfahrzeug
CN112098987B (zh) * 2020-07-21 2022-08-09 安徽博微长安电子有限公司 一种提升目标速度估计精度的方法、装置和可读存储介质
CN114076946A (zh) * 2020-08-18 2022-02-22 华为技术有限公司 一种运动估计方法及装置
CN112130136B (zh) * 2020-09-11 2024-04-12 中国重汽集团济南动力有限公司 一种交通目标综合感知系统及方法
US20220128995A1 (en) * 2020-10-22 2022-04-28 Waymo Llc Velocity estimation and object tracking for autonomous vehicle applications
US11841439B2 (en) 2020-11-02 2023-12-12 Waymo Llc Point cloud segmentation using a coherent lidar for autonomous vehicle applications
US11656629B1 (en) 2020-12-08 2023-05-23 Waymo Llc Detection of particulate matter in autonomous vehicle applications
EP4033269A1 (en) 2021-01-26 2022-07-27 Aptiv Technologies Limited Methods and system for determining an angle of a detection
US20230003871A1 (en) * 2021-06-30 2023-01-05 Zoox, Inc. Associating radar data with tracked objects
CN115704897A (zh) * 2021-08-13 2023-02-17 上海禾赛科技有限公司 激光雷达及其测量运动速度的方法和装置、控制系统
EP4194885A1 (en) 2021-12-09 2023-06-14 Aptiv Technologies Limited Method for determining the mobility status of a target object

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1460454A2 (de) * 2003-03-19 2004-09-22 IBEO Automobile Sensor GmbH Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
JP2006293835A (ja) * 2005-04-13 2006-10-26 Toyota Motor Corp 物体検出装置
JP2007255977A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2007255979A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2008098989A (ja) * 2006-10-12 2008-04-24 Stanley Electric Co Ltd 固体撮像素子
JP2009058335A (ja) * 2007-08-31 2009-03-19 Fujitsu Ten Ltd レーダ装置、及び、相対距離検出方法
US20100097262A1 (en) * 2008-10-21 2010-04-22 Lang Hong 3D Video-Doppler-Radar (VIDAR) Imaging System
JP2010244474A (ja) * 2009-04-09 2010-10-28 Hitachi Automotive Systems Ltd 自動車の外界認識装置
JP2010257138A (ja) * 2009-04-23 2010-11-11 Toyota Motor Corp 物体検出装置
JP2011129060A (ja) * 2009-12-21 2011-06-30 Toyota Motor Corp 物体検出装置および物体検出方法
JP2012524890A (ja) * 2009-04-24 2012-10-18 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両内の運転者支援システムのためのセンサ構成
EP2793045A1 (de) * 2013-04-15 2014-10-22 Robert Bosch Gmbh Verfahren zur Überprüfung eines Umfelderfassungssystems eines Fahrzeugs
DE102013018310A1 (de) * 2013-10-31 2015-04-30 Daimler Ag Verfahren zur Bestimmung einer Bewegung eines Objekts

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4423899C1 (de) * 1994-07-08 1995-11-02 Deutsche Forsch Luft Raumfahrt Verfahren zur Detektion, Lokalisierung und Geschwindigkeitsbestimmung von Bewegtzielen aus Radar-Rohdaten eines von einem Träger mitgeführten, kohärenten, ein- oder mehrkanaligen Abbildungssystems
EP1487678A2 (en) * 2002-03-19 2004-12-22 Automotive Systems Laboratory Inc. Vehicle rollover detection system
CA2753197C (en) * 2009-02-20 2018-09-11 Digital Signal Corporation System and method for generating three dimensional images using lidar and video measurements
EP2347940A1 (en) * 2010-01-25 2011-07-27 Autoliv Development AB An object collision warning system and method for a motor vehicle
US8692690B2 (en) * 2011-03-09 2014-04-08 Xerox Corporation Automated vehicle speed measurement and enforcement method and system
EP2867696B1 (en) * 2012-06-28 2020-04-15 Veoneer Sweden AB Misalignment estimation of a vehicle radar system
US9255988B2 (en) * 2014-01-16 2016-02-09 GM Global Technology Operations LLC Object fusion system of multiple radar imaging sensors

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1460454A2 (de) * 2003-03-19 2004-09-22 IBEO Automobile Sensor GmbH Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
JP2006293835A (ja) * 2005-04-13 2006-10-26 Toyota Motor Corp 物体検出装置
JP2007255977A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2007255979A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2008098989A (ja) * 2006-10-12 2008-04-24 Stanley Electric Co Ltd 固体撮像素子
JP2009058335A (ja) * 2007-08-31 2009-03-19 Fujitsu Ten Ltd レーダ装置、及び、相対距離検出方法
US20100097262A1 (en) * 2008-10-21 2010-04-22 Lang Hong 3D Video-Doppler-Radar (VIDAR) Imaging System
JP2010244474A (ja) * 2009-04-09 2010-10-28 Hitachi Automotive Systems Ltd 自動車の外界認識装置
JP2010257138A (ja) * 2009-04-23 2010-11-11 Toyota Motor Corp 物体検出装置
JP2012524890A (ja) * 2009-04-24 2012-10-18 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両内の運転者支援システムのためのセンサ構成
JP2011129060A (ja) * 2009-12-21 2011-06-30 Toyota Motor Corp 物体検出装置および物体検出方法
EP2793045A1 (de) * 2013-04-15 2014-10-22 Robert Bosch Gmbh Verfahren zur Überprüfung eines Umfelderfassungssystems eines Fahrzeugs
DE102013018310A1 (de) * 2013-10-31 2015-04-30 Daimler Ag Verfahren zur Bestimmung einer Bewegung eines Objekts

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019215275A (ja) * 2018-06-13 2019-12-19 株式会社デンソーテン 物標検出装置および物標検出方法

Also Published As

Publication number Publication date
EP3252501B1 (en) 2022-06-08
EP3252501A1 (en) 2017-12-06
US20200182992A1 (en) 2020-06-11
CN109313258B (zh) 2023-05-23
WO2017207727A1 (en) 2017-12-07
CN109313258A (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
JP2019526781A (ja) 車両環境検知システム用に向上された物体検出及び運動状態推定
CN111656217B (zh) 用于虚拟孔径雷达跟踪的系统和方法
US10168426B2 (en) Mobile radar and visual tracking coordinate transformation
CN109017801B (zh) 确定目标车辆偏航率的方法
CN104793202B (zh) 多雷达成像传感器的对象融合系统
EP3663790A1 (en) Method and apparatus for processing radar data
JP7081046B2 (ja) レーダセンサにおける角度測定誤差を検出する方法
CN111386476B (zh) 确定车辆雷达系统中的对象运动和加速度矢量
US11215707B2 (en) Enhanced object detection and motion estimation for a vehicle environment detection system
CN106249214A (zh) 雷达信号处理设备及其信号处理方法
EP3842824A2 (en) Method and device to process radar signal
JP7506829B2 (ja) 自律車両用途のための速度推定および物体追跡
JP2018054315A (ja) 軸ずれ推定装置
JP6733060B2 (ja) 車両レーダシステム用の逆合成開口レーダ
JP2021096265A (ja) 測定装置、測定方法、及び、プログラム
WO2020095819A1 (ja) 物体検出装置
WO2020191978A1 (zh) Sar成像方法及其成像系统
Iqbal et al. Imaging radar for automated driving functions
JP2013015411A (ja) 絶対速度推定装置
CN115151836A (zh) 用于探测车辆周围环境中的移动对象的方法和机动车辆
Stolz et al. Direction of movement estimation of cyclists with a high-resolution automotive radar
WO2022191197A1 (ja) 物体位置検出装置及び方法
JPH09243740A (ja) レーダ装置
JP2007333615A (ja) レーダ計測システム
CN115144857A (zh) 一种探测目标个数估计方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181128

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191211

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200310

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200701