JP2014169922A - 物標認識装置 - Google Patents

物標認識装置 Download PDF

Info

Publication number
JP2014169922A
JP2014169922A JP2013041878A JP2013041878A JP2014169922A JP 2014169922 A JP2014169922 A JP 2014169922A JP 2013041878 A JP2013041878 A JP 2013041878A JP 2013041878 A JP2013041878 A JP 2013041878A JP 2014169922 A JP2014169922 A JP 2014169922A
Authority
JP
Japan
Prior art keywords
target
interest
target recognition
data
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013041878A
Other languages
English (en)
Other versions
JP6212880B2 (ja
JP2014169922A5 (ja
Inventor
Katsuhiko Hibino
克彦 日比野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2013041878A priority Critical patent/JP6212880B2/ja
Priority to PCT/JP2014/055268 priority patent/WO2014136718A1/ja
Priority to DE112014001118.5T priority patent/DE112014001118T5/de
Priority to US14/772,719 priority patent/US10061017B2/en
Publication of JP2014169922A publication Critical patent/JP2014169922A/ja
Publication of JP2014169922A5 publication Critical patent/JP2014169922A5/ja
Application granted granted Critical
Publication of JP6212880B2 publication Critical patent/JP6212880B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04Systems determining presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/345Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using triangular modulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93271Sensor installation details in the front of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】ミリ波等の電磁波を用いたセンサ及び画像センサの両方を搭載した物標検出装置において、物標の検出精度を向上させることを目的とする。
【解決手段】データ取得手段(S10)は、時間に対して周波数を直線的に上昇および下降させた送信波を探査領域に向けて送信し、前方の物標で反射された電波を受信し、送信波と受信波とをミキシングして、物標との距離に対応したビート周波数をもつビート信号を抽出する。画像取得手段(S30)は、自車両の周囲の状況を撮像する画像センサから撮像データを取得する。検出手段(S40)は、ビート信号及び撮像データに基づいて、正確に物標の情報を取得することが必要となる一つ以上の関心方向を撮像データから抽出し、該関心方向についてビームフォーミングを行い、ビームフォーミングを行うことにより得られるデータ列を用いてレーダ波を反射した物標を検出する。
【選択図】図3

Description

本発明は、レーダセンサ及び画像センサの情報を利用して車両の周囲に存在する物標を認識する物標認識装置に関する。
従来、レーダセンサ及び画像センサの情報を利用するセンサフュージョンによって、車両の周囲に存在する物標を認識し、車両の運転支援等に用いる技術が知られている。このような技術では、レーダセンサ及びカメラセンサがそれぞれ独立して検出した検出結果を融合して物体の検出精度を向上させている。(例えば特許文献1参照)。
特開2009−19914号公報
ところで、レーダセンサの一つであるミリ波レーダでは、電波(ミリ波)の拡がりのため、近接して存在する複数の物標を個々に分離して検出することが困難であり、これらを一つの物標として検出してしまうという問題がある。このため、ミリ波レーダによる検出結果を用いた場合、センサフュージョンによる物標認識の精度が低下するという問題があった。
本発明は、このような問題に鑑みてなされたものであり、ミリ波等の電磁波を用いたセンサ及び画像センサの両方を搭載した物標検出装置において、物標の検出精度を向上させることを目的とする。
上記目的を達成するためになされた請求項1に記載の物標認識装置は、車両に搭載され、データ取得手段がレーダ波を送受信する複数の送受信チャンネルを有する送受信器から受信データを取得する。また、画像取得手段が、自車両の周囲の状況を撮像する画像センサから撮像データを取得する。そして、検出手段が、受信データ及び撮像データに基づいてレーダ波を反射した物標を検出する。
ここで検出手段では、請求項2に記載のように、関心方向抽出手段が、画像取得手段にて取得した撮像データから、正確に物標の情報を取得することが必要となる一つ以上の関心方向を抽出する。物標検出実行手段は、データ取得手段にて取得した受信データを用いて、関心方向のそれぞれについてビームフォーミングを行い、ビームフォーミングを行うことにより得られるデータ列を用いて物標検出を行う。
このような物標認識装置によると、物標の方位を撮像データから抽出された関心方向として検出し、物標の距離を、関心方向についてビームフォーミング行うことによって検出するため、レーダセンサ及び画像センサの情報を利用して、自車両の周囲に存在する物標を精度よく検出することができる。
第1実施形態の物標認識装置の構成を示すブロック図である。 レーダセンサ及び画像センサの検知範囲を示す説明図である。 物標認識の処理を表すフローチャートである。 通常検出処理を表すフローチャートである。 特定方向検出処理を表すフローチャートである。 (a)は1サイクル中に全検出処理と特定方向検出処理とが時分割で実行されることを示す説明図であり、(b)は(a)よりCPUの処理能力が高いときにより多くの特定方向検出処理が実行されることを示す説明図である。 (a)は、自動車専用道路において、自車両の前方に前方車両及びバイクが存在し、前方車両がバイク及びガードレールに近接して走行している状況を示す説明図であり、(b)はDBFの処理結果を示す説明図であり、(c)は関心方向の優先順位を示す説明図である。 (a)は、市街地において、自車両の前方に、バイク、前方車両、及び歩行者が互いに近接して存在している状況を示す説明図であり、(b)はDBFの処理結果を示す説明図であり、(c)は関心方向の優先順位を示す説明図である。 (a)は、図8(a)に示す状況に加えて標識及びマンホールが近接して存在している状況を示す説明図であり、(b)は関心方向の優先順位を示す説明図である。 第2実施形態の物標認識装置の構成を示すブロック図である。 第2実施形態の通常検出処理を表すフローチャートである。
以下に本発明の実施形態を図面と共に説明する。
<第1実施形態>
<全体構成>
本発明の物標認識装置10が適用された運転支援システム1では、図1に示すように、物標認識装置10は、レーダセンサ20、画像センサ30、及び運転支援実行装置40のそれぞれと通信可能に接続されている。レーダセンサ20は、
自車両の前方に設定された探査領域に向けてレーダ波を照射し、その反射波を受信する。画像センサ30は探査領域を撮像し、物標認識装置10は、レーダセンサ20及び画像センサ30での検出結果に従って、探査領域内に存在する各種物標を認識する。運転支援実行装置40は、物標認識装置10での処理結果(物標情報)に従い、各種車載機器を制御して所定の運転支援を実行する。
<レーダセンサ>
レーダセンサ20は、自車両の前方に設定され、後述する物標検出装置(特に通常検出処理)10とともに、ミリ波を利用して所定の探査領域内に存在する物標を検知する周知のFMCW(Frequency Modulated Continuous Wave )レーダを構成する。
具体的には、レーダセンサ20は、車両の前端部に配置され、時間に対して周波数を直線的に上昇(上り変調)および下降(下り変調)させた送信波を探査領域に向けて送信し、前方の物標で反射された電波を受信し、送信波と受信波とをミキシングして、レーダセンサ20と物標との距離R及び相対速度Vに対応したビート周波数をもつビート信号を抽出する。
ただし、レーダセンサ20は、送信アンテナ及び受信アンテナのうち少なくとも一方がアレイアンテナによって構成され、送信アンテナと受信アンテナの組み合わせをチャンネルと呼ぶものとして、チャンネル毎にビート信号を抽出している。レーダセンサ20は、ビート信号を、ADコンバータによってAD変換して出力する。出力されたビート信号は、物標認識装置10に入力される。
<画像センサ>
画像センサ30は、自車両の前側における中央付近に配置されたCCDカメラからなり、このCCDカメラは、レーダセンサ20の検知範囲より広い角度範囲を検知範囲とする(図2参照)。画像センサ30は、CCDカメラで撮像した撮像データに対して、テンプレートマッチング等の周知の画像処理を行うことにより、撮像範囲内に存在する所定の物標(車両、歩行者等)を検出する。
そして、画像センサ30は、この処理により検出された物標(以下、画像物標という)の情報を画像物標情報として物標認識装置10へ送信する。なお、画像物標情報には、検出した画像物標の種類、大きさ、位置(距離、方位)についての情報が少なくとも含まれている。
<運転支援実行装置>
運転支援実行装置40は、制御対象となる車載機器として、各種画像を表示するモニタや、警報音や案内音声を出力するスピーカを少なくとも備える。運転支援実行装置40は、制御対象となる車載機器として、更に、自車両に搭載された内燃機関、パワートレイン機構、ブレーキ機構等を制御する各種制御装置を含んでいてもよい。
<物標認識装置>
物標認識装置10は、CPU、ROM、RAMからなるマイクロコンピュータを中心に構成され、更に高速フーリエ変換(FFT)等の信号処理を実行するためのデジタルシグナルプロセッサ(DSP)を備える。物標認識装置10は、画像センサ30から取得した画像物標情報及びレーダセンサ20から取得したビート信号に従って、少なくとも、運転支援実行装置40に提供するための物標情報を生成する物標認識処理を実行する。
<物標認識処理>
物標認識処理を図3に示すフローチャートに沿って説明する。本処理は、エンジンが始動すると、所定の測定サイクル毎に繰り返し実行される。
まずS10では、チャンネル毎に生成されたビート信号をレーダセンサ20から取得し、続くS20では、通常検出処理を実行する。通常検出処理では、FMCWレーダにおける周知の手法により、物標候補毎に自車両との距離や相対速度を検出する。次にS30では、画像センサ30で生成された画像物標情報を取得する。続くS40では、画像物標情報から抽出した後述する関心方向を用いた特定方向検出処理を実行し、本処理を終了する。
<通常検出処理>
次に、物標認識処理のS20で実行する通常検出処理を図4に示すフローチャートに沿って説明する。
まず、S110では、距離FFTを実行して物標までの距離を検出する。つまり、取得したビート信号について、チャンネル毎に、且つ変調(上り変調/下り変調)期毎に、時系列方向の高速フーリエ変換(FFT)を実行する。そして、FFTの処理結果として、周波数軸上で、信号強度が予め定めた閾値を超えて、ピークとなる周波数(ピーク周波数)を抽出する。
続くS120では、S110にて抽出されたピーク周波数毎に、そのピーク周波数における各チャンネルでの信号成分(振幅、位相)を抽出し、その抽出した信号成分を用いて、周知のデジタルビームフォーミング(DBF)によって物標の方位を推定する。
次にS130では、S110で抽出したピーク周波数の周波数群に対して、ピピーク信号強度やS120での方位検出の結果及び過去の履歴情報などに基づき、両変調期間(上り変調期間/下り変調期間)の間で、同一の物標からの反射波に基づいて生成された対になるべきピーク周波数(以下、ピークペアという)を特定するペアマッチ処理を行う。
そして、ペアマッチ処理で特定された各ピークペアについて、そのピーク周波数(以下、ビート周波数という)fbu(上り変調時のビート周波数)、fbd(下り変調時のビート周波数)から、式(1)及び(2)に基づいて、それぞれの物標との距離R及び相対速度Vを算出する。
最後に、S140では、算出結果(距離、相対速度、方位)を通常物標検出情報として出力する。
<特定方向検出処理>
次に、特定方向検出処理を図5に示すフローチャートに沿って説明する。
まず、S210では、画像センサ30が取得した画像物標情報(種類、距離、方位)を用いて、予め設定された関心情報を満たす一つ以上の関心方向を抽出し、その優先順位を設定する。
関心方向は、正確に物標の情報を取得することが必要となる方向であり、例えば車両が走行する上で障害となる物標が存在する方向であってもよく、また自車両が走行する走行レーンを認識するための路側物が存在する方向であってもよい。
具体的には、画像センサ30にて周知のテンプレートマッチング処理やエッジ抽出処理等の画像処理を実行することにより検出された人(歩行者)や車両等が存在する方向、マンホールや標識等の路側物の存在する方向、または、白線及びガードレールの存在する方向から推定される注意を要する方向を、関心方向として抽出する。
また、関心方向の優先順位は、例えば、歩行者が存在する方向、二輪車(バイク)が存在する方向、車両が存在する方向、路側物の存在する方向、の順に優先順位が高いという特性を有していてもよい。
また、関心方向の優先順位は、自車両の近くに位置する物標が存在する方向について、より優先順位が高いという特性を有していてもよい。さらにまた、関心方向の優先順位は、自車両正面方向の近くに位置する物標が存在する方向について、より優先順位が高いという特性を有していてもよい。また、関心方向の優先順位は、自車両に近づいてくる物標が存在する方向について、より優先順位が高いという特性を有していてもよい。
次にS220では、後述するS230からS260の高精度検索処理について未処理である関心方向のうち、最も優先順位の高い関心方向を特定方向に設定する。続くS230では、この特定方向を方位角とするDBFを、S10で取得したビート信号を用いて実行する。次にS240は、S230にてDBFの結果として取得したデータ列について距離FFTを実行し、ピーク周波数を抽出する。
続くS250では、S240で抽出したピーク周波数の周波数群に対して、通常検出処理のS130で実行した処理と同様のペアマッチ処理を行い、距離R及び相対速度Vを算出する。次にS260では、算出結果(距離、相対速度、方位)を高精度物標検出情報として出力する。
ここで、処理時間に余裕があり(S270:YES)、且つ高精度検出処理について未処理となっている関心方向が残っている場合(S280:YES)は、S220に移行し、次に優先度の高い関心方向を特定方向に設定して、一連の高精度検出処理を実行する。ここでは、高精度検出処理を1回実行するのに要する上限時間を高精度検出上限時間として、1サイクルの処理時間のうち残された処理時間がこの高精度検出上限時間以上である場合に、S270にて処理時間に余裕があると判断する。
一方、処理時間に余裕が無い場合(S270:NO)または高精度検出処理を実行していない関心方向が存在しない場合(S280:NO)、本処理を終了する。
つまり、物標認識処理は、図6(a)に示すように、所定のサイクル毎に繰り返され、1サイクルの処理時間内に、通常検出処理と、できるだけ数多くの関心方向について高精度検出処理を実行する。ここで、例えばCPUの処理能力が高くなるほど、図6(b)に示すように、より多くの関心方向について高精度検出
処理が実行される。
<動作例>
通常検出処理による物標検出結果の算出例と、特定方向検出処理による高精度物標検出結果の算出例とを、図7〜9を参照して説明する。
<動作例1>
図7(a)は、自動車専用道路において、自車両の前方に(前方)車両及び二輪車(バイク)が存在し、前方車両がバイク及びガードレールに近接して走行している状況を示す。このような状況では、通常検出処理では、近接して存在する前方車両及びバイクが、一体の物標として検出されてしまう(同図(b)太線参照)。
なおこの状況では、通常検出処理では、車両に近接するガードレールからの反射波によって、反射波の生じた位置に、あたかも自車両に対してある相対速度で移動してかのように認識される物標(以下、ゴーストという)が誤って検出される虞がある(同図(b)二点鎖線参照)。
これに対し、特定方向検出処理では、取得した画像物標情報から前方車両、バイク及びガードレールの存在する方向が認識できるため、ガードレールを除いた前方車両とバイクとを関心方向として高精度検出処理を実行することにより、互いに他の物標の影響が抑制され、同図(b)に示すように前方車両とバイクとが個々に検出される。
なお、この状況では、同図(c)に示すように、バイクの存在する方向が最上位の優先順位である関心方向1に設定され、前方車両の存在する方向が2番目優先順位である関心方向2に設定され、バイクが前方車両より先に検出される。
<動作例2>
図8(a)は、市街地において、自車両の前方に、バイク、前方車両、及び歩行者が互いに近接して存在している状況を示す。このような状況では、通常検出処理では、バイク、前方車両及び歩行者を、一体の物標として検出してしまう(同図(c)太線参照)。
これに対し、特定方向検出処理では、バイク、前方車両及び歩行者をそれぞれ関心方向として高精度検出処理を実行することにより、同図(b)に示すように、バイク、前方車両、歩行者が個々に分離して検出される。なお、この状況では、バイクに比べて前方車両が自車両の近くに位置するため、前方車両の存在する方向が2番目の優先順位である関心方向2に設定され、バイクの存在する方向が3番目の優先順位である関心方向3に設定され、まず歩行者が検出された後、前方車両がバイクより先に検出される。
<動作例3>
図9(a)は、図8(a)に示す状況に加えて、さらに標識及びマンホールが近接して存在している状況を示す。このような状況では、特定方向検出処理では、図9(b)に示すように、自車両の近くに位置するマンホールが4番目の優先順位である関心方向4に設定され、標識が5番目の優先順位である関心方向5に設定され、マンホールの次に標識が検出される。
<効果>
以上説明したように、物標認識装置10は、まず、周知のFMCWレーダとしての物標認識処理である通常検出処理を実行することによって、探索範囲全域において物標を検出する。
更に、物標認識装置10は、通常検出処理の実行後、画像物標情報に基づく関心方向を用いて特定方向検出処理を実行し、関心方向に存在する物標を通常検出処理の実行時よりも高い精度で検出する。
従って、物標認識装置10では、通常検出処理を実行することによって、探索範囲全域について物標の検出結果(通常物標検出情報)を得ることができるとともに、特に正しく検知したい領域に存在する物標については、特定方向検出処理を実行することによって、より精度の高い検出結果(高精度物標検出情報)を得ることができる。
また、物標認識装置10では、通常検出処理で実行する距離FFTにおいてピーク周波数の信号強度が予め定めた閾値を超えなかった物標についても、特定方向検出処理を実行することによって検出することができる。
特に、図7〜9に示すように、自車両の前方に近接して位置する複数の物標が存在する場合、回避制御の対象となる物標(例えば、自車両の近くに存在する歩行者やバイク等)をより正しく検知する必要が生じることがある。本実施形態の物標認識装置10は、このような用途において好適に利用することができる。
また、物標認識装置10では、例えばガードレールのように走行路に沿って連続して位置している路側物に近接して前方車両が存在する状況において、前方車両の存在する方向のみを関心方向として特定方向検出処理を実行することによって、該前方車両について、ガードレールからの反射波によるゴーストの影響が抑制された、高い精度の物標検出結果を得ることができる。
さらにまた、物標認識装置10は、1サイクルの処理時間内に、通常物標検出情報を取得した後、できるだけ数多くの関心方向について高精度物標検出情報を取得するように構成されている。これにより、物標認識装置10での処理結果である物標情報に従い各種車載機器を制御する運転支援実行装置40は、所定の運転支援をより高精度に実行することができる。
<請求項との対応>
図3に示すS10が特許請求の範囲における「データ取得手段」に相当し、S30が特許請求の範囲における「画像取得手段」に相当し、S40が特許請求の範囲における「検出手段」に相当する。また、図5に示すS210が特許請求の範囲における「関心方向抽出手段」及び「順位設定手段」に相当し、S230〜S260が特許請求の範囲のおける「物標検出実行手段」に相当する。さらにまた、図4に示すS110、S130が特許請求の範囲における「距離算出手段」に相当し、S120、S130が特許請求の範囲における「方位算出手段」に相当する。
また、レーダセンサ20が特許請求の範囲における「送受信器」に相当し、ビート信号が特許請求の範囲における「受信データ」に相当する。また、レーダセンサ20における送信アンテナと受信アンテナの組み合わせとしてのチャンネルが特許請求の範囲における「送受信チャンネル」に相当する。
<第2実施形態>
第2実施形態について説明する。
図10に示す運転支援システム2では、通常物標検出情報が物標認識装置10から画像センサ30に出力されている点が第1実施形態とは異なる。また、これに伴い、図11に示すように、図4に示す通常検出処理にS150が追加されている点が第1実施形態とは異なる。
つまり、本実施形態の通常検出処理では、図11に示すように、S140までの処理を実行後、S150にて通常物標検出情報(距離、方位)を画像センサ30に出力して、本処理を終了する。
このように構成された運転支援システム2では、画像センサ30は、通常物標検出情報に基づいて、撮像画面のどの範囲に物標候補が存在するかを推定し、推定したこの設定範囲に限定してパタンマッチング等の画像認識処理を実行する。つまり、画像センサ30が取得する撮像画像において、関心方向が抽出される範囲は、この設定範囲に制限される。これにより、画像処理の処理量を低減することができる。
<他の実施形態>
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲にて様々な態様で実施することが可能である。
(1)上記実施形態では図4に示すS120ではDBFを実行していたが、これに代えて、S120にて他の周知の方位演算(例えば、方位FFT)を実行してもよい。
(2)上記実施形態では、物標認識装置10は、通常検出処理と特定方向検出処理とを時分割で処理するように構成されていたが、これに限るものではなく、通常検出処理と特定方向検出処理とが並列に実行されるように構成されていてもよい。
(3)上記実施形態では関心方向の例として、歩行者、車両、バイク、路側物等が存在する方向を挙げていたが、これに限るものではなく、その他の人や物が存在する方向を関心方向としてもよい。また、関心方向の優先順位は、運転支援実行装置40で実行する処理内容に応じた特性を有するものであってもよい。
(4)上記実施形態では、レーダセンサ20及び画像センサ30の探索範囲が自車両の前方に設定されていたが、これに限るものではなく、探索範囲は、自車両の周囲、例えば自車両の後方や側方等であってもよい。
(5)上記実施形態では、物標認識装置10が自動車に搭載される装置に適用される例を説明したが、これに限るものではなく、物標認識装置10は、オートバイク、電車、及びその他車両等に搭載されてもよい。
(6)上記実施形態で例示した物標認識装置10の構成要素は、ハードウェアで実現してもよく、ソフトウェアで実現してもよく、ハードウェアとソフトウェアとの組み合わせで実現してもよい。例えば、上述した処理(プログラム)を実行するコンピュータ装置(例えばマイコン)により物標認識装置10の少なくとも一部を構成してもよい。また、これらの構成要素は機能概念的なものであり、その一部又は全部を、機能的又は物理的に分散又は統合してもよい。
(7)上記実施形態は、本発明が適用された実施形態の一例に過ぎない。本発明は、物標認識装置、物標認識方法、物標認識装置としてコンピュータを機能させるためのプログラム、そのプログラムを記録した記録媒体、などの種々の形態で実現することができる。
1、2・・・運転支援システム 10・・・物標認識装置 20・・・レーダセンサ 30・・・画像センサ 40・・・運転支援実行装置

Claims (8)

  1. 車両に搭載される物標認識装置であって、
    レーダ波を送受信する複数の送受信チャンネルを有する送受信器から受信データを取得するデータ取得手段(S10)と、
    自車両の周囲の状況を撮像する画像センサから撮像データを取得する画像取得手段(S30)と、
    前記受信データ及び前記撮像データに基づいてレーダ波を反射した物標を検出する検出手段(S40)と、
    を備えることを特徴とする物標認識装置。
  2. 前記検出手段は、
    前記画像取得手段にて取得した撮像データから、正確に物標の情報を取得することが必要となる一つ以上の関心方向を抽出する関心方向抽出手段(S210)と、
    前記データ取得手段にて取得した受信データを用いて前記関心方向のそれぞれについてビームフォーミングを行い、ビームフォーミングを行うことにより得られるデータ列を用いて物標検出を行う物標検出実行手段(S230〜S260)と、
    を備えることを特徴とする請求項1に記載の物標認識装置。
  3. 前記物標検出実行手段は、前記ビームフォーミングを行うことにより得られるデータ列に対して距離FFTを実行することを特徴とする請求項2に記載の物標認識装置。
  4. 前記データ取得手段が取得した受信データを、前記送受信チャンネル毎に距離FFTを行うことによってピーク周波数を検出し距離算出を行う距離算出手段(S110、S130)と、
    前記距離算出手段により検出されたピーク周波数毎に方位検出を行う方位算出手段(S120、S130)と、
    を備えることを特徴とする請求項1から3のいずれか一項に記載の物標認識装置。
  5. 前記撮像データのうち前記関心方向が抽出される範囲は、前記距離算出手段にて算出された距離及び前記方位算出手段にて算出された方位を用いて設定した設定範囲に制限されることを特徴とする請求項4に記載の物標認識装置。
  6. 前記関心方向抽出手段は、撮像データから抽出された複数の関心方向について優先順位を設定する順位設定手段(S210)を備え、
    前記物標検出実行手段は、前記順位設定手段が設定した優先順位に従ってビームフォーミングを行うことを特徴とする請求項2から5のいずれか一項に記載の物標認識装置。
  7. 前記関心方向抽出手段は、前記関心方向として、車両が走行する上で障害となる物標が存在する方向を用いることを特徴とする請求項2から6のいずれか一項に記載の物標認識装置。
  8. 前記関心方向抽出手段は、前記関心方向として、自車両が走行する走行レーンを認識するための路側物が存在する方向を用いることを特徴とする請求項2から7のいずれか一項に記載の物標認識装置。
JP2013041878A 2013-03-04 2013-03-04 物標認識装置 Active JP6212880B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013041878A JP6212880B2 (ja) 2013-03-04 2013-03-04 物標認識装置
PCT/JP2014/055268 WO2014136718A1 (ja) 2013-03-04 2014-03-03 物標認識装置
DE112014001118.5T DE112014001118T5 (de) 2013-03-04 2014-03-03 Zielerkennungsvorrichtung
US14/772,719 US10061017B2 (en) 2013-03-04 2014-03-03 Target recognition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013041878A JP6212880B2 (ja) 2013-03-04 2013-03-04 物標認識装置

Publications (3)

Publication Number Publication Date
JP2014169922A true JP2014169922A (ja) 2014-09-18
JP2014169922A5 JP2014169922A5 (ja) 2015-07-16
JP6212880B2 JP6212880B2 (ja) 2017-10-18

Family

ID=51491235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013041878A Active JP6212880B2 (ja) 2013-03-04 2013-03-04 物標認識装置

Country Status (4)

Country Link
US (1) US10061017B2 (ja)
JP (1) JP6212880B2 (ja)
DE (1) DE112014001118T5 (ja)
WO (1) WO2014136718A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016197018A (ja) * 2015-04-02 2016-11-24 株式会社デンソー 衝突回避支援装置
JP2016223937A (ja) * 2015-06-01 2016-12-28 パナソニックIpマネジメント株式会社 物体検出装置
WO2018180245A1 (ja) * 2017-03-28 2018-10-04 パイオニア株式会社 出力装置、制御方法、プログラム及び記憶媒体
KR101907875B1 (ko) * 2017-03-16 2018-10-15 주식회사 만도 퓨전 탐지 시스템, 탐지 프로세서, 레이더 장치 및 물체 탐지 방법
WO2019008640A1 (ja) * 2017-07-03 2019-01-10 三菱電機株式会社 信号処理装置、信号処理方法、信号処理プログラム及びレーダシステム
JP2020008366A (ja) * 2018-07-05 2020-01-16 三菱電機株式会社 レーダ装置及びレーダ装置の制御方法
WO2020031689A1 (ja) * 2018-08-09 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置
US10644399B2 (en) 2015-03-19 2020-05-05 Hyundai Motor Company Vehicle and method for controlling the same
DE112018004507T5 (de) 2017-10-12 2020-06-10 Sony Corporation Informationsverarbeitungseinrichtung, bewegungseinrichtung und verfahren und programm
WO2021210268A1 (ja) * 2020-04-13 2021-10-21 ソニーセミコンダクタソリューションズ株式会社 物体検出装置、情報処理装置および物体検出方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6212880B2 (ja) * 2013-03-04 2017-10-18 株式会社デンソー 物標認識装置
US9939525B2 (en) * 2013-11-29 2018-04-10 L.H. Kosowsky & Associates, Inc. Imaging system for obscured environments
DE112014006876T5 (de) * 2014-08-21 2017-05-18 Mitsubishi Electric Corporation Fahrassistenzvorrichtung, Fahrassistenzverfahren und Programm
US9586585B2 (en) * 2014-11-20 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to traffic officer presence
JP6150950B1 (ja) 2015-11-20 2017-06-21 三菱電機株式会社 運転支援装置、運転支援システム、運転支援方法及び運転支援プログラム
WO2017111931A1 (en) * 2015-12-22 2017-06-29 Intel Corporation Rfid location detection
DE102017123904A1 (de) * 2017-10-13 2019-04-18 Conti Temic Microelectronic Gmbh Verfahren zur Rechenzeitreduzierung bei der Berechnung von Radarinformationen
KR102428110B1 (ko) * 2017-11-27 2022-08-02 현대모비스 주식회사 레이더 신호 처리 장치 및 방법
DE102018200814B3 (de) 2018-01-18 2019-07-18 Audi Ag Verfahren zum Betrieb eines zur vollständig automatischen Führung eines Kraftfahrzeugs ausgebildeten Fahrzeugführungssystems des Kraftfahrzeugs und Kraftfahrzeug
JP6735801B2 (ja) * 2018-10-16 2020-08-05 三菱電機株式会社 物体認識装置およびこれを用いた車両制御装置並びに物体認識方法およびこれを用いた車両制御方法
CN113879312B (zh) * 2021-11-01 2023-02-28 无锡威孚高科技集团股份有限公司 基于多传感器融合的前向目标选择方法、装置和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06124340A (ja) * 1992-07-21 1994-05-06 Nissan Motor Co Ltd 車両用画像処理装置
JP2006163879A (ja) * 2004-12-08 2006-06-22 Daihatsu Motor Co Ltd 画像処理方法及び画像処理装置
WO2006067869A1 (ja) * 2004-12-24 2006-06-29 Fujitsu Limited 到来方向推定装置及びプログラム
JP2006234513A (ja) * 2005-02-23 2006-09-07 Toyota Central Res & Dev Lab Inc 障害物検出装置
JP2008509413A (ja) * 2004-08-07 2008-03-27 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング センサシステムの作動方法および作動装置
JP2009229374A (ja) * 2008-03-25 2009-10-08 Fujitsu Ten Ltd レーダ装置、及び方位角検出方法
JP2009281775A (ja) * 2008-05-20 2009-12-03 Denso Corp レーダ装置、補償量算出方法
JP2011150633A (ja) * 2010-01-25 2011-08-04 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
US20130093887A1 (en) * 2011-10-13 2013-04-18 Altek Autotronics Corp. Obstacle Detection System and Obstacle Detection Method Thereof
US8994581B1 (en) * 2012-09-25 2015-03-31 Adam Brown Direction of arrival (DOA) estimation using multiple offset receive channels

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3766909B2 (ja) * 2001-11-30 2006-04-19 株式会社日立製作所 走行環境認識方法および装置
JP4211809B2 (ja) 2006-06-30 2009-01-21 トヨタ自動車株式会社 物体検出装置
JP5012270B2 (ja) 2007-07-10 2012-08-29 トヨタ自動車株式会社 物体検出装置
JP5470762B2 (ja) 2008-07-08 2014-04-16 富士通株式会社 物体検出装置、物体検出プログラム、および物体検出方法
JP4434296B1 (ja) * 2008-09-05 2010-03-17 トヨタ自動車株式会社 物体検出装置
JP5304804B2 (ja) * 2011-01-12 2013-10-02 株式会社デンソー 境界検出装置、および境界検出プログラム
DE102011006554A1 (de) * 2011-03-31 2012-10-04 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bereitstellung eines Signals für eine Lichtsteuerungseinheit
US9618605B2 (en) * 2011-12-30 2017-04-11 Flir Systems, Inc. Radar system providing multiple waveforms for long range and short range target detection
JP5863481B2 (ja) * 2012-01-30 2016-02-16 日立マクセル株式会社 車両用衝突危険予測装置
US9423498B1 (en) * 2012-09-25 2016-08-23 Google Inc. Use of motion data in the processing of automotive radar image processing
JP6212880B2 (ja) * 2013-03-04 2017-10-18 株式会社デンソー 物標認識装置
JP6314666B2 (ja) * 2014-06-02 2018-04-25 株式会社デンソー 前照灯制御装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06124340A (ja) * 1992-07-21 1994-05-06 Nissan Motor Co Ltd 車両用画像処理装置
JP2008509413A (ja) * 2004-08-07 2008-03-27 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング センサシステムの作動方法および作動装置
JP2006163879A (ja) * 2004-12-08 2006-06-22 Daihatsu Motor Co Ltd 画像処理方法及び画像処理装置
WO2006067869A1 (ja) * 2004-12-24 2006-06-29 Fujitsu Limited 到来方向推定装置及びプログラム
JP2006234513A (ja) * 2005-02-23 2006-09-07 Toyota Central Res & Dev Lab Inc 障害物検出装置
JP2009229374A (ja) * 2008-03-25 2009-10-08 Fujitsu Ten Ltd レーダ装置、及び方位角検出方法
JP2009281775A (ja) * 2008-05-20 2009-12-03 Denso Corp レーダ装置、補償量算出方法
JP2011150633A (ja) * 2010-01-25 2011-08-04 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
US20130093887A1 (en) * 2011-10-13 2013-04-18 Altek Autotronics Corp. Obstacle Detection System and Obstacle Detection Method Thereof
US8994581B1 (en) * 2012-09-25 2015-03-31 Adam Brown Direction of arrival (DOA) estimation using multiple offset receive channels

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10644399B2 (en) 2015-03-19 2020-05-05 Hyundai Motor Company Vehicle and method for controlling the same
JP2016197018A (ja) * 2015-04-02 2016-11-24 株式会社デンソー 衝突回避支援装置
JP2016223937A (ja) * 2015-06-01 2016-12-28 パナソニックIpマネジメント株式会社 物体検出装置
KR101907875B1 (ko) * 2017-03-16 2018-10-15 주식회사 만도 퓨전 탐지 시스템, 탐지 프로세서, 레이더 장치 및 물체 탐지 방법
JPWO2018180245A1 (ja) * 2017-03-28 2020-05-14 パイオニア株式会社 出力装置、制御方法、プログラム及び記憶媒体
WO2018180245A1 (ja) * 2017-03-28 2018-10-04 パイオニア株式会社 出力装置、制御方法、プログラム及び記憶媒体
US11420632B2 (en) 2017-03-28 2022-08-23 Pioneer Corporation Output device, control method, program and storage medium
JP2021113816A (ja) * 2017-03-28 2021-08-05 パイオニア株式会社 出力装置、制御方法、プログラム及び記憶媒体
WO2019008640A1 (ja) * 2017-07-03 2019-01-10 三菱電機株式会社 信号処理装置、信号処理方法、信号処理プログラム及びレーダシステム
DE112018004507T5 (de) 2017-10-12 2020-06-10 Sony Corporation Informationsverarbeitungseinrichtung, bewegungseinrichtung und verfahren und programm
JP2020008366A (ja) * 2018-07-05 2020-01-16 三菱電機株式会社 レーダ装置及びレーダ装置の制御方法
CN112534297A (zh) * 2018-08-09 2021-03-19 索尼半导体解决方案公司 信息处理设备和信息处理方法、计算机程序、信息处理系统以及移动设备
WO2020031689A1 (ja) * 2018-08-09 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置
JPWO2020031689A1 (ja) * 2018-08-09 2021-08-12 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置
JP7374098B2 (ja) 2018-08-09 2023-11-06 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置
WO2021210268A1 (ja) * 2020-04-13 2021-10-21 ソニーセミコンダクタソリューションズ株式会社 物体検出装置、情報処理装置および物体検出方法

Also Published As

Publication number Publication date
JP6212880B2 (ja) 2017-10-18
US10061017B2 (en) 2018-08-28
US20160003936A1 (en) 2016-01-07
WO2014136718A1 (ja) 2014-09-12
DE112014001118T5 (de) 2015-12-31

Similar Documents

Publication Publication Date Title
JP6212880B2 (ja) 物標認識装置
US10279809B2 (en) Travelled-route selecting apparatus and method
JP6428270B2 (ja) 軸ずれ検出装置
US10345443B2 (en) Vehicle cruise control apparatus and vehicle cruise control method
JP6290737B2 (ja) 車両制御装置
JP2020091281A (ja) レーダーデータを処理する装置及び方法
JP7104728B2 (ja) 動く物体を検知するシステム
JP6243302B2 (ja) 車両制御装置
JP2014169922A5 (ja)
JP2016109675A (ja) 物体検出装置、速度検出装置及び車両
JP6354659B2 (ja) 走行支援装置
JP6205316B2 (ja) 車両制御装置
JP2007017338A (ja) 道路形状認識装置
JP6358155B2 (ja) 軸ズレ判定装置
JP2018024359A (ja) 走行制御装置
JP2014102165A (ja) 物標判定装置
JP2009079917A (ja) 車幅検出方法及び装置、車両制御装置
JP6265149B2 (ja) 検出装置
JP6323256B2 (ja) 検出装置
WO2015119298A1 (ja) ビームセンサの軸ずれ検出装置
JP5783163B2 (ja) 物標検出装置
JP5436652B1 (ja) 車両の周辺監視装置及び車両の周辺監視方法
JP4905496B2 (ja) 物体検出装置
JP6477377B2 (ja) 車両制御装置、及び車両制御方法
JP7424548B2 (ja) 車両用レーダ装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150601

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170904

R151 Written notification of patent or utility model registration

Ref document number: 6212880

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250