JP2018072105A - 物体検知装置 - Google Patents

物体検知装置 Download PDF

Info

Publication number
JP2018072105A
JP2018072105A JP2016210555A JP2016210555A JP2018072105A JP 2018072105 A JP2018072105 A JP 2018072105A JP 2016210555 A JP2016210555 A JP 2016210555A JP 2016210555 A JP2016210555 A JP 2016210555A JP 2018072105 A JP2018072105 A JP 2018072105A
Authority
JP
Japan
Prior art keywords
predetermined
vehicle
sensitivity
predetermined object
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016210555A
Other languages
English (en)
Other versions
JP2018072105A5 (ja
JP6649865B2 (ja
Inventor
前田　優
Masaru Maeda
優 前田
博彦 柳川
Hirohiko Yanagawa
博彦 柳川
充保 松浦
Mitsuyasu Matsuura
充保 松浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Soken Inc filed Critical Denso Corp
Priority to JP2016210555A priority Critical patent/JP6649865B2/ja
Priority to US16/345,026 priority patent/US11014566B2/en
Priority to DE112017005447.8T priority patent/DE112017005447T5/de
Priority to PCT/JP2017/036714 priority patent/WO2018079252A1/ja
Priority to CN201780066668.8A priority patent/CN109891262B/zh
Publication of JP2018072105A publication Critical patent/JP2018072105A/ja
Publication of JP2018072105A5 publication Critical patent/JP2018072105A5/ja
Application granted granted Critical
Publication of JP6649865B2 publication Critical patent/JP6649865B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66—Sonar tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/292—Extracting wanted echo-signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/527—Extracting wanted echo signals
    • G01S7/5276—Extracting wanted echo signals using analogue techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/529—Gain of receiver varied automatically during pulse-recurrence period
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/53—Means for transforming coordinates or for evaluating data, e.g. using computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/292—Extracting wanted echo-signals
    • G01S7/2921—Extracting wanted echo-signals based on data belonging to one radar period
    • G01S7/2922—Extracting wanted echo-signals based on data belonging to one radar period by using a controlled threshold

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

【課題】車両制御の対象となる物体を適正に検知することができる物体検知装置を提供する。
【解決手段】ＥＣＵ３０は、車両５０の周囲に探査波を送信し、その探査波の反射波を受信することで車両５０の周囲に存在する物体までの距離を計測する測距センサ１０と、車両５０の周囲を撮像する車載カメラ２０とを備える車両５０に適用される。ＥＣＵ３０は、車載カメラ２０により撮像された撮像画像を取得する画像取得部と、撮像画像に基づいて認識された画像物体に、測距センサ１０の反射波による物体検知が困難となる所定物体が含まれているか否かを判定する判定部と、画像物体に所定物体が含まれていると判定された場合に、測距センサ１０による物体検知の感度を大きくする感度制御部と、所定物体を対象物体として車両制御を実施する車両制御部と、を備える。
【選択図】 図１

Description

本発明は、車両の周囲に存在する物体を検知する物体検知装置に関する。
従来、超音波センサ等の測距センサを車両に搭載し、車両周囲に存在する先行車両や歩行者、障害物等の物体を検知して、その物体の検知結果に基づいてブレーキ装置を作動させる等の車両制御を実施するシステムが提案されている。
例えば、超音波センサは、探査波を送信するとともにこの探査波に対応する反射波を受信する。そして、その反射波に基づいて物体までの距離が取得されることで物体が検知される。この場合、物体が検知される上で、例えば反射波の反射強度に検知閾値が設定されており、このような物体検知の感度を制御することにより適切な物体検知が図られている（例えば、特許文献１）。
国際公開第２０１１／１４５１４１号
しかしながら、実際の測距センサによる物体検知では、物体によっては反射波による検知が困難となることがあり、それに起因して、物体の検知結果に基づいて実施される車両制御に影響が及ぶおそれがある。例えば、駐車区画内の輪留めや、空間を仕切る金網、ロープ、自転車等は、本来車両制御の対象となりえるが、反射波の反射強度が弱く、超音波センサの出力からでは物体として検知されにくい。そのため、このような物体に対して車両制御が行えず、不都合が生じることがある。
本発明は、上記課題を解決するためになされたものであり、車両制御の対象となる物体を適正に検知することができる物体検知装置を提供することを主目的とする。
本発明は、車両（５０）の周囲に探査波を送信し、その探査波の反射波を受信することで該車両の周囲に存在する物体までの距離を計測する測距センサ（１０）と、前記車両の周囲を撮像する車載カメラ（２０）とを備える前記車両に適用され、前記車載カメラにより撮像された撮像画像を取得する画像取得部と、前記撮像画像に基づいて認識された画像物体に、前記測距センサの反射波による物体検知が困難となる所定物体が含まれているか否かを判定する判定部と、前記画像物体に前記所定物体が含まれていると判定された場合に、前記測距センサによる物体検知の感度を大きくする感度制御部と、前記所定物体を対象物体として車両制御を実施する車両制御部と、を備えることを特徴とする。
物体検知の感度が高いと、車両制御の対象とならない物体が検知されやすくなり、運転支援を実施する際の不要作動の原因にもなる。その反面、物体検知の感度がさほど高くない状況では、都度の車両制御において検知したい物体でありながら検知がなされないことが生じ得る。
この点、上記構成では、車載カメラの撮像画像に基づいて認識された画像物体に、測距センサの反射波による物体検知が困難となる所定物体が含まれているか否かを判定し、その所定物体が含まれていると判定された場合に測距センサによる物体検知の感度を大きくする。そして、所定物体を対象物体とし、測距センサの出力に基づいて車両制御を実施するようにした。この場合、撮像画像に基づいて所定物体を判定し、物体検知の感度を大きくすることで、測距センサの出力に基づいて所定物体を検知することが可能となる。すなわち、車載カメラの撮像画像を用いた物体認識を行いつつ、測距センサの出力に基づく物体検知を実施することで、検知されにくい物体を検知できるようにしている。これにより、物体に対する車両制御を適正に実施することができる。
車両の物体検知システムの概略構成を示す図。 撮像画像に基づいて認識される自転車のパターンを説明する図。 車両が自転車に近づくシーンを説明する図。 本実施形態における物体検知の感度制御の態様を示す図。 本実施形態における物体検知処理を示すフローチャート。 本実施形態における感度制御処理を示すフローチャート。 本実施形態における物体検知の感度制御の時系列的な変化を示す図。 反射波の波高値の閾値を小さくする態様の例を示す図。 所定範囲と所定物体のエッジ点の分布を示す標準偏差との関係を示す図。 所定物体までの距離と波高値の閾値との関係を示す図。
以下、本発明を具体化した実施形態を図面に基づいて説明する。本実施形態は、車両に搭載された物体検知システムを具体化している。当該システムでは、物体検知装置（以下、ＥＣＵという）を中枢として、車両の周囲に存在する物体（例えば、他車両や道路構造物等）を検知する。
まず、本実施形態に係る車両の物体検知システムの概略構成について図１を用いて説明する。車両５０は、測距センサとしての超音波センサ１０と、車両周辺を撮像する車載カメラ２０と、車速センサ２３と、ＥＣＵ３０とを有している。
超音波センサ１０は、所定の制御周期ごとに探査波としての超音波を送信し、物体から反射された反射波を受信するセンサである。超音波センサ１０は、この反射波に基づく測距情報をＥＣＵ３０へ出力する。
本実施形態では、車両５０の前部及び後部のバンパに、車幅方向に並ぶようにして４つのセンサが所定の間隔を開けてそれぞれ取り付けられている。例えば前方バンパには、超音波センサ１０として、車幅の中心線５１の近傍に、中心線５１に対して対称位置に取り付けられた２つのセンタセンサである第１センサ１１及び第２センサ１２と、車両５０の右コーナ及び左コーナにそれぞれ取り付けられた２つのコーナセンサ１３，１４とが設けられている。同様に、後方バンパにも、２つのセンタセンサ１５，１６と、２つのコーナセンサ１７，１８とが設けられている。
車載カメラ２０は、例えばＣＣＤカメラ、ＣＭＯＳイメージセンサ、近赤外線カメラ等を用いて構成されている。本実施形態では、車載カメラ２０として、前方カメラ２１及び後方カメラ２２が設けられている。前方カメラ２１及び後方カメラ２２は、車両５０の車幅方向中央の所定高さ（例えば、フロントガラス上端付近やリアガラス上端付近）にそれぞれ取り付けられ、自車前方や自車後方へ向けて所定角度範囲で広がる領域を俯瞰視点から撮像する。各カメラ２１，２２により撮像された撮像画像は、所定周期毎にＥＣＵ３０にそれぞれ入力される。なお、各カメラ２１，２２は、単眼カメラであってもよく、ステレオカメラであってもよい。
車速センサ２３は、車輪の回転速度に基づき車両５０の走行速度を検出する。車速センサ２３による検出結果は、ＥＣＵ３０に入力される。
ＥＣＵ３０は、ＣＰＵや各種メモリ等を備えたコンピュータを主体として構成されている。ＥＣＵ３０は、超音波センサ１０から出力された測距情報に基づいて、物体を検知する。具体的には、反射波の反射強度が検知閾値を超えたことに基づいて、物体までの距離を取得する。そして、その距離に基づいて、物体に対する車両制御を実施する。車両制御には、ドライバ等のユーザに物体の存在を報知するための警報装置やブレーキ装置等の安全装置の作動が含まれる。なお、反射波の反射強度は、超音波センサ１０により反射波が受信される際に、波高値又は振幅の大きさに基づいて求められる。
ところで、超音波センサ１０が探査波としての送信波を送信し、物体によって反射された反射波を受信することで、物体までの距離が計測される。ここで、反射波の反射強度は、物体の種類や大きさ等に応じて相違する。例えば、物体における探査波の反射面が大きい場合は、小さい場合に比べて反射強度が大きくなり、また、反射面が平面である場合は、曲面である場合に比べて反射強度が大きくなる。一方、超音波センサ１０の取付位置よりも低い位置に存在する物体（地面付近の物体）の場合は、反射強度が小さくなる傾向にある。その他、物体の材質等によっても反射強度の大きさは影響を受ける。
このような傾向から、例えば、駐車区画内に設置されている輪留めや、縁石、空間を仕切る金網、ロープ、自転車、ショッピングカート等は、超音波センサ１０の出力に基づく物体検知では検知されにくいものとなっている。
図４上図には、反射波の反射強度としての波高値と、検知閾値としての閾値Ｔｈとの関係を示している。なお、横軸は車両５０からの距離を表している。閾値Ｔｈは、探査波の残響に基づく反射波を検知しないように、車両５０に接近した領域では高く設定されている。ここで、反射波Ｐは、例えば自転車に由来する反射波を表している。つまりこの場合、車両５０から近い位置に自転車が存在することになる。しかしながら、反射波Ｐの波高値が閾値Ｔｈを下回っているため、自転車は検知されない。そのため、実際には車両制御の対象となりえるにもかかわらず、超音波センサ１０の出力からでは物体として検知されないことがあり、不都合が生じると考えられる。
そこで、本実施形態では、超音波センサ１０と車載カメラ２０とを備える車両５０において、車載カメラ２０の撮像画像に基づいて認識された画像物体に、超音波センサ１０の反射波による物体検知が困難となる所定物体が含まれているか否かを判定し、その所定物体が含まれていると判定された場合に、超音波センサ１０に基づく物体検知の感度を一時的に大きくする。そして、所定物体を対象物体とし、超音波センサ１０の出力に基づいて車両制御を実施するようにした。この場合、超音波センサ１０の反射波による物体検知が困難となる所定物体を、撮像画像を用いることで認識できることに着目し、撮像画像に基づく物体認識を行いつつ、超音波センサ１０の出力に基づく物体検知を実施することで、所定物体を検知できるようにしている。
ここで、画像物体とは、車載カメラ２０の撮像画像中において認識される物体をいう。本実施形態では、自転車や、金網、輪留め、縁石、ロープ、ショッピングカート等の物体を「所定物体」としており、これら各物体は、超音波センサ１０の出力に基づく物体検知では検知されにくいものとなっている。
撮像画像に基づく所定物体の判定について言えば、ＥＣＵ３０は、車載カメラ２０から画像データを取得し、その画像データと予め用意された物体識別用の辞書情報とに基づいて、画像物体に所定物体が含まれているか否かを判定する。物体識別用の辞書情報としては、例えば自動車、二輪車、歩行者といった物体に加えて、自転車、金網、輪留め等の所定物体が個別に用意され、メモリに予め記憶されている。なお、所定物体の辞書情報としては、車両５０に対する向きの違いによっても個別に用意されるとよい。例えば、図２（ａ），（ｂ）に示すように、自転車であれば、横向きパターン、縦向きパターンの辞書情報が用意されるとよい。また、ＥＣＵ３０は、画像データと辞書情報とをパターンマッチングにより照合することで、所定物体の種別を判定する。
例えば、図３（ａ）には、車両５０の後方に自転車Ｂが停められている状況下において、車両５０が自転車Ｂに向かって後退するシーンを示している。このシーンにおいて、自転車Ｂは、後方カメラ２２の撮像領域Ｃに属しており、さらに、後部バンパに設けられたセンタセンサ１５の探査波の探査領域Ｓにも属している。なお、図３（ａ）では便宜上、センタセンサ１５のみの探査領域Ｓを示している。
図３（ｂ）には、上記シーンにおける後方カメラ２２の撮像画像を示している。この場合、ＥＣＵ３０は、撮像画像の画像データと予め記憶されている自転車の辞書情報（この場合は、横向きパターン）に基づいて、撮像画像中に自転車Ｂを認識する。つまり、画像物体に自転車が含まれていると判定する。
そして、ＥＣＵ３０は、車両５０に対する自転車Ｂの相対位置として、車載カメラ２０の撮像画像に基づいて、車両５０から自転車Ｂまでの距離Ｌを推定する。ここで、距離Ｌの推定には、周知の方法を用いることができる。例えば、後方カメラ２２がステレオカメラの場合には、複数のカメラで同時に撮影した画像から画素毎の視差情報を取得し、その視差情報を用いて自転車Ｂまでの距離Ｌを推定する。また、後方カメラ２２が単眼カメラの場合には、移動ステレオの原理を用いる。具体的には、異なるタイミングで撮影した複数のフレームとフレーム間の移動距離とから画素毎の視差情報を取得し、その視差情報を用いて自転車Ｂまでの距離Ｌを推定する。
続いて、超音波センサ１０の出力に基づく物体検知の感度を一時的に大きくすることについて、より詳しく説明する。図４下図には、車両５０から距離Ｌだけ離間した地点、つまり自転車Ｂの推定位置Ａに基づいて、反射波の波高値の閾値Ｔｈを小さくする態様を示している。ここでは、図３のシーンを想定しており、図中の反射波は、センタセンサ１５が受信する反射波を示している。この場合、ＥＣＵ３０は、車両５０から自転車Ｂまでの距離方向において自転車Ｂの推定位置Ａを含む所定範囲Ｅで、波高値の閾値Ｔｈを小さくする。具体的には、所定範囲Ｅ内において、閾値Ｔｈを、所定の基準値よりも所定量Ｑ小さくする。そうすることで、自転車Ｂに由来する反射波Ｐが閾値Ｔｈを超え、自転車Ｂの距離が取得される。つまり、反射強度の検知閾値を部分的に小さくすることで、物体検知の感度を大きくしている。これにより、所定物体を検知しやすくしている。
所定範囲Ｅの設定に関して言えば、ＥＣＵ３０は、種々の条件に応じて所定範囲Ｅを設定する。具体的には、所定物体の種別に応じて所定範囲Ｅを設定する。ここで、所定物体として定められている物体には、反射波の幅Ｗ（波高値が所定以上となる幅）が小さく検出される物体もあれば、反射波の幅Ｗが大きく検出される物体もあると考えられる。そのため、所定物体に応じた反射波の幅Ｗの傾向を加味して、所定範囲Ｅが設定されるとよい。
なお、本実施形態では、所定範囲Ｅを、自転車Ｂの推定位置Ａを中心として車両５０から見て手前側（車両５０に近い側）及び奥側（車両５０から遠い側）にそれぞれ等距離離れた地点間の範囲としている。
また、所定量Ｑの設定に関して言えば、ＥＣＵ３０は、種々の条件に応じて所定量Ｑを設定する。具体的には、所定物体の種別に応じて所定量Ｑを設定する。上述の反射波の幅Ｗと同様に、所定物体によって反射波の波高値が異なる。そのため、所定物体に応じた波高値の傾向を加味して、所定量Ｑが設定されるとよい。
なお、本実施形態では、所定量Ｑを設定し、所定の基準値から所定量Ｑ小さい値とすることで、変更後の閾値Ｔｈを設定しているが、これを変更してもよい。例えば、所定量ＱＡを設定し、閾値Ｔｈを波高値のベースラインから所定量ＱＡ大きくした値に設定してもよい。この場合、所定量ＱＡは、所定の基準値よりも小さい値に設定される。なお、所定量ＱＡも所定物体に応じた波高値の傾向を加味して、設定されるとよい。
図５のフローチャートを用いて、撮像画像を用いた物体検知処理について説明する。この物体検知処理は、ＥＣＵ３０により所定周期で繰り返し実行される。
ステップＳ１１では、超音波センサ１０から出力された測距情報を取得する。ステップＳ１２では、車載カメラ２０から出力された撮像画像を取得する。なお、ステップＳ１２が「画像取得部」に相当する。
ステップＳ１３では、車両５０が低速走行中であるか否かを判定する。具体的には、車両５０の車速が閾値Ｖｔｈ未満であるか否かを判定する。閾値Ｖｔｈは、車両５０の車速が低速であるか否かを判定するための判定値であって、例えば２０ｋｍ／ｈに設定される。本実施形態では、例えば駐車場内や敷地構内を走行中に、不意に存在する（静止している）所定物体に対して物体検知の感度を大きくすることを想定している。ここで、仮に通常走行中においても同様に感度を大きくすることとすると、ブレーキ等の作動が頻発し、不都合が生じるおそれがある。そこで、所定の速度条件を設けることで、その不都合の発生を抑制している。なお、閾値Ｖｔｈは適宜変更することができる。ステップＳ１３がＹＥＳであれば、ステップＳ１４に進み、ステップＳ１３がＮＯであれば、そのまま本処理を終了する。
ステップＳ１４では、画像物体に所定物体が含まれているか否かを判定する。ここでは、上述したように、画像物体に対して、予め定められた所定物体のパターンを用いてパターンマッチングを行うことで、所定物体の存在を判定する。さらに、所定物体の種別を識別する。ステップＳ１４がＹＥＳであれば、ステップＳ１５に進み、ステップＳ１４がＮＯであれば、そのまま本処理を終了する。ステップＳ１４が「判定部」に相当する。なお、ステップＳ１４がＹＥＳの場合に超音波センサ１０による物体検知が行われていないことを条件に、ステップＳ１５以降が実施されるとよい。
ステップＳ１５では、車載カメラ２０の撮像画像に基づいて、車両５０に対する所定物体の相対位置を推定する。具体的には、上述したように、視差情報等を用いて所定物体までの距離Ｌを推定する。なお、ステップＳ１５が「位置推定部」に相当する。続くステップＳ１６では、物体検知の感度制御処理を行う。
図６に、物体検知の感度制御処理のフローチャートを示す。ステップＳ２１では、ステップＳ１４で識別された所定物体の種別に応じて、所定範囲Ｅを設定する。ここで、所定物体の種別に対応する反射波の幅Ｗは、予め適合により設定されている。例えば、ＥＣＵ３０は、反射波の幅Ｗが大きくなる傾向の物体の場合に、反射波の幅Ｗがそれよりも小さくなる傾向の物体の場合に比べて所定範囲Ｅを小さく設定する。
ステップＳ２２では、ステップＳ１４で識別された所定物体の種別に応じて、所定量Ｑを設定する。ここで、所定物体の種別に対応する波高値は、予め適合により設定されている。例えば、ＥＣＵ３０は、波高値が小さくなる傾向の物体の場合に、波高値がそれよりも大きくなる傾向の物体の場合に比べて所定量Ｑを大きく設定する。
ステップＳ２３では、ステップＳ２１及びステップＳ２２で設定された値に基づいて、波高値の閾値Ｔｈを設定する。これにより、閾値Ｔｈが、ステップＳ２１で設定された所定範囲Ｅ内において、所定の基準値よりもステップＳ２２で設定された所定量Ｑだけ小さい値とされる。すなわち、物体検知の感度が部分的に大きくなる。そして、図５のステップＳ１７に移行する。なお、ステップＳ１６の感度制御処理が「感度制御部」に相当する。
ステップＳ１７では、物体検知の感度制御処理において設定された感度に基づいて、所定物体を検知する。具体的には、超音波センサ１０の出力に基づいて、所定物体までの距離を取得する。続く、ステップＳ１８では、検知された所定物体に対して、車両制御を実施する。例えば、所定物体までの距離をユーザに表示したり、ブレーキ装置を作動させて所定物体との衝突を回避するようにする。なお、ステップＳ１８が、「車両制御部」に相当する。
続いて、図７には、物体検知の感度を大きくする制御の時系列的な変化について示す。上述したように、位置Ｗにおける感度制御では、自転車Ｂの推定位置Ａを含む所定範囲Ｅに対して、閾値Ｔｈを小さくする。その後、車両５０が自転車Ｂに近づく際には、車両５０と自転車Ｂとの距離に応じて、閾値Ｔｈを時系列的に変化させる。すなわち、車両５０の位置が位置Ｗ→位置Ｘ→位置Ｙと進むにつれて、自転車Ｂの推定位置Ａは車両５０に近づくことから、閾値Ｔｈを小さくする所定範囲Ｅの位置を車両５０に近づく側に変化させる。
さらに、車両５０の位置が位置Ｚとなり、車両５０と自転車Ｂとが接近した状態（例えば、自転車Ｂの推定位置Ａが所定距離Ｌｔｈ以下）となると、ＥＣＵ３０は、大きくした感度を元に戻す。すなわち、波高値の閾値Ｔｈを所定の基準値へ戻す。要するに、車両５０に対する自転車Ｂの距離が所定以下となる場合に、感度の変更を禁止するようにしている。
以上詳述した本実施形態によれば、以下の優れた効果が得られる。
超音波センサ１０の出力に基づく物体検知では、反射強度の点などから検知されにくい物体があり、このような物体に対して車両制御が実施されないことで不都合が生じることがある。この点、上記構成では、車載カメラ２０の撮像画像に基づいて認識された画像物体に、超音波センサ１０の反射波による物体検知が困難となる所定物体が含まれているか否かを判定し、所定物体が含まれていると判定された場合に超音波センサ１０による物体検知の感度を一時的に大きくする。そして、所定物体を対象物体とし、超音波センサ１０の出力に基づいて車両制御を実施するようにした。この場合、撮像画像に基づいて所定物体の存在を判定し、物体検知の感度を一時的に大きくすることで、超音波センサ１０の出力に基づいて所定物体を検知することが可能となる。すなわち、車載カメラ２０の撮像画像を用いた物体認識を行いつつ、超音波センサ１０の出力に基づく物体検知を実施することで、検知されにくい物体を検知し、所定物体の正確な距離を取得できる。これにより、物体に対する車両制御を適正に実施することができる。
具体的には、所定物体が含まれていると判定された場合に、車両５０に対する所定物体の相対位置を推定し、推定された所定物体の相対位置を含む所定範囲Ｅ内において、感度を大きくするようにしたため、所定物体に対して限定的に感度を大きくすることができる。これにより、所定物体を好適に検知しつつ、車両制御の対象とならない物体が検知されることを防ぐことができる。
所定物体の種別によって、反射波の幅Ｗが異なると考えられる。この点を考慮して、所定物体の種別に応じて、所定範囲Ｅを設定する構成としたため、例えば、反射波の幅Ｗが大きくなる傾向の物体の場合に、反射波の幅Ｗがそれよりも小さくなる傾向の物体の場合に比べて所定範囲Ｅを小さく設定することができ、物体の種別によっては感度をより限定的に大きくすることができる。これにより、所定物体に適した所定範囲Ｅを設定でき、ひいては所定物体毎に適した感度を設定することができる。
所定物体の種別によって、反射波の波高値が異なると考えられる。この点を考慮して、所定物体の種別に応じて、所定量Ｑを設定する構成としたため、例えば、波高値が小さくなる傾向の物体の場合に、波高値がそれよりも大きくなる傾向の物体の場合に比べて所定量Ｑを大きく設定することができ、物体の種別によっては感度をより大きくすることができる。これにより、所定物体に適した所定量Ｑを設定でき、ひいては所定物体毎に適した感度を設定することができる。
反射波の波高値の閾値Ｔｈを小さくした後において、車両５０が所定物体に対して近づく状況下で所定物体の推定位置Ａが所定距離Ｌｔｈ以下となった場合に、感度の変更を禁止するようにした。つまり、閾値Ｔｈを所定の基準値に戻すようにした。この場合、所定距離Ｌｔｈ以下の場合でも閾値Ｔｈを小さくすると、探査波の残響に基づく反射波を捉えてしまい、物体が存在しないにもかかわらず物体が存在するとして検知されることがある。かかる場合には、不要作動が生じるおそれがある。この点、上記構成とすることで、不要作動を抑制しつつ、所定物体を適正に検知することができる。
上記の実施形態を例えば次のように変更してもよい。
・上記実施形態では、超音波センサ１０による物体検知の感度を大きくする制御として、反射波の波高値の閾値Ｔｈを小さくする構成としたが、これに限らない。例えば超音波センサ１０から出力される反射波電圧に対して行う増幅処理において、所定物体の推定位置Ａにかかる反射波電圧に対して限定的に増幅率（ゲイン）を大きくする構成としてもよい。さらに、これらを併用する構成としてもよい。
・上記実施形態では、反射波の波高値の閾値Ｔｈを、所定範囲Ｅ内において、所定の基準値に対して一律の所定量Ｑだけ小さい値とする構成とした。この点、これに限定されず、所定範囲Ｅ内において閾値Ｔｈを小さくする態様を適宜変更することができ、例えば、図８（ａ）〜（ｃ）に示す態様とすることができる。図８（ａ）は、所定範囲Ｅ内において、車両５０からの距離が遠くなるほど閾値Ｔｈを小さくし、図８（ｂ）は、所定範囲Ｅ内において、車両５０からの距離が近くなるほど閾値Ｔｈを小さくし、図８（ｃ）は、所定範囲Ｅ内において、所定物体の推定位置Ａに向かって閾値Ｔｈを小さくする態様を示している。なお、いずれの態様においても、閾値Ｔｈが最も小さくなる値は、所定量Ｑに基づくものとなっている。
このように、所定範囲Ｅ内において閾値Ｔｈを小さくする態様を変化させることで、所定物体のみを的確に検知することができると考えられる。例えば、所定物体以外の物体であって車両制御の対象とならない物体（例えば、空き缶等）が、所定物体の付近に存在する場合には、図８（ａ）〜（ｃ）のような態様とすることで、所定物体のみを検知しつつ、車両制御の対象とならない物体を検知しないようにすることができる。なお、図中の反射波Ｔを、車両制御の対象とならない物体に由来する反射波とする。また、車両５０に対する所定物体の相対位置の推定、つまり所定物体までの距離Ｌの推定が精度よく実施される場合には、図８（ｃ）の態様とすることで、所定物体のみをより好適に検知できると考えられる。
・上記実施形態では、図６のステップＳ２１において、所定物体の種別に応じて所定範囲Ｅを設定する構成としたが、これに限定されない。例えば、撮像画像に基づいて推定される所定物体までの距離Ｌの信頼度（すなわち、確からしさ）に応じて、所定範囲Ｅを設定してもよい。この場合、信頼度が高いほど、所定範囲Ｅは小さく設定される。なお、距離Ｌの信頼度は、例えば、車両５０から所定物体までの距離方向における、所定物体にかかるエッジ点の分布（ばらつき）に基づいて算出される。
図９には、所定物体にかかるエッジ点の分布を示す標準偏差σと、所定範囲Ｅとの関係を示している。なお、標準偏差σが大きくなるほど、ばらつきが大きくなり、分布の広がりが大きくなることを表している。図９では、標準偏差σが小さいほど、距離Ｌの信頼度が高いとして、所定範囲Ｅを小さくする。つまり、所定物体にかかるエッジ点の分布が小さい場合に、それよりも分布が大きい場合に比べて所定範囲Ｅを小さくすることで所定物体をより選択的に検知することができる。
・上記実施形態では、図６のステップＳ２１において、所定範囲Ｅを、所定物体の推定位置Ａを中心として横軸にそれぞれ等間隔離れた地点間の範囲に設定したが、これに限定されない。例えば、推定位置Ａを中心に、車両５０から見て手前側の範囲の方が、奥側の範囲に比べて大きくなるように所定範囲Ｅを設定してもよく、又、推定位置Ａを含む所定距離以遠を所定範囲Ｅに設定してもよい。
・上記実施形態では、図７において、撮像画像に基づく車両５０と自転車Ｂとの距離Ｌに応じて、所定範囲Ｅの位置を変化させる構成としたが、これに加えて、距離Ｌに応じて、閾値Ｔｈの大きさ（例えば所定量Ｑ）を変化させる構成としてもよい。例えば、図１０には、撮像画像に基づく距離Ｌと閾値Ｔｈとの関係を示している。ここでは、所定物体までの距離Ｌが小さくなるほど、閾値Ｔｈが小さくなる。つまり、所定物体に車両５０が近づくほど、物体検知の感度が大きくなるようにしている。この構成によれば、所定物体との距離が近くなるほど、所定物体までの距離をより精度よく取得することができ、車両制御を好適に実施することができる。なお、かかる構成においても、所定物体の推定位置Ａが車両５０に対して所定距離Ｌｔｈまで近づくと、小さくした閾値Ｔｈを元に戻す構成とするとよい。
・例えば、パターンマッチングにより所定物体を認識して、所定物体の位置を一度推定したにもかかわらず、次回の画像処理においてパターンマッチングが適正に行われないことで、所定物体が認識できなくなることがあると考えられる。このような場合に、物体検知の感度制御が解除されると、超音波センサ１０の出力に基づく所定物体の検知が連続して実施されないおそれがある。この点、かかる事情を加味して、撮像画像に基づく所定物体の推定位置Ａを、車両５０の移動時においてトラッキング（追跡）する構成としてもよい。なお、ＥＣＵ３０において、所定物体の推定位置Ａを、トラッキングする処理が「トラッキング部」に相当する。
かかる構成では、ステップＳ１５で推定された所定物体の推定位置Ａはメモリに記憶され、別途求められる車両５０の移動距離等に応じて、所定物体の推定位置Ａが都度更新される。そして、更新された推定位置Ａに基づいて、感度制御処理が実施される。この構成によれば、画像処理が一時的に適正に実施できない場合であっても感度制御を中断することなく、超音波センサ１０の出力に基づいて連続した物体検知を行うことができる。
また、画像上には、物体の位置の推定に適さない領域が存在する。例えば、画像上の左端付近や右端付近の領域は、歪みの影響が大きいため、この領域に物体が認識される場合には、物体の位置の推定の精度が悪化すると考えられる。また、画像上の上端付近の領域は、仮にその領域に物体が存在しても衝突の可能性が極めて小さいため、物体の位置をそもそも推定しない場合がある。しかしながら、そのような領域に物体が認識される状況であっても、車両５０の急な操舵等によってかかる物体が急に車両制御の対象となる場合がありうる。この点を考慮し、撮像画像に基づいて推定位置Ａが取得された所定物体が、物体の位置の推定に適さない領域へ移行した場合には、それ以前に推定された所定物体の推定位置Ａを、車両５０の移動に合わせてトラッキング（追跡）するようにしてもよい。この構成によれば、所定物体が物体の位置の推定に適さない領域へ移行した場合であっても、所定物体の位置を精度良く推定でき、超音波センサ１０の出力に基づく物体検知を継続して実施することができる。
・超音波センサ１０による物体検知の感度を所定範囲内において多段階で設定可能とし、現感度により所定物体が検知されていないことを条件に段階的に感度を大きくする構成としてもよい。つまりこの構成では、ＥＣＵ３０は、所定物体が検知されるまで感度を大きくする。なお、ＥＣＵ３０において、所定物体が検知されていないことを判定する処理が「検知判定部」に相当する。
また、図５のステップＳ１４における撮像画像に基づく所定物体の判定において、例えば路面（地面）よりも上方に金網が存在する状況下で、撮像画像内においてその金網の影が実際の金網の位置よりも車両手前側に写り込む場合には、その影を誤って金網と認識することが考えられる。図３（ｂ）に示す自転車Ｂの手前側に延びる影Ｋについても同様に、誤認識することが考えられる。かかる場合には、その影の位置に対して物体検知の感度を大きくしても金網や自転車は検知されない。この点を考慮して、超音波センサ１０による物体検知の感度を大きくした後において、その状態で所定物体が検知されていない場合には、感度の変更を禁止する構成としてもよい。具体的には、路面からの反射が取得できるまで反射波の波高値の閾値Ｔｈを小さくしても、所定物体が検知されない場合に、閾値Ｔｈを所定の基準値に戻すようにするとよい。これにより、撮像画像に基づいて所定物体が誤って認識された場合においても不要な物体検知を防ぐことができる。
・上記実施形態では、測距センサとして超音波センサ１０を用いたが、探査波を送受信できるセンサであれば特に制限されない。例えば、ミリ波レーダやレーザレーダ等を用いる構成であってもよい。
１０…超音波センサ、２０…車載カメラ、３０…ＥＣＵ、５０…車両。

Claims (9)

  1. 車両（５０）の周囲に探査波を送信し、その探査波の反射波を受信することで該車両の周囲に存在する物体までの距離を計測する測距センサ（１０）と、前記車両の周囲を撮像する車載カメラ（２０）とを備える前記車両に適用され、
    前記車載カメラにより撮像された撮像画像を取得する画像取得部と、
    前記撮像画像に基づいて認識された画像物体に、前記測距センサの反射波による物体検知が困難となる所定物体が含まれているか否かを判定する判定部と、
    前記画像物体に前記所定物体が含まれていると判定された場合に、前記測距センサによる物体検知の感度を大きくする感度制御部と、
    前記所定物体を対象物体として車両制御を実施する車両制御部と、
    を備える物体検知装置（３０）。
  2. 前記画像物体に前記所定物体が含まれていると判定された場合に、前記車両に対する前記所定物体の相対位置を推定する位置推定部を備え、
    前記感度制御部は、前記車両から前記所定物体までの距離方向において前記所定物体の相対位置を含む所定範囲内で、前記感度を大きくする請求項１に記載の物体検知装置。
  3. 前記判定部は、前記画像物体に前記所定物体が含まれているか否かの判定と、前記所定物体の種別判定とを実施するものであって、
    前記感度制御部は、前記所定物体の種別に応じて、前記所定範囲を設定する請求項２に記載の物体検知装置。
  4. 前記感度制御部は、前記画像物体に前記所定物体が含まれていると判定された場合に、前記撮像画像の前記所定物体にかかる特徴点の分布に基づいて、前記所定範囲を設定する請求項２又は３に記載の物体検知装置。
  5. 前記車両の移動時において、前記所定物体の相対位置をトラッキングするトラッキング部を備え、
    前記位置推定部は、前記トラッキング部によりトラッキングされた前記所定物体の相対位置に基づいて、前記所定物体の相対位置を更新する請求項２乃至４のいずれか１項に記載の物体検知装置。
  6. 前記判定部は、前記画像物体に前記所定物体が含まれているか否かの判定と、前記所定物体の種別判定とを実施するものであって、
    前記感度制御部は、前記測距センサから出力される信号の強度を比較する検知閾値を下げることで、前記感度を大きくするものであって、前記判定部により判定された前記所定物体の種別に応じて、前記検知閾値を設定する請求項１乃至５のいずれか１項に記載の物体検知装置。
  7. 前記感度制御部は、前記車両に対する前記所定物体の距離が近いほど、前記感度を大きくする請求項１乃至６のいずれか１項に記載の物体検知装置。
  8. 前記車両に対する前記所定物体の距離が所定以下となる場合に、前記感度制御部による前記感度の変更を禁止する請求項１乃至７のいずれか１項に記載の物体検知装置。
  9. 前記感度制御部により前記感度が大きくされた後において、その状態で前記所定物体が検知されていないことを判定する検知判定部を備え、
    前記検知判定部により前記所定物体が検知されていないと判定された場合に、前記感度制御部による前記感度の変更を禁止する請求項１乃至８のいずれか１項に記載の物体検知装置。
JP2016210555A 2016-10-27 2016-10-27 物体検知装置 Active JP6649865B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016210555A JP6649865B2 (ja) 2016-10-27 2016-10-27 物体検知装置
US16/345,026 US11014566B2 (en) 2016-10-27 2017-10-10 Object detection apparatus
DE112017005447.8T DE112017005447T5 (de) 2016-10-27 2017-10-10 Objekterfassungsvorrichtung
PCT/JP2017/036714 WO2018079252A1 (ja) 2016-10-27 2017-10-10 物体検知装置
CN201780066668.8A CN109891262B (zh) 2016-10-27 2017-10-10 物体探测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016210555A JP6649865B2 (ja) 2016-10-27 2016-10-27 物体検知装置

Publications (3)

Publication Number Publication Date
JP2018072105A true JP2018072105A (ja) 2018-05-10
JP2018072105A5 JP2018072105A5 (ja) 2018-12-13
JP6649865B2 JP6649865B2 (ja) 2020-02-19

Family

ID=62023533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016210555A Active JP6649865B2 (ja) 2016-10-27 2016-10-27 物体検知装置

Country Status (5)

Country Link
US (1) US11014566B2 (ja)
JP (1) JP6649865B2 (ja)
CN (1) CN109891262B (ja)
DE (1) DE112017005447T5 (ja)
WO (1) WO2018079252A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019178971A (ja) * 2018-03-30 2019-10-17 パナソニックＩｐマネジメント株式会社 環境地図生成装置、環境地図生成方法、及び環境地図生成プログラム
WO2020105166A1 (ja) * 2018-11-22 2020-05-28 三菱電機株式会社 障害物検知装置
JP2020154758A (ja) * 2019-03-20 2020-09-24 トヨタ自動車株式会社 運転支援装置
US11105923B2 (en) 2018-11-01 2021-08-31 Panasonic Intellectual Property Management Co., Ltd. Driving support apparatus
KR20210126072A (ko) * 2019-02-19 2021-10-19 테슬라, 인크. 시각적 이미지 데이터를 사용하는 오브젝트 특성 추정

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6649865B2 (ja) * 2016-10-27 2020-02-19 株式会社Ｓｏｋｅｎ 物体検知装置
JP6735801B2 (ja) * 2018-10-16 2020-08-05 三菱電機株式会社 物体認識装置およびこれを用いた車両制御装置並びに物体認識方法およびこれを用いた車両制御方法
CN110838125B (zh) * 2019-11-08 2024-03-19 腾讯医疗健康(深圳)有限公司 医学图像的目标检测方法、装置、设备、存储介质
CN111323757B (zh) * 2019-12-30 2022-04-05 北京海兰信数据科技股份有限公司 一种航海雷达目标检测方法及装置
CN113386742B (zh) * 2021-05-28 2023-05-09 晋城鸿智纳米光机电研究院有限公司 制动辅助系统、方法及汽车
CN114627443B (zh) * 2022-03-14 2023-06-09 小米汽车科技有限公司 目标检测方法、装置、存储介质、电子设备及车辆

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63177091A (ja) * 1987-01-19 1988-07-21 Kubota Ltd 測距用の超音波センサ
JPH06214015A (ja) * 1993-01-19 1994-08-05 Toyota Motor Corp 周波数変調レーダ装置
JPH08201510A (ja) * 1995-01-31 1996-08-09 Nec Corp 精測進入レーダ
JP2001351193A (ja) * 2000-06-09 2001-12-21 Nissan Motor Co Ltd 歩行者検知装置
JP2006284293A (ja) * 2005-03-31 2006-10-19 Daihatsu Motor Co Ltd 車両の物標検出装置及び物標検出方法
JP2009174900A (ja) * 2008-01-22 2009-08-06 Fujitsu Ten Ltd 物体検出装置、物体検出方法および物体検出システム
JP2009236623A (ja) * 2008-03-26 2009-10-15 Fujitsu Ten Ltd 物体検知装置、周辺監視装置、運転支援システムおよび物体検知方法
JP2013057584A (ja) * 2011-09-08 2013-03-28 Mitsubishi Electric Corp 物体検出装置
JP2015059764A (ja) * 2013-09-17 2015-03-30 株式会社日本自動車部品総合研究所 物体検知装置及び物体検知システム
US20150346337A1 (en) * 2014-05-30 2015-12-03 Mando Corporation Autonomous emergency braking system and method for recognizing pedestrian therein

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002243842A (ja) * 2001-02-21 2002-08-28 Furuno Electric Co Ltd 探知装置
US7034742B2 (en) * 2002-07-15 2006-04-25 Automotive Systems Laboratory, Inc. Road curvature estimation and automotive target state estimation system
GB0325622D0 (en) * 2003-11-03 2003-12-10 Cambridge Consultants System for determining positional information
DE102006003489A1 (de) * 2006-01-25 2007-07-26 Robert Bosch Gmbh Vorrichtung und Verfahren zur Unterstützung eines Einparkvorgangs eines Fahrzeugs
CN101688783A (zh) * 2007-07-04 2010-03-31 三菱电机株式会社 导航系统
WO2011145141A1 (ja) 2010-05-19 2011-11-24 三菱電機株式会社 車両後方監視装置
EP2757781B1 (en) * 2011-09-13 2018-02-21 Toyota Jidosha Kabushiki Kaisha Optical axis ascertaining device for in-vehicle camera
DE102012200729A1 (de) * 2012-01-19 2013-07-25 Robert Bosch Gmbh Verfahren und Umfelderfassungsvorrichtung zur Bestimmung der Position und/oder der Bewegung mindestens eines Objektes in der Umgebung eines Fahrzeuges mittels von an dem Objekt reflektierten akustischen Signalen
JP2016210555A (ja) 2015-05-07 2016-12-15 株式会社リコー シート綴じ装置、シート処理装置、画像形成装置、及び画像形成システム
JP6512164B2 (ja) * 2016-04-22 2019-05-15 株式会社デンソー 物体検出装置、物体検出方法
JP6649865B2 (ja) * 2016-10-27 2020-02-19 株式会社Ｓｏｋｅｎ 物体検知装置
JP2019159380A (ja) * 2018-03-07 2019-09-19 株式会社デンソー 物体検知装置、物体検知方法およびプログラム
JP7020353B2 (ja) * 2018-09-21 2022-02-16 トヨタ自動車株式会社 物体検出装置
JP7128449B2 (ja) * 2019-04-18 2022-08-31 トヨタ自動車株式会社 運転支援装置及びその運転支援装置の調整方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63177091A (ja) * 1987-01-19 1988-07-21 Kubota Ltd 測距用の超音波センサ
JPH06214015A (ja) * 1993-01-19 1994-08-05 Toyota Motor Corp 周波数変調レーダ装置
JPH08201510A (ja) * 1995-01-31 1996-08-09 Nec Corp 精測進入レーダ
JP2001351193A (ja) * 2000-06-09 2001-12-21 Nissan Motor Co Ltd 歩行者検知装置
JP2006284293A (ja) * 2005-03-31 2006-10-19 Daihatsu Motor Co Ltd 車両の物標検出装置及び物標検出方法
JP2009174900A (ja) * 2008-01-22 2009-08-06 Fujitsu Ten Ltd 物体検出装置、物体検出方法および物体検出システム
JP2009236623A (ja) * 2008-03-26 2009-10-15 Fujitsu Ten Ltd 物体検知装置、周辺監視装置、運転支援システムおよび物体検知方法
JP2013057584A (ja) * 2011-09-08 2013-03-28 Mitsubishi Electric Corp 物体検出装置
JP2015059764A (ja) * 2013-09-17 2015-03-30 株式会社日本自動車部品総合研究所 物体検知装置及び物体検知システム
US20150346337A1 (en) * 2014-05-30 2015-12-03 Mando Corporation Autonomous emergency braking system and method for recognizing pedestrian therein

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019178971A (ja) * 2018-03-30 2019-10-17 パナソニックＩｐマネジメント株式会社 環境地図生成装置、環境地図生成方法、及び環境地図生成プログラム
US11105923B2 (en) 2018-11-01 2021-08-31 Panasonic Intellectual Property Management Co., Ltd. Driving support apparatus
WO2020105166A1 (ja) * 2018-11-22 2020-05-28 三菱電機株式会社 障害物検知装置
JPWO2020105166A1 (ja) * 2018-11-22 2021-02-15 三菱電機株式会社 障害物検知装置
KR20210126072A (ko) * 2019-02-19 2021-10-19 테슬라, 인크. 시각적 이미지 데이터를 사용하는 오브젝트 특성 추정
JP2022520968A (ja) * 2019-02-19 2022-04-04 テスラ，インコーポレイテッド 視覚画像データを用いたオブジェクト属性の推定
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
KR102618700B1 (ko) * 2019-02-19 2023-12-29 테슬라, 인크. 시각적 이미지 데이터를 사용하는 오브젝트 특성 추정
JP2020154758A (ja) * 2019-03-20 2020-09-24 トヨタ自動車株式会社 運転支援装置
JP7147648B2 (ja) 2019-03-20 2022-10-05 トヨタ自動車株式会社 運転支援装置

Also Published As

Publication number Publication date
CN109891262A (zh) 2019-06-14
DE112017005447T5 (de) 2019-07-11
WO2018079252A1 (ja) 2018-05-03
JP6649865B2 (ja) 2020-02-19
CN109891262B (zh) 2022-11-11
US20190276030A1 (en) 2019-09-12
US11014566B2 (en) 2021-05-25

Similar Documents

Publication Publication Date Title
WO2018079252A1 (ja) 物体検知装置
US10836388B2 (en) Vehicle control method and apparatus
US9797734B2 (en) Object recognition apparatus
WO2017057058A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US9819927B2 (en) Image processing device, image processing method, and device control system
JP6190758B2 (ja) 物体認識装置及び車両
US9827956B2 (en) Method and device for detecting a braking situation
JP6787157B2 (ja) 車両制御装置
US11351997B2 (en) Collision prediction apparatus and collision prediction method
TW201704067A (zh) 防撞方法、實現該防撞方法之電腦程式產品及防撞系統
JP2008276689A (ja) 車両用障害物認識装置
JP5012270B2 (ja) 物体検出装置
WO2016186171A1 (ja) 物体検出装置、及び物体検出方法
JP2009169776A (ja) 検出装置
US20200307453A1 (en) Driver assistance system, and control method for the same
JP2008037361A (ja) 障害物認識装置
KR20150096924A (ko) 전방 충돌 차량 선정 방법 및 시스템
JP6703471B2 (ja) 物体検知装置
JP6193177B2 (ja) 動作支援システム及び物体認識装置
JP6465919B2 (ja) 障害物検知システム
JP4872517B2 (ja) 障害物認識装置
WO2018012513A1 (ja) 物体検知装置
KR102440478B1 (ko) 사각지대 감지장치 및 방법
JP4644590B2 (ja) 周辺車両位置検出装置および周辺車両位置検出方法
EP3217357B1 (en) Estimation of movement of a target object

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181101

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200117

R150 Certificate of patent or registration of utility model

Ref document number: 6649865

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250