JP2010061567A - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP2010061567A
JP2010061567A JP2008228812A JP2008228812A JP2010061567A JP 2010061567 A JP2010061567 A JP 2010061567A JP 2008228812 A JP2008228812 A JP 2008228812A JP 2008228812 A JP2008228812 A JP 2008228812A JP 2010061567 A JP2010061567 A JP 2010061567A
Authority
JP
Japan
Prior art keywords
detection
image
detection point
point data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008228812A
Other languages
English (en)
Other versions
JP4434296B1 (ja
Inventor
Takeshi Nanami
剛 名波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2008228812A priority Critical patent/JP4434296B1/ja
Priority to PCT/JP2009/065251 priority patent/WO2010026959A1/ja
Priority to DE112009001686T priority patent/DE112009001686T5/de
Priority to CN200980112554.8A priority patent/CN102084408B/zh
Priority to US12/988,941 priority patent/US8466827B2/en
Application granted granted Critical
Publication of JP4434296B1 publication Critical patent/JP4434296B1/ja
Publication of JP2010061567A publication Critical patent/JP2010061567A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00Brake-action initiating means
    • B60T7/12Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • G01S13/426Scanning radar, e.g. 3D radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185Controlling the brakes

Abstract

【課題】 レーダによる検出結果と画像処理による検出結果の時間的なずれに起因する誤差の影響を低減し、物体検出精度を向上させることができる物体検出装置を提供する。
【解決手段】 物体検出装置1の物体検出部10は、レーダ検出部により検出された検出点データを参照して画像撮像部12により撮像された画像データを探索して、検出対象物体に対応する画像部分を検出する画像部分探索手段22と、レーダ検出部14により検出された検出点データから検出対象物体に対応する検出点データを抽出する検出点抽出手段24と、検出点抽出手段により抽出された検出点データに合わせて、画像部分探索手段により検出された画像部分の位置を補正する画像部分補正手段26とを有する。
【選択図】 図1

Description

本発明は、レーダによる検出結果と、撮像装置による撮像画像とに基づいて物体を検出する物体検出装置に関する。
従来、車両の衝突防止システム等において、先行車両や対向車両等の他車両との衝突を回避するために、他車両の位置等を検出する物体検出装置が用いられている。この物体検出装置として、レーダによって検出した検出結果とカメラによって撮像した画像とを組み合わせるセンサフュージョンの認識処理によって物体を検出する装置がある。
レーダでは、原理的に検出対象物体の幅を算出できないが、当該物体までの距離情報を取得できる。一方、単眼カメラでは、検出対象物体までの距離は求められないが、物体の幅等を検出することができる。センサフュージョンは、このような複数センサの機能を組み合わせて物体を検出する方法である。センサフュージョンによる物体検出については、これまでにも種々検討がなされている。
例えば、特許文献1には、レーダによる検出結果を利用してカメラによる撮影画像の処理を行い、レーダの測距距離と画像処理によって得られた車両特徴量(車幅等)とから先行車両等を認識して検出する方法が記載されている。
特開2005−141517号公報
ところで、上記のようなセンサフュージョンによる物体検出においては、レーダによる検出結果を利用して画像データを処理するため、画像処理結果の取得は、レーダ単独による検出結果の取得よりも時間を要する。このため、従来のセンサフュージョン技術では、画像処理による検出結果の時間的な遅れに起因して、画像処理により認識した物体位置が実際の物体位置に対してずれてしまう、という問題があった。
本発明は、かかる事情に鑑みてなされたものであり、画像処理により認識した物体位置のずれを低減し、物体検出精度を向上させることができる物体検出装置を提供することを目的とする。
上述した目的を達成するために、本発明に係る物体検出装置は、所定範囲を撮像して画像データを得る画像撮像部と、所定範囲内の複数の異なる方向に電磁波を照射して、当該電磁波が照射された方向の夫々について、当該方向に存在する物体までの距離データを含む検出点データを得るレーダ検出部と、画像撮像部により撮像された画像データとレーダ検出部により検出された検出点データとに基づいて所定の検出対象物体を検出する物体検出部と、を備え、物体検出部は、レーダ検出部により検出された検出点データを参照して画像撮像部により撮像された画像データを探索して、検出対象物体に対応する画像部分を検出する画像部分探索手段と、レーダ検出部により検出された検出点データから検出対象物体に対応する検出点データを抽出する検出点抽出手段と、検出点抽出手段により抽出された検出点データに合わせて、画像部分探索手段により検出された画像部分の位置を補正する画像部分補正手段と、を有することを特徴とする。
上記構成の物体検出装置によれば、画像撮像部が所定範囲を撮像した画像データを取得すると共に、レーダ検出部が同範囲内の複数の異なる方向についての検出点データを取得する。そして、物体検出部が、画像データ及び検出点データを処理することにより、検出対象物体に対応する画像部分の位置を補正する。この物体検出部の処理においては、画像撮像部により撮像された画像データを探索して、検出対象物体に対応する画像部分を検出する処理が行われる。また、レーダ検出部により検出された複数の検出点データから検出対象物体に対応する検出点データを抽出する処理が行われる。次に、抽出された検出点データに合わせて、画像部分の位置を補正する処理が行われる。以上の一連の処理により、検出対象物体に対応する画像部分の位置を補正するため、画像処理により認識した物体位置のずれを低減し、物体の検出精度を向上させることができる。
上述した物体検出装置において、画像部分補正手段は、検出点抽出手段により抽出された検出点データから成る領域の端部に画像部分の端部が一致するように、画像部分の位置を補正することが好ましい。この構成によれば、検出対象物体に対応する検出点データから成る領域の端部に画像部分の端部が一致するように画像部分の位置を補正するため、検出対象物体に対応する画像部分の位置を精度良く補正でき、物体の検出精度を向上させることができる。
上述した物体検出装置において、画像部分補正手段は、検出点抽出手段により抽出された検出点データが画像部分の外側にある場合に画像部分の位置を補正することが好ましい。この構成によれば、検出対象物体に対応する検出点データが画像部分の外側にある場合に当該画像部分の位置を補正することにより、誤差を有する画像部分の位置を補正できるため、物体検出精度を向上させることができる。
上述した物体検出装置において、画像部分補正手段において用いる検出点データは、画像部分探索手段において用いる画像データの撮像よりも後に検出された検出点データであることが好ましい。この構成によれば、画像データの撮像よりも後に検出された検出点データを用いて画像部分の位置を補正するため、古い画像データから探索された画像部分が新しい検出データに基づいて補正されるため、物体の検出精度を向上させることができる。
上述した物体検出装置において、物体検出部は、検出点抽出手段により抽出された検出点データと画像部分補正手段により位置を補正された画像部分とから、検出対象物体に関する情報を演算する物体情報演算手段を更に有することが好ましい。この構成によれば、検出対象物体に対応する検出点データと位置を補正された画像部分とから、検出対象物体に関する情報を演算する処理が行われるため、検出対象物体の検出精度を向上させることができる。
上述した物体検出装置において、検出対象物体は車両であることが好ましい。この構成によれば、物体検出装置を設置した位置の周辺に存在する車両の検出精度を向上させることができる。
本発明に係る物体検出装置によれば、画像処理により認識した物体位置のずれを低減し、物体検出精度を向上させることができる。
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。
図1は、本発明の好適な実施形態に係る衝突防止装置1を示すブロック構成図である。本実施形態の衝突防止装置1は、道路上にある障害物との衝突を防止するための装置であり、物体検出装置10と制動部40とを備えて構成される。
物体検出装置10は、所定の検出対象物体(他車両や落下物などの障害物)を検出する装置であり、単眼カメラ12とミリ波レーダ14と物体検出部16とを備える。物体検出部16は、カメラECU20とDSS(Driver Support System)ECU30とを備える。
単眼カメラ12は、自車両の前部に取り付けられた、自車両の前方の画像を撮像する画像撮像部である。単眼カメラ12は、所定時間ごとに自車両前方の所定範囲を撮像して画像データを生成し、生成した画像データをカメラECU20へ逐次出力する。
ミリ波レーダ14は、自車両前部の単眼カメラ12近傍に取り付けられた、自車両の前方の物体を検出するレーダ検出部である。ミリ波レーダ14は、単眼カメラ12が撮像する自車両前方の所定範囲と同一範囲においてミリ波帯の電波を左右方向及び上下方向に走査して、その反射波を検出することにより、当該範囲内に存在する物体までの距離データを含む検出点データを取得する。すなわち、ミリ波レーダ14は、所定範囲内の複数の異なる方向にミリ波帯の電波を照射して、当該電波が照射された方向の夫々について、当該方向に存在する物体までの距離データを含む検出点データを取得する。ミリ波レーダ14は、所定時間ごとに検出点データを取得し、取得した検出点データをカメラECU20及びDSSECU30へ逐次出力する。
物体検出部16は、自車両に搭載された、画像データ及び検出点データに基づいて所定の検出対象物体を検出し、自車両が検出対象物体と衝突する可能性を判定するものである。物体検出部16における処理は、カメラECU20及びDSSECU30によって行われる。
カメラECU20は、画像データから所定の検出対象物体の画像部分を検出する画像処理部である。カメラECU20は、単眼カメラ12に接続されており、単眼カメラ12から出力される画像データを取得する。カメラECU20は、画像データを処理することにより、自車両の前方に存在する検出対象物体の画像部分を検出する。カメラECU20は、所定の検出対象物体の画像部分を検出するために、公知の種々の画像処理手法を採用すればよい。
本実施形態では、カメラECU20は、ミリ波レーダ14に接続されており、ミリ波レーダ14から出力される多数の検出点データを取得する。カメラECU20は、ミリ波レーダ14から取得した多数の検出点データから検出対象物体に対応する検出点データを抽出し、抽出した検出点データを参照して検出対象物体の画像部分の位置を補正する。カメラECU20は、検出対象物体の画像部分の位置を補正すると、補正済みの検出対象物体の画像部分を含む画像データをDSSECU30に出力する。
DSSECU30は、検出点データ及び画像データに基づいて、検出対象物体の位置や幅等の情報を演算するセンサフュージョン処理部である。DSSECU30は、ミリ波レーダ14及びカメラECU20に接続されており、ミリ波レーダ14から出力される検出点データを取得すると共に、カメラECU20から出力される補正済みの画像部分のデータを取得する。DSSECU30は、検出点データと補正済みの画像部分のデータを処理することにより、自車両の前方に存在する所定の検出対象物体の位置や幅等の特徴量情報を演算する。そして、DSSECU30は、この演算結果に基づいて、自車両が検出対象物体と衝突する可能性を判定し、判定結果を制動部40へ出力する。
なお、DSSECU30で処理される検出点データは、ミリ波レーダ14からDSSECU30に直接送られるが、DSSECU30で処理される画像データは、単眼カメラ12より出力されてからカメラECU20での画像処理を経てDSSECU30に到達する。よって、DSSECU30で同時に処理される検出点データ及び画像データを比較すると、検出点データよりも画像データの方が時間的に遅れている。但し、本実施形態では、カメラECU20にて検出対象物体の画像部分の位置が補正されるため、時間的な遅れに起因する物体位置のずれが低減されている。
図1に示すように、カメラECU20は、画像部分探索手段22と検出点抽出手段24と画像部分補正手段26とを備えており、DSSECU30は、物体情報演算手段32と衝突判定手段34とを備えている。これらの手段の夫々は、物体検出部16の処理の一部を、物体検出部16の構成として示したものである。これらの手段については、後述する物体検出部16の動作説明において説明する。なお、カメラECU20及びDSSECU30は、例えば、CPU、ROM、RAMを含むコンピュータを主体として構成される。
制動部40は、ブレーキ(図示せず)を制御して、自車両に制動力を与える制動制御を行うものである。つまり、制動部40は、検出対象物体との衝突可能性の判定結果をDSSECU30から取得し、衝突可能性があると判定された場合には、ブレーキを制御することにより、自車両に制動力を与え、検出対象物体との接触を回避する。
次に、図2を参照して、衝突防止装置1の動作について説明する。図2は、物体検出部16、すなわちカメラECU20及びDSSECU30の処理を示すフローチャートである。以下の処理は、エンジンが始動されてからエンジンが停止されるまでの間、繰り返し実行される。なお、以下の説明では、物体検出装置10を搭載する自車両の前方を1台の他車両が対向して走行する状況を一例として説明する。
先ず、ステップS1において、カメラECU20は、単眼カメラ12から出力される画像データを取得し、取得した画像データから所定の検出対象物体(他車両や落下物などの障害物)の画像部分を探索する。カメラECU20は、所定の検出対象物体に対応する画像部分を探索するために、様々な公知の画像処理手法を採用すればよい。例えば、自車両の前方を他車両が走行している状況では、カメラECU20は、他車両を撮像した画像データGを単眼カメラ12から取得し、他車両の画像部分50を探索する(図3、図4(a)、図5(a)参照)。なお、ステップS1は、画像部分探索手段22に相当する。
次に、ステップS2において、カメラECU20は、ミリ波レーダ14から出力される多数の検出点データを取得し、多数の検出点データを物体ごとにグルーピングする。カメラECU20は、例えば、自車両前方のミリ波レーダ14の走査範囲において得られる検出点データであって、照射方向及び距離データの値が互いに近い複数の検出点データを、一つの物体に対応する検出点データとしてグルーピングする。ここで、検出点データの夫々は、ミリ波帯の電波が照射された方向のデータと物体までの距離のデータとで構成される。カメラECU20は、グルーピングした検出点データの夫々についてミリ波レーダ14の座標系から単眼カメラ12の座標系への座標変換を行い、検出点データの夫々について画像データG上の対応する位置pを演算する(図3、図4(a)、図5(a)参照)。
次に、ステップS3において、カメラECU20は、ステップS2でグルーピングした検出点データの夫々について、ステップS1で探索した検出対象物体の画像部分に対応しているか否かを判定する。カメラECU20は、グルーピングされた検出点データと検出対象物体の画像部分とが画像データ上において重畳した位置にある場合には、そのグルーピングされた検出点データが検出対象物体に対応したものであることを判定し、ステップS4に進む。一方、カメラECU20は、グルーピングされた検出点データのいずれも検出対象物体の画像部分に対応していない場合には、処理を終了する。なお、ステップS2及びステップS3の処理により検出対象物体に対応する検出点データが抽出されるため、ステップS2及びステップS3は検出点抽出手段24に相当する。
次に、ステップS4において、カメラECU20は、検出対象物体に対応する検出点データが検出対象物体の画像部分の範囲内にあるか否かを判定する。ここで、カメラECU20は、検出対象物体に対応する検出点データが検出対象物体の画像部分の横幅の範囲内にある場合には、ステップS8に進む。一方、カメラECU20は、検出対象物体に対応する検出点データが検出対象物体の画像部分の横幅の範囲内にない場合には、ステップS5に進む。
例えば図3に示す状況では、カメラECU20は、他車両に対応する検出点データpの位置が他車両の画像部分50の横幅の範囲内にあることを判定し、画像データGをそのままの状態でDSSECU30に出力し、ステップS8に進む。一方、例えば図4(a)又は図5(a)に示す状況では、カメラECU20は、他車両に対応する検出点データpの位置が他車両の画像部分50の横幅の範囲内にないことを判定し、ステップS5に進む。
次に、ステップS5では、カメラECU20は、検出対象物体に対応する検出点データの位置が検出対象物体の画像部分の右側又は左側のいずれに外れているかを判定する。ここで、カメラECU20は、検出対象物体に対応する検出点データの位置が検出対象物体の画像部分の右側に外れている場合には、ステップS6に進む。一方、カメラECU20は、検出対象物体に対応する検出点データの位置が検出対象物体の画像部分の左側に外れている場合には、ステップS7に進む。
例えば図4(a)に示す状況では、カメラECU20は、他車両に対応する検出点データpは他車両の画像部分50の右側に外れていると判定し、ステップS6に進む。一方、例えば図5(a)に示す状況では、カメラECU20は、他車両に対応する検出点データpは他車両の画像部分50の左側に外れていると判定し、ステップS7に進む。
ステップS6では、カメラECU20は、検出対象物体に対応する検出点データに合わせて検出対象物体の画像部分の位置を右側に補正する。より詳しくは、カメラECU20は、検出対象物体に対応する検出点データから成る領域の右の端部に、検出対象物体の画像部分の右の端部を一致させることにより、検出対象物体の画像部分の位置を精度良く補正する。カメラECU20は、位置補正済みの検出対象物体の画像部分を含んで構成される画像データをDSSECU30へ出力する。
ステップS7では、カメラECU20は、検出対象物体に対応する検出点データに合わせて検出対象物体の画像部分の位置を左側に補正する。より詳しくは、カメラECU20は、検出対象物体に対応する検出点データから成る領域の左の端部に、検出対象物体の画像部分の左の端部を一致させることにより、検出対象物体の画像部分の位置を精度良く補正する。カメラECU20は、位置補正済みの検出対象物体の画像部分を含んで構成される画像データをDSSECU30へ出力する。
例えば図4(a)に示す状況では、カメラECU20は、他車両に対応する検出点データpから成る領域の右の端部に、他車両の画像部分50の右の端部を一致させることにより、図4(b)に示す画像データHを得る。また、例えば図5(a)に示す状況では、カメラECU20は、他車両に対応する検出点データpから成る領域の左の端部に、他車両の画像部分50の左の端部を一致させることにより、図5(b)に示す画像データHを得る。なお、ステップS4〜ステップS6は、画像部分補正手段26に相当する。
上述した本実施形態の処理では、画像処理に要する時間に起因する、検出対象物体の画像部分の位置ずれが解消又は低減されている。すなわち、カメラECU20は、単眼カメラ12から画像データを取得して画像処理を行ってから、ミリ波レーダ14からの検出点データを取得する。そして、カメラECU20は、画像データから探索した検出対象物体の画像部分の位置を、検出対象物体に対応する検出点データに合わせて補正する。この処理によれば、検出対象物体の画像部分の位置は時間的により新しい検出点データを用いて補正されるため、検出対象物体の画像部分の位置ずれが解消又は低減されており、検出対象物体の検出精度の向上を実現している。
次に、DSSECU30による処理に移行する。ステップS8では、DSSECU30は、ミリ波レーダ14からの検出点データを取得すると共に、カメラECU20からの画像データを取得する。ここで、DSSECU30が取得する検出点データは、前述したカメラECU20の処理に用いられた検出点データと同じ時間に生成されたものであるか、極めて近い時間に生成されたものである。よって、DSSECU30が取得する検出点データに対しても、検出対象物体の画像部分の位置ずれが解消又は低減されたものとなっている。
次に、ステップS9では、DSSECU30は、検出点データ及び画像データに基づいて、検出対象物体に関する情報を演算する。すなわち、DSSECU30は、検出対象物体に対応する検出点データに含まれる方向データ及び距離データと、補正済みの検出対象物体の画像部分とから、検出対象物体の位置や幅等の情報を演算する。なお、ステップS7及びステップS8は、物体情報演算手段32に相当する。
上述の処理によって演算された検出対象物体の位置や幅等に基づいて、DSSECU30は、自車両と検出対象物体との衝突可能性を判定し、判定結果を制動部40へ出力する。なお、この処理は衝突判定手段34に相当する。
制動部40は、自車両と検出対象物体との衝突可能性の判定結果をDSSECU30から取得する。そして、制動部40は、自車両と検出対象物体とが衝突する可能性があることを示す判定結果を取得した場合には、ブレーキを制御することにより、自車両に制動力を与え、検出対象物体との接触を回避する。
本実施形態では、DSSECU30は、検出対象物体の画像部分の位置を補正した画像データHに基づいて、検出対象物体に関する位置や幅等の情報を演算するため、検出対象物体の検出精度を向上することができる。そして、DSSECU30は、検出精度の向上した検出対象物体の情報に基づいて、自車両が検出対象物体に衝突する可能性を的確に判断するため、衝突可能性の誤判定を防止することができ、必要な制御が実行されない状況又は不要な制御が実行される状況を回避することができる。
以上、本発明の好適な実施形態について詳述したが、本発明の物体検出装置は、上記の実施形態に限定されるものではない。上記の実施形態では、他車両を検出する場合を一例として説明したが、他の実施形態では、他車両以外の検出対象物体を検出してもよい。
また、上記の実施形態では、カメラECU20は、検出対象物体に対応する検出点データが検出対象物体の画像部分から外れている場合に、検出対象物体に対応する検出点データから成る領域の端部に検出対象物体の画像部分の端部を一致させたが、本発明はこれに限定されない。カメラECU20は、検出対象物体の画像部分を移動して、検出対象物体の画像部分から外れた検出点データを検出対象物体の画像部分の範囲内とするものであればよい。
また、上記の実施形態では、カメラECU20は、検出対象物体に対応する画像部分の位置を左右方向に補正したが、検出対象物体に対応する画像部分の位置を上下方向に補正してもよい。また、カメラECU20は、検出対象物体に対応する画像部分の位置を上下方向及び左右方向の両方向に補正してもよい。
また、本実施形態では、カメラECU20が検出点抽出手段24と画像部分補正手段26とを備えるように構成されているが、他の実施形態では、カメラECU20に代えて、DSSECU30が検出点抽出手段24と画像部分補正手段26とを備えるように構成されてもよい。
また、本実施形態ではレーダ検出部としてミリ波レーダ14を用いているが、レーダ検出部は他の波長の電磁波を照射するものでもよく、例えばレーダ検出部としてレーザレーダを用いてもよい。
本発明の好適な実施形態に係る物体検出装置を示すブロック構成図である。 本実施形態における物体検出装置の処理を示すフローチャートである。 本実施形態における検出点データ及び画像部分の第1の位置関係を示す正面図である。 本実施形態における検出点データ及び画像部分の第2の位置関係を示す正面図である。 本実施形態における検出点データ及び画像部分の第3の位置関係を示す正面図である。
符号の説明
1…衝突防止装置、10…物体検出装置、12…単眼カメラ(画像撮像部)、14…ミリ波レーダ(レーダ検出部)、16…物体検出部、20…カメラECU、22…画像部分探索手段、24…検出点抽出手段、26…画像部分補正手段、30…DSSECU、32…物体情報演算手段、34…衝突判定手段、50…画像部分、G,H…画像データ、p…検出点データ。

Claims (6)

  1. 所定範囲を撮像して画像データを得る画像撮像部と、
    前記所定範囲内の複数の異なる方向に電磁波を照射して、当該電磁波が照射された方向の夫々について、当該方向に存在する物体までの距離データを含む検出点データを得るレーダ検出部と、
    前記画像撮像部により撮像された画像データと前記レーダ検出部により検出された検出点データとに基づいて所定の検出対象物体を検出する物体検出部と、
    を備え、
    前記物体検出部は、
    前記レーダ検出部により検出された検出点データを参照して前記画像撮像部により撮像された画像データを探索して、前記検出対象物体に対応する画像部分を検出する画像部分探索手段と、
    前記レーダ検出部により検出された検出点データから前記検出対象物体に対応する検出点データを抽出する検出点抽出手段と、
    前記検出点抽出手段により抽出された前記検出点データに合わせて、前記画像部分探索手段により検出された前記画像部分の位置を補正する画像部分補正手段と、
    を有することを特徴とする物体検出装置。
  2. 前記画像部分補正手段は、前記検出点抽出手段により抽出された前記検出点データから成る領域の端部に前記画像部分の端部が一致するように、前記画像部分の位置を補正することを特徴とする、請求項1に記載の物体検出装置。
  3. 前記画像部分補正手段は、前記検出点抽出手段により抽出された前記検出点データが前記画像部分の外側にある場合に前記画像部分の位置を補正することを特徴とする、請求項1又は2に記載の物体検出装置。
  4. 前記画像部分補正手段において用いる検出点データは、前記画像部分探索手段において用いる画像データの撮像よりも後に検出された検出点データであることを特徴とする、請求項1〜3に記載の物体検出装置。
  5. 前記物体検出部は、前記検出点抽出手段により抽出された前記検出点データと前記画像部分補正手段により位置を補正された画像部分とから、前記検出対象物体に関する情報を演算する物体情報演算手段を更に有することを特徴とする、請求項1〜4に記載の物体検出装置。
  6. 前記検出対象物体は車両であることを特徴とする、請求項1〜5に記載の物体検出装置。
JP2008228812A 2008-09-05 2008-09-05 物体検出装置 Expired - Fee Related JP4434296B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008228812A JP4434296B1 (ja) 2008-09-05 2008-09-05 物体検出装置
PCT/JP2009/065251 WO2010026959A1 (ja) 2008-09-05 2009-09-01 物体検出装置
DE112009001686T DE112009001686T5 (de) 2008-09-05 2009-09-01 Objekterfassungsvorrichtung
CN200980112554.8A CN102084408B (zh) 2008-09-05 2009-09-01 物体检测装置
US12/988,941 US8466827B2 (en) 2008-09-05 2009-09-01 Object detecting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008228812A JP4434296B1 (ja) 2008-09-05 2008-09-05 物体検出装置

Publications (2)

Publication Number Publication Date
JP4434296B1 JP4434296B1 (ja) 2010-03-17
JP2010061567A true JP2010061567A (ja) 2010-03-18

Family

ID=41797127

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008228812A Expired - Fee Related JP4434296B1 (ja) 2008-09-05 2008-09-05 物体検出装置

Country Status (5)

Country Link
US (1) US8466827B2 (ja)
JP (1) JP4434296B1 (ja)
CN (1) CN102084408B (ja)
DE (1) DE112009001686T5 (ja)
WO (1) WO2010026959A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227029A (ja) * 2010-04-23 2011-11-10 Honda Motor Co Ltd 車両の周辺監視装置
JP2011232139A (ja) * 2010-04-27 2011-11-17 Honda Motor Co Ltd 車両の周辺監視装置
JP2013057541A (ja) * 2011-09-07 2013-03-28 Ihi Corp 対象物との相対位置計測方法と装置
US9798002B2 (en) 2012-11-22 2017-10-24 Denso Corporation Object detection apparatus
KR20180040012A (ko) * 2016-10-11 2018-04-19 주식회사 만도 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법
JP2018097688A (ja) * 2016-12-14 2018-06-21 株式会社デンソー 物体検出装置、物体検出方法
CN108363060A (zh) * 2018-01-19 2018-08-03 上海思岚科技有限公司 一种动态障碍物检测方法及设备
WO2019097731A1 (ja) * 2017-11-20 2019-05-23 三菱電機株式会社 障害物認識装置および障害物認識方法
JP2021099275A (ja) * 2019-12-23 2021-07-01 株式会社デンソー 自己位置推定装置、方法及びプログラム
KR20210116186A (ko) * 2020-03-11 2021-09-27 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 장애물 검출 방법, 장치, 전자 기기 및 저장 매체

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9135830B2 (en) * 2010-02-18 2015-09-15 Xsight Systems Ltd. Airport travel surface edge lighting and foreign object detection system and method
JP5505702B2 (ja) * 2010-02-24 2014-05-28 アイシン精機株式会社 車両周辺監視装置
US9019150B2 (en) * 2011-02-21 2015-04-28 TransRobotics, Inc. System and method for sensing distance and/or movement
US10163348B2 (en) * 2012-08-01 2018-12-25 Toyota Jidosha Kabushiki Kaisha Drive assist device
EP2894619A4 (en) * 2012-09-03 2016-03-16 Toyota Motor Co Ltd DEVICE AND METHOD FOR COLLISION DETERMINATION
EP3828591A1 (en) 2012-10-05 2021-06-02 Transrobotics, Inc. Systems and methods for high resolution distance sensing and applications
US9052393B2 (en) 2013-01-18 2015-06-09 Caterpillar Inc. Object recognition system having radar and camera input
US9167214B2 (en) 2013-01-18 2015-10-20 Caterpillar Inc. Image processing system using unified images
JP6212880B2 (ja) * 2013-03-04 2017-10-18 株式会社デンソー 物標認識装置
JP6157598B2 (ja) 2013-04-12 2017-07-05 株式会社日立製作所 移動ロボット、及び、音源位置推定システム
WO2014192143A1 (ja) * 2013-05-31 2014-12-04 トヨタ自動車 株式会社 車両の運転支援装置及び車載コンピュータ
JP5812061B2 (ja) * 2013-08-22 2015-11-11 株式会社デンソー 物標検出装置およびプログラム
US9557415B2 (en) * 2014-01-20 2017-01-31 Northrop Grumman Systems Corporation Enhanced imaging system
JP6459659B2 (ja) * 2014-03-18 2019-01-30 株式会社リコー 画像処理装置、画像処理方法、運転支援システム、プログラム
EP3164859B1 (en) * 2014-07-03 2022-08-31 GM Global Technology Operations LLC Vehicle radar methods and systems
US10890648B2 (en) * 2014-10-24 2021-01-12 Texas Instruments Incorporated Method and apparatus for generating alignment matrix for camera-radar system
KR20160082309A (ko) * 2014-12-30 2016-07-08 현대모비스 주식회사 레이저스캐너를 이용한 레이더센서의 차량 추적위치 보정 시스템 및 방법
DE102015116574A1 (de) * 2015-09-30 2017-03-30 Claas E-Systems Kgaa Mbh & Co Kg Selbstfahrende landwirtschaftliche Arbeitsmaschine
JP6825569B2 (ja) * 2015-09-30 2021-02-03 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
DE102015116586A1 (de) * 2015-09-30 2017-03-30 Claas E-Systems Kgaa Mbh & Co Kg Selbstfahrende landwirtschaftliche Arbeitsmaschine
US10137904B2 (en) 2015-10-14 2018-11-27 Magna Electronics Inc. Driver assistance system with sensor offset correction
US10359779B2 (en) 2016-03-22 2019-07-23 Aurora Flight Sciences Corporation Aircrew automation system and method
JP6536521B2 (ja) * 2016-09-22 2019-07-03 株式会社デンソー 物体検知装置及び物体検知方法
KR102494260B1 (ko) * 2016-12-06 2023-02-03 주식회사 에이치엘클레무브 차량의 주행 지원 장치 및 이의 구동 방법
KR102313026B1 (ko) * 2017-04-11 2021-10-15 현대자동차주식회사 차량 및 차량 후진 시 충돌방지 보조 방법
US10816970B2 (en) 2017-06-15 2020-10-27 Aurora Flight Sciences Corporation System and method for performing an emergency descent and landing
US10453351B2 (en) 2017-07-17 2019-10-22 Aurora Flight Sciences Corporation System and method for detecting obstacles in aerial systems
US10509415B2 (en) 2017-07-27 2019-12-17 Aurora Flight Sciences Corporation Aircrew automation system and method with integrated imaging and force sensing modalities
KR101921074B1 (ko) * 2017-11-23 2018-11-22 (주) 모토텍 차량의 aeb 구동을 위한 센서 퓨전 시스템
US10850397B2 (en) 2018-04-19 2020-12-01 Aurora Flight Sciences Corporation System and method for providing in-cockpit actuation of aircraft controls
US10875662B2 (en) 2018-04-19 2020-12-29 Aurora Flight Sciences Corporation Method of robot manipulation in a vibration environment
US11399137B2 (en) 2018-08-10 2022-07-26 Aurora Flight Sciences Corporation Object-tracking system
US11037453B2 (en) 2018-10-12 2021-06-15 Aurora Flight Sciences Corporation Adaptive sense and avoid system
US11151810B2 (en) 2018-10-12 2021-10-19 Aurora Flight Sciences Corporation Adaptable vehicle monitoring system
JP7185547B2 (ja) * 2019-02-07 2022-12-07 株式会社デンソー 車両検出装置
US11703593B2 (en) 2019-04-04 2023-07-18 TransRobotics, Inc. Technologies for acting based on object tracking
CN113095108B (zh) * 2019-12-23 2023-11-10 中移物联网有限公司 一种疲劳驾驶检测方法及装置
CN111583716B (zh) * 2020-04-29 2022-06-14 浙江吉利汽车研究院有限公司 一种车辆避障方法、装置、电子设备及存储介质
CN112528763A (zh) * 2020-11-24 2021-03-19 浙江大华汽车技术有限公司 一种目标检测方法、电子设备和计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP2006293835A (ja) * 2005-04-13 2006-10-26 Toyota Motor Corp 物体検出装置
JP2007163258A (ja) * 2005-12-13 2007-06-28 Alpine Electronics Inc 車載センサの補正装置および方法
JP2007240208A (ja) * 2006-03-06 2007-09-20 Toyota Central Res & Dev Lab Inc 環境認識装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0115433D0 (en) * 2001-06-23 2001-08-15 Lucas Industries Ltd An object location system for a road vehicle
DE10229334B4 (de) * 2002-06-29 2010-09-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kalibrierung von Sensoren im Kraftfahrzeug mittels eines Kalibrierobjekts mit Triple-Spiegel als Bezugsmerkmal
JP2004037239A (ja) 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
NL1023016C2 (nl) * 2003-03-25 2004-09-30 Tno Detectiesysteem, werkwijze voor het detecteren van objecten en computerprogramma daarvoor.
JP4074577B2 (ja) 2003-11-07 2008-04-09 ダイハツ工業株式会社 車両検出方法及び車両検出装置
US20060091654A1 (en) * 2004-11-04 2006-05-04 Autoliv Asp, Inc. Sensor system with radar sensor and vision sensor
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
JP4193886B2 (ja) * 2006-07-26 2008-12-10 トヨタ自動車株式会社 画像表示装置
US8189857B2 (en) * 2007-09-07 2012-05-29 EDH Holding (Pty) Ltd Methods and processes for detecting a mark on a playing surface and for tracking an object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP2006293835A (ja) * 2005-04-13 2006-10-26 Toyota Motor Corp 物体検出装置
JP2007163258A (ja) * 2005-12-13 2007-06-28 Alpine Electronics Inc 車載センサの補正装置および方法
JP2007240208A (ja) * 2006-03-06 2007-09-20 Toyota Central Res & Dev Lab Inc 環境認識装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227029A (ja) * 2010-04-23 2011-11-10 Honda Motor Co Ltd 車両の周辺監視装置
JP2011232139A (ja) * 2010-04-27 2011-11-17 Honda Motor Co Ltd 車両の周辺監視装置
JP2013057541A (ja) * 2011-09-07 2013-03-28 Ihi Corp 対象物との相対位置計測方法と装置
US9798002B2 (en) 2012-11-22 2017-10-24 Denso Corporation Object detection apparatus
KR102537598B1 (ko) * 2016-10-11 2023-06-01 주식회사 에이치엘클레무브 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법
KR20180040012A (ko) * 2016-10-11 2018-04-19 주식회사 만도 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법
JP2018097688A (ja) * 2016-12-14 2018-06-21 株式会社デンソー 物体検出装置、物体検出方法
WO2019097731A1 (ja) * 2017-11-20 2019-05-23 三菱電機株式会社 障害物認識装置および障害物認識方法
JPWO2019097731A1 (ja) * 2017-11-20 2020-04-02 三菱電機株式会社 障害物認識装置および障害物認識方法
CN108363060A (zh) * 2018-01-19 2018-08-03 上海思岚科技有限公司 一种动态障碍物检测方法及设备
JP2021099275A (ja) * 2019-12-23 2021-07-01 株式会社デンソー 自己位置推定装置、方法及びプログラム
JP7290104B2 (ja) 2019-12-23 2023-06-13 株式会社デンソー 自己位置推定装置、方法及びプログラム
KR20210116186A (ko) * 2020-03-11 2021-09-27 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 장애물 검출 방법, 장치, 전자 기기 및 저장 매체
KR102407504B1 (ko) * 2020-03-11 2022-06-13 아폴로 인텔리전트 드라이빙 테크놀로지(베이징) 컴퍼니 리미티드 장애물 검출 방법, 장치, 전자 기기 및 저장 매체

Also Published As

Publication number Publication date
JP4434296B1 (ja) 2010-03-17
US8466827B2 (en) 2013-06-18
DE112009001686T5 (de) 2012-01-12
US20110050482A1 (en) 2011-03-03
CN102084408B (zh) 2015-11-25
WO2010026959A1 (ja) 2010-03-11
CN102084408A (zh) 2011-06-01

Similar Documents

Publication Publication Date Title
JP4434296B1 (ja) 物体検出装置
JP4858574B2 (ja) 物体検出装置
JP5926080B2 (ja) 走行区画線認識装置およびプログラム
US9053554B2 (en) Object detection device using an image captured with an imaging unit carried on a movable body
CN109219546B (zh) 停车辅助装置以及停车辅助方法
US20120313806A1 (en) Object detecting apparatus and object detecting method
US10592755B2 (en) Apparatus and method for controlling vehicle
JP2009174900A (ja) 物体検出装置、物体検出方法および物体検出システム
US10527719B2 (en) Object detection apparatus and object detection method
US20170227634A1 (en) Object recognition apparatus using a plurality of object detecting means
JP5098563B2 (ja) 物体検出装置
JP2009140175A (ja) 白線検出装置
KR20160082309A (ko) 레이저스캐너를 이용한 레이더센서의 차량 추적위치 보정 시스템 및 방법
JP2018091652A (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム
US20180060679A1 (en) Vanishing point correction apparatus and method
JP2006048435A (ja) 車両用画像処理装置
JP2010108168A (ja) 衝突予測装置
US10706586B2 (en) Vision system for a motor vehicle and method of controlling a vision system
US10909850B2 (en) Movement track detection apparatus, moving object detection apparatus, and movement track detection method
JP2010071942A (ja) 物体検出装置
JP2010032429A (ja) 物体検出装置
JP2011149856A (ja) 物体識別方法及び物体識別装置
JP2012118682A (ja) 運転支援制御装置
JP6390459B2 (ja) 光軸ずれ検出装置
JP2010208512A (ja) 車両

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091221

R151 Written notification of patent or utility model registration

Ref document number: 4434296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees