JP2016066181A - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP2016066181A
JP2016066181A JP2014193891A JP2014193891A JP2016066181A JP 2016066181 A JP2016066181 A JP 2016066181A JP 2014193891 A JP2014193891 A JP 2014193891A JP 2014193891 A JP2014193891 A JP 2014193891A JP 2016066181 A JP2016066181 A JP 2016066181A
Authority
JP
Japan
Prior art keywords
captured image
optical flow
vehicle
direction based
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014193891A
Other languages
English (en)
Other versions
JP6281460B2 (ja
Inventor
崇弘 馬場
Takahiro Baba
崇弘 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014193891A priority Critical patent/JP6281460B2/ja
Priority to PCT/JP2015/076117 priority patent/WO2016047495A1/ja
Priority to US15/513,520 priority patent/US10217024B2/en
Publication of JP2016066181A publication Critical patent/JP2016066181A/ja
Application granted granted Critical
Publication of JP6281460B2 publication Critical patent/JP6281460B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】レーダおよびカメラを用いて物体を検出する技術において、同一物体であるか否かの判定を良好に実施できるようにする。【解決手段】衝突軽減装置においては、電磁波を送受信することによって物体の位置を検出する電磁波センサによって検出された第１の物体の軌跡を推定し（Ｓ３１０）、カメラにて得られた撮像画像を画像処理することによってオプティカルフローを取得する（Ｓ３２０）。また、第１の物体の周囲に存在する複数の特徴点におけるオプティカルフローに基づく移動方向と、第１の物体の軌跡による移動方向とが一致するか否かを判定する（Ｓ３４０、Ｓ３５０）。そして、第１の物体の軌跡による移動方向とオプティカルフローに基づく移動方向とが一致することを条件として、複数の特徴点にて特定される物体を表す第２の物体、および第１の物体が同一の物体であると判定する（Ｓ３４０、Ｓ３５０、Ｓ３６０）。【選択図】図４

Description

本発明は、レーダおよびカメラを用いて物体を検出する技術に関する。
車両の衝突回避システムでは、他の車両や歩行者等の物体を精度よく検出することが求められる。そこで、レーダおよびカメラを用いて物体に関する情報である物体を検出する構成が提案されている（特許文献１参照）。具体的には、特許文献１に記載の構成では、ミリ波レーダおよび単眼カメラによりそれぞれ独立して物体が検出され、それら物体の位置関係が判断基準を満たしている場合（特に、近接している場合）に、それらの物体が同一物体であると判定される。
特開２０１４−１２２８７３号公報
しかしながら、上記システムでは、レーダおよびカメラを用いて検出された物体が近接していると、これらが異なる物体であるとしても同一の物体であると誤認識する虞があった。
そこで、このような問題点を鑑み、レーダおよびカメラを用いて物体を検出する技術において、同一物体であるか否かの判定を良好に実施できるようにすることを本発明の目的とする。
本発明の物体検出装置において第１軌跡推定手段は、電磁波を送受信することによって物体の位置を検出する電磁波センサによって検出された第１の物体の軌跡を推定し、オプティカルフロー取得手段は、カメラにて得られた撮像画像を画像処理することによって撮像画像中の多数の特徴点のオプティカルフローを取得する。
また、移動方向一致判定手段は、多数の特徴点のうちの第１の物体の周囲に存在する複数の特徴点におけるオプティカルフローに基づく移動方向と、第１の物体の軌跡による移動方向とが一致するか否かを判定する。そして、同一判定手段は、第１の物体の軌跡による移動方向とオプティカルフローに基づく移動方向とが一致することを条件として、複数の特徴点にて特定される物体を表す第２の物体、および第１の物体が同一の物体であると判定する。
このような物体検出装置によれば、電磁波センサによって検出された第１の物体の軌跡と、画像処理によるオプティカルフローとを利用して、第１の物体および第２の物体が同一の物体であるか否かを判定するので、第１の物体と第２の物体とが同一であるか否かをより精度よく判定することができる。
なお、本発明において「多数」とは「複数」よりも多い概念であり、「多数」は「複数」が２以上である場合、３以上であることを示す。また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、一部構成を除外してもよい。
本発明が適用された衝突軽減装置１の概略構成を示すブロック図である。 衝突軽減ＥＣＵ７が実行する衝突軽減処理を示すフローチャートである。 誤差領域を示す平面図である。 衝突軽減処理のうちの同一判定処理を示すフローチャートである。 オプティカルフローを示す画像図である。 オプティカルフローを精度よく利用可能な領域を示す平面図である。
以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
本発明が適用された衝突軽減装置１は、車両等の移動体に搭載された装置である。衝突軽減装置１は、レーダおよびカメラ画像を用いて物体（他車両や歩行者等の物体に関する情報）を検出し、この物体と衝突する虞がある場合に、衝突を回避または衝突する際の衝撃を軽減するために、自車両を制動する等の制御を行う機能を有する。特に、本実施形態の衝突軽減装置１においては、レーダによって検出された物体とカメラによって検出された物体とが、１つの物体（同一物体）であるのか、異なる物体であるのかを精度よく認識する機能を備えている。
衝突軽減装置１は、図１に示すように、ミリ波レーダ２と、単眼カメラ３と、ブレーキＥＣＵ４と、エンジンＥＣＵ５と、報知装置６と、衝突軽減ＥＣＵ７と、を備える。衝突軽減装置１において、衝突軽減ＥＣＵ７は、ミリ波レーダ２、単眼カメラ３、ブレーキＥＣＵ４、エンジンＥＣＵ５および報知装置６のそれぞれと通信可能に接続されている。なお、通信を実現するための構成は、特に限定されない。
ミリ波レーダ２は、ミリ波を利用して物体（他車両や歩行者等）を検出するためのレーダであって、自車両（衝突軽減装置１が搭載された車両）の前側における中央（先端位置）に取り付けられている。ミリ波レーダ２は、ミリ波を水平面内でスキャンしながら自車両から前方に向けて送信し、反射してきたミリ波を受信することによって得られる送受信データを、レーダ信号として衝突軽減ＥＣＵ７へ送信する。
単眼カメラ３は、１台のＣＣＤカメラを備え、自車両の車室内の前側における中央に取り付けられている。単眼カメラ３は、ＣＣＤカメラで撮像した画像のデータを、画像信号として衝突軽減ＥＣＵ７へ送信する。
ブレーキＥＣＵ４は、自車両の制動を制御する電子制御装置であって、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。具体的には、ブレーキＥＣＵ４は、ブレーキ液圧回路に設けられた増圧制御弁および減圧制御弁を開閉するアクチュエータであるブレーキＡＣＴを、ブレーキペダルの踏込量を検出するセンサの検出値に応じて制御する。また、ブレーキＥＣＵ４は、衝突軽減ＥＣＵ７からの指示に従い、自車両の制動力を増加させるようにブレーキＡＣＴを制御する。
エンジンＥＣＵ５は、エンジンの始動／停止、燃料噴射量、点火時期等を制御する電子制御装置であって、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。具体的には、エンジンＥＣＵ５は、吸気管に設けられたスロットルを開閉するアクチュエータであるスロットルＡＣＴを、アクセルペダルの踏込量を検出するセンサの検出値に応じて制御する。また、エンジンＥＣＵ５は、衝突軽減ＥＣＵ７からの指示に従い、内燃機関の駆動力を減少させるようにスロットルＡＣＴを制御する。
報知装置６は、衝突軽減ＥＣＵ７から警報信号を受信すると、音や光などで車両の運転者に対する報知を行う。
衝突軽減ＥＣＵ７は、衝突軽減装置１を統括制御する電子制御装置であって、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。衝突軽減ＥＣＵ７は、ＣＰＵのマスタクロックに基づく一定時間ごとに、ミリ波レーダ２からのレーダ信号および単眼カメラ３からの画像信号を取り入れる。
［本実施形態の処理］
次に、衝突軽減装置１による物体検出方法および衝突軽減方法について説明する。衝突軽減ＥＣＵ７には、衝突軽減装置１による物体検出を実現するため、および衝突を軽減するためのプログラムである衝突軽減プログラムが記憶されている。以下、衝突軽減プログラムに従い衝突軽減ＥＣＵ７が実行する衝突軽減処理について、図２のフローチャートを用いて説明する。なお、図２に示す処理は、所定周期で繰り返し実行される。
衝突軽減処理では、図２に示すように、まず、ミリ波レーダ２から送信されるレーダ信号（ミリ波レーダ２による検出情報）に基づいて、物体を検出する（Ｓ１１０）。具体的には、衝突軽減ＥＣＵ７は、レーダ信号に基づいて、まず、自車両から物体までの直線距離と、その物体の水平方位位置（自車両の前方方向を基準とする角度位置）と、を算出（特定）する。
そして、これらの算出値に基づき、図３に示すように、ＸＹ平面における物体の位置座標（Ｘ座標およびＹ座標）を、ＸＹ平面における物体の検出点Ｐｒとして算出（特定）する。このＸＹ平面は、自車両の車幅方向（横方向）をＸ軸、自車両の車長方向（前方方向）をＹ軸、としたものである。ミリ波レーダ２により物体の幅方向において複数の検出点が得られた物体について、物体の検出点Ｐｒは、例えば、それらの複数の検出点の中央に設定される。
また、このＸＹ平面では、自車両の先端位置（ミリ波レーダ２が設けられた位置）が基準点Ｐｏとして設定され、物体の検出点Ｐｒは基準点Ｐｏに対する相対位置を表す。なお、図３は、自車両の前方かつ右寄りに位置する物体の例である。また、このＳ１１０において、物体の検出点Ｐｒに加え、物体との相対速度等を算出してもよい。また、以下の説明では、Ｓ１１０で検出した物体（ミリ波レーダ２による検出情報に基づいて検出した物体に関する情報）を「レーダ物体」という。
続いて、図３に示すように、Ｓ１１０で算出したレーダ物体の検出点Ｐｒを中心とするレーダ誤差領域２１を設定する（Ｓ１２０）。具体的には、衝突軽減ＥＣＵ７は、レーダ物体の検出点ＰｒのＸ座標およびＹ座標を基準として、Ｘ座標およびＹ座標のそれぞれについて、ミリ波レーダ２の特性に基づきあらかじめ設定されている想定誤差分（Δθ）の幅を持たせた領域を、レーダ誤差領域２１として設定する。
続いて、単眼カメラ３から送信される画像信号（単眼カメラ３による撮像画像）に基づいて、物体を検出する（Ｓ１３０）。具体的には、衝突軽減ＥＣＵ７は、画像信号の表す撮像画像を解析して物体を識別する。この識別は、例えば、あらかじめ登録されている物体モデルを用いたマッチング処理により行われる。
物体モデルは、物体の種類（車両、歩行者等）ごとに用意されているため、物体の種類（種別）も特定される。そして、衝突軽減ＥＣＵ７は、撮像画像における物体の上下方向の位置に基づいて、前述したＸＹ平面におけるＹ座標を特定し、撮像画像における物体の左右方向の位置に基づいて、その物体の水平方位位置（自車両の前方方向を基準とする角度位置）を特定する。
すなわち、自車両の前方方向における物体の位置が遠い（Ｙ座標が大きい）ほど、撮像画像におけるその物体の下端位置が高くなる傾向にある。このため、撮像画像における物体の下端位置の高さに基づいて、Ｙ座標を特定することができる。ただし、このような特定方法は、物体の下端位置が正確に検出されない場合に、Ｙ座標の検出精度が下がるという特性がある。
また、自車両の前方方向（詳細にはＸ＝０の直線）を基準とする物体の角度方向のずれ（傾き）が大きいほど、単眼カメラ３の無限遠点（ＦＯＥ：Ｆｏｃｕｓ ｏｆ Ｅｘｐａｎｓｉｏｎ）を基準とするその物体の左右方向へのずれが大きくなる傾向にある。このため、撮像画像における無限遠点から物体の中心を通る鉛直線までの距離に基づいて、物体の水平方位位置を特定することができる。
つまり、このＳ１３０においては、図３に示すように、ＸＹ平面における物体のＹ座標および水平方位位置（角度位置）を、ＸＹ平面における物体の検出点Ｐｉとして特定する。なお、物体の検出点Ｐｉは、例えば物体の幅方向の中心に設定される。また、物体の検出点Ｐｉは基準点Ｐｏに対する相対位置を表す。なお、以下の説明では、Ｓ１３０で検出した物体（単眼カメラ３による撮像画像に基づいて検出した物体に関する情報）を「画像物体」という。
続いて、図３に示すように、Ｓ１３０で算出した画像物体の検出点Ｐｉを中心とする画像誤差領域２２を設定する（Ｓ１４０）。具体的には、衝突軽減ＥＣＵ７は、検出点ＰｉのＹ座標および水平方位位置を基準として、Ｙ座標および水平方位位置のそれぞれについて、単眼カメラ３の特性に基づきあらかじめ設定されている想定誤差分の幅を持たせた領域を、画像誤差領域２２として設定する。
続いて、同一判定処理を実施する（Ｓ１５０）。同一判定処理は、レーダ物体と画像物体とが同一の物体であるか否かを判定する処理である。
同一判定処理では、図４に示すように、まず、レーダ物体の横方向（Ｘ方向）の移動速度を演算する（Ｓ３１０）。この処理では、例えばレーダ物体の過去における位置の履歴を利用してレーダ物体の軌跡を求め、この軌跡における単位時間当たりのＸ方向の成分をさらに求める。
続いて、オプティカルフローを演算する（Ｓ３２０）。この処理では、図５に示すように、例えば、撮像画像のエッジ（隣接する画素の輝度の差が所定値以上となる部位）に多数の特徴点を設定し、これら多数の特徴点が時系列に従ってどのように移動するかをベクトルとして求める。
例えば、このオプティカルフローにおいて、白線や樹木等の静止物は、ＦＯＥから出現するように移動することが検出される。また、飛び出し歩行者や自転車等の撮像画像左右から移動してくる移動物は、ＦＯＥとは異なる消失点に対して移動するよう検出される。
続いて、オプティカルフローによってＦＯＥとは異なる消失点に対して移動する物体（フロー物体）について、位置および距離を取得する（Ｓ３２５）。なお、フロー物体の位置および距離は、画像物体と同様の手法で求めればよい。
続いて、フロー物体が撮像画像の左右端かつ近距離の領域である設定領域に位置しているか否かを判定する（Ｓ３３０）。この処理では、図６に示すように、撮像画像において、カメラ軸（中心軸）から左右に角度θ（例えば４５度程度）の領域を除くとともに、距離Ｄを超える領域を除いた領域を設定領域４１とする。
設定領域４１内においては、同じ速度で移動する物体が他の位置にある場合よりも、動きが大きく認識される。よって、設定領域４１は、オプティカルフローによって物体の動きが精度よく認識できる領域といえる。
そして、フロー物体がこの設定領域４１内に位置するか否かを判定する。なお、設定領域４１は、図５に示すように、撮像画像においては、左右の端部の下部にそれぞれ矩形で設定されることになる。
フロー物体が設定領域４１内に位置していなければ（Ｓ３３０：ＮＯ）、Ｓ３５０の処理に移行する。また、フロー物体が設定領域４１内に位置していれば（Ｓ３３０：ＹＥＳ）、レーダ物体の横方向の移動速度とフロー物体の横方向の移動速度とが一致するか否かを判定する（Ｓ３４０）。なお、ここでいう一致とは、完全に一致している必要はなく、予め設定された許容誤差範囲内であれば一致していると判定する。
レーダ物体の横方向の移動速度とフロー物体の横方向の移動速度とが一致していなければ（Ｓ３４０：ＮＯ）、後述するＳ３７０の処理に移行する。また、レーダ物体の横方向の移動速度とフロー物体の横方向の移動速度とが一致していれば（Ｓ３４０：ＹＥＳ）、ＸＹ平面において、レーダ誤差領域２１と画像誤差領域２２とに重複部（重なり領域）が存在するか否かを判定する（Ｓ３５０）。重複部が存在すれば（Ｓ３５０：ＹＥＳ）、レーダ物体と画像物体とを同一物体として設定し（Ｓ３６０）、同一判定処理を終了する。
また、重複部が存在しなければ（Ｓ３５０：ＮＯ）、レーダ物体と画像物体とを同一ではない他の物体として設定し（Ｓ３７０）、同一判定処理を終了する。
続いて、図２に戻り、検出した物体の位置に応じた衝突軽減制御を行う（Ｓ１９０）。例えば、物体に衝突する可能性がある場合（衝突する可能性の値が所定の閾値以上である場合等）に、報知装置６へ警報信号を送信して、運転者に対する報知を行わせる。また、物体に衝突する可能性が高い場合には、エンジンＥＣＵ５へ内燃機関の駆動力を減少させる指示を行い、また、ブレーキＥＣＵ４へ自車両の制動力を増加させる指示を行う。
［本実施形態による効果］
上記の衝突軽減装置１において衝突軽減ＥＣＵ７は、電磁波を送受信することによって物体の位置を検出する電磁波センサによって検出された第１の物体（レーダ物体）の軌跡を推定し、カメラにて得られた撮像画像を画像処理することによって撮像画像中の多数の特徴点のオプティカルフローを取得する。また、多数の特徴点のうちの第１の物体の周囲に存在する複数の特徴点におけるオプティカルフローに基づく移動方向と、第１の物体の軌跡による移動方向とが一致するか否かを判定する。
そして、第１の物体の軌跡による移動方向とオプティカルフローに基づく移動方向とが一致することを条件として、複数の特徴点にて特定される物体を表す第２の物体（フロー物体）、および第１の物体が同一の物体であると判定する。
このような衝突軽減装置１によれば、電磁波センサによって検出された第１の物体の軌跡と、画像処理によるオプティカルフローとを利用して、第１の物体および第２の物体が同一の物体であるか否かを判定するので、第１の物体と第２の物体とが同一であるか否かをより精度よく判定することができる。
また、上記の衝突軽減装置１において衝突軽減ＥＣＵ７は、第２の物体までの距離を取得する。また、第２の物体までの距離が予め設定された距離閾値未満であるか否かを判定し、また第２物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置するか否かを判定する。そして、第２の物体までの距離が距離閾値未満であり、かつ第２物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置する場合に、各移動方向が一致するか否かを判定する。
このような衝突軽減装置１によれば、オプティカルフローによって物体の動きが精度よく認識できる位置（距離が距離閾値未満であり、かつ左右端領域内）であるときに、オプティカルフローを利用して同一の物体であるか否かを判定することができる。よって、より精度よく第１の物体と第２の物体とが同一であるか否かを判定することができる。
また、上記の衝突軽減装置１において衝突軽減ＥＣＵ７は、第１の物体について、車両の車幅方向をＸ軸、車両の車長方向をＹ軸、としたＸＹ平面における基準点に対する第１の物体の相対位置を表す検出点である第１の検出点を含む第１領域を特定する。また、第２の物体について、ＸＹ平面における基準点に対する第２の物体の相対位置を表す検出点である第２の検出点を含む第２領域を特定する。そして、第２の物体までの距離が距離閾値未満、かつ第２物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置する場合に、ＸＹ平面において、第１領域と第２領域とに重複部が存在すること、かつ第１の物体の軌跡による移動方向とオプティカルフローに基づく移動方向とが一致することを条件として、第１の物体と第２の物体とが同一の物体であると判定する。
このような衝突軽減装置１によれば、第１の物体の軌跡による移動方向とオプティカルフローに基づく移動方向とが一致することだけでなく、ＸＹ平面において、第１領域と第２領域とに重複部が存在することも、同一の物体であると判定する際の条件とするので、第１の物体と第２の物体とが同一であるか否かをより精度よく判定することができる。
また、上記の衝突軽減装置１において衝突軽減ＥＣＵ７は、第２の物体までの距離が距離閾値以上、または第２物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置しない場合に、ＸＹ平面において、第１領域と第２領域とに重複部が存在することを条件として、第１の物体と第２の物体とが同一の物体であると判定する。
このような衝突軽減装置１によれば、オプティカルフローによって物体の動きが精度よく認識できない可能性がある場合（距離が距離閾値以上であり、かつ左右端領域外である場合）に、オプティカルフローを用いることなく第１の物体と第２の物体とが同一の物体であるか否かを判定することができる。
［その他の実施形態］
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
上述した衝突軽減装置１の他、当該衝突軽減装置１を構成要素とするシステム、当該衝突軽減装置１としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、衝突軽減方法など、種々の形態で本発明を実現することもできる。
例えば、上記実施形態において、Ｓ３１０、Ｓ３２０、Ｓ３４０の処理では、横方向の移動速度を利用したが、物体や特徴点の移動の軌跡（移動ベクトル）を用いて処理を実施してもよい。
なお、上記実施形態では、第２の物体までの距離が距離閾値未満、かつ第２物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置する場合（Ｓ３３０：ＮＯ）に、Ｓ３４０の処理に移行するよう構成したが、Ｓ３３０の処理を省略し、常にＳ３４０の処理を実施するようにしてもよい。
［実施形態の構成と本発明の手段との対応関係］
上記実施形態において衝突軽減ＥＣＵ７は、本発明でいう物体検出装置に相当する。また、衝突軽減ＥＣＵ７が実行する処理のうちのＳ１１０、Ｓ１２０の処理は本発明でいう第１特定手段に相当し、上記実施形態においてＳ１３０、Ｓ１４０の処理は本発明でいう第２特定手段に相当する。
さらに、上記実施形態においてＳ３１０の処理は本発明でいう第１軌跡推定手段に相当し、上記実施形態においてＳ３２０の処理は本発明でいうオプティカルフロー取得手段に相当する。また、上記実施形態においてＳ３４０の処理は本発明でいう移動方向一致判定手段に相当し、上記実施形態においてＳ３１０、Ｓ３４０、Ｓ３５０、Ｓ３６０の処理は本発明でいう同一判定手段に相当する。
さらに、上記実施形態においてＳ３２５の処理は本発明でいう距離取得手段に相当し、上記実施形態においてＳ３３０の処理は本発明でいう領域判定手段に相当する。
１…衝突軽減装置、２…ミリ波レーダ、３…単眼カメラ、４…ブレーキＥＣＵ、５…エンジンＥＣＵ、６…報知装置、７…衝突軽減ＥＣＵ、２１…レーダ誤差領域、２２…画像誤差領域、４１…設定領域。

Claims (5)

  1. 車両に搭載される物体検出装置（７）であって、
    電磁波を送受信することによって物体の位置を検出する電磁波センサによって検出された第１の物体の軌跡を推定する第１軌跡推定手段（Ｓ３１０）と、
    カメラにて得られた撮像画像を画像処理することによって撮像画像中の多数の特徴点のオプティカルフローに基づく移動方向を取得するオプティカルフロー取得手段（Ｓ３２０）と、
    前記多数の特徴点のうちの前記第１の物体の周囲に存在する複数の特徴点におけるオプティカルフローに基づく移動方向と、前記第１の物体の軌跡による移動方向とが一致するか否かを判定する移動方向一致判定手段（Ｓ３４０）と、
    前記第１の物体の軌跡による移動方向と前記オプティカルフローに基づく移動方向とが一致することを条件として、前記複数の特徴点にて特定される物体を表す第２の物体、および前記第１の物体が同一の物体であると判定する同一判定手段（Ｓ３１０、Ｓ３４０、Ｓ３５０、Ｓ３６０）と、
    を備えたことを特徴とする物体検出装置。
  2. 請求項１に記載の物体検出装置において、
    前記第２の物体までの距離を取得する距離取得手段（Ｓ３２５）と、
    前記第２の物体までの距離が予め設定された距離閾値未満であるか否かを判定し、また前記第２物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置するか否かを判定する領域判定手段（Ｓ３３０）と、
    を備え、
    前記移動方向一致判定手段は、前記第２の物体までの距離が前記距離閾値未満であり、かつ前記第２物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置する場合に、前記各移動方向が一致するか否かを判定すること
    を特徴とする物体検出装置。
  3. 請求項１または請求項２に記載の物体検出装置において、
    前記第１の物体について、前記車両の車幅方向をＸ軸、前記車両の車長方向をＹ軸、としたＸＹ平面における基準点に対する前記第１の物体の相対位置を表す検出点である第１の検出点を含む第１領域を特定する第１特定手段（Ｓ１１０、Ｓ１２０）と、
    前記第２の物体について、前記ＸＹ平面における前記基準点に対する前記第２の物体の相対位置を表す検出点である第２の検出点を含む第２領域を特定する第２特定手段（Ｓ１３０、Ｓ１４０）と、
    を備え、
    前記同一判定手段は、前記ＸＹ平面において、前記第１領域と前記第２領域とに重複部が存在すること、かつ前記第１の物体の軌跡による移動方向と前記オプティカルフローに基づく移動方向とが一致することを条件として、前記第１の物体と前記第２の物体とが同一の物体であると判定すること
    を特徴とする物体検出装置。
  4. 請求項２に記載の物体検出装置において、
    前記第１の物体について、前記車両の車幅方向をＸ軸、前記車両の車長方向をＹ軸、としたＸＹ平面における基準点に対する前記第１の物体の相対位置を表す検出点である第１の検出点を含む第１領域を特定する第１特定手段（Ｓ１１０、Ｓ１２０）と、
    前記第２の物体について、前記ＸＹ平面における前記基準点に対する前記第２の物体の相対位置を表す検出点である第２の検出点を含む第２領域を特定する第２特定手段（Ｓ１３０、Ｓ１４０）と、
    を備え、
    前記同一判定手段は、前記第２の物体までの距離が前記距離閾値以上、または前記第２物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置しない場合に、前記ＸＹ平面において、前記第１領域と前記第２領域とに重複部が存在することを条件として、前記第１の物体と前記第２の物体とが同一の物体であると判定すること
    を特徴とする物体検出装置。
  5. 請求項４に記載の物体検出装置において、
    前記同一判定手段は、前記第２の物体までの距離が前記距離閾値未満、かつ前記第２物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置する場合に、前記ＸＹ平面において、前記第１領域と前記第２領域とに重複部が存在すること、かつ前記第１の物体の軌跡による移動方向と前記オプティカルフローに基づく移動方向とが一致することを条件として、前記第１の物体と前記第２の物体とが同一の物体であると判定すること
    を特徴とする物体検出装置。
JP2014193891A 2014-09-24 2014-09-24 物体検出装置 Active JP6281460B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014193891A JP6281460B2 (ja) 2014-09-24 2014-09-24 物体検出装置
PCT/JP2015/076117 WO2016047495A1 (ja) 2014-09-24 2015-09-15 物体検出装置
US15/513,520 US10217024B2 (en) 2014-09-24 2015-09-15 Object detection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014193891A JP6281460B2 (ja) 2014-09-24 2014-09-24 物体検出装置

Publications (2)

Publication Number Publication Date
JP2016066181A true JP2016066181A (ja) 2016-04-28
JP6281460B2 JP6281460B2 (ja) 2018-02-21

Family

ID=55581022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014193891A Active JP6281460B2 (ja) 2014-09-24 2014-09-24 物体検出装置

Country Status (3)

Country Link
US (1) US10217024B2 (ja)
JP (1) JP6281460B2 (ja)
WO (1) WO2016047495A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019012323A (ja) * 2017-06-29 2019-01-24 株式会社デンソー 車両制御装置
CN110738846A (zh) * 2019-09-27 2020-01-31 同济大学 基于雷达与视频组群的车辆行为监测系统及其实现方法
KR20210062672A (ko) * 2018-11-08 2021-05-31 바이에리쉐 모토렌 베르케 악티엔게젤샤프트 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017008246A1 (en) * 2015-07-14 2017-01-19 SZ DJI Technology Co., Ltd. Method, apparatus, and system for determining a movement of a mobile platform
EP3422293B1 (en) * 2016-02-23 2024-04-10 Hitachi, Ltd. Mobile object
JP2017194926A (ja) * 2016-04-22 2017-10-26 株式会社デンソー 車両制御装置、車両制御方法
JP6547785B2 (ja) * 2016-07-29 2019-07-24 株式会社デンソー 物標検出装置
WO2018021444A1 (ja) * 2016-07-29 2018-02-01 株式会社デンソー 物標検出装置
US9996752B2 (en) * 2016-08-30 2018-06-12 Canon Kabushiki Kaisha Method, system and apparatus for processing an image
US10580156B2 (en) * 2016-09-23 2020-03-03 Mine Vision Systems, Inc. System and method for measuring geometric change in a subterranean structure
US11067686B2 (en) * 2017-12-01 2021-07-20 Electromagnetic Systems, Inc. Obstacle position and extent measurement by automotive radar
EP3518001B1 (en) * 2018-01-25 2020-09-16 Aptiv Technologies Limited Method for increasing the reliability of determining the position of a vehicle on the basis of a plurality of detection points
CN108764338B (zh) * 2018-05-28 2021-05-04 上海应用技术大学 一种应用于视频分析的行人跟踪方法
CN108761461B (zh) * 2018-05-29 2022-02-18 南京信息工程大学 基于天气雷达回波时序图像的降水预报方法
KR20200040391A (ko) * 2018-10-10 2020-04-20 주식회사 만도 차량용 레이더의 보완 장치 및 방법
KR20210085256A (ko) * 2019-12-30 2021-07-08 삼성전자주식회사 사용자의 위치를 제공하기 위한 전자 장치 및 방법
JP7490428B2 (ja) * 2020-04-07 2024-05-27 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、および記憶媒体
CN112001991B (zh) * 2020-10-27 2021-01-26 中国空气动力研究与发展中心高速空气动力研究所 一种高速风洞动态油流图谱图像处理方法
CN112560972B (zh) * 2020-12-21 2021-10-08 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
GB202101727D0 (en) * 2021-02-08 2021-03-24 Offshore Survival Systems Ltd Location apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006292475A (ja) * 2005-04-07 2006-10-26 Toyota Motor Corp 物体検出装置
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
JP2010093610A (ja) * 2008-10-09 2010-04-22 Hitachi Automotive Systems Ltd 自動車の外界認識装置及び外界認識方法
JP2013117475A (ja) * 2011-12-05 2013-06-13 Toyota Motor Corp 障害物検出装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5812064B2 (ja) 2012-11-22 2015-11-11 株式会社デンソー 物標検出装置
JP5884794B2 (ja) 2013-08-29 2016-03-15 株式会社デンソー 衝突可能性判定装置およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006292475A (ja) * 2005-04-07 2006-10-26 Toyota Motor Corp 物体検出装置
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
JP2010093610A (ja) * 2008-10-09 2010-04-22 Hitachi Automotive Systems Ltd 自動車の外界認識装置及び外界認識方法
JP2013117475A (ja) * 2011-12-05 2013-06-13 Toyota Motor Corp 障害物検出装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019012323A (ja) * 2017-06-29 2019-01-24 株式会社デンソー 車両制御装置
KR20210062672A (ko) * 2018-11-08 2021-05-31 바이에리쉐 모토렌 베르케 악티엔게젤샤프트 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛
JP2022506736A (ja) * 2018-11-08 2022-01-17 バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト 車両の周囲でのオブジェクトに関する情報を算出する方法及び処理ユニット
JP7273956B2 (ja) 2018-11-08 2023-05-15 バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト 車両の周囲でのオブジェクトに関する情報を算出する方法及び処理ユニット
KR102536037B1 (ko) * 2018-11-08 2023-05-26 바이에리쉐 모토렌 베르케 악티엔게젤샤프트 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛
CN110738846A (zh) * 2019-09-27 2020-01-31 同济大学 基于雷达与视频组群的车辆行为监测系统及其实现方法

Also Published As

Publication number Publication date
WO2016047495A1 (ja) 2016-03-31
US10217024B2 (en) 2019-02-26
US20170300780A1 (en) 2017-10-19
JP6281460B2 (ja) 2018-02-21

Similar Documents

Publication Publication Date Title
JP6281460B2 (ja) 物体検出装置
JP5892129B2 (ja) 道路形状認識方法、道路形状認識装置、プログラムおよび記録媒体
JP5884794B2 (ja) 衝突可能性判定装置およびプログラム
US9945927B2 (en) Object detection apparatus
US10922561B2 (en) Object recognition device and vehicle travel control system
JP6303956B2 (ja) 軸ずれ量推定装置
JP6281459B2 (ja) 物体検出装置
JP6885721B2 (ja) 物体検出装置、物体検出方法
KR101562875B1 (ko) 목표물 검출 장치 및 프로그램
JP6265095B2 (ja) 物体検出装置
US20140139369A1 (en) Object detection apparatus
WO2016047460A1 (ja) 物体検出装置
US10871565B2 (en) Object detection apparatus and object detection method
JP6614108B2 (ja) 車両制御装置、車両制御方法
US11086007B2 (en) Target detection device
US10380424B2 (en) Object detection device and object detection method
US11407390B2 (en) Vehicle control apparatus and vehicle control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180108

R151 Written notification of patent or utility model registration

Ref document number: 6281460

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250