JP2016042288A - 物体認識装置 - Google Patents

物体認識装置 Download PDF

Info

Publication number
JP2016042288A
JP2016042288A JP2014165948A JP2014165948A JP2016042288A JP 2016042288 A JP2016042288 A JP 2016042288A JP 2014165948 A JP2014165948 A JP 2014165948A JP 2014165948 A JP2014165948 A JP 2014165948A JP 2016042288 A JP2016042288 A JP 2016042288A
Authority
JP
Japan
Prior art keywords
learning
range
object detection
detection means
vanishing point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014165948A
Other languages
English (en)
Other versions
JP6361366B2 (ja
Inventor
郁佑 松元
Yusuke Matsumoto
郁佑 松元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014165948A priority Critical patent/JP6361366B2/ja
Priority to US15/504,192 priority patent/US10366295B2/en
Priority to PCT/JP2015/071979 priority patent/WO2016027652A1/ja
Publication of JP2016042288A publication Critical patent/JP2016042288A/ja
Application granted granted Critical
Publication of JP6361366B2 publication Critical patent/JP6361366B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

【課題】複数の物体検出手段の検出結果に基づき物体を認識するシステムにおいて、物体認識を精度良く実施する。【解決手段】移動体としての車両５０は、第１物体検出手段として撮像装置１１及び第２物体検出手段としてレーダ装置１２を搭載する。物体認識装置１０は、第１物体検出手段の基準軸の軸ずれ量を学習する。また、第１物体検出手段の結合範囲Ｓ１と、第２物体検出手段の結合範囲Ｓ２との位置関係が所定の結合可能条件を満たす場合に、それら結合範囲Ｓ１，Ｓ２内に存在する複数の情報を同一物体に属する情報として結合し一体化する。そして、第１物体検出手段の基準軸ＡＸ１の軸ずれ量の学習状態に基づいて、結合範囲Ｓ１，Ｓ２の大きさを可変に設定する。【選択図】図１

Description

本発明は、物体認識装置に関し、特に移動体に搭載される物体認識装置に関する。
従来、ミリ波レーダやレーザレーダ等の物体検出センサや、画像カメラなどの撮像装置を車両に複数個搭載し、先行車両や歩行者、障害物等の車両周辺に存在する物体を検出するとともに、その物体検出結果に基づいて、車両の走行安全性を向上させるための各種制御を行うことが提案されている（例えば、特許文献１参照）。特許文献１には、カメラの物体検出領域で検出された物体と、ミリ波レーダの物体検出領域で検出された物体とが同一であるか否かの判定結果に応じて、車両との衝突発生の可能性の有無を判定することが開示されている。
特許第４８２３７８１号公報
複数の物体検出装置によって得られた複数の検出結果に基づき車両周辺に存在する物体を認識する場合、いずれかの物体検出装置の基準軸で軸ずれが発生していると、複数の物体検出装置で検出している物体が、実際には同一の物体であるにも関わらず異なる物体であると認識されることが懸念される。かかる場合、車両の走行安全性を向上させるための各種制御の制御性が低下するおそれがある。
本発明は上記課題に鑑みなされたものであり、複数の物体検出手段の検出結果に基づき物体を認識するシステムにおいて、物体認識を精度良く実施することができる物体認識装置を提供することを一つの目的とする。
本発明は、上記課題を解決するために、以下の手段を採用した。
本発明は、基準軸（ＡＸ１、ＡＸ２）を含む所定の検出可能領域（６１，６２）内に存在する物体を検出する物体検出手段として第１物体検出手段（１１）及び第２物体検出手段（１２）が搭載された移動体（５０）に適用される物体認識装置に関する。請求項１に記載の発明は、前記検出可能領域は、前記第１物体検出手段と前記第２物体検出手段とで互いに重複しており、前記第１物体検出手段の基準軸の軸ずれ量を学習する軸ずれ学習手段と、前記第１物体検出手段によって取得される前記物体に関する情報を結合する範囲として設定される第１結合範囲（Ｓ１）と、前記第２物体検出手段によって取得される前記物体に関する情報を結合する範囲として設定される第２結合範囲（Ｓ２）との位置関係が所定の結合可能条件を満たす場合に、前記第１結合範囲及び前記第２結合範囲内に存在する複数の情報を同一物体に属する情報として結合し一体化する一体化処理手段と、前記軸ずれ学習手段による前記軸ずれ量の学習状態に基づいて、前記第１結合範囲及び前記第２結合範囲の大きさを可変に設定する結合範囲設定手段と、を備えることを特徴とする。
第１物体検出手段の基準軸で軸ずれが生じている場合、第１物体検出手段の検出結果に基づき抽出した物標が、実際の位置とは異なる位置に存在しているものと認識されることがある。かかる場合、第１物体検出手段及び第２物体検出手段から得られる物体情報を結合して一体化する処理を行う際に、第２物体検出手段で検出されている物体と同一の物体を第１物体検出手段でも検出しているにも関わらず、それらが同一の物体であると認識されないことが起こり得る。この点、上記構成によれば、第１物体検出手段の軸ずれ学習の実施状態に適した大きさの結合範囲を設定することができ、その結果、複数の物体検出手段が検出した物体が同一であるか否かの判定を精度良く行うことができる。つまり、上記構成によれば、物体の認識を精度良く実施することができる。
物体認識装置の概略構成を示すブロック図。 撮像装置及びレーダ装置の配置を示す図。 結合範囲の一例を示す図。 撮像軸ずれが生じた場合の検出距離のずれを表す模式図。 軸ずれ学習処理及び結合範囲設定処理の具体的態様を示すタイムチャート。 結合範囲設定処理の処理手順を示すフローチャート。
以下、移動体の物体認識装置を具体化した実施形態について、図面を参照しつつ説明する。本実施形態に係る物体認識装置１０は、移動体としての車両に搭載された車載装置であり、撮像装置１１及びレーダ装置１２によって、車両の前方を含む検出可能領域内に存在する物体を認識する。まずは、本実施形態の物体認識装置１０の概略構成について図１及び図２を用いて説明する。
撮像装置１１は車載カメラであり、ＣＣＤカメラやＣＭＯＳイメージセンサ、近赤外線カメラ等で構成されている。撮像装置１１は、自車両５０の走行道路を含む周辺環境を撮影し、その撮影した画像を表す画像データを生成して物体認識装置１０に逐次出力する。本実施形態の撮像装置１１は、自車両５０の例えばフロントガラスの上端付近に設置されており、撮像軸ＡＸ１を中心に車両前方に向かって所定角度θ１の範囲で広がる領域６１を撮影する（図２参照）。なお、撮像装置１１は、単眼カメラであってもよく、ステレオカメラであってもよい。
レーダ装置１２は、送信波として電磁波を送信し、その反射波を受信することで物体を検出する探知装置であり、例えばミリ波レーダやレーザレーダ等で構成されている。レーダ装置１２は、自車両５０の前部に取り付けられており、光軸ＡＸ２を中心に車両前方に向かって所定角度θ２（θ２＜θ１）の範囲に亘って広がる領域６２をレーダ信号により走査する。そして、車両前方に向けて電磁波を送信してから反射波を受信するまでの時間に基づき測距データを作成し、その作成した測距データを物体認識装置１０に逐次出力する。測距データには、物体が存在する方位、物体までの距離及び相対速度に関する情報が含まれている。
なお、本実施形態では、撮像装置１１の基準軸である撮像軸ＡＸ１と、レーダ装置１２の基準軸である光軸ＡＸ２とが、自車両５０の走行路面に対して平行な方向と同一方向になるように撮像装置１１及びレーダ装置１２が自車両５０に取り付けられている。また、撮像装置１１の検出可能領域６１とレーダ装置１２の検出可能領域６２とは、少なくとも一部の領域が互いに重複している。撮像装置１１が「第１物体検出手段」に相当し、レーダ装置１２が「第２物体検出手段」に相当する。
物体認識装置１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ及びＩ／Ｏ等を備えたコンピュータである。物体認識装置１０は、物標検出部２０、白線認識部３１、フロー演算部３２及び消失点演算部４０を備えており、ＣＰＵが、ＲＯＭにインストールされているプログラムを実行することでこれら各機能を実現する。
物標検出部２０は、撮像装置１１及びレーダ装置１２によって取得される物体に関する情報（画像データ及び測距データ）に基づいて、それらデータに含まれている物標を検出する。本実施形態における物標検出部２０は、データ入力部２１、結合範囲設定部２２及び一体化処理部２３を備えている。
データ入力部２１は、撮像装置１１からの画像データ及びレーダ装置１２からの測距データを入力する。結合範囲設定部２２は、データ入力部２１から画像データ及び測距データを入力し、それら入力したデータに基づいて、同一物体に属するデータを結合して一体化するための範囲である結合範囲（探索範囲）を設定する。この結合範囲は、撮像装置１１及びレーダ装置１２でそれぞれ設定される。
図３に、撮像装置１１の結合範囲Ｓ１及びレーダ装置１２の結合範囲Ｓ２の一例を示す。なお、図３中、Ｘ軸は車幅方向を表し、Ｙ軸は車両進行方向を表す。また、黒丸印は撮像装置１１の検出点を表し、白丸印はレーダ装置１２の検出点を表す。撮像装置１１では、撮像軸ＡＸ１の方向（距離方向）で検出ずれが生じやすい。この点を考慮し、撮像装置１１の結合範囲Ｓ１としては、基本的には距離方向に広くかつ角度方向に狭い範囲が設定される。例えば、撮像装置１１によって検出された１つの検出点を基準とし、距離方向については基準までの距離に対して±α１％（例えば３０％程度）、角度方向については基準に対して±β１°（例えば１°程度）の範囲に結合範囲Ｓ１が設定される。
一方、レーダ装置１２では光軸ＡＸ２に直交する方向（角度方向）で検出ずれが生じやすい。この点を考慮し、レーダ装置１２の結合範囲Ｓ２としては、基本的には距離方向に狭くかつ角度方向に広い範囲が設定される。例えば、レーダ装置１２によって検出された１つの検出点を基準とし、距離方向については基準までの距離に対して±α２％（例えば２０％程度）、角度方向については基準に対して±β２°（例えば２°程度）の範囲に結合範囲Ｓ２が設定される。なお、結合範囲の設定方法は上記に限定されず、例えば予め定めた数式を用いて設定する方法としてもよい。撮像装置１１の結合範囲Ｓ１が「第１結合範囲」に相当し、レーダ装置１２の結合範囲Ｓ２が「第２結合範囲」に相当する。
一体化処理部２３では、撮像装置１１の結合範囲Ｓ１内に存在する複数の画像データを同一物体に属するデータとして結合して一体化する処理と、レーダ装置１２の結合範囲Ｓ２内に存在する複数の測距データを同一物体に属するデータとして結合して一体化する処理とを行う。また、一体化処理部２３では、撮像装置１１の結合範囲Ｓ１と、レーダ装置１２の結合範囲Ｓ２との位置関係が、予め定めた所定の結合可能条件を満たす場合には、それら結合範囲Ｓ１，Ｓ２内に存在する複数の検出点のデータを同一物体に属するデータとして一体化する。こうした一体化処理により物標データが作成される。結合可能条件として本実施形態では、撮像装置１１の結合範囲Ｓ１とレーダ装置１２の結合範囲Ｓ２との少なくとも一部が重複していることを含む。したがって、例えば図３では、黒丸印で示した撮像装置１１の複数の検出点と、白丸印で示したレーダ装置１２の複数の検出点とに基づいて物標データが作成される。なお、結合可能条件はこれに限らず、例えば結合範囲Ｓ１，Ｓ２同士の離間距離が所定値以下であること等であってもよい。
白線認識部３１は、撮像装置１１で撮影された画像を入力し、この画像に含まれている道路区画線としての白線を認識する。白線認識部３１では、例えば、画像の水平方向における輝度変化率等に基づいて、撮影画像データから白線の候補とするエッジ点を抽出し、その抽出したエッジ点を１フレームごとに順次記憶する。そして、記憶した白線のエッジ点の履歴に基づき白線を認識する。フロー演算部３２は、撮像装置１１で撮影された画像を入力し、その入力した画像データを用いて、画像中の各点における動きベクトルとしてオプティカルフローを演算する。フロー演算部３２では、例えば、空間的な輝度分布の変化に基づいて画素ごとに動きベクトルを演算する。
消失点演算部４０は、基準値推定部４１と、消失点学習部４２と、学習値記憶部４５とを備えている。基準値推定部４１は、白線認識部３１から白線の位置等に関する情報（白線情報）を入力するとともに、フロー演算部３２からオプティカルフローに関する情報（フロー情報）を入力し、それら入力データを用いて消失点（Focus of Expansion；ＦＯＥ）を求めるための各種処理を実行する。
基準値推定部４１は、撮像装置１１で撮影された画像データに基づいて消失点を算出し、具体的には、白線認識部３１から入力した白線情報か、又はフロー演算部３２から入力したフロー情報を用いて消失点を算出する。例えば白線情報を用いる場合、車両周辺に存在する一対の白線の交点を消失点と推定し、その値（基準消失点）をＲＯＭに記憶する。なお、車両出荷時では、消失点として初期値が予めＲＯＭに記憶されている。初期値は、例えば撮像装置１１の取付状態を表すパラメータ（例えば、取付高さ、撮像軸の俯角など）や、撮像装置１１の撮像機能に関するパラメータ（例えば、画素数、焦点距離など）に基づき予め設定されている。
消失点学習部４２は、撮像装置１１の取付高さや軸方向が変化することに伴う消失点の定常的なずれ量（撮像軸ＡＸ１の軸ずれ量）を算出するための消失点学習を実行する。具体的には、消失点学習部４２は、白線情報から算出した消失点についての学習を実行する第１学習部４３と、フロー情報から算出した消失点についての学習を実行する第２学習部４４とを備える。第１学習部４３及び第２学習部４４のそれぞれの学習値（消失点学習値）は、学習の実行毎に学習値記憶部４５に都度記憶・更新される。
消失点学習部４２では、自車両５０の始動スイッチ（例えばイグニッションスイッチ等）がオンされたことに伴い消失点学習を開始する。また本実施形態では、車両の積載状態や走行状態によって撮像装置１１の取付高さや軸方向が変化し、それに伴い消失点の位置も変化することを考慮し、始動スイッチのオン後に消失点学習が一旦完了した後も、消失点学習を逐次実行している。
学習値記憶部４５は、例えば、電気的にデータの書き換えが可能な不揮発メモリ（ＥＥＰＲＯＭ等）によって構成されている。物体認識装置１０は、消失点を指標に画像データを解析することにより、例えば自車両５０の走行道路に対する走行状態や前方車両との位置関係等を推定したり歩行者を認識したりする。
ただし、画像に基づく白線認識は、オプティカルフローの演算よりも時間がかかる。そのため、自車両５０の始動スイッチのオン後では、白線認識による消失点学習が完了する時刻よりも、オプティカルフローによる消失点学習が完了する時刻の方が早くなる。一方、消失点学習の学習精度は、オプティカルフローを用いるよりも、白線認識を用いた方が精度が高い。そこで本実施形態では、自車両５０の始動スイッチのオン後、白線認識による消失点学習が完了するまでは、オプティカルフローにより算出した学習値を用いて画像データの解析処理を行い、白線認識による消失点学習が完了した後では、白線認識により算出した学習値を用いて画像データの解析処理を行うこととしている。
ここで、撮像軸ＡＸ１に軸ずれが発生している場合、その軸ずれ角度の分だけ、画像認識による物体との距離を誤ることになる。図４に、撮像軸ＡＸ１の軸ずれに起因するカメラ物標の距離ずれを模式的に表す。なお、図４では光軸ＡＸ２の軸ずれは発生していない場合を想定している。
撮像軸ＡＸ１が走行路面に対して平行な位置よりも上向きに所定角度θ３だけずれている場合、自車両５０から同一物体（図４では先行車両５５）までの検出距離ｄ１は、撮像軸ＡＸ１で軸ずれが発生していない場合の検出距離ｄ２に比べて短くなる（ｄ１＜ｄ２）。このとき、カメラ物標とレーダ物標とで重なりが生じない場合、つまり互いの結合範囲Ｓ１，Ｓ２が重複していない場合には、撮像装置１１とレーダ装置１２で同一物体を検出しているにも関わらず、データ処理において２つの物標（カメラ物標とレーダ物標）が同一物体に属するものと認識されない。こうした誤検出は、データの結合範囲Ｓ１，Ｓ２を常時広くすることで解消されるとも考えられるが、結合範囲を常時広くした場合、実際には複数の異なる物体であるにも関わらずそれらを同一物体と認識しやすくなり、運転支援制御の精度を低下させることが考えられる。
なお、上記のような撮像装置１１の軸ずれに起因する検出距離のずれ分Δｄは、消失点学習によってやがて解消される。例えば図４において、撮像装置１１の軸ずれが生じている場合を考えると、消失点学習の実施前ではカメラ物標はＯＢ１の位置であるのに対し、消失点学習の実施によってレーダ物標により近い位置ＯＢ２と検出される。
ここで、車両の運転開始時では、消失点の学習状態が、オプティカルフロー及び白線認識のいずれについても学習未完了である状態から、オプティカルフローによる学習完了状態へと移行し、その後、白線認識による学習完了状態へと変化する。また、こうした学習状態の変化に伴い、消失点の学習精度、つまり消失点の真値に対するずれ量が変化することが考えられる。例えば、白線認識による消失点学習が未だ完了していない状態と、白線認識による消失点学習が完了した状態とでは学習結果の精度（信頼度）が相違し、学習未完了の状態では学習完了後の状態よりも学習精度が低い傾向にある。また、消失点学習値の精度が低い場合には、撮像装置１１の軸ずれに起因して、物体までの距離の検出誤差が生じやすい。
そこで本実施形態では、消失点学習の実施状態に応じて、撮像装置１１の結合範囲Ｓ１及びレーダ装置１２の結合範囲Ｓ２の大きさを可変に設定することとしている。具体的には、結合範囲設定部２２は、今現在の学習状態が、消失点学習未完了の状態か、オプティカルフローによる消失点学習が完了した状態か、それとも白線認識による消失点学習が完了した状態か、のいずれであるかの情報を消失点学習部４２から入力する。結合範囲設定部２２では、消失点学習部４２から入力した学習状態に関する情報に応じて、結合範囲Ｓ１，Ｓ２を縮小する。例えば、オプティカルフローによる消失点学習が完了した旨の情報を入力すると、結合範囲Ｓ１，Ｓ２をそれぞれ、オプティカルフローによる消失点学習の完了前に対して縮小する。続いて、白線認識による消失点学習が完了した旨の情報を入力すると、結合範囲Ｓ１，Ｓ２をそれぞれ、白線認識による消失点学習の完了前に対して更に縮小する。
次に、消失点の学習状態に基づく結合範囲設定処理の具体的態様について、図５のタイムチャートを用いて説明する。図５中、（ａ）はイグニッションスイッチ（ＩＧスイッチ）のオン／オフの推移、（ｂ）は消失点学習値の推移、（ｃ）は結合範囲Ｓ１，Ｓ２の推移をそれぞれ示している。なお、図５では、車両進行方向（Ｙ軸方向）と光軸ＡＸ２の軸方向とが同じであり、かつＩＧスイッチオンの時点で車両進行方向に先行車両が存在している場合を想定している。
ＩＧスイッチのオン直後では、オプティカルフローによる消失点学習及び白線認識による消失点学習が未だ完了しておらず、学習値記憶部４５には前回の車両走行終了時に記憶した学習値がそのまま記憶されている。したがって、オプティカルフローに基づく消失点学習が開始されるまでのｔ１０〜ｔ１１の期間では、前回学習値ＦＯＥ＿Ａを用いて画像処理が行われる。この期間ｔ１０〜ｔ１１では、図５（Ａ）に示すように、結合範囲Ｓ１，Ｓ２としては最も広い範囲（最大結合範囲）がそれぞれ設定される。
ＩＧスイッチのオンから所定時間Ｔ１が経過した後の時刻ｔ１１では、オプティカルフローに基づく消失点学習を開始する旨の指令が出力される。なお、所定時間Ｔ１は、オプティカルフローの演算に必要な画像データを取得するための時間（例えば十数秒）が設定されている。そして、オプティカルフローに基づき算出される消失点（ＦＯＥ＿Ｃ）が安定し、オプティカルフローによる消失点学習が完了したと判定されると（時点ｔ１２）、図５（Ｂ）に示すように、結合範囲Ｓ１，Ｓ２として、最大結合範囲を縮小した中間結合範囲が設定される。具体的には、撮像装置１１の結合範囲Ｓ１は、角度方向はそのままとされ、距離方向が最大結合範囲に対して縮小される。また、レーダ装置１２の結合範囲Ｓ２は、距離方向はそのままとされ、角度方向が最大結合範囲に対して縮小される。
オプティカルフローによる消失点学習の開始指令から更に所定時間Ｔ２（例えば数分）が経過し、白線認識による消失点学習が完了すると（時刻ｔ１３）、結合範囲Ｓ１，Ｓ２が更に縮小され、図５（Ｃ）に示すように、中間結合範囲を更に縮小した最小結合範囲が設定される。具体的には、撮像装置１１の結合範囲Ｓ１は、角度方向はそのままとされ、距離方向が中間結合範囲に対して縮小される。また、レーダ装置１２の結合範囲Ｓ２は、距離方向はそのままとされ、角度方向が中間結合範囲に対して縮小される。
次に、結合範囲設定部２２で実行される結合範囲設定処理の処理手順について、図６のフローチャートを用いて説明する。これらの処理は、物体認識装置１０のＣＰＵにより所定周期毎に実行される。
図６において、ステップＳ１０１では、白線認識による消失点学習が完了したか否かを判定する。白線認識による消失点学習が未だ完了していなければステップＳ１０２へ進み、オプティカルフローによる消失点学習が完了したか否かを判定する。ここでは、オプティカルフローにより算出した消失点が安定した値を示しているか否かを判定する。なお、オプティカルフローにより算出した消失点が安定したと判定されると、オプティカルフローに基づき消失点学習値（ＦＯＥ＿Ｃ）が算出される。オプティカルフローにより算出した消失点が安定した値を示しているか否かは、消失点の垂直面内での分散に基づき判定し、分散が所定値よりも小さい場合に肯定判定される。
オプティカルフローにより算出した消失点が未だ安定していない場合には、ステップＳ１０２で否定判定されてステップＳ１０３へ進む。ステップＳ１０３では、撮像装置１１の結合範囲Ｓ１及びレーダ装置１２の結合範囲Ｓ２として、最大結合範囲、中間結合範囲及び最小結合範囲のうち最も広い最大結合範囲を設定する。
オプティカルフローにより算出した消失点が安定したと判定され、オプティカルフローに基づき消失点学習値（ＦＯＥ＿Ｃ）が算出されると、ステップＳ１０４へ進み、結合範囲Ｓ１，Ｓ２として、最大結合範囲よりも縮小された中間結合範囲を設定する。また、白線認識による消失点学習が完了すると、ステップＳ１０１で肯定判定されてステップＳ１０５へ進み、結合範囲Ｓ１，Ｓ２として、最大結合範囲、中間結合範囲及び最小結合範囲のうち最も小さい最小結合範囲を設定する。
以上詳述した本実施形態によれば、次の優れた効果が得られる。
撮像装置１１の軸ずれ学習（消失点学習）の実施状態に応じて、撮像装置１１の結合範囲Ｓ１及びレーダ装置１２の結合範囲Ｓ２の大きさを可変に設定する構成とした。こうした構成によれば、消失点学習の実施状態に適した大きさの結合範囲を設定することができ、その結果、複数の物体検出手段が検出した物体が同一であるか否かの判定を精度良く行うことができる。これにより、物体の認識を精度良く実施することができる。
消失点学習の精度に応じて結合範囲Ｓ１，Ｓ２を可変に設定し、より具体的には、消失点学習の精度が高くなるにつれて結合範囲Ｓ１，Ｓ２を縮小する構成とした。消失点学習に進行に伴い学習精度が高くなると、消失点学習値が真値に近づき、撮像装置１１によって検出される距離データの実際値からのずれ量が小さくなる。また、結合範囲Ｓ１，Ｓ２を拡大するほど、実際には異なる複数の物体を同一の物体と誤認識しやすくなる。これらの点に鑑み上記構成とすることにより、複数の物体検出手段による物標検出を精度良く行うことができる。
白線認識による消失点学習は、学習結果の信頼度が高い反面、学習が完了するまでにある程度の時間（例えば数分〜十数分）を要する。そのため、白線認識に基づく消失点学習が完了までの期間では、前回の車両運転時の学習値を使用するか、あるいは白線認識に基づく消失点学習よりも学習精度が低い別の学習手段で得られた学習値、例えばオプティカルフローに基づく消失点学習値を用いて画像処理を行う必要がある。この点に鑑み、本実施形態では、車両５０の運転開始後において、白線情報に基づく軸ずれ学習が完了したことに伴い結合範囲Ｓ１，Ｓ２を縮小する構成とした。こうした構成によれば、白線認識による消失点学習の完了前では、複数の物体検出手段が検出した同一の物体を異なる物体と誤認識にしないようにしつつ、該学習の完了後では、複数の物体検出手段が検出した異なる物体を同一の物体と誤認識しないようにすることができる。
オプティカルフローによる消失点学習では、車両の運転開始後のできるだけ早期に学習を完了させることが可能である反面、白線認識による消失点学習よりも学習精度が低く、真値に対してずれが生じる場合がある。その点に鑑み、本実施形態では、オプティカルフローによる消失点学習の完了に伴い結合範囲Ｓ１，Ｓ２を縮小するとともに、白線認識による消失点学習の完了に伴い、結合範囲Ｓ１，Ｓ２を更に縮小する構成とした。オプティカルフローによる消失点学習が完了していても、白線認識による消失点学習が完了するまでは、消失点学習の学習精度が低いことに起因して物体認識の精度が低いことが考えられるが、こうした構成によれば、学習結果の精度に対応させて結合範囲Ｓ１，Ｓ２を設定することから、複数の物体検出手段が検出した物体が、同一の物体か、それとも異なる物体であるかの判定精度を良好にすることが可能である。
物体検出手段として撮像装置１１及びレーダ装置１２を搭載する車両において、撮像装置１１及びレーダ装置１２の物体検出結果に基づいて、レーダ装置１２の軸ずれ判定を実施する構成とした。一般に、撮像装置１１とレーダ装置１２とでは物体の検出範囲や検出精度が異なり、例えば撮像装置１１では距離方向で検出誤差が生じやすく、レーダ装置１２では角度方向で検出誤差が生じやすい。この点、両装置を搭載する車両の物体認識システムに本発明を適用することによって、互いの弱点を補いつつ物体認識を実施することができる。
撮像装置１１の軸ずれ学習（消失点学習）の実施状態に応じて結合範囲Ｓ１，Ｓ２を縮小する際に、撮像装置１１の結合範囲Ｓ１については、角度方向はそのままとし、距離方向を縮小させることにより、距離方向の縮小比率を角度方向の縮小比率よりも大きくした。これに対し、レーダ装置１２の結合範囲Ｓ２については、距離方向はそのままとし、角度方向を縮小させることにより、角度方向の縮小比率を距離方向の縮小比率よりも大きくした。このように、物体検出手段に応じて結合範囲の縮小方向及び縮小程度を可変に設定することにより、物体検出手段の検出誤差が生じやすさを反映させつつ適切な結合範囲を設定することができる。
（他の実施形態）
本発明は上記実施形態に限定されず、例えば次のように実施してもよい。
・上記実施形態において、消失点学習の実施状態に応じて結合範囲Ｓ１，Ｓ２を縮小する態様は上記以外であってもよい。例えば、結合範囲Ｓ１，Ｓ２の両者について距離方向のみを縮小する構成としてもよいし、角度方向のみを縮小する構成としてもよいし、あるいは距離方向及び角度方向の両者を縮小する構成としてもよい。
・撮像装置１１の結合範囲Ｓ１における距離方向の縮小比率を角度方向の縮小比率よりも大きくし、レーダ装置１２の結合範囲Ｓ２における角度方向の縮小比率を距離方向の縮小比率よりも大きくする態様として、上記実施形態では、撮像装置１１の結合範囲Ｓ１の角度方向はそのままとし、レーダ装置１２の結合範囲Ｓ２の距離方向はそのままとしたが、距離方向及び角度方向の双方を縮小させてもよい。具体的には、撮像装置１１の結合範囲Ｓ１について、距離方向の縮小比率をＫ１（Ｋ１＜１）、角度方向の縮小比率をＫ２（Ｋ２＜Ｋ１）に設定し、縮小比率Ｋ１，Ｋ２を用いて結合範囲Ｓ１を縮小させる。また、レーダ装置１２の結合範囲Ｓ２について、角度方向の縮小比率をＫ３（Ｋ３＜１）、距離方向の縮小比率をＫ４（Ｋ４＜Ｋ３）に設定し、縮小比率Ｋ３，Ｋ４を用いて結合範囲Ｓ２を縮小させる。
・上記実施形態では、イグニッションスイッチがオンされてから白線認識による消失点学習が一旦完了するまでの期間で結合範囲Ｓ１，Ｓ２を可変設定する場合を一例に挙げて説明したが、白線認識による消失点学習が一旦完了した後の期間において結合範囲Ｓ１，Ｓ２を可変設定する構成としてもよい。白線認識による消失点学習は精度が高く、学習が一旦完了すると、その後は学習値の変化が比較的小さい。しかしながら、例えば車両の積載状態や走行状態の変化に伴い撮像軸ＡＸ１の軸方向が変化し、消失点の位置が変化することは十分に考えられる。そこで、白線認識による消失点学習が一旦完了した後の期間において消失点学習値の変化が生じた場合に、消失点学習の学習状態に応じて、結合範囲Ｓ１，Ｓ２を可変設定する構成としてもよい。具体的には、白線認識による消失点学習が完了するまでは結合範囲Ｓ１，Ｓ２を比較的大きく設定し、白線認識による消失点学習が完了したことに伴い結合範囲Ｓ１，Ｓ２を縮小する態様などが挙げられる。
・上記実施形態では、消失点学習として、オプティカルフローによる消失点学習と、白線認識による消失点学習とを実施する構成に適用する場合について説明したが、オプティカルフローによる消失点学習、及び白線認識による消失点学習のいずれかのみを実施する構成に適用してもよい。例えば、オプティカルフローによる消失点学習を実施しない構成の場合、図５において、時刻ｔ１３よりも前では結合範囲Ｓ１，Ｓ２として最大結合範囲を設定し、時刻ｔ１３で白線認識による消失点学習が完了したことに伴い、結合範囲Ｓ１，Ｓ２として最小結合範囲を設定する。
・上記実施形態では、第１物体検出手段が撮像装置１１であって、第２物体検出手段がレーダ装置１２である場合について説明したが、第１物体検出手段及び第２物体検出手段は上記に限定しない。例えば、第１物体検出手段がレーダ装置１２であって、第２物体検出手段が撮像装置１１であるシステムに本発明を適用してもよい。この場合、レーダ装置１２の軸ずれ学習状態に応じて結合範囲Ｓ１，Ｓ２を可変に設定する。なお、レーダ装置１２の軸ずれ学習の方法は公知の学習方法を採用することができる。その一例としては、撮像装置１１による物標検出回数と、レーダ装置１２による物標検出回数とを比較することによってレーダ装置１２の軸ずれを学習する方法や、あるいは車両走行中に撮影した画像に基づいて検出した消失点と、レーダ装置１２から送出される信号の送出方向とに基づいて、信号の送出方向と車両の直進方向との誤差を検出することによってレーダ装置１２の軸ずれ量を学習する方法、などが挙げられる。
・第１物体検出手段及び第２物体検出手段の組み合わせは、撮像装置１１及びレーダ装置１２の組み合わせに限定しない。例えば、第１物体検出手段及び第２物体検出手段として複数のレーダ装置（第１レーダ装置、第２レーダ装置）を備えるシステムに本発明を適用してもよい。あるいは、第１物体検出手段及び第２物体検出手段が共に撮像装置であるシステムに本発明を適用してもよい。
・上記実施形態の図４では、撮像装置１１において垂直面内での軸ずれが発生した場合を一例に挙げて説明したが、垂直面内での軸ずれに限らず、水平面内での軸ずれが発生した場合にも本発明を適用することができる。
・第１物体検出手段及び第２物体検出手段の検出可能領域は車両前方に限らず、例えば車両の後方や側方であってもよい。また、第１物体検出手段及び第２物体検出手段の取付位置も特に制限されない。
・上記実施形態では、物体検出手段として撮像装置及びレーダ装置を用いたがこれらに限定されず、例えば送信波に超音波を用いて物体を検出するソナーを採用してもよい。
・上記実施形態では、車両に搭載された物体認識装置を一例に挙げて説明したが、例えば、鉄道車両、船舶、航空機等の移動体に搭載することもできる。
１０…物体認識装置、１１…撮像装置（第１物体検出手段）、１２…レーダ装置（第２物体検出手段）、２０…物標検出部、２２…結合範囲設定部、２３…一体化処理部、３１…白線認識部、３２…フロー演算部、４０…消失点演算部、４２…消失点学習部、４３…第１学習部、４４…第２学習部、４５…学習値記憶部、５０…自車両、ＡＸ１…撮像軸（基準軸）、ＡＸ２…光軸（基準軸）、Ｓ１…結合範囲（第１結合範囲）、Ｓ２…結合範囲（第２結合範囲）。

Claims (7)

  1. 基準軸（ＡＸ１、ＡＸ２）を含む所定の検出可能領域（６１，６２）内に存在する物体を検出する物体検出手段として第１物体検出手段（１１）及び第２物体検出手段（１２）が搭載された移動体（５０）に適用され、
    前記検出可能領域は、前記第１物体検出手段と前記第２物体検出手段とで互いに重複しており、
    前記第１物体検出手段の基準軸の軸ずれ量を学習する軸ずれ学習手段と、
    前記第１物体検出手段によって取得される前記物体に関する情報を結合する範囲として設定される第１結合範囲（Ｓ１）と、前記第２物体検出手段によって取得される前記物体に関する情報を結合する範囲として設定される第２結合範囲（Ｓ２）との位置関係が所定の結合可能条件を満たす場合に、前記第１結合範囲及び前記第２結合範囲内に存在する複数の情報を同一物体に属する情報として結合し一体化する一体化処理手段と、
    前記軸ずれ学習手段による前記軸ずれ量の学習状態に基づいて、前記第１結合範囲及び前記第２結合範囲の大きさを可変に設定する結合範囲設定手段と、
    を備えることを特徴とする物体認識装置。
  2. 前記結合範囲設定手段は、前記軸ずれ学習手段による学習の精度が高くなるにつれて、前記第１結合範囲及び前記第２結合範囲を縮小する請求項１に記載の物体認識装置。
  3. 前記第１物体検出手段は、道路を含む周辺環境を撮影する撮像装置であり、
    前記第１物体検出手段により撮影された画像に基づいて前記道路の区画線を認識する区画線認識手段を備え、
    前記軸ずれ学習手段は、前記区画線認識手段により認識した区画線に関する情報である区画線情報に基づいて前記第１物体検出手段の基準軸の軸ずれ量を学習する手段を含み、
    前記結合範囲設定手段は、前記移動体の運転開始後において前記軸ずれ学習手段による前記区画線情報に基づく前記軸ずれ量の学習が完了した場合に、該学習が完了する前よりも前記第１結合範囲及び前記第２結合範囲を縮小する請求項１又は２に記載の物体認識装置。
  4. 前記第１物体検出手段により撮影された画像に基づいてオプティカルフローを演算するフロー演算手段を備え、
    前記軸ずれ学習手段は、前記フロー演算手段により演算したオプティカルフローに基づいて前記第１物体検出手段の基準軸の軸ずれ量を学習する第１学習手段と、前記区画線情報に基づいて前記第１物体検出手段の基準軸の軸ずれ量を学習する第２学習手段とを含み、前記移動体の運転開始後において前記第１学習手段による学習が前記第２学習手段による学習よりも早期に完了し、
    前記結合範囲設定手段は、前記移動体の運転開始後において前記第１学習手段による学習が完了した場合、及び前記第２学習手段による学習が完了した場合に、各々の学習が完了する前よりも前記第１結合範囲及び前記第２結合範囲を縮小する請求項３に記載の物体認識装置。
  5. 前記第１物体検出手段は、道路を含む周辺環境を撮影する撮像装置であり、
    前記第２物体検出手段は、送信波を送出し、該送出した送信波を受信することで前記物体を検出する探知装置である請求項１〜４のいずれか一項に記載の物体認識装置。
  6. 前記結合範囲設定手段は、前記軸ずれ学習手段による前記軸ずれ量の学習状態に基づいて前記第１結合範囲を縮小する場合に、距離方向の縮小比率を、前記距離方向に直交する幅方向の縮小比率よりも大きくする請求項５に記載の物体認識装置。
  7. 前記結合範囲設定手段は、前記軸ずれ学習手段による前記軸ずれ量の学習状態に基づいて前記第２結合範囲を縮小する場合に、距離方向の縮小比率よりも、前記距離方向に直交する幅方向の縮小比率を大きくする請求項５又は６に記載の物体認識装置。
JP2014165948A 2014-08-18 2014-08-18 物体認識装置 Active JP6361366B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014165948A JP6361366B2 (ja) 2014-08-18 2014-08-18 物体認識装置
US15/504,192 US10366295B2 (en) 2014-08-18 2015-08-03 Object recognition apparatus
PCT/JP2015/071979 WO2016027652A1 (ja) 2014-08-18 2015-08-03 物体認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014165948A JP6361366B2 (ja) 2014-08-18 2014-08-18 物体認識装置

Publications (2)

Publication Number Publication Date
JP2016042288A true JP2016042288A (ja) 2016-03-31
JP6361366B2 JP6361366B2 (ja) 2018-07-25

Family

ID=55350598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014165948A Active JP6361366B2 (ja) 2014-08-18 2014-08-18 物体認識装置

Country Status (3)

Country Link
US (1) US10366295B2 (ja)
JP (1) JP6361366B2 (ja)
WO (1) WO2016027652A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9902273B2 (en) * 2013-04-30 2018-02-27 Toyota Jidosha Kabushiki Kaisha Power generation amount output device and solar power generation system
JP2019086406A (ja) * 2017-11-07 2019-06-06 株式会社Ｓｏｋｅｎ 物体検知装置
JP2019121032A (ja) * 2017-12-28 2019-07-22 株式会社デンソーテン カメラずれ検出装置およびカメラずれ検出方法
JP2020123336A (ja) * 2019-01-29 2020-08-13 株式会社ストラドビジョンＳｔｒａｄｖｉｓｉｏｎ，Ｉｎｃ． 多数の車両によるセンサーフュージョン、ｖ２ｘ通信可能なアプリケーションを利用した協業走行のために周囲に位置するカメラそれぞれに対応するそれぞれの物体検出器によって検出される物体検出情報を統合する方法及び装置
KR20210062672A (ko) * 2018-11-08 2021-05-31 바이에리쉐 모토렌 베르케 악티엔게젤샤프트 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛
DE112021002834T5 (de) 2020-05-15 2023-03-23 Denso Corporation Achsenfehlausrichtungs-schätzvorrichtung
WO2023145906A1 (ja) * 2022-01-31 2023-08-03 本田技研工業株式会社 画像処理装置、画像処理方法、およびプログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192122B2 (en) * 2014-08-21 2019-01-29 Mitsubishi Electric Corporation Driving assist apparatus, driving assist method, and non-transitory computer readable recording medium storing program
JP6150950B1 (ja) 2015-11-20 2017-06-21 三菱電機株式会社 運転支援装置、運転支援システム、運転支援方法及び運転支援プログラム
JP6493196B2 (ja) * 2015-12-17 2019-04-03 株式会社デンソー 制御装置、制御方法
JP6431864B2 (ja) * 2016-03-25 2018-11-28 株式会社ファルテック レーダカバー
JP6600271B2 (ja) * 2016-03-31 2019-10-30 株式会社デンソー 物体認識装置及び物体認識方法
US10694112B2 (en) * 2018-01-03 2020-06-23 Getac Technology Corporation Vehicular image pickup device and image capturing method
CN108846336B (zh) * 2018-05-31 2022-03-15 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质
US11073610B2 (en) * 2019-01-31 2021-07-27 International Business Machines Corporation Portable imager
US11035945B2 (en) * 2019-04-18 2021-06-15 GM Global Technology Operations LLC System and method of controlling operation of a device with a steerable optical sensor and a steerable radar unit
US11891086B2 (en) 2019-05-13 2024-02-06 Hitachi Astemo, Ltd. Vehicle control system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP2010249613A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
JP4823781B2 (ja) * 2005-08-31 2011-11-24 本田技研工業株式会社 車両の走行安全装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5870510B2 (ja) * 2010-09-14 2016-03-01 株式会社リコー ステレオカメラ装置、校正方法およびプログラム
JP5769813B2 (ja) * 2011-11-07 2015-08-26 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US8761991B1 (en) * 2012-04-09 2014-06-24 Google Inc. Use of uncertainty regarding observations of traffic intersections to modify behavior of a vehicle
JP6089957B2 (ja) * 2013-05-20 2017-03-08 株式会社デンソー 灯火制御装置
US9898670B2 (en) * 2013-12-13 2018-02-20 Fts Computertechnik Gmbh Method and device for observing the environment of a vehicle
JP6428270B2 (ja) 2014-02-10 2018-11-28 株式会社デンソー 軸ずれ検出装置
CN106461403B (zh) * 2014-05-20 2019-02-15 日产自动车株式会社 物体检测装置及物体检测方法
US9286679B2 (en) * 2014-07-22 2016-03-15 GM Global Technology Operations LLC Misalignment correction and state of health estimation for lane management fusion function

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP4823781B2 (ja) * 2005-08-31 2011-11-24 本田技研工業株式会社 車両の走行安全装置
JP2010249613A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9902273B2 (en) * 2013-04-30 2018-02-27 Toyota Jidosha Kabushiki Kaisha Power generation amount output device and solar power generation system
JP2019086406A (ja) * 2017-11-07 2019-06-06 株式会社Ｓｏｋｅｎ 物体検知装置
JP2019121032A (ja) * 2017-12-28 2019-07-22 株式会社デンソーテン カメラずれ検出装置およびカメラずれ検出方法
KR20210062672A (ko) * 2018-11-08 2021-05-31 바이에리쉐 모토렌 베르케 악티엔게젤샤프트 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛
JP2022506736A (ja) * 2018-11-08 2022-01-17 バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト 車両の周囲でのオブジェクトに関する情報を算出する方法及び処理ユニット
JP7273956B2 (ja) 2018-11-08 2023-05-15 バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト 車両の周囲でのオブジェクトに関する情報を算出する方法及び処理ユニット
KR102536037B1 (ko) * 2018-11-08 2023-05-26 바이에리쉐 모토렌 베르케 악티엔게젤샤프트 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛
JP2020123336A (ja) * 2019-01-29 2020-08-13 株式会社ストラドビジョンＳｔｒａｄｖｉｓｉｏｎ，Ｉｎｃ． 多数の車両によるセンサーフュージョン、ｖ２ｘ通信可能なアプリケーションを利用した協業走行のために周囲に位置するカメラそれぞれに対応するそれぞれの物体検出器によって検出される物体検出情報を統合する方法及び装置
DE112021002834T5 (de) 2020-05-15 2023-03-23 Denso Corporation Achsenfehlausrichtungs-schätzvorrichtung
WO2023145906A1 (ja) * 2022-01-31 2023-08-03 本田技研工業株式会社 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
WO2016027652A1 (ja) 2016-02-25
US10366295B2 (en) 2019-07-30
JP6361366B2 (ja) 2018-07-25
US20170262716A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
JP6361366B2 (ja) 物体認識装置
US10384681B2 (en) Vehicle cruise control device and cruise control method
US10688997B2 (en) Lane merging determination apparatus
US10345443B2 (en) Vehicle cruise control apparatus and vehicle cruise control method
US10422871B2 (en) Object recognition apparatus using a plurality of object detecting means
US11467277B2 (en) Object recognition apparatus and object recognition method
US10922561B2 (en) Object recognition device and vehicle travel control system
US10576967B2 (en) Parking assistance device and parking assistance method
US10217024B2 (en) Object detection apparatus
US10471961B2 (en) Cruise control device and cruise control method for vehicles
US20180009438A1 (en) Vehicle cruise control device and cruise control method
US10836388B2 (en) Vehicle control method and apparatus
US10429492B2 (en) Apparatus for calculating misalignment quantity of beam sensor
JP6468136B2 (ja) 走行支援装置及び走行支援方法
US11119210B2 (en) Vehicle control device and vehicle control method
US11346922B2 (en) Object recognition apparatus and object recognition method
WO2016186171A1 (ja) 物体検出装置、及び物体検出方法
JP5098563B2 (ja) 物体検出装置
JP2006011570A (ja) カメラキャリブレーション方法及びカメラキャリブレーション装置
JP2012014520A (ja) 障害物検出装置
JP2017021435A (ja) 車両の運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180611

R151 Written notification of patent or utility model registration

Ref document number: 6361366

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250