JP2016045903A - 物体認識装置及び車両制御システム - Google Patents

物体認識装置及び車両制御システム Download PDF

Info

Publication number
JP2016045903A
JP2016045903A JP2014172090A JP2014172090A JP2016045903A JP 2016045903 A JP2016045903 A JP 2016045903A JP 2014172090 A JP2014172090 A JP 2014172090A JP 2014172090 A JP2014172090 A JP 2014172090A JP 2016045903 A JP2016045903 A JP 2016045903A
Authority
JP
Japan
Prior art keywords
pedestrian
vehicle
determination unit
distance
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014172090A
Other languages
English (en)
Other versions
JP6407626B2 (ja
JP2016045903A5 (ja
Inventor
健 志磨
Takeshi Shima
健 志磨
琢馬 大里
Takuma Osato
琢馬 大里
雅幸 竹村
Masayuki Takemura
雅幸 竹村
裕史 大塚
Yasushi Otsuka
裕史 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to JP2014172090A priority Critical patent/JP6407626B2/ja
Priority to PCT/JP2015/072439 priority patent/WO2016031523A1/ja
Priority to US15/501,015 priority patent/US10246038B2/en
Priority to EP15836656.7A priority patent/EP3188156B1/en
Publication of JP2016045903A publication Critical patent/JP2016045903A/ja
Publication of JP2016045903A5 publication Critical patent/JP2016045903A5/ja
Application granted granted Critical
Publication of JP6407626B2 publication Critical patent/JP6407626B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0008—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9319—Controlling the accelerator

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】対象物の検出信頼度に応じて車両の制御を変えることができる物体認識装置を得ること。
【解決手段】本発明の物体認識装置は、自車の周囲の対象物を認識する物体認識装置であって、自車301から物体303までの距離情報を利用して物体303が対象物であるか否かを判定する距離情報利用対象物判定部106と、自車301から物体303を撮像した画像情報を利用して物体303が対象物であるか否かを判定する画像情報利用対象物判定部107と、距離情報と画像情報を用いて対象物の検出信頼度を算出する対象物検出信頼度算出部108とを有する。
【選択図】図1

Description

本発明は、自動車の外界の画像情報から物体を認識する物体認識装置及び車両制御システムに関する。
車両の安全な走行を実現するために、車両の周囲の危険な事象を検出して、検出した危険な事象を回避するために、車両の操舵、アクセル、ブレーキを自動制御する装置に関して研究開発が行われており、一部の車両には既に搭載されている。その中でも、車両に搭載したカメラで車両の前方の車両や歩行者等の障害物を検出して、ドライバへの警報や自動ブレーキを行うシステムは、車両の安全性向上の面で有効である。
自動車に搭載したカメラの映像から自動車の周囲の障害物を検知するシステムにおいて、特に自動車に衝突可能性がある歩行者を検出することが歩行者保護の上で重要である。特に物陰から飛び出してくる歩行者を早期に検知し、歩行者との衝突防止のためのブレーキ制御を行うことが安全性向上のために重要である。物陰から飛び出してくる歩行者に対する衝突防止性能は、欧州のEuro-NCAPの安全性能判定基準にも取り入れられる予定である。検出用としてのセンサとしては、ミリ波レーダ、レーザーレーダ、カメラがあるが、カメラ、特にステレオカメラを使用した方法が特許文献1に記載されている。
特許文献1に記載の内容は、ステレオカメラで障害物を検出する際に、単眼情報による距離計測部と、ステレオ情報による距離計測部を持ち、自車に近い部分の障害物検出はステレオ情報による距離計測部を使い、自車から遠い部分の障害物検出は単眼情報による距離計測部を使い、２つの計測部を検知距離によって切り替えるものであり、特に精度低下懸念時はステレオ情報による距離計測部を適用する距離を長く設定するものである。
特開２０１３−０５９９２９号公報
特許文献1の方法は、ステレオ情報と単眼情報を切り替えていずれか一方のみを用いるものである。したがって、一方の情報のみでは所期の検出精度が得られず、車両を精度よく制御することが困難となるおそれがある。
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、対象物の検出信頼度に応じて車両の制御を変えることができる物体認識装置を提供することである。
上記課題を解決する本発明の物体認識装置は、自車の周囲の対象物を認識する物体認識装置であって、前記自車から物体までの距離情報を利用して前記物体が対象物であるか否かを判定する距離情報利用対象物判定部と、前記自車から前記物体を撮像した画像情報を利用して前記物体が前記対象物であるか否かを判定する画像情報利用対象物判定部と、前記距離情報と前記画像情報を用いて前記対象物の検出信頼度を算出する対象物検出信頼度算出部と、を有することを特徴としている。
本発明によれば、対象物の検出信頼度に応じて、ドライバへの警報の方法や対象物への衝突防止のための車両の制御方法を変えることができる。したがって、検知結果が不確かな段階でも、緊急ブレーキに至る事前の準備を行うことで、飛出し歩行者に対してより早く緊急ブレーキを作動させることができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の第１実施形態における車両制御システムの構成を説明する図。 ステレオカメラにおける視差の算出方法を説明する図。 ステレオカメラにおける視差の算出方法を説明する図。 ステレオカメラにおける視差の算出方法を説明する図。 駐車車両検出部における処理の内容を説明するフローチャート。 歩行者が駐車車両の陰から自車前方に飛び出してくる状態を説明する図。 歩行者候補の検出方法を説明する図。 歩行者候補検出部における処理の内容を説明するフローチャート。 画像情報利用歩行者判定部における判定方法を説明する図。 画像情報利用歩行者判定部における処理の内容を説明するフローチャート。 歩行者検出信頼度算出部における処理の内容を説明するフローチャート。 信頼度と各種制御との関係を示す図。 本発明の第２実施形態における車両制御システムの構成を説明する図。
次に、本発明の実施形態について図面を用いて以下に説明する。
＜第１実施形態＞
本実施形態では、本発明の物体認識装置を、車両に搭載されたステレオカメラの映像を用いて、駐車車両の陰からの飛び出しが予測される歩行者に対する衝突回避動作を行う車両制御システムに適用した場合の説明をする。
まず、図1を用いて本実施形態における車両制御システムの構成の概要を説明する。
図1は、本実施形態における車両制御システムを実現するブロック図である。車両制御システムは、自車の周囲の対象物を認識して車両制御もしくは警報制御を行うものであり、ステレオカメラ100と、速度制御装置111と、警報制御装置112を有している。
ステレオカメラ100は、左撮像部101、右撮像部102、視差算出部103、駐車車両検出部104、歩行者候補検出部105、視差情報利用歩行者判定部106、画像情報利用歩行者判定部107、歩行者検出信頼度算出部108、歩行者検出結果出力部109、警報・車両制御種類選択部110を有している。
左撮像部101と右撮像部102は、予め設定された基線長を有して左右に離れた状態で対をなして車室内に取り付けられており、自車のフロントガラス越しに車両進行方向前側をそれぞれ撮像し、その画像情報を出力する。視差算出部103は、左撮像部101と右撮像部102でそれぞれ撮像した画像同士の位置ズレである視差を利用して距離を算出し、視差情報として出力する。
駐車車両検出部104は、視差算出部103で求めた視差情報に基づき、前方の道路脇に駐車している駐車車両を検出する。歩行者候補検出部105は、駐車車両検出部104で検出した駐車車両に近接した位置に存在する歩行者候補を検出する。ここでは、静止物である駐車車両の近傍位置に探索範囲を設定し、距離情報が密な位置を探索して歩行者候補を検出する。
画像情報利用歩行者判定部107は、歩行者候補検出部105にて検出した歩行者候補に対して、右撮像部102で撮像した右画像情報を利用して歩行者の特徴を有しているか否かを判定し、歩行者の特徴が多い場合は歩行者であると判定する（画像情報利用対象物判定部）。なお、右撮像部102の代わりに左撮像部101で撮像した左画像情報を利用してもよい。
一方、視差情報利用歩行者判定部106は、視差算出部103で求めた視差情報を利用して、撮像した画像全体の中に対象物となる歩行者が存在するかどうかを判定する（距離情報利用対象物判定部）。歩行者検出信頼度算出部108は、画像情報利用歩行者判定部107と視差情報利用歩行者判定部106において物体が歩行者であるか否かを判定した際の信頼度を算出する（対象物検出信頼度算出部）。歩行者検出結果出力部109は、画像情報利用歩行者判定部107、視差情報利用歩行者判定部106、歩行者検出信頼度算出部108の結果を統合して、歩行者の有無と、歩行者までの距離・相対速度と、歩行者検出信頼度とを出力する。
警報・車両制御種類選択部110は、歩行者検出結果出力部109からの情報に基づき、警報や車両制御の種類を選択する（車両制御種類選択部、警報制御種類選択部）。選択した結果、車両の速度制御によって検出した歩行者への衝突防止を行う場合は、速度制御装置（車両制御装置）111に制御に関する指示が送信され、ブレーキ113、またはアクセル114、またはステアリング115に制御信号が送信される。また、選択した結果、ドライバへの警報によって検出した歩行者への衝突防止を行う場合は、警報制御装置112に警報に関する指示が送信され、ディスプレイ116またはスピーカ117に警報に関する制御信号が送信される。なお、本実施形態では、警報・車両制御種類選択部110によって警報制御の選択と車両制御の選択の両方を行う場合について説明したが、いずれか一方でもよく、その場合に、車両制御システムは速度制御装置111と警報制御装置112のうち、対応する方を有している。
次に図2を用いて、図1のステレオカメラ100の視差算出部103による視差の算出方法について説明する。ここでは、左画像入力処理と右画像入力処理を行い、次に、対応点算出処理を行う。具体的には、左撮像部101と右撮像部102で撮像した左右の画像データを受信する。そして、左右の画像データを比較して、同一物体を撮像している部分を特定する。すなわち、図2に示したように、走行路上にある物体1001をステレオカメラ100で撮像すると、左撮像部101と右撮像部102で撮像された画像は、それぞれ左画像1002、右画像1003のようになる。ここで、同一の物体1001は、左画像1002では1004の位置に撮像され、右画像1003では1005の位置に撮像され、画像の横方向にd1のずれが発生する。したがって、左画像1002の1004の位置に撮像されている特定の物体が、右画像1003のどこの位置に撮像されているかを特定する必要がある。
左画像1002に撮像されている特定の物体が、右画像1003のどこの位置に撮像されているかを特定する方法について図3を用いて説明する。図3において、左画像1002、右画像1003の座標系に関して、横方向をu軸1101、縦方向をv軸1102とする。まず、左画像1002において、uv座標系で、(u1,v1)、(u1,v2)、(u2,v1)、(u2,v2)で囲まれた矩形領域1103を設定する。
次に、右画像1003において、(U,v1)、(U,v2)、(U+(u2-u1),v1)、(U+(u2-u1),v2)で囲まれた領域を、Uの値をu=0からu=u3まで増加させて、画像の右方向へこの矩形領域1104を走査させる。走査させる際、矩形領域1103内の画像と、矩形領域1104内の画像の相関値を比較して、左画像1002の矩形領域1103と相関性が最も高い右画像1003の矩形領域1105の位置(u4,v1)、(u4,v2)、(u4+(u2-u1),v1)、(u4+(u2-u1),v2)に、矩形領域1103に撮像されている物体と同一物体が撮像されているとする。ここで、矩形領域1103内の各画素と、矩形領域1105内の各画素が対応しているとする。右画像1003の矩形領域1104を走査した際、相関値がある一定以上の値になる矩形がない場合は、左画像1002の矩形領域1103に対応する右画像1003内の対応点は無しとする。
次に、左画像1002の矩形領域を1106の位置にずらし、同様の処理を行う。このように左画像1002の矩形領域を左画像1002内全体に走査して、左画像1002の全画素に対して、右画像1003内の対応点を求める。対応点が見つからない場合は、対応点無しとする。
次に、距離算出処理を行う。ここで視差と距離は等価であり、この処理において視差データから距離データに変換する。距離算出処理では、対応点算出処理で求めた、同一物体を撮像している左画像1002と右画像1003の対応点に関して、各対応点がステレオカメラ100からどの程度の距離の位置にあるかを算出する。
図4を用いて、左画像1002と右画像1003の対応点1201のカメラからの距離を算出する方法を説明する。図4において、左の撮像部101は、レンズ1202と撮像面1203から成る焦点距離f、光軸1208のカメラであり、右撮像部102は、レンズ1204と撮像面1205から成る焦点距離f、光軸1209のカメラである。カメラ前方にある点1201は、左撮像部101の撮像面1203の点1206（光軸1208からd2の距離）へ撮像され、左画像1002では点1206（光軸1208からd4画素の位置）となる。同様に、カメラ前方にある点1201は、右撮像部102の撮像面1205の点1207（光軸1209からd3の距離）に撮像され、右画像1003では点1207（光軸1209からd5画素の位置）となる。
このように同一の物体の点1201が、左画像1002では光軸1208から左へd4画素の位置、右画像1003では光軸1209から右へd5の位置に撮像され、d4+d5画素の視差が発生する。このため、左撮像部101の光軸1208と点1201との距離をxとすると、以下の式により、ステレオカメラ100から点1201までの距離Dを求めることができる。
点1201と左の撮像部101との関係から d2 : f = x : D
点1201と右の撮像部102との関係から d3 : f = (d-x) : D
従って、D = f × d / (d2 + d3) = f × d / { (d4 + d5 ) × a} となる。ここで、aは撮像面1203、1205の撮像素子のサイズである。
以上述べた距離算出を、前述の対応点算出処理で算出した対応点全てに関して実施する。その結果、ステレオカメラ100から物体までの距離を表現した距離画像を求めることができ、距離画像（距離情報）と視差画像（視差情報）は等価として扱うことができる。
次に図5を用いて、図1のステレオカメラ100の駐車車両検出部104において実行される処理について説明する。図5は、駐車車両検出部104で実行される処理フローである。
まず、同距離データグルーピング処理S201において、図1の視差算出部103で算出した視差情報から、画像の各画素に撮像されている対象物までの距離を算出し、ある一定値の範囲にある距離を持つ画素をグルーピングする。
次に、車両形状判定処理S202において、前処理の同距離データグルーピング処理S201においてグルーピングした画素を抽出し、抽出した画素のグループの形状と大きさが、車両の背面に類似した形状と大きさか否かを判定する。そして、車両の背面に類似した形状と大きさである場合には対象物が車両であると判定する。ここで車両の背面に類似した形状とは一般的な乗用車や大型車両を含む矩形の形状であり、車両の背面に類似した大きさとは、一般的な乗用車から大型車両を含む大きさとし、事前に定義しておくものとする。
車両形状判定処理S202において対象物が車両であると判定した場合に、対象物静止判定処理S203に移行する。対象物静止判定処理S203では、対象物が静止車両であるか否かを判定する。車両が静止しているか否かは、自車の走行速度と、対象物である車両との相対的な接近速度とを比較することによって判定できる。
次に図6〜図8を用いて、図1のステレオカメラ100の歩行者候補検出部105について説明する。図6は、歩行者が駐車車両の陰から自車前方に飛び出すことが予測される状態を示す図、図7は、歩行者候補を検出する方法を説明する図、図8は、歩行者候補検出部における処理の内容を説明するフローチャートである。
まず、図8に示す駐車車両位置読み込み処理S501で、駐車車両検出部104によって検出された駐車車両（静止物）の位置を読み込む。そして、歩行者検出枠設定処理S502では、駐車車両との距離情報が密な位置に歩行者を検出するための探索範囲を設定し、探索範囲を探索するための検出枠を設定する。そして、検出枠内視差ヒストグラム抽出処理S503で検出枠内の視差ヒストグラムを抽出し、歩行者候補判定処理S504で歩行者候補領域を設定する。
例えば、図6（ａ）に示すように、自車301の左前方に駐車車両302があり、図6（ｂ）に示すように、駐車車両302の陰に歩行者303がいる場合、駐車車両302の位置は、駐車車両検出部104によって検出されて、駐車車両位置読み込み処理S501によって読み込まれている。かかる状況において、図7（ａ）に示すように、駐車車両401の近傍に、駐車車両401の陰から飛び出すと予測される歩行者402を探索するための探索範囲403が設定される。そして、図7(ｂ)に示すように、探索範囲403内で歩行者402を検出するための検出枠404を移動させて歩行者402の探索を行い、図7(ｃ)に示すように、探索の結果、画像上で歩行者402と推定される領域である歩行者候補領域405を決定する。
次に、図9と図10を用いて、図1の画像情報利用歩行者判定部107について説明する。図9は、画像情報利用歩行者判定部107における判定方法を説明する図、図10は、画像情報利用歩行者判定部における処理の内容を説明するフローチャートである。
まず、図10に示す歩行者候補領域読み込み処理S701で、歩行者候補検出部105によって検出された歩行者候補領域405の画像情報が読み込まれる。そして、背景との輝度差判定処理S702で、歩行者とその背景との間の輝度差について有無が判定され、同様に、背景との距離差判定処理S703で歩行者とその背景との間の距離差について有無が判定される。そして、背景との輝度差判定処理S702と、背景との距離差判定処理S703の各判定結果である背景との距離差・輝度差に応じて、歩行者候補が歩行者であるか否かを判定する歩行者判定処理S704が行われる。
背景との輝度差判定処理S702及び背景との距離差判定処理S703では、図9（ａ）に示すように、歩行者候補枠601内の歩行者と推定される箇所を参照点602として設定し、歩行者候補枠601の外側に比較点603を設定する。参照点602と比較点603を設定する数は、一個に限られず、複数個を設定してもよい。
歩行者判定処理S704では、参照点602と比較点603とを比較して変化があるか否か、換言すると、参照点602と比較点603との間で、輝度値とカメラからの距離をそれぞれ比較し、所定値以上の差があるか否かを判定する。例えば図9（ａ）に示すように、輝度値と距離のいずれか一方に変化がある場合、すなわち、輝度値と距離のいずれか一方に所定値以上の差がある場合には、歩行者候補は歩行者であると判定する。
一方、図9（ｂ）に示すように、参照点602と比較点603との間で、輝度値とカメラからの距離をそれぞれ比較して、両方に変化がない場合、すなわち、輝度値と距離の両方に所定値以上の差がない場合には、歩行者ではないと判定する。なお、上記した歩行者判定処理S704の処理内容は一例であり、例えば公知のテンプレートマッチングなどの技術を用いて歩行者判定を行ってもよい。
次に、図11を用いて、図1の歩行者検出信頼度算出部108について説明する。図11は、歩行者検出信頼度算出部108における処理の内容を説明するフローチャートである。
歩行者検出信頼度算出部108では、視差情報から歩行者と判定可能であり、かつ、画像情報から歩行者と判定可能であるかが判定される（ステップS801）。具体的には、視差情報利用歩行者判定部106において対象物が歩行者であると判定され、かつ、画像情報利用歩行者判定部107において対象物が歩行者であると判定されているか否かが判定される。
そして、視差情報と画像情報の両方で歩行者と判定可能である場合、すなわち、視差情報利用歩行者判定部106において対象物が歩行者であると判定され、かつ、画像情報利用歩行者判定部107において対象物が歩行者であると判定されている場合（ステップS801でＹＥＳ）には、歩行者検出の信頼度が高い（ステップS802）と判定する。
一方、視差情報と画像情報の少なくとも一方で歩行者と判定不可能である場合、すなわち、視差情報利用歩行者判定部106と画像情報利用歩行者判定部107の少なくとも一方において歩行者と判定不可能である場合には、いずれか一方で判定不可能なのか、それとも両方で判定不可能なのかが判断される（ステップS803）。
ここで、視差情報利用歩行者判定部106と画像情報利用歩行者判定部107の両方で歩行者と判定不可能であると判断された場合（ステップS803でＮＯ）には、歩行者が見つけることができなかったとして、本ルーチンを終了する。
そして、視差情報利用歩行者判定部106と画像情報利用歩行者判定部107のいずれか一方で歩行者と判定不可能である場合（ステップS803でＹＥＳ）には、いずれであるかを判断すべくステップS804に移行する。
ステップS804では、画像情報から歩行者と判定不可能であるか否かが判断され、画像情報から歩行者と判定不可能であると判断された場合（ステップS804でＹＥＳ）、すなわち視差情報では歩行者と判定可能であると判断された場合には、歩行者検出の信頼度が中間（ステップS805）と判定する。
一方、ステップS804で、画像情報のみから歩行者と判定可能であると判断された場合（ステップS804でＮＯ）、すなわち、視差情報では歩行者との判定が不可能であると判断された場合には、歩行者検出の信頼度が低い（ステップS806）と判定する。
画像情報と視差情報の両方で歩行者と判定可能と判断された場合には、歩行者検出の信頼度は最も高く設定される。そして、画像情報と視差情報を比較した場合、視差情報の方が検出精度が高い。したがって、視差情報から歩行者と判定可能であると判断された場合（ステップS804でＹＥＳ）の方が、画像情報から歩行者と判定可能であると判断された場合（ステップS804でＮＯ）よりも、歩行者検出の信頼度は高く設定される。
次に、図12を用いて、図1の警報・車両制御種類選択部110について説明する。図12は、信頼度と各種制御との関係を示す図である。
例えば、図12に示すように、歩行者検出信頼度算出部108によって信頼度が高いと判断された場合には、速度制御装置111により速度制御として、ブレーキ制御と、アクセル制御と、ステアリング制御が行われる。ブレーキ制御では、例えば自車と歩行者との距離が所定の距離よりも短くなった際に、自動的に制動力を作用させて車両を減速させる自動ブレーキ制御が実施される。アクセル制御では、スロットルバルブを閉じる方向に動作させてエンジンブレーキにより減速させる制御が行われる。ステアリング制御では、歩行者との衝突を防ぐために、自動的に操舵角を調整して車両の進行方向を変更させる制御が行われる。そして、警報制御装置112により警報制御として、車室内のディスプレイ116にブレーキ制御、アクセル制御、ステアリング制御を行う旨が表示され、スピーカ117から警報音やこれらの制御を行うアナウンスが流され、乗員に対する注意が呼びかけられる。
また、信頼度が中間と判断された場合には、速度制御として、ブレーキ制御とアクセル制御が行われるが、ステアリング制御までは行われない。警報制御では、ディスプレイ116にブレーキ制御とアクセル制御を行う旨が表示され、スピーカ117から警報音やこれらの制御を行うアナウンスが流される。
そして、信頼度が低いと判断された場合には、速度制御として、ブレーキ液の液圧を上昇させておき、いつでもブレーキを作動させることができるようにしておくなどの自動ブレーキ制御の準備と、アクセルペダルを踏み込む操作をしてもスロットルバルブを対応して動作させず、車両の加速が抑制されるアクセル制御が行われる。警報制御では、ディスプレイ116に歩行者の存在が示され、スピーカ117からは前方に歩行者がいる旨のアナウンスが流される。
上記したステレオカメラ100及びステレオカメラ100を用いた車両制御システムによれば、視差情報と画像情報に基づいて歩行者検出の信頼度を算出しているので、信頼度の精度が高く、信頼度に応じて車両を制御した場合に、高精度の車両制御を行うことができる。
上記した車両制御システムによれば、検出信頼度に応じてドライバへの警報の方法や検出物体への衝突防止のための車両の制御方法を変えるので、検知結果が不確かな段階でも、緊急ブレーキに至る事前の準備を行うことができる。したがって、自車前方への歩行者の飛び出しに対して、より早く緊急ブレーキを作動させることができ、歩行者が物陰から飛び出すといった、検出が難しいシーンにおいても衝突防止が可能となる。
＜第２実施形態＞
次に、本発明の第２実施形態について図13を用いて説明する。図13は、第２実施形態における車両制御システムの構成を示す図である。なお、第１実施形態と同様の構成要素には同じ名称を付することでその詳細な説明を省略する。
本実施形態において特徴的なことは、本発明の物体認識装置を、第１実施形態におけるステレオカメラ100の代わりにレーダ201と単眼カメラ202とコントローラ200を用いて構成し、車両制御システムに適用したことである。第１実施形態では、ステレオカメラにより距離情報と画像情報を取得していたが、本実施形態では、レーダ201により距離情報を取得し、単眼カメラ202により画像情報を取得している。
車両制御システムは、レーダ201と、単眼カメラ202と、コントローラ200と、速度制御装置111と、警報制御装置112を有している。レーダ201は、車両前方の物体の位置や大きさを検出できるものであればよく、レーザーレーダやミリ波レーダ、赤外線レーダを用いることができる。単眼カメラ202は、車両前方を撮像する一つの撮像部を有している。
コントローラ200は、距離算出部203と、駐車車両検出部204と、歩行者候補検出部205と、距離情報利用歩行者判定部206と、画像情報利用歩行者判定部207と、歩行者検出信頼度算出部208と、歩行者検出結果出力部209、警報・車両制御種類選択部210を有している。
距離算出部203は、レーダ201から検出信号に基づいて自車から対象物までの距離を算出し、距離情報として出力する。駐車車両検出部204は、距離算出部203からの距離情報に基づいて駐車車両を検出する。歩行者候補検出部205は、駐車車両検出部204で検出した駐車車両の位置情報と単眼カメラ202からの画像情報に基づいて、駐車車両に近接した位置に存在する歩行者候補を検出する処理を行う。
画像情報利用歩行者判定部207は、歩行者候補検出部205にて検出した歩行者候補に対して、単眼カメラ202で撮像した画像情報を利用して歩行者の特徴を有しているか否かを判定し、歩行者の特徴が多い場合は歩行者であると判定する。
距離情報利用歩行者判定部206は、距離算出部203で求めた距離情報を利用して、自車前方に検出対象となる歩行者が存在するかどうか、換言すると、前方に存在する対象物が歩行者であるか否かを判定する。
歩行者検出信頼度算出部208は、画像情報利用歩行者判定部207と距離情報利用歩行者判定部206において対象物が歩行者であるか否かを判定した際の信頼度を算出する。歩行者検出結果出力部209は、画像情報利用歩行者判定部207、距離情報利用歩行者判定部206、歩行者検出信頼度算出部208の結果を統合して、歩行者の有無と、歩行者までの距離・相対速度と、歩行者検出信頼度とを出力する。警報・車両制御種類選択部210については、第１実施形態と同様であるので説明は省略する。
本実施形態によれば、第１実施形態と同様の作用効果を得ることができる。また、第１実施形態と比較して、ステレオ視をして距離を算出する必要がないので、演算処理負荷が少なく、比較的低いスペックの装置で実現することができ、製品価格を安価にできる。
以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
100 ステレオカメラ
101 左撮像部
102 右撮像部
103 視差算出部
104 駐車車両検出部
105 歩行者候補検出部
106 視差情報利用歩行者判定部（距離情報利用対象物判定部）
107 画像情報利用歩行者判定部（画像情報利用対象物判定部）
108 歩行者検出信頼度算出部（対象物検出信頼度算出部）
110 警報・車両制御種類選択部（車両制御種類選択部、警報制御種類選択部）
111 速度制御装置（車両制御装置）
112 警報制御装置

Claims (8)

  1. 自車の周囲の対象物を認識する物体認識装置であって、
    前記自車から物体までの距離情報を利用して前記物体が対象物であるか否かを判定する距離情報利用対象物判定部と、
    前記自車から前記物体を撮像した画像情報を利用して前記物体が前記対象物であるか否かを判定する画像情報利用対象物判定部と、
    前記距離情報と前記画像情報を用いて前記対象物の検出信頼度を算出する対象物検出信頼度算出部と、
    を有することを特徴とする物体認識装置。
  2. 自車前方を撮像する左右一対の撮像部と、該撮像部で撮像した画像情報に基づいて前記物体の視差情報を算出する視差算出部と、を備えており、
    前記距離情報利用対象物判定部は、前記視差情報を前記距離情報として用いて自車前方の物体が前記対象物である歩行者であるか否かを判定し、
    前記画像情報利用対象物判定部は、前記距離情報を用いて自車前方の駐車車両を検出し、前記画像情報を用いて前記駐車車両近傍の歩行者候補を検出し、前記画像情報と前記距離情報を用いて前記歩行者候補が歩行者であるか否かを判定し、
    前記対象物検出信頼度算出部は、前記距離情報利用対象物判定部の判定結果と、前記画像情報利用対象物判定部の判定結果を用いて、前記歩行者の検出信頼度を算出することを特徴とする請求項1に記載の物体認識装置。
  3. 前記対象物検出信頼度算出部は、
    前記距離情報利用対象物判定部により前記自車前方の物体が前記歩行者であると判定され、かつ、前記画像情報利用対象物判定部により前記歩行者候補が前記歩行者であると判定された場合に信頼度が高いと判定し、
    前記距離情報利用対象物判定部により前記自車前方の物体が前記歩行者ではないと判定され、かつ、前記画像情報利用対象物判定部により前記歩行者候補が前記歩行者であると判定された場合に信頼度が低いと判定し、
    前記距離情報利用対象物判定部により前記自車前方の物体が前記歩行者であると判定され、前記画像情報利用対象物判定部により前記歩行者候補が前記歩行者ではないと判定された場合に信頼度が中間と判定することを特徴とする請求項2に記載の物体認識装置。
  4. 前記対象物検出信頼度算出部により算出された前記歩行者の検出信頼度に基づいて自車の車両制御の種類を選択する車両制御種類選択部を有することを特徴とする請求項3に記載の物体認識装置。
  5. 前記対象物検出信頼度算出部により算出された前記歩行者の検出信頼度に基づいて自車の警報制御の種類を選択する警報制御種類選択部を有することを特徴とする請求項3に記載の物体認識装置。
  6. 請求項4に記載の物体認識装置と、該物体認識装置の前記車両制御種類選択部により選択された車両制御を実行する車両制御装置とを有することを特徴とする車両制御システム。
  7. 請求項5に記載の物体認識装置と、該物体認識装置の前記警報制御種類選択部により選択された警報制御を実行する警報制御装置とを有することを特徴とする車両制御システム。
  8. 自車前方の物体を検出するレーダと、
    自車前方を撮像する一つの撮像部と、
    前記レーダで検出した物体までの距離情報を算出する距離算出部と、
    を備えており、
    前記距離情報利用対象物判定部は、前記距離情報を用いて自車前方の物体が前記対象物である歩行者であるか否かを判定し、
    前記画像情報利用対象物判定部は、前記距離情報を用いて自車前方の駐車車両を検出し、前記画像情報を用いて前記駐車車両近傍の歩行者候補を検出し、前記画像情報と前記距離情報を用いて前記歩行者候補が歩行者であるか否かを判定し、
    前記対象物検出信頼度算出部は、前記距離情報利用対象物判定部の判定結果と、前記画像情報利用対象物判定部の判定結果を用いて、前記歩行者の検出信頼度を算出することを特徴とする請求項1に記載の物体認識装置。
JP2014172090A 2014-08-26 2014-08-26 物体認識装置及び車両制御システム Active JP6407626B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014172090A JP6407626B2 (ja) 2014-08-26 2014-08-26 物体認識装置及び車両制御システム
PCT/JP2015/072439 WO2016031523A1 (ja) 2014-08-26 2015-08-07 物体認識装置及び車両制御システム
US15/501,015 US10246038B2 (en) 2014-08-26 2015-08-07 Object recognition device and vehicle control system
EP15836656.7A EP3188156B1 (en) 2014-08-26 2015-08-07 Object recognition device and vehicle control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014172090A JP6407626B2 (ja) 2014-08-26 2014-08-26 物体認識装置及び車両制御システム

Publications (3)

Publication Number Publication Date
JP2016045903A true JP2016045903A (ja) 2016-04-04
JP2016045903A5 JP2016045903A5 (ja) 2017-04-13
JP6407626B2 JP6407626B2 (ja) 2018-10-17

Family

ID=55399421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014172090A Active JP6407626B2 (ja) 2014-08-26 2014-08-26 物体認識装置及び車両制御システム

Country Status (4)

Country Link
US (1) US10246038B2 (ja)
EP (1) EP3188156B1 (ja)
JP (1) JP6407626B2 (ja)
WO (1) WO2016031523A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7489231B2 (ja) 2020-05-15 2024-05-23 日立Astemo株式会社 物体検知装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6556563B2 (ja) * 2015-08-31 2019-08-07 株式会社東芝 検出装置、検出方法、検出プログラムおよび情報処理システム
DE102015121952A1 (de) * 2015-12-16 2017-06-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
JP6668151B2 (ja) * 2016-04-12 2020-03-18 日立オートモティブシステムズ株式会社 車載光学装置および車載光学システム
JP6418407B2 (ja) * 2016-05-06 2018-11-07 トヨタ自動車株式会社 車両のブレーキ制御装置
JP6547785B2 (ja) * 2016-07-29 2019-07-24 株式会社デンソー 物標検出装置
WO2018105037A1 (ja) * 2016-12-06 2018-06-14 本田技研工業株式会社 車両用制御装置
KR20180069147A (ko) * 2016-12-14 2018-06-25 만도헬라일렉트로닉스(주) 차량의 보행자 경고장치
JP6662356B2 (ja) 2017-08-03 2020-03-11 トヨタ自動車株式会社 車両制御装置
JP6970568B2 (ja) * 2017-09-22 2021-11-24 株式会社デンソー 車両の周辺監視装置と周辺監視方法
US10937310B2 (en) * 2017-12-29 2021-03-02 Intel IP Corporation Control device and method for controlling a vehicle
TWI666595B (zh) 2018-02-26 2019-07-21 財團法人工業技術研究院 物件標示系統及方法
KR102187378B1 (ko) 2019-05-21 2020-12-08 주식회사 만도 충돌 방지 장치, 그를 가지는 차량 및 그 제어 방법
KR20220033653A (ko) * 2020-09-09 2022-03-17 현대모비스 주식회사 차량의 보행자 충돌 방지 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008045974A (ja) * 2006-08-14 2008-02-28 Fuji Heavy Ind Ltd 物体検出装置
JP2014096005A (ja) * 2012-11-08 2014-05-22 Hitachi Automotive Systems Ltd 物体検出装置及び物体検出方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4456086B2 (ja) 2006-03-09 2010-04-28 本田技研工業株式会社 車両周辺監視装置
JP2008242571A (ja) 2007-03-26 2008-10-09 Honda Motor Co Ltd 物体検出装置
JP4470067B2 (ja) * 2007-08-07 2010-06-02 本田技研工業株式会社 対象物種別判定装置、車両
KR101141874B1 (ko) * 2008-06-04 2012-05-08 주식회사 만도 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치
US8912978B2 (en) * 2009-04-02 2014-12-16 GM Global Technology Operations LLC Dynamic vehicle system information on full windshield head-up display
FR2947657B1 (fr) * 2009-07-06 2016-05-27 Valeo Vision Procede de detection d'un obstacle pour vehicule automobile
JP2013058829A (ja) 2011-09-07 2013-03-28 Honda Motor Co Ltd 車両周辺監視装置
JP2013191072A (ja) * 2012-03-14 2013-09-26 Hitachi Automotive Systems Ltd 物体検出装置
JP5783163B2 (ja) * 2012-12-03 2015-09-24 株式会社デンソー 物標検出装置
JP6081570B2 (ja) * 2013-02-21 2017-02-15 本田技研工業株式会社 運転支援装置、および画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008045974A (ja) * 2006-08-14 2008-02-28 Fuji Heavy Ind Ltd 物体検出装置
JP2014096005A (ja) * 2012-11-08 2014-05-22 Hitachi Automotive Systems Ltd 物体検出装置及び物体検出方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7489231B2 (ja) 2020-05-15 2024-05-23 日立Astemo株式会社 物体検知装置

Also Published As

Publication number Publication date
EP3188156B1 (en) 2020-05-20
WO2016031523A1 (ja) 2016-03-03
US10246038B2 (en) 2019-04-02
EP3188156A4 (en) 2018-06-06
JP6407626B2 (ja) 2018-10-17
US20170217394A1 (en) 2017-08-03
EP3188156A1 (en) 2017-07-05

Similar Documents

Publication Publication Date Title
JP6407626B2 (ja) 物体認識装置及び車両制御システム
US10000208B2 (en) Vehicle control apparatus
JP6313646B2 (ja) 外界認識装置
US10246030B2 (en) Object detection apparatus and driving assistance apparatus
EP2919197B1 (en) Object detection device and object detection method
WO2016129403A1 (ja) 物体検知装置
US10810877B2 (en) Vehicle control device
JP5906224B2 (ja) 車外環境認識装置
JPWO2017158958A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP2010128949A (ja) カメラ装置
JP6325927B2 (ja) 物体検知装置及びそれを用いた車両制御システム
US11691585B2 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
US20160307026A1 (en) Stereoscopic object detection device and stereoscopic object detection method
JP6722084B2 (ja) 物体検出装置
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
JP2017049771A (ja) 画像処理装置
KR20180063524A (ko) 가상 차선을 이용한 전방 차량 위험도 감지 방법 및 장치
US9365195B2 (en) Monitoring method of vehicle and automatic braking apparatus
KR20150096924A (ko) 전방 충돌 차량 선정 방법 및 시스템
KR101730740B1 (ko) 운전지원장치
CN109308442B (zh) 车外环境识别装置
JP2011191859A (ja) 車両の周辺監視装置
US11608071B2 (en) Vehicle control device
JP6253175B2 (ja) 車両の外部環境認識装置
JP6087240B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170308

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180919

R150 Certificate of patent or registration of utility model

Ref document number: 6407626

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350