JP2016206773A - 立体物検出装置及び立体物検出方法 - Google Patents

立体物検出装置及び立体物検出方法 Download PDF

Info

Publication number
JP2016206773A
JP2016206773A JP2015084913A JP2015084913A JP2016206773A JP 2016206773 A JP2016206773 A JP 2016206773A JP 2015084913 A JP2015084913 A JP 2015084913A JP 2015084913 A JP2015084913 A JP 2015084913A JP 2016206773 A JP2016206773 A JP 2016206773A
Authority
JP
Japan
Prior art keywords
detection
dimensional object
detected
road surface
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015084913A
Other languages
English (en)
Other versions
JP6365385B2 (ja
Inventor
西嶋　征和
Masakazu Nishijima
征和 西嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2015084913A priority Critical patent/JP6365385B2/ja
Priority to US15/095,240 priority patent/US20160307026A1/en
Priority to CN201610228084.3A priority patent/CN106060517A/zh
Priority to EP16165410.8A priority patent/EP3082067A1/en
Publication of JP2016206773A publication Critical patent/JP2016206773A/ja
Application granted granted Critical
Publication of JP6365385B2 publication Critical patent/JP6365385B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/0265—Automatic obstacle avoidance by steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】立体物の検出の信頼性を向上させることができる立体物検出装置及び立体物検出方法を提供する。【解決手段】立体物検出装置の検出制御部により、第１検出部により路面を検出可能である範囲においては、路面が検出可能であるために信頼度が高い第１検出部による検出結果に基づいて立体物が検出されるため、立体物を高精度で検出することができる。また、検出制御部により、第１検出部により路面を検出不可能である範囲においては、路面が検出不可能であるために信頼度が低い第１検出部による検出結果と、信頼度が高いミリ波レーダによる第２検出部による検出結果とに基づいて立体物が検出されるため、第１検出部により路面を検出不可能である範囲においても立体物を高精度で検出することができる。したがって、立体物の検出の信頼性を向上させることができる。【選択図】図２

Description

本発明の一側面及び他の側面は、立体物検出装置及び立体物検出方法に関する。
異なる視点それぞれから車載カメラにより車両の周囲を撮影することにより取得された互いに視差を有する複数の画像を表す画像データに基づいて、車両の周囲の立体物を検出する技術が提案されている。例えば、特許文献１には、車載のステレオカメラにより取得された互いに視差を有する複数の画像を表す画像データに基づいて、車両の周囲の路面及び立体物を検出する装置が開示されている。
米国特許出願公開第２０１４／００７１２４０号明細書
ところで、上記特許文献１の装置においては、実際には存在する立体物を検出することができない場合や、路面の模様等を立体物として誤検出する場合があり、改善が望まれている。
そこで本発明は、立体物の検出の信頼性を向上させることができる立体物検出装置及び立体物検出方法を提供することを目的とする。
本発明の一側面は、異なる視点それぞれから車載カメラにより車両の周囲を撮影することにより取得された互いに視差を有する複数の画像を表す画像データに基づいて、車両の周囲の路面及び立体物を検出する第１検出部と、ミリ波レーダにより立体物を検出する第２検出部と、第１検出部及び第２検出部のいずれかの検出結果に基づいて、立体物を検出する検出制御部とを備え、検出制御部は、第１検出部により路面を検出可能である範囲においては、第１検出部による検出結果に基づいて立体物を検出し、第１検出部により路面を検出不可能である範囲においては、第１検出部及び第２検出部による検出結果に基づいて立体物を検出する立体物検出装置である。
この構成によれば、検出制御部により、第１検出部により路面を検出可能である範囲においては、路面が検出可能であるために信頼度が高い第１検出部による検出結果に基づいて立体物が検出されるため、立体物を高精度で検出することができる。また、検出制御部により、第１検出部により路面を検出不可能である範囲においては、路面が検出不可能であるために信頼度が低い第１検出部による検出結果と、信頼度が高いミリ波レーダによる第２検出部による検出結果とに基づいて立体物が検出されるため、第１検出部により路面を検出不可能である範囲においても立体物を高精度で検出することができる。したがって、立体物の検出の信頼性を向上させることができる。
この場合、検出制御部は、予め設定された時間内に、第１検出部により路面を検出不可能である範囲において第１検出部により検出されずに、第１検出部により路面を検出可能である範囲において連続して第１検出部により検出された回数が閾値を超えている立体物については、第１検出部による検出結果に基づいて、立体物を検出し、予め設定された時間内に、第１検出部により路面を検出不可能である範囲において第１検出部により検出されずに、第１検出部により路面を検出可能である範囲において連続して第１検出部により検出された回数が閾値以下である立体物については、第１検出部及び第２検出部による検出結果に基づいて、立体物を検出してもよい。
この構成によれば、第１検出部により路面を検出不可能である範囲において第１検出部により検出されずに、第１検出部により路面を検出可能である範囲において連続して第１検出部により検出された回数が閾値を超えており、第１検出部による検出結果の信頼度が高いと考えられる立体物については、検出制御部により、第１検出部による検出結果に基づいて検出され、当該条件を満たさない立体物については、検出制御部により、第１検出部及び第２検出部による検出結果に基づいて検出されるため、第１検出部による誤った検出結果により立体物が検出されることを防止することができる。
また、検出制御部により検出された立体物に応じて、車両の加速、減速及び操舵のいずれかを制御する車両制御を実行する車両制御部をさらに備えていてもよい。
この構成によれば、車両制御部により、検出制御部により高信頼度で検出された立体物に応じて、車両の加速、減速及び操舵のいずれかを制御する車両制御が実行されるため、誤った検出結果に基づいた車両制御が実行されることを防止することができる。
また、本発明の他の側面は、立体物検出装置の第１検出部により、異なる視点それぞれから車載カメラにより車両の周囲を撮影することにより取得された互いに視差を有する複数の画像を表す画像データに基づいて、車両の周囲の路面及び立体物を検出する第１検出工程と、立体物検出装置の第２検出部により、ミリ波レーダにより立体物を検出する第２検出工程と、立体物検出装置の検出制御部により、第１検出工程及び第２検出工程のいずれかの検出結果に基づいて、立体物を検出する検出制御工程とを備え、検出制御工程では、第１検出部により路面を検出可能である範囲においては、検出制御部により、第１検出工程による検出結果に基づいて立体物を検出し、第１検出部により路面を検出不可能である範囲においては、検出制御部により、第１検出工程及び第２検出工程による検出結果に基づいて立体物を検出する立体物検出方法である。
この場合、検出制御工程では、予め設定された時間内に、第１検出部により路面を検出不可能である範囲において第１検出部により検出されずに、第１検出部により路面を検出可能である範囲において連続して第１検出部により検出された回数が閾値を超えている立体物については、検出制御部により、第１検出部による検出結果に基づいて立体物を検出し、予め設定された時間内に、第１検出部により路面を検出不可能である範囲において第１検出部により検出されずに、第１検出部により路面を検出可能である範囲において連続して第１検出部により検出された回数が閾値以下である立体物については、検出制御部により、第１検出部及び第２検出部による検出結果に基づいて立体物を検出してもよい。
また、立体物検出装置の車両制御部により、検出制御部により検出された立体物に応じて、車両の加速、減速及び操舵のいずれかを制御する車両制御を実行する車両制御工程をさらに備えてもよい。
本発明の一側面及び他の側面によれば、立体物の検出の信頼性を向上させることができる。
実施形態の立体物検出装置を示すブロック図である。 図１の立体物検出装置の動作を示すフローチャートである。 V-disparity平面に表れた路面の一例を示す図である。 V-disparityによる路面の検出結果の一例を示す図である。 視差画像中の横方向位置を横軸とし、視差を縦軸とした視差マップを示す図である。 撮影された画像中に立体物の検出結果を重畳した一例を示す図である。 俯瞰した平面に立体物の検出結果を重畳した一例を示す図である。 V-disparityによる路面の検出結果の別の例を示す図である。 撮影された画像中に立体物の検出結果を重畳した別の例を示す図である。 俯瞰した平面に立体物の検出結果を重畳した別の例を示す図である。
以下、図面を参照して、本発明の実施形態に係る立体物検出装置及び立体物検出方法について説明する。
図１に示すように、第１実施形態に係る立体物検出装置１は、例えば、乗用車等の車両に搭載され、車両の周囲の立体物を検出する。立体物とは、例えば、車両の周囲の路面から突出した物体を意味し、路面と分離した物体及び路面と一体化した物体の両方を含む。路面とは、例えば、車両の走行可能な道路の表面である。なお、路面には、車両の走行する道路の表面の他、駐車場の通路及び駐車スペースの表面が含まれてもよい。
立体物検出装置１は、立体物を検出するためのＥＣＵ［Electronic Control Unit］２、ステレオカメラ（車載カメラ）３、ミリ波レーダ６、アクチュエータ７及びＨＭＩ８を備えている。ＥＣＵ２は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等を有する電子制御ユニットである。ＥＣＵ２では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＣＰＵで実行することで、各種の処理を実行する。ＥＣＵ２は、複数の電子制御ユニットから構成されていてもよい。
ステレオカメラ３は、異なる視点それぞれから車載カメラにより車両の周囲を撮影することにより取得された互いに視差を有する複数の画像を取得する画像取得機器である。ステレオカメラ３は、両眼視差を再現するように配置された第１カメラ４及び第２カメラ５を有している。第１カメラ４及び第２カメラ５は、例えば、車両のフロントガラスの裏側に設けられ、車両の前方を撮像する。
第１カメラ４及び第２カメラ５は、例えば、水平方向に所定間隔を隔てて取り付けられているため、物体を撮影すると、視差を有する複数の画像である左画像及び右画像が得られる。得られた２つの画像は視差を有している。このため、２つの画像から、２つの画像間での対応する点である視差点それぞれにおける視差に関する情報を含んだ視差画像を取得することができる。視差画像に基づいて、三角測量の原理により、視差点ごとの路面及び立体物までの距離を求めることができる。
なお、第１カメラ４及び第２カメラ５は、車両の側部又は車両の後部（例えばリアガラスの裏側）に設けられ、車両の側方又は後方を撮像してもよい。また、ステレオカメラ３は、３つ以上のカメラにより、３つ以上の異なる視点から車両の周囲を撮影することにより、互いに視差を有する３つ以上の画像を取得してもよい。ステレオカメラ３は、撮影した互いに視差を有する複数の画像を表す画像データをＥＣＵ２へ送信する。
なお、立体物検出装置１は、ステレオカメラ３に代えて、単眼カメラを備えていてもよい。単眼カメラにおいても、周知の手法（例えば撮像の時間差を利用した手法）を用いることにより、視差画像を得ることができる。
ミリ波レーダ６は、例えば、車両の車体前端及び車両の車体後端に設けられ、ミリ波を利用して車両前後の立体物を検出する。ミリ波レーダ６は、更に車両の側面に設けられ、自車両の側方の立体物を検出してもよい。ミリ波レーダ６は、例えば、ミリ波を車両の前後に送信し、他車両等の立体物に反射したミリ波を受信することで立体物を検出する。立体物は、複数の検出点として検出される。ミリ波レーダ６は、検出した立体物情報をＥＣＵ２へ送信する。立体物情報には、立体物（各検出点）の方向及び距離に関する情報が含まれる。
アクチュエータ７は、車両の走行制御を実行する装置である。アクチュエータ７は、スロットルアクチュエータ、ブレーキアクチュエータ及びステアリングアクチュエータを少なくとも含む。スロットルアクチュエータは、ＥＣＵ２からの制御信号に応じてエンジンに対する空気の供給量（スロットル開度）を制御し、車両の駆動力を制御する。なお、車両がハイブリッド車又は電気自動車である場合には、スロットルアクチュエータを含まず、動力源としてのモータにＥＣＵ２からの制御信号が入力されて当該駆動力が制御される。
ブレーキアクチュエータは、ＥＣＵ２からの制御信号に応じてブレーキシステムを制御し、車両の車輪へ付与する制動力を制御する。ブレーキシステムとしては、例えば、液圧ブレーキシステムを用いることができる。ステアリングアクチュエータは、電動パワーステアリングシステムのうちステアリングトルクを制御するアシストモータの駆動を、ＥＣＵ２からの制御信号に応じて制御する。これにより、ステアリングアクチュエータは、車両のステアリングトルクを制御する。
ＨＭＩ８は、車両の乗員（運転者を含む）と立体物検出装置１との間で情報の出力及び入力をするためのインターフェイスである。ＨＭＩ８は、例えば、乗員に画像情報を表示するためのディスプレイパネル、音声出力のためのスピーカ及び乗員が入力操作を行うための操作ボタン又はタッチパネルなどを備えている。ＨＭＩ８は、無線で接続された携帯情報端末を利用して、乗員に対する情報の出力を行ってもよく、携帯情報端末を利用して乗員による入力操作を受け付けてもよい。
次に、ＥＣＵ２の機能的構成について説明する。図１に示すように、ＥＣＵ２は、第１検出部１１、第２検出部１２、検出制御部１３及び車両制御部１４を有している。第１検出部１１は、異なる視点それぞれからステレオカメラ３により車両の周囲を撮影することにより取得された互いに視差を有する複数の画像を表す画像データに基づいて、車両の周囲の路面及び立体物を検出する。
第２検出部１２は、ミリ波レーダ６により立体物を検出する。第２検出部１２は、ミリ波レーダ６からの立体物情報に基づいて複数の検出点を検出し、ミリ波レーダ６から見た各検出点の方向及び距離を認識することにより立体物を検出する。
検出制御部１３は、第１検出部１１及び第２検出部１２のいずれかの検出結果に基づいて、立体物を検出する。より詳細には、検出制御部１３は、第１検出部１１により路面を検出不可能である範囲においては、第１検出部１１による検出結果に基づいて立体物を検出し、第１検出部１１により路面を検出不可能である範囲においては、第１検出部１１及び第２検出部１２による検出結果に基づいて立体物を検出する。第１検出部１１及び第２検出部１２のいずれかの検出結果を選択する方法の詳細については後述する。
車両制御部１４は、検出制御部１３により検出された立体物に応じて、車両の加速、減速及び操舵のいずれかを制御する車両制御を実行する。立体物に応じた車両制御は、例えば、立体物の距離、位置、大きさ及び速度等に基づいて行われる。車両制御部１４は、アクチュエータ７に制御信号を出力することにより、アクチュエータ７のスロットルアクチュエータにより車両の加速を制御し、アクチュエータ７のブレーキアクチュエータにより車両の減速を制御し、アクチュエータ７のステアリングアクチュエータにより車両の操舵を制御する。また、車両制御部１４は、検出制御部１３により検出された立体物に応じて、ＨＭＩ８により乗員に必要な情報を提供する。
以下、本実施形態の立体物検出装置１の動作について説明する。図２に示すように、第１検出工程として、立体物検出装置１のＥＣＵ２の第１検出部１１により、異なる視点それぞれからステレオカメラ３により車両の周囲を撮影することにより取得された互いに視差を有する複数の画像を表す画像データに基づいて、車両の周囲の路面及び立体物が検出される（Ｓ１）。
第１検出部１１は、視差点での視差に基づいて車両の周囲の路面を検出する。視差点での視差に基づいた路面の検出は、例えば、公知のv-disparityにより行うことができる。図３に示すように、v-disparityは、横軸に視差（視差が示す距離）をとり、縦軸に視差画像での垂直方向の座標をとり、視差画像に対して水平方向のヒストグラムを求めたグラフである。視差画像において、路面の領域は、例えば、視差画像の垂直方向の座標が上方に変化するのに伴って、視差が滑らかに減少する（視差が示す距離が増大する）。そのため、図３に示すように、v-disparity平面においては、路面は斜め方向に伸びる線分として射影される。
v-disparityに基づいて、図４に示すように路面が推定される。ステレオカメラ３では、距離が遠くなるほど視差が小さくなり、視差点により確実に路面を検出することが難しくなる。本実施形態では、視差画像の視差点から確実に路面を検出できる距離の閾値を路面検出距離ｄｔｈとする。また、車両から路面検出距離ｄｔｈ以内の距離が、路面を検出可能な範囲であると定める。路面検出距離ｄｔｈは車両が走行する走行環境によって変化する。視差点から確実に路面を検出できない場合でも、図４に破線で示すように、車両から近距離側の勾配を基にして遠方の路面が推定されてもよい。しかし、本実施形態では、路面検出距離ｄｔｈ以下の距離を確実に路面を検出できる範囲とし、視差点により路面を検出することにより、遠方の路面の勾配の変化に対応することができる。図４の例では、車両から３５ｍの距離が路面検出距離ｄｔｈである。
第１検出部１１は、上記のようにして検出された路面と視差点とに基づいて立体物を検出する。第１検出部１１は、図５に示すような視差投票マップを設定する。図５の視差投票マップでは、横方向の辺が視差画像の水平方向の座標に対応するように定められ、且つ縦方向の辺が視差の大きさに対応するように定められた複数の矩形状のブロックを配列させて構成されている。視差投票マップの複数の矩形状のブロックそれぞれは、視差画像内において、設定された範囲内の水平方向の座標と設定された範囲内の視差とを有する視差点の集合を示す。
第１検出部１１は、図５に示すような視差投票マップのブロックそれぞれに対応した視差点を分類（投票）する。第１検出部１１は、視差投票マップのブロックそれぞれに、視差点それぞれの視差画像における水平方向座標、視差点それぞれの視差、視差点それぞれの視差画像における垂直方向座標及び視差点の数を関連付けて記憶する。例えば、路面上に立体物が存在する場合には、視差投票マップの互いに隣接する複数のブロックにおいて、同程度の視差を有し、上記のようにして検出した路面の視差点の垂直方向座標よりも上方向の垂直方向座標を有する視差点が数多く分類されている場合は、当該視差点は立体物を示していると推定することができる。以上のようにして、第１検出部１１は、車両の周囲の路面及び立体物を検出する。
図２に示すように、第２検出工程として、立体物検出装置１のＥＣＵ２の第２検出部１２は、ミリ波レーダ６により立体物を検出する（Ｓ２）。検出制御工程として、立体物検出装置１のＥＣＵ２の検出制御部１３により、第１検出工程及び第２検出工程のいずれかの検出結果に基づいて、立体物が検出される（Ｓ３）。検出制御工程では、第１検出部１１により路面を検出可能である範囲においては（Ｓ４）、検出制御部１３により、第１検出工程による検出結果に基づいて立体物が検出される（Ｓ５）。一方、第１検出部１１により路面を検出不可能である範囲においては（Ｓ４）、検出制御部１３により、第１検出工程及び第２検出工程による検出結果に基づいて立体物が検出される（Ｓ６）。
なお、第１検出部１１による検出結果に基づいて立体物が検出されるとは、例えば、第１検出部１１による検出結果のみに基づいて立体物が検出されることを意味する。また、第１検出部１１及び第２検出部１２による検出結果に基づいて立体物が検出されるとは、例えば、第１検出部１１による検出結果により立体物が検出され、且つ第２検出部１２による検出結果により当該立体物が検出されている場合に、当該立体物の存在が検出されることを意味する。
検出制御工程においては、予め設定された時間内に、第１検出部１１により路面を検出不可能である範囲において第１検出部１１により検出されずに、第１検出部１１により路面を検出可能である範囲において連続して第１検出部１１により検出された回数が閾値（例えば、２回）を超えている立体物については、検出制御部１３により、第１検出部１１による検出結果に基づいて立体物が検出される。予め設定された時間内に、一回でも第１検出部１１により路面を検出不可能である範囲において第１検出部１１により検出された立体物については、検出制御部１３により上記の回数が０回に初期化される。
一方、予め設定された時間内に、第１検出部１１により路面を検出不可能である範囲において第１検出部１１により検出されずに、第１検出部１１により路面を検出可能である範囲において連続して第１検出部により検出された回数が上記閾値以下である立体物については、検出制御部１３により、第１検出部１１及び第２検出部１２による検出結果に基づいて、立体物が検出される。なお、上記の予め設定された時間は、車両からの距離が長いほど長くなるように設定されてもよい。また、上記閾値は、車両からの距離が長いほど多くなるように設定されてもよい。
以下、本実施形態の立体物検出装置１の検出結果の例について説明する。図６の画像Ｉ１及び図７の俯瞰した平面に実線の枠内に検出された立体物Ｂｉは、路面を検出可能である範囲において第１検出部１１による検出結果に基づいて検出された立体物である。一方、図６及び図７に破線の枠内に検出された立体物Ｂｏは、路面を検出不可能である範囲において第１検出部１１による検出結果に基づいて検出された立体物である。図６及び図７の例では、対向車は、路面を検出可能な範囲に存在するため、ステレオカメラ３の画像データに基づいた第１検出部１１による検出結果に基づいて検出されている。また、看板やガードレール等の路側物は、路面を検出可能な範囲に存在するため、ステレオカメラ３の画像データに基づいた第１検出部１１による検出結果に基づいて検出されている。これにより、ミリ波レーダ６では検出が難しい路側物の検出を高精度で行うことができる。
一方、図６及び図７の例では、先行車両は路面を検出不可能な範囲に存在するため、ステレオカメラ３の画像データに基づいた第１検出部１１による検出結果と合せて、図７に複数の検出点によって示すように、ミリ波レーダ６を用いた第２検出部１２による検出結果に基づいて検出されている。図７の例では、第１検出部１１による検出結果により先行車両である立体物が検出され、且つ第２検出部１２による検出結果により当該先行車両である立体物が検出されているため、検出制御部１３により、当該先行車両である立体物の存在が検出されている。
また、図８に示すように路面に急激な勾配の変化がある状況での立体物の検出結果を図９及び図１０に示す。図９の画像Ｉ２及び図１０の俯瞰した平面に示すように、路面に急激な勾配の変化が有り、路面の模様は路面を検出不可能な範囲に存在するため、第１検出部１１による検出結果では、路面を検出不可能な範囲の路面の模様を立体物Ｂｏであると誤って検出している。しかし、図１０に示すように、路面を検出不可能な範囲では、第１検出部１１による検出結果と合せて、ミリ波レーダ６を用いた第２検出部１２による検出結果に基づいて立体物が検出される。図１０の例では、第１検出部１１による検出結果では、路面の模様である立体物Ｂｏが検出されているが、第２検出部１２による検出結果では、路面の模様である立体物Ｂｏは検出されていないため、検出制御部１３により、路面の模様である立体物Ｂｏの存在は検出されない。これにより、誤検出を防止することができる。
図２に示すように、車両制御工程として、立体物検出装置１のＥＣＵ２の車両制御部１４により、検出制御部１３により検出された立体物の距離、位置、大きさ及び速度等に応じて、車両の加速、減速及び操舵のいずれかを制御する車両制御が実行される（Ｓ７）。例えば、立体物と車両との距離が所定の距離閾値以下になったときには、車両制御部１４により、アクチュエータ７のブレーキアクチュエータにより車両の減速が制御される。
本実施形態によれば、検出制御部１３により、第１検出部１１により路面を検出可能である範囲においては、路面が検出可能であるために信頼度が高い第１検出部１１による検出結果に基づいて立体物が検出されるため、立体物を高精度で検出することができる。また、検出制御部１３により、第１検出部１１により路面を検出不可能である範囲においては、路面が検出不可能であるために信頼度が低い第１検出部１１による検出結果と、信頼度が高いミリ波レーダ６による第２検出部１２による検出結果とに基づいて立体物が検出されるため、第１検出部１１により路面を検出不可能である範囲においても立体物を高精度で検出することができる。したがって、立体物の検出の信頼性を向上させることができる。
また、第１検出部１１により路面を検出不可能である範囲において第１検出部１１により検出されずに、第１検出部１１により路面を検出可能である範囲において連続して第１検出部１１により検出された回数が回数閾値を超えており、第１検出部１１による検出結果の信頼度が高いと考えられる立体物については、検出制御部１３により、第１検出部１１による検出結果に基づいて検出され、当該条件を満たさない立体物については、検出制御部１３により、第１検出部１１及び第２検出部１２による検出結果に基づいて検出されるため、第１検出部１１による誤った検出結果により立体物が検出されることを防止することができる。
また、車両制御部１４により、検出制御部１３により高信頼度で検出された立体物に応じて、車両の加速、減速及び操舵のいずれかを制御する車両制御が実行されるため、誤った検出結果に基づいたブレーキ作動等の車両制御が実行されることを防止することができる。
尚、本発明の実施形態の立体物検出装置及び立体物検出方法は、上記した実施の形態に限定されるものではなく、本発明の実施形態の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
例えば、上記実施形態において、第１検出部１１により路面を検出不可能である範囲において第１検出部１１により検出されずに、第１検出部１１により路面を検出可能である範囲において連続して第１検出部１１により検出された回数が閾値を超えているか否かを判定することなく、単に、検出制御部１３により、第１検出部１１により路面を検出可能である範囲においては第１検出部１１による検出結果に基づいて立体物が検出され、第１検出部１１により路面を検出不可能である範囲においては第２検出部１２による検出結果又は第１検出部１１及び第２検出部１２による検出結果に基づいて立体物が検出されてもよい。これにより、演算負荷を軽減することができる。また、上記実施形態において、検出制御部１３により検出された立体物に応じた車両制御は必ずしも実行されなくともよく、単に、立体物の検出のみが行われてもよい。
１…立体物検出装置、２…ＥＣＵ、３…ステレオカメラ、４…第１カメラ、５…第２カメラ、６…ミリ波レーダ、７…アクチュエータ、８…ＨＭＩ、１１…第１検出部、１２…第２検出部、１３…検出制御部、１４…車両制御部、Ｉ１，Ｉ２…画像、Ｂｉ，Ｂｏ…立体物。

Claims (6)

  1. 異なる視点それぞれから車載カメラにより車両の周囲を撮影することにより取得された互いに視差を有する複数の画像を表す画像データに基づいて、前記車両の周囲の路面及び立体物を検出する第１検出部と、
    ミリ波レーダにより前記立体物を検出する第２検出部と、
    前記第１検出部及び前記第２検出部のいずれかの検出結果に基づいて、前記立体物を検出する検出制御部と、
    を備え、
    前記検出制御部は、
    前記第１検出部により前記路面を検出可能である範囲においては、前記第１検出部による検出結果に基づいて前記立体物を検出し、
    前記第１検出部により前記路面を検出不可能である範囲においては、前記第１検出部及び第２検出部による検出結果に基づいて前記立体物を検出する、立体物検出装置。
  2. 前記検出制御部は、
    予め設定された時間内に、前記第１検出部により前記路面を検出不可能である範囲において前記第１検出部により検出されずに、前記第１検出部により前記路面を検出可能である範囲において連続して前記第１検出部により検出された回数が閾値を超えている前記立体物については、前記第１検出部による検出結果に基づいて、前記立体物を検出し、
    前記予め設定された時間内に、前記第１検出部により前記路面を検出不可能である範囲において前記第１検出部により検出されずに、前記第１検出部により前記路面を検出可能である範囲において連続して前記第１検出部により検出された回数が前記閾値以下である前記立体物については、前記第１検出部及び前記第２検出部による検出結果に基づいて、前記立体物を検出する、請求項１に記載の立体物検出装置。
  3. 前記検出制御部により検出された立体物に応じて、前記車両の加速、減速及び操舵のいずれかを制御する車両制御を実行する車両制御部をさらに備えた、請求項１又は２に記載の立体物検出装置。
  4. 立体物検出装置の第１検出部により、異なる視点それぞれから車載カメラにより車両の周囲を撮影することにより取得された互いに視差を有する複数の画像を表す画像データに基づいて、前記車両の周囲の路面及び立体物を検出する第１検出工程と、
    前記立体物検出装置の第２検出部により、ミリ波レーダにより前記立体物を検出する第２検出工程と、
    前記立体物検出装置の検出制御部により、前記第１検出工程及び前記第２検出工程のいずれかの検出結果に基づいて、前記立体物を検出する検出制御工程と、
    を備え、
    前記検出制御工程では、
    前記第１検出部により前記路面を検出可能である範囲においては、前記検出制御部により、前記第１検出工程による検出結果に基づいて前記立体物を検出し、
    前記第１検出部により前記路面を検出不可能である範囲においては、前記検出制御部により、前記第１検出工程及び前記第２検出工程による検出結果に基づいて前記立体物を検出する、立体物検出方法。
  5. 前記検出制御工程では、
    予め設定された時間内に、前記第１検出部により前記路面を検出不可能である範囲において前記第１検出部により検出されずに、前記第１検出部により前記路面を検出可能である範囲において連続して前記第１検出部により検出された回数が閾値を超えている前記立体物については、前記検出制御部により、前記第１検出部による検出結果に基づいて前記立体物を検出し、
    前記予め設定された時間内に、前記第１検出部により前記路面を検出不可能である範囲において前記第１検出部により検出されずに、前記第１検出部により前記路面を検出可能である範囲において連続して前記第１検出部により検出された回数が前記閾値以下である前記立体物については、前記検出制御部により、前記第１検出部及び前記第２検出部による検出結果に基づいて前記立体物を検出する、請求項４に記載の立体物検出方法。
  6. 前記立体物検出装置の車両制御部により、前記検出制御部により検出された立体物に応じて、前記車両の加速、減速及び操舵のいずれかを制御する車両制御を実行する車両制御工程をさらに備えた、請求項４又は５に記載の立体物検出方法。
JP2015084913A 2015-04-17 2015-04-17 立体物検出装置及び立体物検出方法 Expired - Fee Related JP6365385B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015084913A JP6365385B2 (ja) 2015-04-17 2015-04-17 立体物検出装置及び立体物検出方法
US15/095,240 US20160307026A1 (en) 2015-04-17 2016-04-11 Stereoscopic object detection device and stereoscopic object detection method
CN201610228084.3A CN106060517A (zh) 2015-04-17 2016-04-13 立体物检测装置以及立体物检测方法
EP16165410.8A EP3082067A1 (en) 2015-04-17 2016-04-14 Stereoscopic object detection device and stereoscopic object detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015084913A JP6365385B2 (ja) 2015-04-17 2015-04-17 立体物検出装置及び立体物検出方法

Publications (2)

Publication Number Publication Date
JP2016206773A true JP2016206773A (ja) 2016-12-08
JP6365385B2 JP6365385B2 (ja) 2018-08-01

Family

ID=55808384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015084913A Expired - Fee Related JP6365385B2 (ja) 2015-04-17 2015-04-17 立体物検出装置及び立体物検出方法

Country Status (4)

Country Link
US (1) US20160307026A1 (ja)
EP (1) EP3082067A1 (ja)
JP (1) JP6365385B2 (ja)
CN (1) CN106060517A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116206A1 (ja) * 2018-12-07 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2021163203A (ja) * 2020-03-31 2021-10-11 株式会社Soken 物体検出装置
WO2021240885A1 (ja) * 2020-05-29 2021-12-02 日立Astemo株式会社 電子制御装置
WO2022210062A1 (ja) 2021-03-29 2022-10-06 京セラ株式会社 情報処理装置、車両、路側機、および情報処理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10591594B2 (en) * 2015-09-30 2020-03-17 Sony Corporation Information processing apparatus, information processing method, and program
WO2017057056A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US10852418B2 (en) * 2016-08-24 2020-12-01 Magna Electronics Inc. Vehicle sensor with integrated radar and image sensors
DE112019001078T5 (de) * 2018-03-01 2021-03-18 Jaguar Land Rover Limited Verfahren und vorrichtung zur fahrzeugsteuerung
US11645775B1 (en) * 2022-06-23 2023-05-09 Plusai, Inc. Methods and apparatus for depth estimation on a non-flat road with stereo-assisted monocular camera in a vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07192117A (ja) * 1993-12-24 1995-07-28 Nissan Motor Co Ltd 車両用障害物検出装置
JP2007310741A (ja) * 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
JP2010162975A (ja) * 2009-01-14 2010-07-29 Fujitsu Ten Ltd 車両制御システム
JP2012103858A (ja) * 2010-11-09 2012-05-31 Toyota Motor Corp 障害物認識装置
JP2012154731A (ja) * 2011-01-25 2012-08-16 Panasonic Corp 測位情報形成装置、検出装置、及び測位情報形成方法
JP2015143979A (ja) * 2013-12-27 2015-08-06 株式会社リコー 画像処理装置、画像処理方法、プログラム、画像処理システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004117071A (ja) * 2002-09-24 2004-04-15 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP2007024590A (ja) * 2005-07-13 2007-02-01 Toyota Motor Corp 物体検出装置
JP4304517B2 (ja) * 2005-11-09 2009-07-29 トヨタ自動車株式会社 物体検出装置
JP2008116357A (ja) * 2006-11-06 2008-05-22 Toyota Motor Corp 物体検出装置
DE102009006113B4 (de) * 2008-03-03 2019-03-28 Volkswagen Ag Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
CN103176185B (zh) * 2011-12-26 2015-01-21 上海汽车集团股份有限公司 用于检测道路障碍物的方法及系统
US20140071240A1 (en) 2012-09-11 2014-03-13 Automotive Research & Testing Center Free space detection system and method for a vehicle using stereo vision
US9147132B2 (en) * 2013-09-11 2015-09-29 Digitalglobe, Inc. Classification of land based on analysis of remotely-sensed earth images
JP6151150B2 (ja) * 2013-10-07 2017-06-21 日立オートモティブシステムズ株式会社 物体検出装置及びそれを用いた車両
JP6149676B2 (ja) * 2013-10-09 2017-06-21 富士通株式会社 画像処理装置、画像処理方法、及び、プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07192117A (ja) * 1993-12-24 1995-07-28 Nissan Motor Co Ltd 車両用障害物検出装置
JP2007310741A (ja) * 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
JP2010162975A (ja) * 2009-01-14 2010-07-29 Fujitsu Ten Ltd 車両制御システム
JP2012103858A (ja) * 2010-11-09 2012-05-31 Toyota Motor Corp 障害物認識装置
JP2012154731A (ja) * 2011-01-25 2012-08-16 Panasonic Corp 測位情報形成装置、検出装置、及び測位情報形成方法
JP2015143979A (ja) * 2013-12-27 2015-08-06 株式会社リコー 画像処理装置、画像処理方法、プログラム、画像処理システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116206A1 (ja) * 2018-12-07 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、および情報処理方法、並びにプログラム
US11978261B2 (en) 2018-12-07 2024-05-07 Sony Semiconductor Solutions Corporation Information processing apparatus and information processing method
JP2021163203A (ja) * 2020-03-31 2021-10-11 株式会社Soken 物体検出装置
JP7307699B2 (ja) 2020-03-31 2023-07-12 株式会社Soken 物体検出装置
WO2021240885A1 (ja) * 2020-05-29 2021-12-02 日立Astemo株式会社 電子制御装置
JP2021187324A (ja) * 2020-05-29 2021-12-13 日立Astemo株式会社 電子制御装置
JP7397759B2 (ja) 2020-05-29 2023-12-13 日立Astemo株式会社 電子制御装置
WO2022210062A1 (ja) 2021-03-29 2022-10-06 京セラ株式会社 情報処理装置、車両、路側機、および情報処理方法

Also Published As

Publication number Publication date
EP3082067A1 (en) 2016-10-19
JP6365385B2 (ja) 2018-08-01
US20160307026A1 (en) 2016-10-20
CN106060517A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
JP6365385B2 (ja) 立体物検出装置及び立体物検出方法
US9574538B2 (en) Idling stop control system for vehicle
US9896098B2 (en) Vehicle travel control device
JP6372228B2 (ja) 衝突予想時間算出装置
KR20200131832A (ko) 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
US9744968B2 (en) Image processing apparatus and image processing method
JP7091624B2 (ja) 画像処理装置
US10864852B2 (en) Out-of-vehicle notification device
WO2022138123A1 (en) Available parking space identification device, available parking space identification method, and program
WO2019021591A1 (ja) 画像処理装置と画像処理方法とプログラムおよび画像処理システム
JP2022098397A (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2016206774A (ja) 立体物検出装置及び立体物検出方法
CN110462706B (zh) 障碍物检测装置
JP2022023870A (ja) 表示制御装置
CN115175837A (zh) 停车辅助装置以及停车辅助方法
CN111532265A (zh) 自适应巡航控制
US12091046B2 (en) Driving assistance apparatus
JP2018116637A (ja) 車両制御装置
JP2022041286A (ja) 表示制御装置、表示制御方法及び表示制御プログラム
JP6082293B2 (ja) 車両用白線認識装置
US20220237923A1 (en) Object detection device, object detection method, and storage medium
WO2023007785A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2023090001A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180618

R151 Written notification of patent or utility model registration

Ref document number: 6365385

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees