JP2015172934A - 物体認識装置、物体認識方法 - Google Patents

物体認識装置、物体認識方法 Download PDF

Info

Publication number
JP2015172934A
JP2015172934A JP2015030514A JP2015030514A JP2015172934A JP 2015172934 A JP2015172934 A JP 2015172934A JP 2015030514 A JP2015030514 A JP 2015030514A JP 2015030514 A JP2015030514 A JP 2015030514A JP 2015172934 A JP2015172934 A JP 2015172934A
Authority
JP
Japan
Prior art keywords
detection means
disappearance
detected
irradiation
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015030514A
Other languages
English (en)
Other versions
JP6471528B2 (ja
Inventor
藤本　英臣
Hideomi Fujimoto
英臣 藤本
洋義 関口
Hiroyoshi Sekiguchi
洋義 関口
関　海克
Haike Guan
海克 関
鈴木　修一
Shuichi Suzuki
修一 鈴木
中嶋　充
Mitsuru Nakajima
充 中嶋
青木　伸
Shin Aoki
青木　　伸
横田　聡一郎
Soichiro Yokota
聡一郎 横田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015030514A priority Critical patent/JP6471528B2/ja
Priority to EP15156243.6A priority patent/EP2910971B1/en
Priority to US14/630,078 priority patent/US20150243017A1/en
Publication of JP2015172934A publication Critical patent/JP2015172934A/ja
Application granted granted Critical
Publication of JP6471528B2 publication Critical patent/JP6471528B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/12—Scanning systems using multifaceted mirrors
    • G02B26/127—Adaptive control of the scanning light beam, e.g. using the feedback from one or more detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】走行環境が急激に変化した場合、カメラでは認識困難な対象物を他の検出手段で検出可能な物体認識装置を提供すること。
【解決手段】第１の対象物検出手段１１が検出していた対象物の消失を検出する消失検出手段１３と、消失検出手段が消失を検出した対象物の方向に基づき、前記第２の対象物検出手段１２が光を照射するタイミングを制御する照射タイミング制御手段３１と、を有し、出力手段１４は、前記消失検出手段が対象物の消失を検出した場合、前記第２の対象物検出手段が検出した対象物の距離情報を出力する、ことを特徴とする。
【選択図】図２

Description

本発明は、物体の距離と方向を検出する物体認識装置等に関する。
距離情報を取得可能なカメラを用いて、自車両の前方にある他車両、歩行者、設置物などの対象物を認識し、認識結果をドライバーに警告したり車両を制御する運転支援技術が知られている。車両の走行環境は、場所や時間帯、地域、気象条件などにより大きく変化するため、走行環境の変化に対応して対象物を認識することが求められる。
しかしながら、カメラが使用するＣＭＯＳセンサやＣＣＤセンサ等の撮像素子のダイナミックレンジの制限により、急激な照度変化に対し露出制御が間に合わず、画像処理装置が画像データから対象物を認識することが困難になる場合があった。例えば、夜間に対向車が照射するヘッドライトが急にカメラに照射されたり、トンネルの出口が急に撮像範囲に入ったりする場合である。
そこで、カメラ以外のセンサを利用してカメラでは対象物を認識困難な走行環境において対象物の認識を補助することが考えられる（例えば、特許文献１参照。）。特許文献１には、ステレオカメラとスキャニングレーザレーダそれぞれで対象物を認識し、周囲状況に応じて、認識結果に対し各測距手段毎の信頼性に応じた重み付けを行ない対象物が存在すると判断する障害物認識装置が開示されている。
しかしながら、走行環境が急激に変化したためカメラが対象物を消失した場合、一般的に、ステレオカメラによる対象物検知の解像度に比べてレーザーレーダによる水平解像度は低いため、レーザーレーダにより対象物を検出可能とは限らないという問題がある。以下、図を用いて説明する。
図１（ａ）は、カメラが撮影した画像において物体認識装置が認識している対象物を示す図の一例である。図１（ａ）では、自車両がトンネル内を走行しており、先行車１００２と前方車両１００１を認識している。
図１（ｂ）は、トンネル出口のような明るい光源と先行車１００２が重なった場合にカメラが撮影した画像の一例である。明るい光源で白つぶれ（輝度が最大値に近い値に飽和し階調表現が不十分な状態）が生じ、先行車１００２が明瞭に撮影されなくなり、物体認識装置は先行車１００２を認識ができなくなる。
このような走行環境では、逆光に強いレーザーレーダで先行車１００２の捕捉を補助することが考えられる。しかし、図１（ｃ）に示すように、レーザーレーダの照射位置１００３に逆光と重なった先行車１００４が存在するとは必ずしも限らない。すなわち、レーザー光は、自車両から見て等間隔の間を空けて不連続に照射されるため、水平解像度が低く、白つぶれした先行車１００４にレーザー光が当たるとは限らない。このため、従来のレーザーレーダはカメラを補助して対象物を捕捉するには十分でない場合があった。
本発明は、上記課題に鑑み、走行環境が急激に変化した場合、カメラでは認識困難な対象物を他の検出手段で検出可能な物体認識装置を提供することを目的とする。
上記課題に鑑み、本発明は、撮像手段が撮像した画像から対象物までの距離情報と方向情報を検出する第１の対象物検出手段と、照射方向を変えながら照射した光の反射波から、対象物までの距離情報と方向情報を検出する第２の対象物検出手段と、前記第１の対象物検出手段が検出した距離情報と方向情報、又は、前記第２の対象物検出手段が検出した距離情報と方向情報の少なくとも一方を出力する出力手段と、を有する物体認識装置であって、前記第１の対象物検出手段が検出していた対象物の消失を検出する消失検出手段と、前記消失検出手段が消失を検出する前に前記第１の対象物検出手段が検出していた対象物の過去の方向情報に基づき、前記第２の対象物検出手段が光を照射するタイミングを制御する照射タイミング制御手段と、を有し、前記出力手段は、前記消失検出手段が対象物の消失を検出した場合、前記第２の対象物検出手段が検出した対象物の距離情報を出力する、ことを特徴とする。
走行環境が急激に変化した場合、カメラでは認識困難な対象物を他の検出手段で検出可能な物体認識装置を提供することができる。
カメラが撮影した画像とレーザーレーダによるスキャンの不都合について説明する図の一例である。 物体認識装置の概略的な動作を説明する図の一例である。 物体認識装置の全体的な構成図の一例である。 ステレオカメラ測距部の概略構成図の一例である。 三角測量の原理を説明する図の一例である。 レーザーレーダ測距部の概略構成図の一例である。 ポリゴンミラーの１面で照射されるレーザー光の照射角度を説明する図の一例である。 認識消失検知部による対象物消失の検知について説明する図の一例である。 認識消失検知部が取得する対象物データを説明する図の一例である。 照射されるレーザー光について説明する図の一例である。 物体認識装置の動作手順を示すフローチャート図の一例である。
以下、本発明を実施するための形態について図面を参照しながら説明する。
図２は、本実施形態の物体認識装置の概略的な動作を説明する図の一例である。本実施形態の物体認識装置は、レーザー光のスキャン位置（照射方向）をコントロールし、カメラが見失った先行車の位置に向けてレーザー光を照射することで、レーザーレーダによるカメラの補助性能を向上させる。
Ｉ．自車両はトンネル内を走行しており、カメラにより車両Ａと車両Ｂを認識している。
II．先行車がトンネルに接近したり抜けたりすることで、自車両の前方にトンネルの出口が現れる。このため、カメラが出口の明るさに適応させるために露光制御する間、白つぶれが生じ、車両Ａが認識されなくなる。以下、この現象を「消失」という。
III．物体認識装置は、それまでカメラで認識されていた車両Ａが消失した場合、車両Ａが認識されていた方向にレーザー光を照射する。車両Ａはレーザー光の照射方向に存在するはずなので、レーザー光が反射され、物体認識装置は車両Ａを引き続き認識することができる。
したがって、カメラが直前まで認識していた車両Ａが存在する方向にピンポイントにレーザー光を照射することで、レーザーレーダの水平解像度が低い場合でも、カメラを補助し車両Ａを認識して運転支援することが可能になる。
〔構成例〕
図３は、物体認識装置１００の全体的な構成図の一例を示す。物体認識装置１００は、ステレオカメラ測距部１１、レーザーレーダ測距部１２、認識消失検知部１３、測距結果選択部１４、及び、運転支援部１５を有している。
ステレオカメラ測距部１１は、２つ以上のカメラを用いて対象物を含む前方を撮影し、視差情報から画素毎の距離を検出する。詳しくは後述する。ステレオカメラ測距部１１は画像を解析することで認識された対象物の対象物データ（距離、位置など）を認識消失検知部１３を介して測距結果選択部１４に出力する。位置は方向情報の一例である。
認識消失検知部１３は、ステレオカメラ測距部１１が認識していた対象物を認識できなくなったこと、すなわち対象物を消失したことを検出する。この場合、消失前まで認識していた対象物の方向と共にレーザー光の照射要求をレーザーレーダ測距部１２に通知する。
レーザーレーダ測距部１２はレーザー光を照射して、対象物に反射して帰ってくるまでの時間に基づき対象物までの距離を検出する。詳しくは後述する。レーザーレーダ測距部１２は検出された対象物の対象物データ（距離、位置など）を測距結果選択部１４に出力する。
測距結果選択部１４は、ステレオカメラ測距部１１又はレーザーレーダ測距部１２のどちらの対象物データを運転支援部１５に出力するかを判断し出力する。ステレオカメラ測距部１１はＣＭＯＳセンサ、ＣＣＤセンサ等の画像センサを受光素子として使うことから、２次元の高解像度な対象物データを出力することが可能である。しかし、レーザーレーダ測距部１２は、空間の解像度が低い状態で対象物データを出力する。このため、測距結果選択部１４は、原則的に、ステレオカメラ測距部１１の対象物データをレーザーレーダ測距部１２の対象データよりも優先して運転支援部１５に出力する。例外的に、認識消失検知部１３が対象物の消失を検出すると、レーザーレーダ測距部１２の対象物データを出力する。なお、認識消失検知部１３が対象物を認識できなくなった場合、測距結果選択部１４は、ステレオカメラ測距部１１及びレーザーレーダ測距部１２の両方の対象物データを出力してもよい。
運転支援部１５は、ステレオカメラ測距部１１又はレーザーレーダ測距部１２の対象物データを用いて各種の運転支援を行う。運転支援は車両によって様々であるが、例えば、対象物の位置が自車両の車幅の延長線と重なる場合、ＴＴＣ(Time To Collision)に応じて警報、制動、などを行う。また、衝突までの停止が困難な場合、衝突を回避する方向に操舵する。
また、運転支援部１５は、車速に応じた車間距離で先行車に追従走行する全車速車間距離制御を行う。先行車が停車したら自車両も停車させ、先行車が発進したら自車両も発進する。また、ステレオカメラ測距部１１が白線認識などを行う場合、走行レーンの中央を走行するように操舵するレーンキーピング制御を行うことができる。
また、停車時に進行方向に障害物がある場合、急発進を抑制することができる。例えば、シフトレバーの操作位置により判断される進行方向に障害物があり、かつ、アクセルペダルの操作量が大きい場合、エンジン出力を制限したり警報することで被害を軽減する。
なお、複数の対象物が前方に存在する場合、運転支援部１５にはステレオカメラ測距部１１又はレーザーレーダ測距部１２から複数の対象物の対象物データが入力される場合がある。この場合、運転支援部１５は最も衝突の可能性が高い対象物に対し運転支援を行う。例えば、横位置が自車両から閾値以内の対象物のうち最もＴＴＣが小さい対象物である。
〔ステレオカメラ測距部の構成と原理〕
図４は、ステレオカメラ測距部１１の概略構成図の一例を、図５は三角測量の原理を説明する図の一例をそれぞれ示す。ステレオカメラ測距部１１は、レンズ２１Ｒ、２１Ｌ、一定の距離（基線長）をもって配置された２つのＣＭＯＳセンサ２２Ｒ，２２Ｌ、輝度画像入力部２３、視差画像計算部２６、物体認識処理部２４、及び、距離計算部２５を有している。左右のＣＭＯＳセンサ２２Ｒ，２２Ｌはそれぞれ周期的に撮像した画像を出力する。右のＣＭＯＳセンサ２２Ｒが撮影した右画像、及び、左のＣＭＯＳセンサ２２Ｌが撮影した左画像は、それぞれ輝度画像入力部２３と視差画像計算部２６に入力される。
輝度画像入力部２３は右画像又は左画像から１つの輝度画像を抽出し出力する。例えば、予め固定された右画像若しくは左画像の一方、右画像若しくは左画像のうち画質がよい方（例えばコントラストが良好な方、エッジ数が多い方）、又は、右画像と左画像の重複部分などが抽出される。
物体認識処理部２４は、輝度画像から対象物を認識する。本実施形態の対象物は、主に車両、歩行者、自転車などであるが、これらに限られず信号機などの静止物を認識してもよい。対象物の認識は、例えば、事前に用意された車等のパターン認識用のブロック画像と、輝度画像とのマッチングにより行う。予めオプティカルフローなどで同程度の速度の画像範囲を特定しておき、マッチング範囲を絞り込むと共に、その縦横比から適切なパターン認識用のブロック画像を選択してもよい。画面全体をマッチングするよりも対象物を認識するまでの時間を短縮できる。なお、輝度画像は周期的に出力されるので、一度、車などであると認識された対象物は、該画像における認識位置などに基づき次の画像で追跡することが可能になる。
視差画像計算部２６は、図５に示すように、右画像と左画像を用いて、ＣＭＯＳセンサ２２Ｒ，２２Ｌ上における同じ対象物の位置の差を視差として計算し、視差画像を出力する。視差画像と輝度画像は同期しており、画像中の座標は対応している。例えば、右画像をブロックに分割して、左画像のうち右画像のブロックと画素値が最も一致する範囲（ブロックと同じサイズ）を決定する。右画像のブロックと左画像の範囲の水平方向の位置の差が視差ｄである。なお、視差ｄは画素毎に算出可能であるが、画素ブロック毎に算出してもよい。１つの画像において同じ対象物が撮影されている範囲はほぼ同程度の視差を有している。
基線長をＢ、対象物までの距離をＺ、焦点距離をｆとすると、左右のＣＭＯＳセンサ２２Ｒ，２２Ｌ上の同じ対象物同士にＢ＋ｄの距離の差がある。
距離計算部２５は視差画像から測定対象までの距離を計算する。図５のように各距離を定義すると、下式により対象物である被写体までの距離Zを算出することができる。
Z : B = Z+f : B+d → Z = Bf / d
対象物が撮影されている画像内の位置（画素）と焦点距離ｆにより、実空間の位置を算出できる。また、距離Ｚが算出されているので位置から方向を求めることもできる。
なお、本実施形態では、距離情報を検出する撮像手段としてステレオカメラを例にして説明するが、画素の一部を距離検出に用いる単眼のTOFカメラや、カメラが動いているという前提で複数のフレームを比較して視差を算出する単眼カメラなどのカメラでもよい。単眼カメラでは基線長を合わせるキャリブレーションなどが不要になるのでコストを抑制できる。
また、ステレオカメラは車両前方を撮像可能なように搭載されるが、前方だけでなく後方、後側方などを撮像可能なように搭載されてもよい。
〔レーザーレーダ測距部の構成と原理〕
図６は、レーザーレーダ測距部１２の概略構成図の一例である。レーザーレーダ測距部１２は、レーザーダイオード３２からパルス状のレーザー光を発射し、対象物に当った反射光を受光する。レーザー光の発射から受光までの時間を計測することで、物体までの距離を計測する。また、レーザー光を照射した方向と距離から位置を算出できる。
照射タイミング制御部３１は、レーザーダイオード３２がレーザー光を照射するタイミングを制御する。従来、照射タイミング制御部３１がなかったか、又は、あったとしても定期的にレーザ光を照射するだけであった。本実施形態の照射タイミング制御部３１は、照射トリガ信号でレーザーダイオード３２にレーザー光を定期的に照射させることができ、さらに、照射するタイミングを任意に制御することができる。
なお、定期的なレーザ光は、常に固定方向に照射されてもよいし、定期的だが照射方向はレーザーダイオード３２がレーザー光を照射する時のポリゴンミラー３３の角度により変化してもよい。
レーザーダイオード３２から照射されるレーザー光は、ポリゴンミラー３３に反射して照射される。ポリゴンミラー３３は一定速度で回転しているため、ポリゴンミラー３３の１面毎に、水平方向に角度を変えて複数のレーザー光が照射される。
図７は、ポリゴンミラー３３の１面で照射されるレーザー光の照射角度を説明する図の一例である。ポリゴンミラー３３が５面体の場合、１つの面がレーザーダイオード３２と対向している時間は、ポリゴンミラー３３が７２（＝３６０／５）度回転する時間である。この時間に照射タイミング制御部３１が例えば５回、照射トリガ信号を照射することで、７２／５＝約１５度ずつ方向を変えてレーザー光を照射できる。
ポリゴンミラー３３に反射したレーザー光は、その後、対象物に到達して反射され、反射光がレンズ３６で集光され、１Ｄ（次元）アレイ型受光素子３５で受光される。１Ｄアレイ型受光素子３５では各受光素子が水平方向の１次元に配列されている。水平方向のどの受光素子で閾値以上のレーザー光が検出されるかにより対象物の方向を検出することができる。
なお、レーザーダイオード３２がレーザー光を照射するタイミングとポリゴンミラー３３の角度により対象物の方向を検出する場合、１Ｄアレイ型受光素子３５は２次元型の受光素子でもよい。１Ｄアレイ型受光素子３５は、レーザー光を受光したことを示す受光トリガ信号を時間計測部３４に出力する。１Ｄアレイ型受光素子３５はレーザー光の波長に強い感度を有していることが好ましい。
時間計測部３４は、レーザー光の照射トリガ信号が入力されたタイミングから受光トリガ信号が入力されるタイミングまでの時間を計測し、計測した時間と光速に基づき、対象物までの距離を計算する。
反射光を、他車両の前照灯や信号機などの光と区別して１Ｄアレイ型受光素子３５が受光するため（反射光の強度を稼ぐために）、レーザーダイオード３２の発光強度を強くすることが望ましい。しかしながら、強度を強くすると、レーザーダイオード自体が劣化してしまうことから、発光強度に応じて一定時間のパルス間隔を確保しなければいけない。その結果、パルス間が広がるため、高い水平解像度が得られないという不都合がある。
たとえば、図７に示したように、ポリゴンミラー３３の１面ごとにレーザー光を水平に５点しか照射できない場合、正面の先行車７００２はレーダー光で検出可能であるが、レーザー光の照射位置から外れている先行車７００３は検出されない。先行車７００３が、自車両に接近し、例えば先行車７００４の位置に存在する場合、検出される可能性が増大するが、距離が縮まることで適切な運転支援が間に合わなくなるリスクが高くなる。したがって、レーザー光による対象物の検出では、他車両が自車両に接近することを待つのでなく、遠方の先行車７００３を検出できることが好ましい。
そこで本実施形態のレーザーレーダ測距部１２は、照射タイミング制御部３１を備え、レーザー照射のタイミングを制御することで、レーザー光の照射角度を制御する。その結果、１次元方向（水平方向）の画角の中で、照射方向を任意に制御することを可能とする。
なお、レーザーダイオード３２が照射するレーザー光は可視光である必要はなく、可視光及び可視光以外の光を含んでいてよい。すなわち、レーザーダイオード３２は電磁波を照射して受信できればよい。
また、本実施形態では、方向を変えながらレーザー光をパルス状に照射し、１Ｄアレイ型受光素子３５又は照射角度から対象物の方向を検出している。しかしながら、例えば、フェーズドアレイアンテナのように、機械的な動作を含まずに電磁波の照射方向を変えて照射してもよい。
〔認識消失検知部の機能について〕
図８は、認識消失検知部１３による対象物消失の検知について説明する図の一例である。ステレオカメラ測距部１１の物体認識処理部２４は、上記のように１つの画像毎に距離と位置を算出する。なお、物体認識処理部２４は、時系列の画像で画像内のほぼ同じ位置（少なくとも一部が重複している）で検出される対象物について、距離の差と画像が撮影される時間間隔から相対速度を算出する。
対象物の消失を検出するため、ステレオカメラ測距部１１は、対象物データに加え輝度画像を認識消失検知部１３に出力する。また、認識消失検知部１３は、図９に示すように、対象物毎に距離、位置、相対速度、画像位置を得ることができる。
図９は、認識消失検知部１３が取得する対象物データを説明する図の一例である。対象物データには、対象物番号に対応づけて、距離、位置、相対速度及び画像位置が時系列（過去のものを含む）に登録されている。なお、画像位置（x1,y1）（x2,y2）は対象物を囲む外接矩形の対角頂点の座標である。ｔ１、ｔ２、ｔ３はそれぞれ１つの輝度画像が取得されるタイミングと対応しており、各輝度画像から検出された対象物データが登録されている。なお、ｔ１＜ｔ２＜ｔ３とするが逆にｔ１＞ｔ２＞ｔ３でもよい。
図９に示すようにｔ１，ｔ２では対象物１，２のどちらも距離等が検出されているが、ｔ３では対象物２の距離等が検出されていない。本実施例ではステレオカメラ測距部１１は検出できなかった対象物の対象物データを「NULL」と表すものとする。対象物データにＮＵＬＬと登録される状況が生じるのは、例えば、対象物が撮影範囲から離脱した場合、対象物が別の他車両や地物に隠れた場合、又は、白つぶれが生じた場合などがある。
認識消失検知部１３は、対象物データに「NULL」が登録されている対象物について、直前の対象物データを参照して、対象物が白つぶれで消失したか否かを判定する。すなわち、対象物２のｔ２の画像位置２２を読み出し、ｔ３の輝度画像の画像位置２２において、例えば以下のようにして白つぶれが生じているか否かを判定する。
(i) 画像位置２２の矩形領域（x1,y1）（x2,y2）の画素の分散値を算出し閾値以下の場合、白つぶれが生じていると判定する。白つぶれが生じると、ダイナミックレンジの制限から、対象物が撮影されていた矩形領域（x1,y1）（x2,y2）の一部の画素の輝度値は最大輝度近くになり、一部の画素の輝度値は低い値になる。このため、白つぶれが生じる前よりも分散値が小さくなる。なお、閾値は、白つぶれが生じた画像と生じていない画像の分散値をそれぞれ算出し、実験的に求める。
(ii) 画像位置２２の矩形領域（x1,y1）（x2,y2）の画素のヒストグラムを算出し、十分に明るい画素（例えば０〜２５５段階で２２０以上）と十分に暗い画素（例えば０〜２５５段階で３０以下）が全画素に占める割合が閾値以上の場合、白つぶれが生じていると判定する。考え方は(i)と同じであり、画像位置２２の矩形領域（x1,y1）（x2,y2）の多くの画素の輝度値が最大輝度近くになることを利用する。
(iii) 画像位置２２の矩形領域（x1,y1）（x2,y2）の画素を縦方向又は横方向の少なくとも一方で微分し、微分結果の合計が閾値以下の場合、白つぶれが生じていると判定する。白つぶれが生じると、隣接した画素同士の画素値の差が小さくなるので、微分結果の合計が閾値以下の場合、白つぶれが生じていると判定できる。
認識消失検知部１３は、対象物が消失したことを検知するとレーザーレーダ測距部１２に対象物の方向を通知する。この方向は、車両の正面方向ゼロとしてをｔ２の横位置と距離から以下のように求めることができる。
方向＝arcsin（横位置／距離）
また、認識消失検知部１３は測距結果選択部１４に対し、レーザーレーダ測距部１２による検出結果を選択させる選択要求を通知する。これにより、測距結果選択部１４は、レーザーレーダ測距部１２の対象物データを用いて、画像から消失した対象物の距離や方向を選択して、運転支援部１５に出力できる。なお、認識消失検知部１３はステレオカメラ測距部１１が作成した対象物データを測距結果選択部１４に出力し続ける。しかし、測距結果選択部１４はレーザーレーダ測距部１２の対象物データのみを出力する。上記のように、ステレオカメラ測距部１１とレーザーレーダ測距部１２の両方の対象物データを出力してもよい。
なお、図９はステレオカメラ測距部１１の対象物データを示しているが、レーザーレーダ測距部１２の対象物データは画像位置が無い他は、ステレオカメラ測距部１１の対象物データと同じである。または、レーザーレーダ測距部１２に特徴的なデータ（例えば照射方向など）を含んでいてもよい。
〔照射タイミング制御部のタイミング制御〕
レーザーレーダ測距部１２は認識消失検知部１３から通知された方向にレーダー光を照射するので、輝度画像では白つぶれにより消失した対象物をレーザー光で検出できる。レーザーダイオード３２のレーザー光の照射方向は固定なので、ポリゴンミラー３３の１面とレーダーダイオードのレーザー光の照射方向のなす角により、車両からのレーザー光の照射角度は定まる。照射タイミング制御部３１は、例えば、ポリゴンミラー３３の１面とレーダーダイオードのレーザー光の照射方向とのなす角が90度になったタイミングを検知して、そのタイミングを起点にクロックをカウントし、クロック数に応じて車両からのレーザー光の照射角度を算出する。クロック数と車両からのレーザー光の照射角度の関係は予め保持されている。算出した照射角度が、認識消失検知部１３から通知された方向と一致する場合に、照射トリガ信号をレーザーダイオード３２に出力する。照射タイミング制御部３１は、この処理をポリゴンミラー３３の面が切り替わる毎に繰り返す。
図１０（ａ）は、照射されるレーザー光について説明する図の一例である。ポリゴンミラー３３の１つの面で５つの方向にレーザー光を照射するとする。図示するように、１番目、２番目、消失点、３番目、４番目、５番目のタイミングでレーザー光が照射される。
なお、消失した対象物の方向を通知された場合、定期的な照射を一切停止し、消失点の方向にのみレーザー光を照射してもよい。
また、消失した対象物の方向を通知された場合、レーザーレーダ測距部１２が、図１０（ａ）のように、定期的なレーザー光の照射を継続する場合、レーザーレーダ測距部１２は、定期的なレーザー光のうち、消失点の方向の前後の照射を行わないことが好適な場合がある。
図１０（ｂ）は、消失点の方向の前後の照射を行わない場合のレーザー光について説明する図の一例である。消失点が、２番目の方向と３番目の方向の間の場合、照射タイミング制御部３１は２番目と３番目のタイミングでは照射タイミング信号を出力しない。したがって、１番目、消失点、４番目、５番目のタイミングでレーザー光が照射される。これにより、消失点にレーザー光を照射しても、照射する時間間隔を空けることができるので、レーザーダイオード３２が劣化することを抑制できる。
なお、定期的なレーザー光の照射が、レーザーダイオード３２が劣化しないように十分に広間隔で行われている場合は、２番目と３番目のタイミングにおいてもレーザー光を照射してよい。これにより水平解像度を向上させることができる。
また、２番目と３番目の照射方向のうち、一方のタイミングにおいてのみレーザー光を照射してもよい。例えば、消失点の方向が３番目の照射方向から閾値以内の場合（３番目の照射方向に十分近い場合）、２番目の照射方向では照射してもレーザーダイオード３２の劣化を抑制できる。同様に、消失点の方向が２番目の照射方向から閾値以内の場合（２番目の照射方向に十分近い場合）、３番目の照射方向では照射してもレーザーダイオード３２の劣化を抑制できる。
ところで、消失点の対象物と自車両との相対位置は変化する可能性があるため、レーザー光を消失点の方向に繰り返し照射している間に、対象物を検出できなくなるおそれがある。例えば、先行車が横移動するような場合である。この場合、レーザーレーダ測距部１２は消失点へのレーザー光では反射波が検出されないことから、先行車の横移動を検出する。照射タイミング制御部３１は、図１０（ｃ）に示すように、消失点の方向を中心に、水平方向前後に、たとえば±３度の位置で（すなわち水平方向の右方向と左方向に角度を変えて）照射されるように照射トリガ信号を再度制御する。これにより、消失点の対象物が横移動しても、再度、捕捉することが可能になる。
なお、±３度の位置で照射しても対象物が検出されなかった場合、徐々に（例えば、±１度ずつ）角度を大きくすることで、確実に消失点の対象物を検出できる。なお、前後に変更する際の最大の照射幅を定期的な照射方向と一致する範囲までとする。それ以上は定期的な照射で検出可能だからである。
〔レーザーレーダ側距部からステレオカメラ側距部への切り換え〕
続いて、レーザー光による検出から輝度画像による認識結果への切り替えについて説明する。先行車に続いて自車両もトンネルを出て、ステレオカメラ測距部１１が消失した先行車の認識が可能となった場合、レーザーレーダ測距部１２は消失点の方向へのレーザー光の照射を停止する。測距結果選択部１４はステレオカメラ測距部１１の対象物データの出力に切り替える。
この切り換えは、ステレオカメラ測距部１１による認識からレーザーレーダ測距部１２による検出への切り換えと逆に行えばよい。すなわち、レーザーレーダ測距部１２は、検出されている対処物の対象物データをステレオカメラ測距部１１に出力する。ステレオカメラ測距部１１は、レーザー光により検出された方向と距離に相当する画像位置において対象物を物体認識する。対象物が認識されている場合、消失したはずの対象物が輝度画像により再度、認識されたと判定できる。
ステレオカメラ測距部１１は、レーザーレーダ測距部１２に消失点の方向へのレーザー光の照射を停止するよう要求する。これにより、レーザーレーダ測距部１２は定期的なレーザー光の照射に戻る。また、ステレオカメラ測距部１１は認識消失検知部１３を介して測距結果選択部１４に対し、ステレオカメラ測距部１１の対象物データを選択するよう要求する。
〔動作手順〕
図１１は、物体認識装置１００の動作手順を示すフローチャート図の一例である。
ステレオカメラ測距部１１は、画像から対象物を認識する処理を繰り返し行っている（Ｓ１０）。
認識消失検知部１３は対象物データを参照して対象物を消失したか否かを判定する（Ｓ２０）。
対象物を消失した場合（Ｓ２０のＹｅｓ）、認識消失検知部１３はレーザーレーダ測距部１２に対し対象物の方向にレーザー光を照射するよう要求する（Ｓ３０）。また、認識消失検知部１３は測距結果選択部１４に対し、レーザーレーダ測距部１２による検出結果を選択させる選択要求を通知する。なお、認識消失検知部１３がこの要求を行っても、ステレオカメラ測距部１１は認識可能な範囲で輝度画像から対象物の認識を繰り返している。
次に、ステレオカメラ測距部１１は消失した対象物を認識できたか否かを判定する（Ｓ４０）。
消失した対象物を認識できた場合（Ｓ４０のＹｅｓ）、ステレオカメラ測距部１１は認識消失検知部１３を介して測距結果選択部１４に対しステレオカメラ測距部１１による対象物データの選択を要求する（Ｓ５０）。これにより、測距結果選択部１４はステレオカメラ測距部１１による対象物データの選択を再開する。
そして、ステレオカメラ測距部１１は、対象物の方向へレーザー光を照射することの停止要求をレーザーレーダ測距部１２に出力する（Ｓ６０）。
続いて、レーザーレーダ測距部１２の動作手順について説明する。
レーザーレーダ測距部１２は、定期的にレーザー光を照射して対象物を検出する（Ｓ１１０）。
そして、消失した対象物へのレーザー光の照射要求がある場合（Ｓ１２０のＹｅｓ）、レーザーレーダ測距部１２は定期的な照射方向に加え消失点にレーザー光を照射して対象物を検出する（Ｓ１３０）。
次いで、レーザーレーダ測距部１２は、レーザー光の照射の停止要求があるか否かを判定する（Ｓ１４０）。
レーザー光の照射の停止要求があった場合（Ｓ１４０のＹｅｓ）、レーザーレーダ測距部１２は消失点へのレーザー光の照射を停止する（Ｓ１５０）。
したがって、以上説明したように、本実施形態の物体認識装置１００は、急激な走行環境の変化に対し、ステレオカメラで物体検知できなくなる直前の対象物の方向にレーザー光を照射させることで、レーザーレーダの低い水平解像度でも、ステレオカメラで消失した物体を検知することができる。
以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、トンネルの出口を例に説明したが、対向車のヘッドライトが急に撮影された場合や西日が急に差し込んだ場合など照度が急に変化する走行環境で好適に適用できる。
１１ ステレオカメラ測距部
１２ レーザーレーダ測距部
１３ 認識消失検知部
１４ 測距結果選択部
１５ 運転支援部
１００ 物体認識装置
特開２０１３‐２１５８０４号公報

Claims (9)

  1. 撮像手段が撮像した画像から対象物までの距離情報と方向情報を検出する第１の対象物検出手段と、
    照射方向を変えながら照射した光の反射波から、対象物までの距離情報と方向情報を検出する第２の対象物検出手段と、
    前記第１の対象物検出手段が検出した距離情報と方向情報、又は、前記第２の対象物検出手段が検出した距離情報と方向情報の少なくとも一方を出力する出力手段と、を有する物体認識装置であって、
    前記第１の対象物検出手段が検出していた対象物の消失を検出する消失検出手段と、
    前記消失検出手段が消失を検出する前に前記第１の対象物検出手段が検出していた対象物の過去の方向情報に基づき、前記第２の対象物検出手段が光を照射するタイミングを制御する照射タイミング制御手段と、を有し、
    前記出力手段は、前記消失検出手段が対象物の消失を検出した場合、前記第２の対象物検出手段が検出した対象物の距離情報を出力する、ことを特徴とする物体認識装置。
  2. 前記消失検出手段は、前記第１の対象物検出手段が消失前に検出していた対象物の画像における撮影範囲の画素値を解析することで、対象物の消失を検出する、
    ことを特徴とする請求項１記載の物体認識装置。
  3. 前記消失検出手段は、前記撮影範囲の分散値が閾値以下の場合に、前記第１の対象物検出手段が検出していた対象物の消失を検出する、
    ことを特徴とする請求項２記載の物体認識装置。
  4. 前記出力手段は、前記第１の対象物検出手段が検出した対象物の距離情報と方向情報を前記第２の対象物検出手段が検出した対象物の距離情報と方向情報よりも優先して出力するものであり、
    前記出力手段が、前記第２の対象物検出手段が検出した対象物の距離情報と方向情報を出力し始めた後、前記第２の対象物検出手段が検出した対象物を、前記第１の対象物検出手段が検出した場合、
    前記出力手段は、前記第１の対象物検出手段が検出した対象物の距離情報と方向情報の出力を再開する、ことを特徴とする請求項１〜３いずれか１項記載の物体認識装置。
  5. 前記消失検出手段が消失を検出した対象物の方向に基づいて前記照射タイミング制御手段が制御した光の照射タイミングでは、前記第２の対象物検出手段が対象物を検出できない場合、
    前記照射タイミング制御手段は、前記消失検出手段が消失を検出した対象物の方向を中心として右及び左方向に所定角度、照射方向が変わる照射タイミングで光を照射する、ことを特徴とする請求項１〜４いずれか１項記載の物体認識装置。
  6. 前記第２の対象物検出手段は、定期的に光を照射するものであり、
    前記消失検出手段が対象物の消失を検出した場合、前記第２の対象物検出手段は、前記消失検出手段が消失を検出した対象物の方向の前後の照射タイミングで光の照射を停止する、ことを特徴とする請求項１〜５いずれか１項記載の物体認識装置。
  7. 前記第２の対象物検出手段は、定期的に光を照射するものであり、
    前記消失検出手段が対象物の消失を検出した場合、前記第２の対象物検出手段は、定期的な照射に加え、前記消失検出手段が消失を検出した対象物の方向に光を照射する、
    ことを特徴とする請求項１〜５いずれか１項記載の物体認識装置。
  8. 前記第１の対象物検出手段はステレオカメラが撮影した複数の画像から対象物までの距離情報と方向情報を検出し、
    前記第２の対象物検出手段は、レーザー光を照射して距離情報と方向情報を検出する、ことを特徴とする請求項１〜７いずれか１項記載の物体認識装置。
  9. 撮像手段が撮像した画像から対象物までの距離情報と方向情報を検出する第１の対象物検出手段と、
    照射方向を変えながら照射した光の反射波から、対象物までの距離情報と方向情報を検出する第２の対象物検出手段と、
    前記第１の対象物検出手段が検出した距離情報と方向情報、又は、前記第２の対象物検出手段が検出した距離情報と方向情報の少なくとも一方を出力する出力手段と、を有する物体認識装置の物体認識方法であって、
    消失検出手段が、前記第１の対象物検出手段が検出していた対象物の消失を検出するステップと、
    照射タイミング制御手段が、前記消失検出手段が消失を検出した対象物の前記第１の対象物検出手段が検出していた方向情報に基づき、前記第２の対象物検出手段が光を照射するタイミングを制御するステップと、
    前記消失検出手段が対象物の消失を検出した場合、前記出力手段が、前記第２の対象物検出手段が検出した対象物の距離情報を出力するステップと、
    を有することを特徴とする物体認識方法。
JP2015030514A 2014-02-24 2015-02-19 物体認識装置、物体認識方法 Active JP6471528B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015030514A JP6471528B2 (ja) 2014-02-24 2015-02-19 物体認識装置、物体認識方法
EP15156243.6A EP2910971B1 (en) 2014-02-24 2015-02-24 Object recognition apparatus and object recognition method
US14/630,078 US20150243017A1 (en) 2014-02-24 2015-02-24 Object recognition apparatus and object recognition method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014033078 2014-02-24
JP2014033078 2014-02-24
JP2015030514A JP6471528B2 (ja) 2014-02-24 2015-02-19 物体認識装置、物体認識方法

Publications (2)

Publication Number Publication Date
JP2015172934A true JP2015172934A (ja) 2015-10-01
JP6471528B2 JP6471528B2 (ja) 2019-02-20

Family

ID=52648813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015030514A Active JP6471528B2 (ja) 2014-02-24 2015-02-19 物体認識装置、物体認識方法

Country Status (3)

Country Link
US (1) US20150243017A1 (ja)
EP (1) EP2910971B1 (ja)
JP (1) JP6471528B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018125585A (ja) * 2017-01-30 2018-08-09 アルパイン株式会社 周辺状況把握支援システム
JP2019511724A (ja) * 2016-04-08 2019-04-25 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 特に選択されてバックエンドサーバから伝送されたランドマークを用いて、少なくとも部分自動運転を行う車両の姿勢を特定する方法
CN110053625A (zh) * 2018-01-19 2019-07-26 本田技研工业株式会社 距离计算装置和车辆控制装置
US10481263B2 (en) 2016-03-10 2019-11-19 Ricoh Company, Ltd. Range finding apparatus, moveable apparatus, robot, three dimensional measurement apparatus, method of measuring three dimensional information, and storage medium
US10775502B2 (en) 2016-11-10 2020-09-15 Ricoh Company, Ltd Distance-measuring apparatus, mobile object, robot, three-dimensional measuring device, surveillance camera, and distance-measuring method
WO2021029262A1 (ja) * 2019-08-13 2021-02-18 ソニーセミコンダクタソリューションズ株式会社 装置、測定装置、測距システムおよび方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112014006876T5 (de) * 2014-08-21 2017-05-18 Mitsubishi Electric Corporation Fahrassistenzvorrichtung, Fahrassistenzverfahren und Programm
EP3002550B1 (en) 2014-10-03 2017-08-30 Ricoh Company, Ltd. Information processing system and information processing method for distance measurement
US9426377B2 (en) 2014-10-03 2016-08-23 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, storage medium, and device control system for controlling vehicle-mounted devices
US9726604B2 (en) 2014-11-12 2017-08-08 Ricoh Company, Ltd. Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices
US20160209211A1 (en) * 2015-01-16 2016-07-21 GM Global Technology Operations LLC Method for determining misalignment of an object sensor
JP6289681B2 (ja) * 2015-01-22 2018-03-07 三菱電機株式会社 撮像装置及び方法、並びにプログラム及び記録媒体
JP6150950B1 (ja) 2015-11-20 2017-06-21 三菱電機株式会社 運転支援装置、運転支援システム、運転支援方法及び運転支援プログラム
JP6747176B2 (ja) 2016-08-25 2020-08-26 株式会社リコー 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
JP6302519B2 (ja) * 2016-09-06 2018-03-28 株式会社Ｓｕｂａｒｕ 車両の運転支援装置
CN107977995B (zh) * 2016-10-25 2022-05-06 菜鸟智能物流控股有限公司 一种目标区域的位置检测方法及相关装置
JP7119317B2 (ja) 2016-11-28 2022-08-17 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
FR3078045B1 (fr) * 2018-02-22 2021-03-05 Renault Sas Dispositif et procede d'aide a la conduite d'un vehicule automobile
US11363212B2 (en) 2018-03-29 2022-06-14 Sony Corporation Exposure control device, exposure control method, program, imaging device, and mobile body
JP7195093B2 (ja) * 2018-09-18 2022-12-23 直之 村上 テレビカメラの映す画像の距離を計測する方法
MX2021006494A (es) 2018-12-05 2021-07-06 Ericsson Telefon Ab L M Apuntamiento a objetos.
CN109901141B (zh) * 2019-02-28 2021-03-30 东软睿驰汽车技术（沈阳）有限公司 一种标定方法及装置
US10837795B1 (en) * 2019-09-16 2020-11-17 Tusimple, Inc. Vehicle camera calibration system
JP7331788B2 (ja) * 2020-06-16 2023-08-23 トヨタ自動車株式会社 ヘッドランプ制御装置
CN112987014A (zh) * 2021-02-20 2021-06-18 纳瓦电子（上海）有限公司 车辆及其探测系统和探测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06206507A (ja) * 1993-01-08 1994-07-26 Toyota Motor Corp 車間距離検出装置
JP2000075024A (ja) * 1998-09-01 2000-03-14 Mitsubishi Electric Corp 目標情報収集装置
JP2005157670A (ja) * 2003-11-25 2005-06-16 Denso Corp 白線検出装置
JP2006232112A (ja) * 2005-02-25 2006-09-07 Mazda Motor Corp 車両の障害物認識装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3233739B2 (ja) * 1993-06-30 2001-11-26 マツダ株式会社 自動車の走行制御装置
JP3212218B2 (ja) * 1994-05-26 2001-09-25 三菱電機株式会社 車両用障害物検出装置
JPH1010233A (ja) * 1996-06-24 1998-01-16 Mitsui Eng & Shipbuild Co Ltd レーザ式障害物検知方法およびセンサ
DE10154861A1 (de) * 2001-11-08 2003-05-22 Ibeo Automobile Sensor Gmbh Verfahren zur Bereitstellung von Bildinformationen
US6810330B2 (en) * 2001-07-31 2004-10-26 Omron Corporation Apparatus for and method of detecting object on road
CN1701242A (zh) * 2003-03-20 2005-11-23 松下电器产业株式会社 障碍检测设备
JP2007334631A (ja) * 2006-06-15 2007-12-27 Sony Corp 画像監視システムおよび物体領域追跡方法
DE102011010339A1 (de) * 2011-02-04 2012-08-09 Eads Deutschland Gmbh Luftraumüberwachungssystem zur Erfassung von innnerhalb eines zu überwachenden Gebiets startenden Raketen sowie Verfahren zu Luftraumüberwachung
JP5877376B2 (ja) * 2011-06-02 2016-03-08 パナソニックＩｐマネジメント株式会社 物体検出装置、物体検出方法および物体検出プログラム
KR101497763B1 (ko) 2012-04-05 2015-03-02 삼성전기주식회사 레이저 가공 장치
JP6138420B2 (ja) * 2012-04-06 2017-05-31 シャープ株式会社 発光装置および車両用前照灯
US20130342657A1 (en) * 2012-06-15 2013-12-26 Nikon Corporation Stereo vision camera for laser radar

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06206507A (ja) * 1993-01-08 1994-07-26 Toyota Motor Corp 車間距離検出装置
JP2000075024A (ja) * 1998-09-01 2000-03-14 Mitsubishi Electric Corp 目標情報収集装置
JP2005157670A (ja) * 2003-11-25 2005-06-16 Denso Corp 白線検出装置
JP2006232112A (ja) * 2005-02-25 2006-09-07 Mazda Motor Corp 車両の障害物認識装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10481263B2 (en) 2016-03-10 2019-11-19 Ricoh Company, Ltd. Range finding apparatus, moveable apparatus, robot, three dimensional measurement apparatus, method of measuring three dimensional information, and storage medium
JP2019511724A (ja) * 2016-04-08 2019-04-25 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 特に選択されてバックエンドサーバから伝送されたランドマークを用いて、少なくとも部分自動運転を行う車両の姿勢を特定する方法
US10775502B2 (en) 2016-11-10 2020-09-15 Ricoh Company, Ltd Distance-measuring apparatus, mobile object, robot, three-dimensional measuring device, surveillance camera, and distance-measuring method
JP2018125585A (ja) * 2017-01-30 2018-08-09 アルパイン株式会社 周辺状況把握支援システム
CN110053625A (zh) * 2018-01-19 2019-07-26 本田技研工业株式会社 距离计算装置和车辆控制装置
JP2019128153A (ja) * 2018-01-19 2019-08-01 本田技研工業株式会社 距離算出装置及び車両制御装置
CN110053625B (zh) * 2018-01-19 2022-03-11 本田技研工业株式会社 距离计算装置和车辆控制装置
WO2021029262A1 (ja) * 2019-08-13 2021-02-18 ソニーセミコンダクタソリューションズ株式会社 装置、測定装置、測距システムおよび方法

Also Published As

Publication number Publication date
EP2910971B1 (en) 2019-05-15
US20150243017A1 (en) 2015-08-27
EP2910971A1 (en) 2015-08-26
JP6471528B2 (ja) 2019-02-20

Similar Documents

Publication Publication Date Title
JP6471528B2 (ja) 物体認識装置、物体認識方法
JP6851985B2 (ja) 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
EP2856207B1 (en) Gated imaging using an adaptive depth of field
JP6868570B2 (ja) 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
JP5680573B2 (ja) 車両の走行環境認識装置
EP2993654B1 (en) Method and system for forward collision warning
JP6459659B2 (ja) 画像処理装置、画像処理方法、運転支援システム、プログラム
JP6075331B2 (ja) 車両用照明装置
US11418695B2 (en) Digital imaging system including plenoptic optical device and image data processing method for vehicle obstacle and gesture detection
JPH07332966A (ja) 車両用距離計測装置
JP2015143979A (ja) 画像処理装置、画像処理方法、プログラム、画像処理システム
JP2009257981A (ja) 車両用距離画像データ生成装置
JPH06124340A (ja) 車両用画像処理装置
JP5082923B2 (ja) 車両障害物検出装置
JP2007304033A (ja) 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム
JP5434277B2 (ja) 走行支援装置および走行支援方法
JP2009282906A (ja) 車両用距離画像データ生成装置
JP2010146082A (ja) 画像処理装置
JP6278217B1 (ja) 車両用ヘッドライト制御装置
JP2004325202A (ja) レーザレーダ装置
JP2005284797A (ja) 走行安全装置
JP2009140289A (ja) 画像処理装置
WO2022163721A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
JP2003174642A (ja) スミア検出方法及びこのスミア検出方法を用いた画像処理装置
JP2022161700A (ja) 信号機認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190107

R151 Written notification of patent or utility model registration

Ref document number: 6471528

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151