JP2017027279A - 物体検出装置及び物体検出方法 - Google Patents

物体検出装置及び物体検出方法 Download PDF

Info

Publication number
JP2017027279A
JP2017027279A JP2015143878A JP2015143878A JP2017027279A JP 2017027279 A JP2017027279 A JP 2017027279A JP 2015143878 A JP2015143878 A JP 2015143878A JP 2015143878 A JP2015143878 A JP 2015143878A JP 2017027279 A JP2017027279 A JP 2017027279A
Authority
JP
Japan
Prior art keywords
distance
continuity
image
group
small
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015143878A
Other languages
English (en)
Other versions
JP6606369B2 (ja
Inventor
裕丈 石神
Hirotake Ishigami
裕丈 石神
健 田邊
Ken Tanabe
健 田邊
宏晃 伊藤
Hiroaki Ito
宏晃 伊藤
西嶋 征和
Masakazu Nishijima
征和 西嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Soken Inc
Original Assignee
Denso Corp
Nippon Soken Inc
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Nippon Soken Inc, Toyota Motor Corp filed Critical Denso Corp
Priority to JP2015143878A priority Critical patent/JP6606369B2/ja
Priority to US15/215,367 priority patent/US10041791B2/en
Publication of JP2017027279A publication Critical patent/JP2017027279A/ja
Application granted granted Critical
Publication of JP6606369B2 publication Critical patent/JP6606369B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】処理負荷の抑制と物体の検出性能の低下抑制とを両立可能な物体検出装置を提供する。【解決手段】実空間上の計測地点から物体までの距離を表す距離情報に基づいて、計測地点の周辺に存在する物体の距離情報の分布を表す距離画像を生成する画像生成部と、生成された距離画像を、距離画像の横方向に規定幅Dn毎の列領域に分割するとともに、各列領域において、縦方向に連続しており且つ距離情報が所定範囲内となる小グループa〜wを生成する小グループ生成部と、生成された各小グループa〜wについて、距離画像の横方向における隣の小グループに対して、距離の連続性があるか否かを判定する判定部と、距離画像の横方向において、連続性ありの判定結果が継続する小グループを結合し、継続しない小グループを分離して、結合グループを生成する結合部と、距離画像において、結合された各結合グループの領域毎に物体を検出する検出部と、を備える。【選択図】 図1

Description

本発明は、距離画像に基づいて物体を検出する物体検出装置及び物体検出方法に関する。
従来、車両の運転支援システムにおいて、衝突回避制御を実施するため、周辺の物体を検出する装置が提案されている。例えば、特許文献1に記載の物体検出装置は、一対の濃淡画像に基づいて距離画像を生成し、生成した距離画像において距離データが近い隣接領域をグループ化している。グループ化された領域には、同程度の距離に存在する異なる物体が含まれることがある。そこで、上記物体検出装置は、グループ化した領域が分割可能であるか否かを、濃淡画像の縦方向における輝度差に基づいて判定し、分割可能であればさらに分割を行い、分割した領域において物体を検出している。
特開2014−96005号公報
上記物体検出装置は、距離画像でグループ化した後、さらに濃淡画像の輝度情報を用いて分割するため、処理負荷が増大する。よって、メモリ容量やメモリアクセス速度が限られている車載装置などでは、物体の検出に時間がかかり、リアルタイムで物体を検出することが困難となるおそれがある。一方、特許文献1に記載の物体検出装置において、処理負荷を軽減するために、距離画像でグループ化した領域から物体を検出すると、物体の検出性能が低下するおそれがある。
本発明は、上記実情に鑑み、処理負荷の抑制と物体の検出性能の低下抑制とを両立可能な物体検出装置を提供することを主たる目的とする。
本発明は、物体検出装置であって、実空間における所定の計測地点から物体までの距離を表す距離情報に基づいて、前記実空間の上下方向を縦方向とした画像であって前記計測地点の周辺に存在する前記物体の前記距離情報の分布を表す距離画像を生成する画像生成部と、前記画像生成部により生成された前記距離画像を、前記距離画像の横方向に規定幅毎の列領域に分割するとともに、各列領域において、前記縦方向に連続しており且つ前記距離情報が所定範囲内となる小グループを生成する小グループ生成部と、前記小グループ生成部により生成された各小グループについて、前記距離画像の横方向における隣の前記小グループに対して、前記距離の連続性があるか否かを判定する判定部と、前記距離画像の横方向において、前記判定部による連続性ありの判定結果が継続する前記小グループを結合し、継続しない前記小グループを分離して、結合グループを生成する結合部と、前記距離画像において、前記結合部により結合された各結合グループの領域ごとに前記物体を検出する検出部と、を備える。
本発明によれば、物体の実空間における距離を表す距離情報に基づいて、距離情報の分布を表す距離画像が生成される。そして、距離画像が、距離画像の横方向に規定幅毎の列領域に分割され、各列領域において、縦方向に連続しており且つ距離情報が近い小グループが生成される。さらに、各小グループについて、距離画像の横方向における隣の小グループに対して、距離の連続性があるか否か判定される。同一の物体に対応する小グループ同士であれば、小グループ同士の距離は連続するが、異なる物体に対応する小グループ同士であれば、小グループ同士の距離は連続しない。よって、連続性ありの判定結果が継続する小グループを同一の物体に対応する領域として結合し、連続性ありの判定結果が継続しない小グループを分離して、結合グループが生成される。これにより、小グループを生成した後に、距離の連続性がある小グループが結合されるため、物体ごとに対応した結合グループを生成できる。また、その際、距離画像のみを用いて結合グループを生成するため、処理負荷を抑制することができる。そして、距離画像において、結合グループの領域ごとに物体が検出されるため、高精度に物体を検出することができる。したがって、処理負荷の低減と物体の検出性能の低下抑制とを両立することができる。
更に補足すると、本発明では、先ず、縦方向の距離の連続性を判定し、次いで、横方向の距離の連続性を判定している。これにより、立体物の検出において、特に処理負荷を抑制する効果を顕著なものとしている。つまり、立体物以外に比べ立体物では縦方向の距離の変化が少ない為、先に縦方向の距離の変化を判定することにより、縦方向の距離の変化が少ない領域、即ち、立体物を抜き出すことができる。よって、それ以降の処理は、立体物らしい領域に限って、処理することが可能となり、処理負荷を抑制することができる。
物体検出装置の構成を示すブロック図。 自車両と周辺物体の位置関係を上から見た図。 図2に示す位置関係で撮影した濃淡画像を示す図。 濃淡画像から算出した距離画像の概要を示す模式図。 距離情報が近い領域を上から見た図。 距離情報が近い領域を単純にグループ化した図。 距離画像を規定幅毎に分割した各列領域において作成されるヒストグラムの一例。 各列領域において生成した小グループを示す図。 各小グループの視差を示す図。 連続している小グループを結合して生成した結合グループ示す図。 小グループの連続性の判定手法を示す図。 遠方に向かって延伸する壁を平面画像に写す態様を示す図。 結合グループを生成する処理手順を示すフローチャート。
以下、物体検出装置を具現化した実施形態について、図面を参照しつつ説明する。本実施形態に係る物体検出装置は、車両に搭載された車載装置であり、自車両の周辺に存在する物体を検出する。
まず、本実施形態に係る物体検出装置の概略構成について、図1を参照して説明する。本実施形態に係る物体検出装置は、ECU20から構成される。ECU20は、左カメラ11及び右カメラ12により撮影された一対の濃淡画像を取得して、自車両50の周辺に存在する物体を検出する。
左カメラ11及び右カメラ12は、それぞれ、CCDイメージセンサやMOSイメージセンサ、近赤外線センサ等で構成されており、左右一対でステレオカメラを構成している。左カメラ11及び右カメラ12は、例えば、自車両50のルームミラーの左右の端部に設置されており、撮像軸を中に自車両50の前方に向かって所定角度の範囲で広がる領域を撮影する。そして、左カメラ11は撮影した左濃淡画像を所定周期でECU20へ送信し、右カメラ12は撮影した右濃淡画像を所定周期でECU20へ送信する。濃淡画像の各濃淡レベルは、輝度値で表される。
ECU20は、CPU、ROM、RAM及びI/O等を備えたコンピュータを主体として構成されている。ECU20は、CPUがROMに記憶されているプログラムを実行することにより、距離画像生成部21、小グループ生成部22、連続性判定部23、結合部24及び物体検出部25の各機能を実現する。
距離画像生成部21は、左カメラ11及び右カメラ12から送信された左右一対の濃淡画像から、自車両50(計測地点)の周辺に存在する物体の距離情報の分布を表す距離画像を生成する。例えば、図2に示すように、自車両50の前方に他車両M1及び自転車Bbが存在し、対向車線に他車両M2が存在する位置関係で、左カメラ11及び右カメラ12により撮影した場合、図3に示すような濃淡画像が生成される。図3に示す濃淡画像は、左カメラ11及び右カメラ12のいずれか一方で撮影された画像である。左カメラ11と右カメラ12とで撮影された濃淡画像は、自車両50の幅方向における設置位置の差から、視差が生じる。左カメラ11及び右カメラ12の所定の物体に対する視差は、左カメラ11及び右カメラ12のレンズの主点から所定の物体までの距離と、一対一の対応関係がある。すなわち、視差は、実空間における自車両50から物体までの距離を表す距離情報である。
よって、距離画像生成部21は、周知の手法を用いて、左右一対の濃淡画像の視差を、所定の画素ブロックごとに算出する。そして、距離画像生成部21は、左右一対の濃淡画像から算出した各画素ブロックの視差に基づいて、自車両50の周辺に存在する物体の視差の分布を表す距離画像を生成する。この距離画像は、実空間の上下方向を鉛直方向とした画像である。図4は、距離画像の概要を模式的に示した図であり、自車両50からの距離が遠いほど、濃いハッチングで示している。他車両M1と自転車Bbとが、同程度の距離に存在することがわかる。
距離画像生成部21(画像生成部)により生成された距離画像において、距離情報が近い領域をグルーピングし、グルーピングした領域毎に物体を検出することで、自車両50から異なる距離に位置する物体を分離して検出することができる。しかしながら、図5に示すように、単純に三次元的に距離の近い対象を結合する場合、同一の円内に入る対象は同一のグループとなってしまう。そのため、図6に示すように、距離画像において、同程度の距離に存在する他車両M1と自転車Bbとが、同一グループにグルーピングされてしまう。すなわち、本来異なる物体に対応する領域が過結合されてしまう。その結果、物体の検出性能が低下してしまう。一方、従来技術のように、濃淡画像の輝度情報を用いて、距離でグループ化した領域を更に分割する場合、処理負荷が過大となり、物体検出の応答速度が低下するおそれがある。車両の運転支援システムでは、衝突防止のために物体を早期に検出することが望ましく、物体検出の応答速度の低下は望ましくない。
そこで、本実施形態では、距離画像に対して、鉛直方向における距離の連続性と水平方向における距離の連続性とを二段階で判定して、グルーピングすることにした。このようなグルーピングの手法を取ることにより、従来技術よりも処理負荷を抑制しつつ、物体の検出性能の低下を抑制することが可能となる。以下、本実施形態に係るグルーピングの手法の詳細を説明する。
小グループ生成部22は、距離画像生成部21により生成された距離画像を、距離画像の水平方向に規定幅Dn毎の列領域に分割する。そして、小グループ生成部22は、各列領域において、距離画像の鉛直方向に連続しており、且つ距離情報が所定範囲内となる小グループを生成する。規定幅Dnは、過結合を起こさない単位の幅であり、自車両50から所定の距離(例えば数10m)に存在する基準対象物が検出できるように、所定の距離における基準対象物の幅に対応した幅に設定する。詳しくは、規定幅Dnは、所定の距離における基準対象物の幅よりも狭い幅に設定する。基準対象物としては、例えば標識のポールが挙げられる。
具体的には、小グループ生成部22は、公知の手法を用いて、各列領域において、視差を所定範囲ごとに区分し、各区分に属する画素を投票して、図7に示すようなヒストグラムを作成する。そして、小グループ生成部22は、ヒストグラムにおいて、頻度が比較的大きい視差の区分を選択して、距離画像の鉛直方向に連続する小グループを生成する。これにより、図8に示すように、小グループa〜wが生成される。各列領域において、頻度が比較的大きい視差の区分が複数ある場合は、小グループl,mのように、複数の小グループが生成される。各小グループは、距離画像の鉛直方向において、視差が所定範囲、すなわち自車両50からの距離が所定の距離範囲となるグループである。なお、図8は、物体と小グループとの対応をわかりやすく示すため、便宜上、距離画像ではなく濃淡画像に小グループを重ねて示している。
連続性判定部23(判定部)は、小グループ生成部22により生成された各小グループについて、距離画像の水平方向における隣の列領域の小グループに対して、距離の連続性があるか否かを判定する。そして、結合部24は、距離画像の水平方向において、連続性判定部23による連続性ありの判定結果が継続する小グループを結合し、継続しない小グループを分離して、結合グループを生成する。
具体的な連続性の判定手法を、図11を参照して説明する。図11は、結合基準となる小グループ、結合対象となる小グループ、及び自車両50の位置関係を、水平面上に示した図である。小グループaに対する小グループbの連続性を判定する場合は、小グループaを結合基準、小グループbを結合対象とする。そして、結合基準となる小グループの位置と自車両50とを結ぶ基準直線と、結合基準と結合対象となる小グループの位置とを結ぶ対象直線とがなす角のうち、小さい方の角度を対象角度θとする。連続性判定部23は、対象角度θが判定角度φよりも大きい場合に、水平面上での距離の連続性ありと判定する。
距離画像の水平方向において規定幅Dn離れた二つの小グループは、対象角度θが小さいほど、水平面上での距離が遠くなる。よって、対象角度θによって、水平面上での距離の連続性を判定することができる。また、図11に示すように、結合基準までの距離、規定幅Dn及び判定角度φから、結合基準よりも遠方側の判定距離d1と、結合基準よりも近傍側の判定距離d2とを算出し、結合対象が、結合基準から遠方側に判定距離d1の範囲内、又は結合基準から近傍側に判定距離d2の範囲内に存在する場合に、連続性ありと判定してもよい。
ここで、対象角度θにより連続性を判定するのは、以下のような利点があるためである。図12に示すように、実空間上で自車両50から遠方へ向かって延伸した壁等の物体を平面の距離画像に写す場合において、実空間上の物体の所定の位置A1,B1,C1,D1に対応する距離画像上の点を、A2,B2,C2,D2とする。実空間上において、位置A1と位置B1との水平面上の距離H1よりも、位置C1と位置D1との水平面上の距離H2の方が十分に長い。しかしながら、距離画像上では、水平方向において、A2とB2との距離L1と、C2とB2との距離L2とは略同じ距離に写る。
したがって、結合基準となる小グループと結合対象となる小グループとの距離に基づいて、小グループ同士の距離の連続性を判定する場合、様々な位置関係に応じて判定距離を適応的に変化させることが望ましい。例えば、距離画像上において、点C2から点D2までの部分に対する連続性を判定する際に用いる判定距離は、点A2から点B2までの部分に対する連続性を判定する際に用いる判定距離よりも、長くすることが望ましい。そのためには、事前に様々な位置関係を想定してそれに応じた判定距離を登録したマップを用意しておく必要があり、車載装置の限られたメモリ容量を消費してしまうことになる。一方、判定距離を大きい側に合わせて設定すると、異なる物体を過結合するおそれがある。例えば、遠方に延伸した壁の近くに歩行者がいた場合に、壁と歩行者を結合して結合グループを生成してしまうおそれがある。
これに対して、対象角度θを用いて連続性を判定する場合、結合基準までの距離、規定幅Dn及び判定角度φから算出する判定距離d1,d2が、結合基準の位置で変化することからわかるように、判定角度φを1つ設定しておくだけで、様々な位置関係に適応して連続性を判定できる。したがって、小グループ同士の水平面上の距離の連続性を、対象角度θを用いて判定する場合、メモリの消費を節約できる。
次に、具体的な小グループの結合手法について、図8〜図9を参照して説明する。図9に、各小グループの視差を示す。各小グループの視差は、各小グループに対応する所定範囲の視差の代表値、例えば中央値等とする。
ここでは、図8及び9において、画像の左側から右側へ連続性を判定する。この場合、小グループaに対して小グループbは連続性ありと判定され、小グループbに対して小グループcは連続性ありと判定されるが、小グループcに対して小グループdは連続性なしと判定される。よって、連続性ありの判定結果が継続する小グループa〜cを結合して1つの結合グループを生成し、小グループcと小グループdとを分離する。そして、小グループdから新しいグループを始め、新たに連続性の判定を開始する。そうすると、小グループgまでは連続性ありの判定結果が継続し、小グループgと小グループhとは連続性なしと判定される。よって、小グループd〜gを結合して1つの結合グループを生成し、小グループhから新しいグループを始める。
そうすると、小グループkまでは連続性ありの判定結果が継続する。小グループkの隣の列領域には小グループ1,mが存在するので、小グループkと小グループlとの連続性、及び小グループkと小グループmとの連続性をそれぞれ判定する。小グループkと小グループlとは連続性ありと判定されるが、小グループkとmとは連続性なしと判定される。また、小グループlと隣の列領域の小グループnとは連続性なしと判定される。よって、小グループh〜lを結合して1つの結合グループを生成する。そして、小グループmから新しいグループを始めると、小グループwまで連続性ありの判定結果が継続するため、小グループm〜wを結合して1つの結合グループを生成する。
図10は、上述した手法によりグルーピングして生成した結合グループを、距離画像上に重ねて示した図である。図10に示すように、他車両M1と自転車Bbとが異なるグループに分離されている。
物体検出部25は、距離画像において、結合部24により結合された各結合グループの領域毎に、物体を検出する。本手法によれば、自車両50から同程度の距離に存在する他車両M1と自転車Bbとを分離して検出することができる。
次に、結合グループを生成する処理手順について、図13のフローチャートを参照して説明する。本処理手順は、ECU20が、所定周期で繰り返し実行する。
まず、左カメラ11で撮影された左の濃淡画像を取得する(S10)。続いて、右カメラ12で撮影された右の濃淡画像を取得する(S11)。続いて、S10及びS11で取得した左右一対の濃淡画像から、視差の分布を表す距離画像を生成する(S12)。
続いて、S12で生成した距離画像について、規定幅Dn単位でグループ化する(S13)。詳しくは、距離画像を、水平方向に規定幅Dn毎の列領域に分割し、各列領域において、視差が所定範囲内となる小グループを生成する。
続いて、S13で生成した各小グループについて、距離画像の水平方向における距離の連続性に基づいて、グループ化する。まず、結合対象がないか否か判定する(S14)。例えば、距離画像の左側から順次、小グループの連続性を判定する場合、結合基準の右側に結合対象となる小グループがないか否か判定する。結合対象がない場合は(S14:YES)、グループ化が終了しているので、本処理を終了する。
一方、結合対象がある場合は(S14:NO)、結合基準と結合対象とに距離の連続性があるか否かを判定する(S15)。すなわち、対象角度θが判定角度φよりも大きいか否か判定する。結合基準と結合対象とに距離の連続性がある場合には(S15:YES)、結合基準と結合対象とを結合する(S16)。そして、結合対象を新たな結合基準として、S14の処理に戻る。
一方、結合基準と結合対象とに距離の連続性がない場合には(S15:NO)、現在の結合グループを、現在の結合基準で終了する。さらに、結合対象を新たな結合基準として、新しい結合グループの生成を開始する(S17)。そして、S14の処理に戻る。以上で本処理を終了する。
以上説明した本実施形態によれば、以下の効果を奏する。
・視差の分布を表す距離画像の水平方向において、規定幅Dn毎の列領域に分割され、各列領域において、鉛直方向に連続しており且つ視差が所定範囲内の小グループが生成される。さらに、各小グループについて、距離画像の水平方向における隣の小グループに対して、距離の連続性があるか否か判定される。そして、連続性ありの判定結果が継続する小グループが結合され、連続性ありの判定結果が継続しない小グループが分離されて、結合グループが生成される。これにより、距離の連続性がある領域の小グループ同士が結合されるため、物体ごとに対応した結合グループを生成することができる。また、その際、距離画像のみを用いて結合グループを生成するため、処理負荷を抑制することができる。そして、距離画像において、結合グループの領域ごとに物体が検出されるため、高精度に物体を検出することができる。したがって、処理負荷の低減と物体の検出性能の低下抑制とを両立することができる。
・規定幅Dnを、距離画像において、所定の距離における基準対象物の幅に対応した幅にすることにより、所定の距離において基準対象物を検出できるとともに、基準対象物よりも幅の広いものを検出することができる。
・基準直線と判定直線とのなす角度のうちの小さい方の角度である対象角度θにより、小グループ同士の連続性を判定することにより、結合基準及び結合対象の位置関係に関わらず、一つの判定角度φを用いて、適切に連続性を判定することができる。よって、メモリの消費を抑制することができる。
・距離情報として、視差を変換した距離ではなく、視差を直接用いることにより、視差から距離への変換処理を省いて、距離を用いた場合と同様に結合グループを生成できる。よって、処理負荷を更に抑制することができる。
(他の実施形態)
・判定角度φを用いて小グループ同士の連続性を判定する代わりに、結合基準となる小グループの視差と、結合対象となる小グループとの視差との差が、判定距離(判定視差)よりも小さい場合に、連続性ありと判定してもよい。この場合、上述したように、様々な位置関係を想定した判定距離(判定視差)のマップを用意しておくとよい。
・視差の分布を表す距離画像を生成する代わりに、視差から距離を算出して距離の分布を表す距離画像を生成してもよい。この場合、距離情報として、視差の代わりに、視差から算出した距離を使用すればよい。
・左右一対のステレオカメラの代わりに、RGB−Dカメラやストラクチャフロムモーションの技術を用いて、距離画像を生成してもよい。また、ミリ波レーダ等のレーダを自車両50に搭載し、レーダを走査して自車両50の周辺に存在する物体の距離を検出して、検出した距離を画像状に並べて距離画像を生成してもよい。
・距離画像を列領域に分割する代わりに、行領域に分割してもよい。この場合、行領域で生成された小グループと、隣の行領域で生成された小グループとの距離の連続性を判定すると良い。
・なお、実施例における鉛直方向は、水平方向に垂直な方向に限らず、実空間における上下方向、つまり、距離画像における縦方向であればよい。
・また、水平方向は、実空間における左右方向、つまり、距離画像における横方向であればよい。
・また、鉛直方向及び水平方向に限らず、鉛直方向と水平方向に交差する方向、つまり斜め方向であっても良い。この場合、距離画像を列領域に分割する代わりに、斜め方向に分割し、この斜め方向の分割された斜め分割領域で生成された小グループと、隣の斜め分割領域で生成された小グループとの距離の連続性を判定すると良い。
11…左カメラ、12…右カメラ、20…ECU。

Claims (7)

  1. 実空間における所定の計測地点から物体までの距離を表す距離情報に基づいて、前記実空間の上下方向を縦方向とした画像であって前記計測地点の周辺に存在する前記物体の前記距離情報の分布を表す距離画像を生成する画像生成部(21)と、
    前記画像生成部により生成された前記距離画像を、前記距離画像の横方向に規定幅毎の列領域に分割するとともに、各列領域において、前記縦方向に連続しており且つ前記距離情報が所定範囲内となる小グループ(a〜w)を生成する小グループ生成部(22)と、
    前記小グループ生成部により生成された各小グループについて、前記距離画像の横方向における隣の前記小グループに対して、前記距離の連続性があるか否かを判定する判定部(23)と、
    前記距離画像の横方向において、前記判定部による連続性ありの判定結果が継続する前記小グループを結合し、継続しない前記小グループを分離して、結合グループを生成する結合部(24)と、
    前記距離画像において、前記結合部により結合された各結合グループの領域毎に前記物体を検出する検出部(25)と、
    を備える物体検出装置。
  2. 前記規定幅は、前記距離画像において、所定の前記距離における基準対象物の幅に対応した幅である請求項1に記載の物体検出装置。
  3. 前記判定部は、水平面上において、前記連続性の結合基準となる前記小グループの位置と前記計測地点とを結ぶ基準直線と、前記結合基準と結合対象となる前記小グループの位置とを結ぶ対象直線とがなす角度のうち小さい方の角度が、判定角度よりも大きい場合に、連続性ありと判定する請求項1又は2に記載の物体検出装置。
  4. 前記判定部は、前記連続性の結合基準となる前記小グループの前記距離情報と、結合対象となる前記小グループの前記距離情報との差が、判定距離よりも小さい場合に、連続性ありと判定する請求項1又は2に記載の物体検出装置。
  5. 前記距離情報は、一対の濃淡画像の視差であり、
    前記画像生成部は、前記視差の分布を表す距離画像を生成する請求項1〜4のいずれか1項に記載の物体検出装置。
  6. 一対の濃淡画像に基づいて距離画像を生成する距離画像生成部(21)と、
    前記距離画像の所定の分割領域内において、距離の連続性に基づいて小グループを生成する小グループ生成部(22)と、
    前記小グループと隣の前記分割領域の小グループとの距離の連続性を判定し、距離の連続性があると判定された小グループを結合し、距離の連続性がないと判定された小グループを分離して、結合グループを生成する結合部(24)と、
    前記距離画像において、前記結合部により結合された各結合グループの領域毎に物体を検出する検出部(25)と、を備えた、物体検出装置。
  7. 物体検出装置(20)が実行する物体検出方法であって、
    実空間における所定の計測地点から物体までの距離を表す距離情報に基づいて、前記実空間の上下方向を縦方向とした画像であって前記計測地点の周辺に存在する前記物体の前記距離情報の分布を表す距離画像を生成するステップと、
    生成された前記距離画像を、前記距離画像の横方向に規定幅毎の列領域に分割するとともに、各列領域において、前記縦方向に連続しており且つ前記距離情報が所定範囲内となる小グループを生成するステップと、
    生成された各小グループについて、前記距離画像の横方向における隣の前記小グループに対して、前記距離の連続性があるか否かを判定するステップと、
    前記距離画像の横方向において、連続性ありの判定結果が継続する前記小グループを結合し、継続しない前記小グループを分離して、結合グループを生成するステップと、
    前記距離画像において、結合された各結合グループの領域ごとに前記物体を検出するステップと、
    を備える物体検出方法。
JP2015143878A 2015-07-21 2015-07-21 物体検出装置及び物体検出方法 Active JP6606369B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015143878A JP6606369B2 (ja) 2015-07-21 2015-07-21 物体検出装置及び物体検出方法
US15/215,367 US10041791B2 (en) 2015-07-21 2016-07-20 Object detection apparatus method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015143878A JP6606369B2 (ja) 2015-07-21 2015-07-21 物体検出装置及び物体検出方法

Publications (2)

Publication Number Publication Date
JP2017027279A true JP2017027279A (ja) 2017-02-02
JP6606369B2 JP6606369B2 (ja) 2019-11-13

Family

ID=57837434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015143878A Active JP6606369B2 (ja) 2015-07-21 2015-07-21 物体検出装置及び物体検出方法

Country Status (2)

Country Link
US (1) US10041791B2 (ja)
JP (1) JP6606369B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019101470A (ja) * 2017-11-28 2019-06-24 株式会社Subaru 車外環境認識装置
JP2019200776A (ja) * 2018-05-15 2019-11-21 株式会社東芝 車両認識装置および車両認識方法
WO2022019117A1 (ja) * 2020-07-21 2022-01-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2023089725A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び、記録媒体
US11889047B2 (en) 2020-04-03 2024-01-30 Subaru Corporation Image processing device and image processing method

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6660751B2 (ja) * 2016-02-04 2020-03-11 日立オートモティブシステムズ株式会社 撮像装置
CN116449646A (zh) * 2017-02-01 2023-07-18 分子印记公司 在压印光刻工艺中配置光学层
US10713940B2 (en) 2017-10-31 2020-07-14 Waymo Llc Detecting and responding to traffic redirection for autonomous vehicles
US10401862B2 (en) * 2017-10-31 2019-09-03 Waymo Llc Semantic object clustering for autonomous vehicle decision making
AU2018358932B2 (en) 2017-10-31 2020-12-03 Waymo Llc Semantic object clustering for autonomous vehicle decision making
US10725475B2 (en) * 2018-04-09 2020-07-28 Toyota Jidosha Kabushiki Kaisha Machine learning enhanced vehicle merging
KR20200132468A (ko) * 2019-05-17 2020-11-25 삼성전자주식회사 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP2010224936A (ja) * 2009-03-24 2010-10-07 Fuji Heavy Ind Ltd 物体検出装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4956453B2 (ja) 2008-01-25 2012-06-20 富士重工業株式会社 物体検出装置
JP5502448B2 (ja) 2009-12-17 2014-05-28 富士重工業株式会社 路面形状認識装置
JP6013884B2 (ja) * 2012-11-08 2016-10-25 日立オートモティブシステムズ株式会社 物体検出装置及び物体検出方法
JP6034713B2 (ja) 2013-02-04 2016-11-30 富士重工業株式会社 車外環境認識装置および車外環境認識方法
JP6169366B2 (ja) 2013-02-08 2017-07-26 株式会社メガチップス 物体検出装置、プログラムおよび集積回路

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP2010224936A (ja) * 2009-03-24 2010-10-07 Fuji Heavy Ind Ltd 物体検出装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019101470A (ja) * 2017-11-28 2019-06-24 株式会社Subaru 車外環境認識装置
JP7071102B2 (ja) 2017-11-28 2022-05-18 株式会社Subaru 車外環境認識装置
JP2019200776A (ja) * 2018-05-15 2019-11-21 株式会社東芝 車両認識装置および車両認識方法
US11889047B2 (en) 2020-04-03 2024-01-30 Subaru Corporation Image processing device and image processing method
WO2022019117A1 (ja) * 2020-07-21 2022-01-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2023089725A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び、記録媒体

Also Published As

Publication number Publication date
JP6606369B2 (ja) 2019-11-13
US20170024875A1 (en) 2017-01-26
US10041791B2 (en) 2018-08-07

Similar Documents

Publication Publication Date Title
JP6606369B2 (ja) 物体検出装置及び物体検出方法
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
US9151626B1 (en) Vehicle position estimation system
JP6013884B2 (ja) 物体検出装置及び物体検出方法
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
US11518390B2 (en) Road surface detection apparatus, image display apparatus using road surface detection apparatus, obstacle detection apparatus using road surface detection apparatus, road surface detection method, image display method using road surface detection method, and obstacle detection method using road surface detection method
JP2009176087A (ja) 車両用環境認識装置
US10719949B2 (en) Method and apparatus for monitoring region around vehicle
JP2011128756A (ja) 物体検出装置
JP6377970B2 (ja) 視差画像生成装置及び視差画像生成方法
KR20160076271A (ko) 장애물 검출 장치 및 장애물 검출 방법
US20140055572A1 (en) Image processing apparatus for a vehicle
US11153484B2 (en) Image processing device and image processing method
JPWO2015129280A1 (ja) 画像処理装置および画像処理方法
JP2018013985A (ja) 物体検知装置
JP2015158749A (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
JP2013161190A (ja) 物体認識装置
WO2020213386A1 (ja) 物体位置検出装置、走行制御システム、および走行制御方法
JP2010224936A (ja) 物体検出装置
JP2014130429A (ja) 撮像装置及び立体物領域検出用プログラム
JP4696925B2 (ja) 画像処理装置
JP2013161187A (ja) 物体認識装置
JP2019061314A (ja) 物体距離検出装置
JP5973843B2 (ja) 車外環境認識装置および車外環境認識方法
JP6136748B2 (ja) 2次元3次元表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191018

R150 Certificate of patent or registration of utility model

Ref document number: 6606369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250