JP2009176091A - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP2009176091A
JP2009176091A JP2008014587A JP2008014587A JP2009176091A JP 2009176091 A JP2009176091 A JP 2009176091A JP 2008014587 A JP2008014587 A JP 2008014587A JP 2008014587 A JP2008014587 A JP 2008014587A JP 2009176091 A JP2009176091 A JP 2009176091A
Authority
JP
Japan
Prior art keywords
information
distance
image
parallax
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008014587A
Other languages
English (en)
Other versions
JP4956453B2 (ja
Inventor
Toru Saito
徹 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP2008014587A priority Critical patent/JP4956453B2/ja
Publication of JP2009176091A publication Critical patent/JP2009176091A/ja
Application granted granted Critical
Publication of JP4956453B2 publication Critical patent/JP4956453B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】周囲に存在する物体の距離を含む位置の情報を的確に検出して物体を安定して検出することが可能な物体検出装置を提供する。
【解決手段】物体検出装置1は、周囲に存在する物体Vahの実空間上の距離Zの情報を含む位置の情報dpを検出する物体位置検出手段9と、実空間を上下方向に延在する複数の区分空間Snに分割して、各区分空間SnごとにヒストグラムHnを作成し、物体の距離Zの情報を当該物体の位置の情報dpが属する区分空間Snに対応するヒストグラムHnに投票し、投票結果に基づいて各区分空間Snごとに代表距離Znを算出する代表距離算出手段11と、各代表距離Znをグルーピングして物体Vahを検出する物体検出手段12とを備え、代表距離算出手段11は、実空間内の所定の範囲R1〜R5内に物体の位置の情報dpが存在する場合には、当該情報dpをヒストグラムHnに投票する対象から除外する。
【選択図】図1

Description

本発明は、物体検出装置に係り、特に、物体の実空間上の距離を検出して周囲の物体を検出する物体検出装置に関する。
近年、周囲に存在する物体をCCD(Charge Coupled Device)カメラ等の撮像手段で撮像した画像の画像解析やレーダ装置から照射された電波の反射波解析、或いはそれらを組み合わせた解析等の手法により検出する技術の開発が進められている(例えば特許文献1、2等参照)。
これらの技術における物体検出の手法としては、例えば一対のカメラ等の撮像手段で周囲を同時に撮像して得られた一対の画像に対してステレオマッチング処理等を施して各画素ごとに視差の情報を算出して物体までの距離を算出したり、レーダ装置から電波を照射し、その反射波を解析して物体までの距離を検出し、得られた距離の情報等に基づいて実空間上の物体の位置を把握することで実空間上に物体が検出される。
その際、実空間上には種々の物体に属する位置の情報が多数検出されるが、通常、検出されたすべての情報を分類して物体を検出することは必ずしも容易ではなく、また、処理に時間を要するため、特に物体検出にリアルタイム性が要求されるような場合には適さない。そこで、以下のような手法を用いてリアルタイム性を確保しつつ的確に物体を検出する手法が採用される場合がある。
例えば図18に示すような画像Tが撮像されるシーンにおいて、撮像された画像Tを含む一対の画像に対してステレオマッチング処理を行うと、画像Tの各画素ブロックごとに視差の情報が得られるが、その視差の情報やそれから算出される距離の情報を各画素ブロックに割り当てると、図19に示すように視差や距離の情報を画像状に表すことができる。以下、この視差や距離の情報が画像状に表されたものを距離画像Tzという。
レーダ装置から照射した電波の反射波を解析して距離を検出し、その距離が検出された方位に距離のデータを当てはめて画像状に表した場合にも、図19に示した距離画像Tzと同様の画像状のデータが得られる。以下、距離画像Tzという場合、レーダ装置を用いて検出された距離のデータを画像状に並べたものも含むものとする。
そして、このようにして得られた距離画像Tzを図20に示すように所定の画素幅で縦方向に延在する短冊状の区分Dnに分割し、各区分Dnごとに図21に示すようなヒストグラムHnを作成し、当該区分Dnに属する視差dpや距離Zの情報を投票する。そして、例えば各ヒストグラムHnにおける最頻値が属する階級の階級値を当該区分Dnにおける物体の代表視差dpnや代表距離Znとする。これを全区分Dnについて行い、各区分Dnごとに代表視差dpnや代表距離Znを算出する。
なお、視差dpと距離Zとの関係は、以下のように一意に対応づけられる。すなわち、一対のカメラ等の撮像手段を用いた画像解析において、一対の撮像手段の中央真下の地面等の基準面上の点を原点とし、距離方向すなわち撮像手段正面の無限遠点に向かう方向にZ軸をとり、左右方向および上下方向にそれぞれX軸およびY軸をとった場合の実空間上の点(X,Y,Z)と、上記の視差dp、距離画像TZ上の画素の座標(i,j)とは、三角測量の原理に基づいて、
X=CD/2+Z×PW×(i−IV) …(1)
Y=CH+Z×PW×(j−JV) …(2)
Z=CD/(PW×(dp−DP)) …(3)
で表される座標変換により一意に対応づけることができる。なお、上記各式において、CDは一対の撮像手段の間隔、PWは1画素当たりの視野角、CHは一対の撮像手段の取り付け高さ、IVおよびJVは正面の無限遠点の距離画像TZ上のi座標およびj座標、DPは消失点視差を表す。また、代表視差dpnは上記(3)式に基づいて代表距離Znと一意に対応づけられる。
上記のようにして距離画像Tzを縦方向に延在する短冊状の区分Dnに分割することは、実空間上に置き換えた場合、図22の平面図に示すように、撮像手段Aによる実空間上の撮像領域Rを上下方向に延在する複数の区分空間Snに分割することに対応する。また、レーダ装置においても同様である。すなわち、図22における装置Aをレーダ装置、領域Rをレーダ装置による実空間上の電波の照射領域と見れば、距離画像Tzを縦方向に延在する短冊状の区分Dnに分割することはレーダ装置Aによる実空間上の照射領域Rを上下方向に延在する複数の区分空間Snに分割することに対応する。
そして、実空間上の各区分空間Snに、当該区分空間Snに対応する距離画像Tzの区分Dnにおける代表距離Zn(算出された代表視差dpnに一意に対応づけられる代表距離Zn)をプロットすると、各代表距離Znは例えば図23に示すようにプロットされる。なお、実際には区分Dnの数に応じて図23に示した以上に多数の点が細かくプロットされる。
そして、図24に示すように、例えばプロットされた各代表距離Znをそれらの間の距離や方向性に基づいて互いに隣接する各点をそれぞれグループG1、G2、G3、…にまとめてグループ化して、図25に示すように、各グループに属する各点をそれぞれ直線近似することで、物体を検出することができる。なお、その際、例えば略X軸方向に延在するグループOと略Z軸方向に延在するグループSとが共通のコーナー点Cを有する場合には同一の物体とする等して、検出した物体の統合、分離等を行う。
また、例えば、撮像手段で撮像した画像の画像解析で物体を検出する場合には、上記のように距離画像Tzに基づいて検出された各物体を、図26に示すように、撮像手段で撮像された元の画像T上にそれぞれ矩形状の枠線で包囲するようにして、検出結果を画像T上に可視化することができる。
特開平6−266828号公報 特開2000−259997号公報
しかしながら、上記のように、距離画像Tzを縦方向に延在する短冊状の区分Dnに分割し(図20参照)、実空間を上下方向に延在する複数の区分空間Snに分割して(図22参照)、代表距離Zを算出して物体を検出する場合、検出される物体の形状や物体が撮像されるシーン等によって解決が必ずしも容易ではない種々の問題を生じる。
例えば、一対の撮像手段Aを備えた物体検出装置を車両に搭載して先行車両の検出を行う場合、図27に示すように、自車両MCの前方を走行する先行車両Vahが荷台Pが平ボディの荷台付きトラックである場合には、撮像された一対の画像Tには図28に示すように背面から見たトラックVahが撮像される。
そして、これらの画像に対してステレオマッチング処理を行って距離画像Tz(図示省略)を得ると、図29に示す画像T上に点線で囲まれて示される荷台Pの後あおりBの左右のエッジ部分や、前壁F(前構造、鳥居ともいう。)とキャブCaの背面部分に対応する部分には有効な視差dpや距離Zの情報が検出されるが、平板状で構造に乏しい荷台Pの後あおりBの中央部に対応する部分には有効な視差dpや距離Zの情報がほとんど検出されない。
そのため、上記のように距離画像Tzを短冊状の区分Dnに分割して各区分DnごとにヒストグラムHnを作成し、当該区分Dnに属する視差dpや距離Zの情報を投票して各区分Dnごとに代表距離Znを算出すると、荷台Pの後あおりBの左右のエッジ部分を含む区分Dnでは自車両MCから後あおりBまでの距離Zbが代表距離Znとして算出され、前壁Fや後あおりBの中央部を含む区分Dnでは前壁FやキャブCaの背面部分までの距離Zfが代表距離Znとして算出される。
このようにして得られた各代表距離Znを前述した図23の場合と同様に実空間上にプロットすると、図30に示すように、実際には荷台Pの後あおりBが距離Zbの部分に左端から右端まで連続して存在していて後あおりBが先行車両Vahであるトラックの最後端であるにもかかわらず、後あおりBの中央部は検出されない。そして、その中央部の部分では、より前方の荷台Pの前壁FやキャブCaの背面部分が検出され、前壁F等の位置に先行車両Vahの最後端があるように検出される。先行車両Vahがこのように検出されてしまうと、例えば自車両MCが先行車両Vahであるトラックの後あおりBに衝突しそうな時にもそれを検出できないことになる。
また、同じトラックを追尾している際に、別のシーンではトラックの後あおりBの左端から右端までその中央部も含めてすべてが検出されて、それまで前壁F等の距離Zfの位置にあった先行車両Vahの最後端が急に後あおりBの距離Zbの位置に移動したように検出される場合もある。このように先行車両Vahの後端の検出位置が前後にいわばバタバタと移動してしまうと、その情報を例えば自車両MCの自動走行制御のための情報として用いることができなくなる。
本発明は、このような事情に鑑みてなされたものであり、周囲に存在する物体の距離を含む位置の情報を的確に検出して物体を安定して検出することが可能な物体検出装置を提供することを目的とする。
前記の問題を解決するために、第1の発明は、物体検出装置において、
周囲に存在する物体の実空間上の距離の情報を含む位置の情報を検出する物体位置検出手段と、
前記実空間を上下方向に延在する複数の区分空間に分割して、各区分空間ごとにヒストグラムを作成し、前記物体の距離の情報を当該物体の位置の情報が属する区分空間に対応するヒストグラムに投票し、投票結果に基づいて前記各区分空間ごとに代表距離を算出する代表距離算出手段と、
前記各代表距離をグルーピングして前記物体を検出する物体検出手段と、を備え、
前記代表距離算出手段は、前記実空間内の所定の範囲内に前記物体の位置の情報が存在する場合には、当該情報をヒストグラムに投票する対象から除外することを特徴とする。
第2の発明は、第1の発明の物体検出装置において、前記所定の範囲は、荷台付きトラックの荷台の前壁またはキャブの背面が存在し得る範囲に設定されることを特徴とする。
第3の発明は、第1または第2の発明の物体検出装置において、前記所定の範囲は、大型自動車の左右のタイヤの間の領域が存在し得る範囲に設定されることを特徴とする。
第4の発明は、第1から第3のいずれかの発明の物体検出装置において、前記所定の範囲は、車両の左右のテールランプの間の部分を領域とする範囲に設定されることを特徴とする。
第5の発明は、第2から第4のいずれかの発明の物体検出装置において、前記代表距離算出手段は、前記実空間内の所定の範囲内に存在する前記物体の位置の情報のうち、過去の前記物体の実空間上の検出位置から推定される今回の検出時における推定位置から所定の間隔以上離れて存在する前記物体の位置の情報を、前記ヒストグラムに投票する対象から除外することを特徴とする。
第1の発明によれば、実空間上の物体の距離の情報を含む位置の情報を実空間上の各区分空間のヒストグラムに投票する際、位置の情報が明らかに誤って検出されていると判定できる実区間上の所定の範囲内の位置の情報を、予めヒストグラムの投票する対象から除外する。そのため、周囲に存在する物体の距離を含む位置の情報を的確に検出することが可能となる。
また、物体の位置がサンプリング周期ごとに急に移動するように検出されることを防止することが可能となり、物体を安定して検出することが可能となる。そのため、例えば、先行車両の位置を的確にかつ安定して検出して、自車両が先行車両に追従するように的確かつ安定的に自車両に対する追従操舵制御等の自動走行制御を行うことが可能となる。
第2の発明によれば、前記の所定の範囲を荷台付きトラックの荷台の前壁またはキャブの背面が存在し得る範囲に設定することで、物体が荷台付きトラックであった場合に図29に示した荷台Pの前壁FやキャブCaの背面に対応する距離の情報がヒストグラムに投票する対象から除外され、その区分のヒストグラムには前壁FやキャブCaの背面に対応する距離の情報が投票されないようにすることができる。
そのため、図29に示した先行車両Vahの荷台Pの後あおりBの左右のエッジ部分の距離の情報が検出され、その区分のヒストグラムに投票されて、物体である荷台付きトラックが距離Zbの位置に検出されるようになる。このように、所定の範囲を荷台付きトラックの荷台の前壁またはキャブの背面が存在し得る範囲に設定することで、物体が荷台付きトラックである場合にも前記発明の効果が的確に発揮されて、荷台付きトラックの位置を的確かつ安定的に検出することが可能となる。
第3の発明によれば、前記の所定の範囲を大型自動車の左右のタイヤの間の領域が存在し得る範囲に設定する。物体がタンクローリー等の大型自動車である場合、車高がある程度高いと、逆光の環境等では左右のタイヤの間の領域に差し込んだ光による明暗が画像中に撮像され、実際の物体の位置とは異なる位置の情報が算出される場合がある。
このような場合には、上記の荷台付きトラックの場合と同様の問題を生じるが、所定の範囲を大型自動車の左右のタイヤの間の領域が存在し得る範囲に設定することで、その領域の位置の情報をヒストグラムに投票しないようにすることが可能となり、物体がタンクローリー等の大型自動車である場合にも前記各発明の効果が的確に発揮されて、タンクローリー等の大型自動車の位置を的確かつ安定的に検出することが可能となる。
第4の発明によれば、前記の所定の範囲を車両の左右のテールランプの間の部分を領域とする範囲に設定する。夜間の走行時等において、自車両がヘッドライトを点灯させた場合、先行車両等の物体の表面部分で自車両のヘッドライトの光が反射され、例えば自車両に搭載した撮像手段により撮像された画像上の先行車両の左右のテールランプの間の領域に自車両のヘッドライドが写り込む場合がある。
このような場合にステレオマッチング処理を行うと、先行車両の左右のテールランプの高輝度領域のエッジ部分と自車両のヘッドライトの高輝度領域のエッジ部分とがマッチングされてミスマッチングを生じて誤った位置の情報が得られる場合があるが、所定の範囲を車両の左右のテールランプの間の部分を領域とする範囲に設定することで、先行車両の左右のテールランプの間の領域に写り込んだ自車両のヘッドライドによりミスマッチングされて検出された位置の情報を除外することが可能となる。そのため、先行車両のテールランプを検出する場合にも前記各発明の効果が的確に発揮されて、左右のテールランプの位置を的確かつ安定的に検出することが可能となる。また、それにより先行車両の位置を的確かつ安定的に検出することが可能となる。
第5の発明によれば、位置の情報が上記のいずれかの所定の範囲内に存在している場合でも、位置の情報が物体の推定距離から所定の間隔より短い間隔で推定距離付近に存在する場合には、ヒストグラムに投票する対象から除外せず、当該区分のヒストグラムに投票することで、確からしい位置の情報についてはそれを含めて代表距離を算出することが可能となり、物体の距離を含む位置の情報をより正確に算出することが可能となり、前記各発明の効果が的確に発揮される。
以下、本発明に係る物体検出装置の実施の形態について、図面を参照して説明する。
本発明は、上記の背景技術でも述べたように、カメラ等の撮像手段で撮像した画像の画像解析に基づくものだけでなく、例えばレーダ装置から照射された電波の反射波解析や、画像解析と反射波解析とを組み合わせた手法等による物体検出にも適用することができるものであるが、以下、一対のカメラ等の撮像手段で撮像した画像の解析により物体までの距離を含む位置の情報に基づいて物体を検出する場合について説明する。
また、本実施形態に係る物体検出装置では、車両に搭載されて自車両の周囲に存在する物体、特に先行車両を検出する場合について説明するが、実施の形態は下記の実施形態に限定されるものではない。
本実施形態に係る物体検出装置1は、図1に示すように、撮像手段2や画像処理手段6等を備える物体位置検出手段9と、検出手段10等で構成されている。
なお、物体位置検出手段9の構成は本願出願人により先に提出された特開平5−114099号公報、特開平5−265547号公報、特開平6−266828号公報、特開平10−283461号公報、特開平10−283477号公報、特開2006−72495号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
本実施形態では、撮像手段2は、互いに同期が取られたCCDやCMOSセンサ等のイメージセンサがそれぞれ内蔵され、例えばフロントガラスの内側に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられたメインカメラ2aおよびサブカメラ2bからなるステレオカメラが用いられている。
メインカメラ2aとサブカメラ2bは、道路面から同じ高さに取り付けられており、所定のサンプリング周期で同時に車両の周囲、特に前方を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ2aは前述した図18に例示される基準画像Tの画像データを出力し、運転者から遠い側に配置されたサブカメラ2bは図示を省略する比較画像の画像データを出力するようになっている。
メインカメラ2aとサブカメラ2bから出力された画像データは、変換手段3であるA/Dコンバータ3a、3bでアナログ画像からそれぞれ画素ごとに例えば0〜255の256階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部4で、ずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ5に送信されて格納されるとともに、画像処理手段6にも送信されるようになっている。
画像処理手段6は、イメージプロセッサ7と距離データメモリ8とを備えており、イメージプロセッサ7では、ステレオマッチング処理が行われるようになっている。具体的には、イメージプロセッサ7は、図2に示すように、基準画像T上に例えば3×3画素や4×4画素等の所定の画素数の基準画素ブロックPBを設定し、基準画素ブロックPBに対応する比較画像TC中のエピポーララインEPL上の基準画素ブロックPBと同形の各比較画素ブロックPBCについて下記(1)式に従って当該基準画素ブロックPBとの輝度パターンの差異であるSAD値を算出し、SAD値が最小の比較画素ブロックPBCを特定するようになっている。
Figure 2009176091
なお、p1stは基準画素ブロックPB中の各画素の輝度値を表し、p2stは比較画素ブロックPBC中の各画素の輝度値を表す。また、上記の総和は、基準画素ブロックPBや比較画素ブロックPBCが例えば3×3画素の領域として設定される場合には1≦s≦3、1≦t≦3の範囲、4×4画素の領域として設定される場合には1≦s≦4、1≦t≦4の範囲の全画素について計算される。
イメージプロセッサ7は、このようにして基準画像Tの各基準画素ブロックPBについて、特定した比較画素ブロックPBCの比較画像TC上の位置と当該基準画素ブロックPBの基準画像T上の位置から視差dpを算出するようになっている。本実施形態では、イメージプロセッサ7は、このようにして算出した視差dpを基準画像Tの各基準画素ブロックPBにそれぞれ割り当てて前述した図19に示したような距離画像Tzを形成し、それらのデータを距離データメモリ8に送信して格納するようになっている。
なお、前述したように、視差dpと実空間上の距離Zは上記(3)式に従って一意に対応づけられる。そのため、距離画像Tzを形成する時点で、各基準画素ブロックPBごとの視差dpを距離Zの情報に変換し、基準画像Tの各基準画素ブロックPBにそれぞれ距離Zの情報を割り当てて距離画像Tzを形成するように構成することも可能である。
また、各基準画素ブロックPBの基準画像T上の座標(i,j)は上記(1)、(2)式に従って実空間上のX座標とY座標にそれぞれ一意に対応づけられる。そのため、距離画像Tzの各基準画素ブロックの座標(i,j)と視差dpは、上記(1)〜(3)式に従って実空間上の位置(X,Y,Z)に一意に対応づけられるようになっている。そのため、以下、視差dpの情報という場合、距離Zの情報を含む位置の情報を意味するものとして説明する。
本実施形態では、上記のように、撮像手段2からイメージプロセッサ7や距離データメモリ8を含む画像処理手段6までの構成により、自車両の周囲、特に自車両前方に存在する物体までの実空間上の距離Zの情報を含む位置の情報を検出する物体位置検出手段9が構成されている。
しかし、前述したように、物体位置検出手段9は、自車両の周囲に存在する物体までの距離Zの情報を含む位置の情報を検出できるものであればよく、本実施形態の他にも、例えば前述したようにレーダ装置やそれと画像解析とを組み合わせて位置の情報を検出する手段等で構成することも可能である。
検出手段10は、図示しないCPUやROM、RAM、入出力インターフェース等がバスに接続されたコンピュータで構成されている。また、検出手段10には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Qが接続されており、自車両の車速Vやヨーレートγ、舵角δ等の情報が適宜送信されてくるようになっている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。
検出手段10は、前述した代表距離Znを算出する代表距離算出手段11と、代表距離Znをグルーピングして物体を検出する物体検出手段12とを備えており、さらに図示しないメモリを備えている。
本実施形態に係る物体検出装置1は、道路面よりも上方にある物体(立体物)を検出するようになっており、検出手段10は、まず、物体検出の基準となる道路面を検出するようになっている。
なお、実際には、検出手段10を構成するコンピュータ(ECU)に、道路面上に標示された追い越し禁止線や路側帯と車道とを区画する区画線等の連続線や破線すなわち車線を検出するロジックが組み込まれており、そのデータを利用するように構成されている。車線検出のロジックは、本願出願人により先に提出された特開2006−331389号公報等に詳述されており、詳細な説明は同公報等に委ねる。
検出手段10は、図18に示したような基準画像Tの各画素の輝度値p1ijや距離画像Tzの視差dpの情報に基づいて、図3に示すように、自車両の左右に車線LL、LRを検出するようになっている。
また、検出手段10は、自車両の左右に検出した左右の車線LL、LRの情報に基づいて実空間上に三次元的な車線モデルを形成するようになっている。車線モデルは、例えば図4(A)、(B)に示すように、自車両の左右に検出した車線LL、LRを所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現して形成されるようになっている。
本実施形態では、各所定区間ごとの直線式を、下記(5)、(6)式で表され図4(A)に示されるZ−X平面上の道路モデルすなわち水平形状モデルと、下記(7)、(8)式で表されず4(B)に左車線LLが代表して示されるZ−Y平面上の道路モデルすなわち道路高モデルで表すようになっている。
[水平形状モデル]
左車線LL X=a・Z+b …(5)
右車線LR X=a・Z+b …(6)
[道路高モデル]
左車線LL Y=c・Z+d …(7)
右車線LR Y=c・Z+d …(8)
代表距離算出手段11は、基本的には、前述した手法と同じ手法によって区分空間Snごとに代表距離Znを算出するようになっている。
すなわち、図19に示したような距離画像Tzを図20に示すように所定の画素幅で縦方向に延在する短冊状の区分Dnに分割し、すなわち図22の平面図に示すように実空間上の撮像領域Rを上下方向に延在する複数の区分空間Snに分割し、各区分Dn(或いは各区分空間Sn。以下同じ。)ごとに図21に示すようなヒストグラムHnを作成し、当該区分Dnに属する視差dpの情報を投票するようになっている。
そして、例えば各ヒストグラムHnにおける最頻値が属する階級の階級値を当該区分Dnにおける物体の代表視差dpnや代表距離Znとする。これを全区分Dnについて行い、各区分Dnごとに代表視差dpnや代表距離Znを算出するようになっている。代表視差dpnを算出した場合には、上記(3)式に基づいて代表距離Znに対応づける。
しかし、単に上記のようにして代表距離Znを算出すると、例えば前述した図27〜図30に示したような誤検出や検出の不安定さを生じてしまうため、代表距離算出手段11は、距離画像Tzの各区分Dnごとに属する視差dpの情報を当該区分DnのヒストグラムHnに投票する際に、実空間内の所定の範囲内に視差dpの情報が存在する場合には、当該視差dpの情報については、ヒストグラムHnに投票する対象から除外するようになっている。
また、本実施形態では、図5に示すように、後述する物体検出手段12により前回のサンプリング周期において基準画像T上に検出された先行車両を包囲する枠線Froldの位置から、自車両と先行車両の相対速度や自車両のヨーレートγ等に基づいて今回のサンプリング周期で基準画像T上に検出されると予測される先行車両Vahの位置(以下、推定位置という。)Frestを推定し、今回のサンプリング周期でこの基準画像T上の推定位置Frestの枠線内の基準画素ブロックPBに検出された視差dpの情報について、上記のように視差dpの情報を除外するか否かを判定するようになっている。
以下、視差dpの情報をヒストグラムHnに投票する対象から除外する実空間上の所定の範囲について説明する。
[第1除外範囲R1]
[1]視差dpの情報が、道路面から所定の高さ(以下、足元閾値という。)以下の範囲内、または、道路面から別の所定の高さ(以下、天井閾値という。)以上である範囲内に存在する場合には、当該視差dpの情報をヒストグラムHnに投票する対象から除外する。
これは、図6に斜線を付して示すように、撮像手段2による実空間上の撮像領域Rのうち、足元閾値Hth1以下の範囲R11内に検出された視差dpの情報は、道路面Sより上方にある物体を表す情報とは考えられず、また、天井閾値Hth2以上の範囲R12に検出された視差dpの情報は、たとえ物体を表すものであったとしても自車両MCの走行に支障をきたすものではないため、除外するものである。
実空間上の道路面の位置は、検出手段10により形成された上記の三次元的な車線モデル、特に上記(7)、(8)式で表される道路高モデルが用いられるようになっており、足元閾値Hth1は道路高モデルを用いて算出される道路面の位置からの高さとして例えば0[m]、天井閾値Hth2は道路面の位置からの高さとして例えば2.5[m]に設定される。
[第2除外範囲R2]
[2]視差dpの情報が、荷台付きトラックの荷台Pの前壁FやキャブCaの背面が存在し得る範囲に範囲内に存在する場合には、当該視差dpの情報をヒストグラムHnに投票する対象から除外する。
これは、図7の基準画像T上および図8の実空間上に示すように、先行車両Vahが荷台付きトラックであった場合に基準画像T上の先行車両Vahの推定位置Frestの枠線内に荷台Pの前壁FやキャブCaの背面が撮像され得る範囲であって、今回のサンプリング周期における先行車両Vahの自車両からの推定距離Zestの距離L1前方から距離L2前方までの範囲であり、かつ、道路面Sからの高さが所定の高さH3以上の範囲R2内に存在する視差dpの情報は、荷台付きトラックの荷台Pの前壁FやキャブCaの背面の情報である可能性があるため、除外するものである。
距離L1は例えば1[m]、距離L2は例えば15[m]、所定の高さH3は上記と同様に道路高モデルを用いて算出される道路面の位置からの高さとして例えば1[m]に設定される。なお、この第2除外範囲R2の設定は、先行車両Vahが荷台付きトラックであることを検出した場合にのみ行うように構成することも可能であるが、本実施形態では、検出した先行車両Vahの車種にかかわらずに設定されるようになっている。
[第3除外範囲R3]
[3]視差dpの情報が、大型自動車の左右のタイヤの間の領域が存在し得る範囲内に存在する場合には、当該視差dpの情報をヒストグラムHnに投票する対象から除外する。
これは、図9に示すように、先行車両Vahがタンクローリーのような大型自動車であった場合に基準画像T上の先行車両Vahの推定位置Frestの枠線内に大型自動車の左右のタイヤti、tiの間の領域が撮像され得る範囲R3内に存在する視差dpの情報を除外するものである。
本実施形態では、第3除外範囲R3は、図10に斜線を付して示すように、基準画像T上の先行車両Vahの推定位置Frestの枠線内のうち、推定位置Frestの左右端からその横幅の1/4ずつ内側の2本のラインの間の範囲であり、かつ、今回のサンプリング周期における先行車両Vahの自車両からの推定距離Zestより前方の範囲に設定されるようになっている。
なお、この第3除外範囲R3の設定は、先行車両Vahがタンクローリー等の大型自動車であることを検出した場合にのみ行うように構成することも可能であるが、本実施形態では、検出した先行車両Vahの車種にかかわらずに設定されるようになっている。
[第4除外範囲R4]
[4]視差dpの情報が、基準画像T上の先行車両Vahの推定位置Frestの枠線内の基準画素ブロックPBに検出された視差dpの情報であって、今回のサンプリング周期における先行車両Vahの自車両からの推定距離Zestより所定の距離L3以上手前の範囲R4内に存在する場合には、当該視差dpの情報をヒストグラムHnに投票する対象から除外する。所定の距離L3は例えば1[m]に設定される。
[第5除外範囲R5]
[5]視差dpの情報が、車両の左右のテールランプの間の部分を領域とする範囲内に存在する場合には、当該視差dpの情報をヒストグラムHnに投票する対象から除外する。なお、本実施形態では、この第5除外範囲R5は、自車両がヘッドライトを点灯させたこと等を検出して夜間であることが検出された場合にのみ設定されるようになっている。
本実施形態では、検出手段10は、図11に示すように、先行車両Vahが夜間に点灯させる左右のテールランプTLl、TLrを基準画像T中に検出するように構成されている。
具体的には、検出手段10は、前回の検出結果等に基づいて基準画像T上の先行車両Vahの左右のテールランプTLl、TLrが撮像されていると予測される画素領域を探索して高輝度領域を検出し、図12に示すように、左右の高輝度領域の上端位置Jmaxと下端位置Jminの中点をそれぞれ左右のテールランプTLl、TLrの中心のj座標cl_j、cr_jとし、また、高輝度領域の左右方向の最大値Imaxと最小値Iminをそれぞれ左右のテールランプTLl、TLrの中心のi座標cl_i、cr_iとして検出するようになっている。
そこで、代表距離算出手段11は、この結果を用いて、図13に斜線を付して示すように、左右のテールランプTLl、TLrの各上端位置Jmaxのより上側にある方と各下端位置Jminのより下側にある方を上端および下端とし、左のテールランプTLlの左右方向の最大値Imaxと右のテールランプTLrの左右方向の最小値Iminを左右端とする範囲R5を、先行車両Vahの左右のテールランプTLl、TLrの間の部分の領域として設定し、その領域に属する基準画素ブロックPBに検出された視差dpの情報を除外するようになっている。
また、代表距離算出手段11は、以上の第2除外範囲R2から第5除外範囲R5(なお、第5除外範囲R5の設定は夜間のみ)内に存在する視差dpの情報が、今回のサンプリング周期における先行車両Vahの自車両からの推定距離Zestから所定の間隔以上、すなわち例えば推定距離Zestの前後1[m]以上離れて存在する場合にのみ視差dpの情報をヒストグラムHnに投票する対象から除外するようになっている。
すなわち、代表距離算出手段11は、第2除外範囲R2から第5除外範囲R5内に存在する視差dpの情報が、前記所定の間隔より短い間隔で推定距離Zest付近に存在する場合には、当該視差dpの情報は、ヒストグラムHnに投票する対象から除外しないようになっている。なお、第1除外範囲R1における視差dpの情報の除外は常時行われる。
代表距離算出手段11は、以上の条件に当てはまる視差dpの情報を除外しながら、示唆dpの情報を距離画像Tzの各区分Dnごとに作成されたヒストグラムHnに投票していき、上記のように、各区分Dnごとに代表視差dpnや代表距離Znを算出するようになっている。
物体検出手段12は、代表距離算出手段11が算出した距離画像Tzの各区分Dnの各代表距離Znをグルーピングして物体を検出するようになっている。
具体的には、上記の背景技術で述べたように、代表距離算出手段11が算出した距離画像Tzの各区分Dnの各代表距離Znを図23に示したように実空間上にプロットし、図24に示したようにプロットされた各代表距離Znの間の距離や方向性に基づいて互いに隣接する各代表距離ZnをそれぞれグループG1、G2、G3、…にまとめてグループ化する。
そして、物体検出手段12は、図25に示したように各グループに属する各点をそれぞれ直線近似して、本実施形態では、それぞれのグループ内の各点がX軸方向に略平行に並ぶグループには“物体”Oとラベルし、各点がZ軸方向に略平行に並ぶグループには“側壁”Sとラベルして分類するようになっている。また、同一の物体の“物体”と“側壁”の交点とみなすことができる箇所にコーナー点としてCをラベルするようになっている。物体検出手段12は、このようにして各物体を検出するようになっている。
また、本実施形態では、物体検出手段12は、検出した各物体を、図26に示すように基準画像T上にそれぞれ矩形状の枠線で包囲するようにして、基準画像T上に可視化して検出するようになっている。
物体検出手段12は、さらに、検出した物体の中から先行車両Vahを検出するようになっている。
具体的には、物体検出手段12は、まず、図14に示すように自車両MCの挙動に基づいて自車両MCが今後進行するであろう軌跡を走行軌跡Lestとして推定し、その走行軌跡Lestを中心とする自車両MCの車幅分の領域を自車両Aの進行路Restとして算出するようになっている。
自車両MCの走行軌跡Lestは、自車両MCの車速Vやヨーレートγ、ステアリングホイールの舵角δ等に基づいて下記(9)式または下記(10)、(11)式に従って算出される自車両MCの旋回曲率Cuaに基づいて算出することができる。なお、下記の各式におけるReは旋回半径、Asfは車両のスタビリティファクタ、Lwbはホイールベースである。
Cua=γ/V …(9)
Re=(1+Asf・V)・(Lwb/δ) …(10)
Cua=1/Re …(11)
そして、物体検出手段12は、自車両MCの進行路Rest上に存在する物体の中で、自車両MCに最も近接する物体を自車両MCの前方を走行する先行車両Vahとして検出するようになっている。例えば図14や図15では、車両O3が先行車両Vahとして検出される。
なお、本実施形態では、物体検出手段12は、前回のサンプリング周期で検出した先行車両と今回のサンプリング周期で先行車両として検出した物体とが同一の先行車両である確率を算出するなどして、整合性を保ちながら先行車両を追跡するようになっている。また、物体検出手段12は、検出した先行車両Vahが自車両MCの前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。
次に、本実施形態に係る物体検出装置1の作用について説明する。
物体位置検出手段9により自車両の周囲に存在する物体の実空間上の距離Zの情報を含む位置の情報が検出され、距離画像Tzが形成されると、代表距離算出手段11は、距離画像Tzを縦方向に延在する短冊状の区分Dnに分割することで、実空間上の撮像領域Rを上下方向に延在する複数の区分空間Snに分割する。そして、各区分Dn(各区分空間Sn)ごとにヒストグラムHnを作成する。
また、代表距離算出手段11は、図5に示したように、物体検出手段12が前回のサンプリング周期で基準画像T上に検出した先行車両Vahを包囲する枠線Froldの位置から、自車両と先行車両Vahの相対速度や自車両のヨーレートγ等に基づいて今回のサンプリング周期で基準画像T上に検出されると予測される先行車両Vahの推定位置Frestを設定する。
そして、基準画像Tの基準画素ブロックPBに割り当てられた視差dpの情報を読み出して、各視差dpの情報が上記の第1除外範囲R1から第5除外範囲R5内に存在しない場合、または上記の第2除外範囲R2から第5除外範囲R5のいずれかの範囲内に存在しても視差dpの情報が今回のサンプリング周期における先行車両Vahの自車両からの推定距離Zestから所定の間隔より短い間隔で推定距離Zest付近に存在する場合にはヒストグラムHnに投票する対象から除外せず、当該視差dpの情報をその基準画素ブロックPBが属する区分DnのヒストグラムHnに投票していく。
そして、例えば各ヒストグラムHnにおける最頻値が属する階級の階級値を当該区分Dnにおける物体の代表視差dpnや代表距離Znとする。これを全区分Dnについて行い、各区分Dnごとに代表距離Znを算出する。区分Dnの代表視差dpnを算出した場合には、上記(3)式に基づいて代表距離Znに対応づけて各区分Dnごとに代表距離Znを算出する。
視差dpの情報のヒストグラムHnへの投票に際して、各視差dpの情報が図6に斜線を付して示した第1除外範囲R1内に存在する場合にヒストグラムHnに投票する対象から除外する。
第1除外範囲R1において、道路高モデルを用いて算出される道路面Sの位置からの高さが足元閾値Hth1以下の範囲R11内に検出された視差dpの情報を除外することで、例えば道路面S上に標示された追い越し禁止線や路側帯と車道とを区画する区画線等の車線や、最高速度を示す標示、進行方向を示す矢印の標示のほか、横断歩道を示すゼブラ模様の標示等が検出対象から除外される。そのため、道路面Sより上方にある物体のみが検出される。
また、第1除外範囲R1において、天井閾値Hth2以上の範囲R12に検出された視差dpの情報を除外することで、例えば道路面Sから高い位置で道路側にはみ出している街路樹の枝や道路を跨ぐ歩道橋や高架橋等が検出対象から除外される。そのため、自車両の走行に支障をきたさない物体が検出対象から除外され、道路面Sより上方にある物体のうち、自車両と接触したり衝突したりする可能性がある物体のみが検出されるようになる。
また、各視差dpの情報が図7や図8に斜線を付して示した第2除外範囲R2内に存在する場合にヒストグラムHnに投票する対象から除外することで、先行車両Vahが荷台付きトラックであった場合に図29に示した先行車両Vahの荷台Pの前壁FやキャブCaの背面に対応する視差dpの情報が除外され、その区分DnのヒストグラムHnには前壁FやキャブCaの背面に対応する視差dpの情報は投票されない。
しかし、図29に示した先行車両Vahの荷台Pの後あおりBの左右のエッジ部分の視差dpの情報は除外されず、その区分DnのヒストグラムHnに投票されるため、各ヒストグラムHnの代表距離Znを実空間上にプロットすると、図30に示した各代表距離Znの点のうち、距離Zfの前壁F等の部分の各点は検出されず、距離Zbの荷台Pの後あおりBの部分にのみ各代表距離Znがプロットされる。そのため、先行車両Vahであるトラックが距離Zbの位置に検出されるようになる。
また、各視差dpの情報が図9や図10に斜線を付して示した第3除外範囲R3内に存在する場合にヒストグラムHnに投票する対象から除外する。
先行車両Vahがタンクローリー等の大型自動車であった場合、通常の走行環境では、図16に示すタンクローリー等の左右のタイヤti、tiの間の領域Kは車体の影になって暗く撮像されるため問題にはならない。しかし、タンクローリー等は車高がある程度高いため、逆光の環境等では、左右のタイヤti、tiの間の領域Kの部分に差し込んだ光による明暗が基準画像Tや比較画像TC中に撮像され、その部分がステレオマッチング処理により検出されてその部分に視差dpの情報が算出される場合がある。
このようなタンクローリー等の車体下側の左右のタイヤti、tiの間の領域Kに視差dpの情報が算出されると、距離画像Tzのその部分の区分Dnで当該視差dpの情報が代表視差dpnとして算出されて、タンクローリー等の距離Zとして算出されるべき背面の位置よりも前方の位置が代表距離Znとして算出される場合を生じる。そして、この場合には、前述した荷台付きトラックの後あおりBの位置と前壁F等の位置との問題と同様の問題を生じる。
しかし、本実施形態のように、図9や図10に斜線を付して示した第3除外範囲R3内に各視差dpの情報が存在する場合にヒストグラムHnに投票する対象から除外することで、タンクローリー等の車体下側の左右のタイヤti、tiの間の領域Kに算出された視差dpの情報がヒストグラムHnに投票されなくなるため、その区分Dnの代表距離Znがタンクローリー等の車体下側の左右のタイヤti、tiの間の領域K内に検出されず、タンクローリー等の背面の位置が先行車両Vahの位置として検出されるようになる。
また、各視差dpの情報が上記の第4除外範囲R4内に存在する場合にヒストグラムHnに投票する対象から除外する。
上記の第4除外範囲R4内、すなわち基準画像T上の先行車両Vahの推定位置Frestの枠線内の基準画素ブロックPBに検出された視差dpの情報で、先行車両Vahの推定距離Zestより所定の距離L3以上手前側に検出された視差dpの情報は、先行車両Vah等に対するステレオマッチング処理におけるミスマッチングで検出されていると考えられる。そのため、そのような視差dpの情報を除外することで、先行車両Vahがより正確な位置に検出されるようになる。
また、各視差dpの情報が上記の第5除外範囲内に存在する場合にヒストグラムHnに投票する対象から除外する。
夜間の走行時等において、自車両がヘッドライトを点灯させた場合、図17に示すように、先行車両Vahの背面部分で自車両のヘッドライトの光が反射され、基準画像Tや比較画像TC上の先行車両Vahの左右のテールランプTLl、TLrの間の領域に自車両のヘッドライドHLが写り込む場合がある。
このような場合、基準画像Tと比較画像TCに対してステレオマッチング処理を行うと、先行車両Vahの左右のテールランプTLl、TLrの高輝度領域のエッジ部分と自車両のヘッドライトHLの高輝度領域のエッジ部分とがマッチングされてミスマッチングを生じ、誤った視差dpの情報が得られてしまい、先行車両Vahの距離Zを誤検出する場合がある。
しかし、本実施形態のように、図13に斜線を付して示した第5除外範囲R5内に各視差dpの情報が存在する場合にヒストグラムHnに投票する対象から除外することで、そのようなミスマッチングにより得られた視差dpの情報が除外され、先行車両Vahの左右のテールランプTLl、TLrがより正確な位置に検出されるようになる。そして、先行車両Vahもより正確な位置に検出されるようになる。
さらに、視差dpの情報が上記の第2除外範囲から第5除外範囲のいずれかの範囲内に存在しても視差dpの情報が先行車両Vahの推定距離Zestから所定の間隔より短い間隔で推定距離Zest付近に存在する場合にはヒストグラムHnに投票する対象から除外せず、当該区分DnのヒストグラムHnに投票して代表距離Znを算出することで、確からしい視差dpの情報についてはそれを含めて代表距離Znを算出することが可能となり、先行車両Vahの距離Zを含む位置の情報をより正確に算出することが可能となる。
以上のように、本実施形態に係る物体検出装置1によれば、実空間上の視差dpの情報すなわち物体の距離の情報を含む位置の情報を実空間上の各区分空間Sn(各区分Dn)のヒストグラムHnに投票する際に、視差dpの情報が明らかに誤って検出されていると判定できる実区間上の所定の範囲内の視差dpの情報を、予めヒストグラムHnの投票する対象から除外することで、周囲に存在する物体の距離を含む位置の情報を的確に検出することが可能となる。
また、物体の位置がサンプリング周期ごとに急に移動するように検出されることを防止することが可能となり、物体を安定して検出することが可能となる。そのため、例えば、先行車両の位置を的確にかつ安定して検出して、自車両が先行車両に追従するように的確かつ安定的に自車両に対する追従操舵制御等の自動走行制御を行うことが可能となる。
なお、本実施形態では、自車両に搭載した物体検出装置1により先行車両Vahを検出する場合について説明したが、対向車両等を含む他の車両を検出する場合に適用することも可能である。また、車両に搭載する場合だけでなく、例えば据え置き型の監視装置等としても用いることが可能である。
また、本実施形態では、ステレオカメラを備える撮像手段2により撮像された画像の画像解析により周囲の物体を検出する場合について説明したが、背景技術等でも述べたように、本発明は、レーダ装置から照射された電波の反射波解析により物体を検出し、或いはそれと画像解析とを組み合わせて物体位置検出手段9を構成する場合にも適用される。
本実施形態に係る物体検出装置の構成を示すブロック図である。 イメージプロセッサにおけるステレオマッチング処理の手法を説明する図である。 基準画像上に検出された左右の車線を示す図である。 形成された車線モデルの例を示す図であり、(A)は水平形状モデル、(B)は道路高モデルを表す。 前回検出時の先行車両の枠線の位置から推定される基準画像上の先行車両の推定位置を表す図である。 実空間における第1除外範囲や足元閾値、天井閾値等を説明する図である。 基準画像における第2除外範囲等を説明する図である。 実空間における第2除外範囲や先行車両の推定距離等を説明する図である。 基準画像における第3除外範囲等を説明する図である。 本実施形態における第3除外範囲の設定手法を説明する図である。 基準画像上に検出された先行車両の左右のテールランプを表す図である。 左右のテールランプの上端位置、下端位置、テールランプの中心、左右方向の最大値、最小値等を説明する図である。 基準画像における第5除外範囲等を説明する図である。 実空間上の自車両の走行軌跡や進行路を表す図である。 基準画像上の自車両の走行軌跡および先行車両を表す図である。 タンクローリー等の左右のタイヤの間の領域を説明する図である。 先行車両の背面部分に写り込んだ自車両のヘッドライトを表す図である。 基準画像の一例を示す図である。 図18の基準画像等に基づいて算出された距離画像を示す図である。 距離画像を分割する各区分を示す図である。 図20の各区分ごとに作成されるヒストグラムの一例を示す図である。 実空間上の照射領域を分割する複数の区分空間を表す平面図である。 各区分ごとの物体の代表距離を実空間上にプロットした図である。 図23の各点のグループ化を説明する図である。 図24の各グループに属する各点を直線近似して得られる物体を表す図である。 検出された各物体を基準画像上で矩形状の枠線に包囲して表す図である。 自車両の前方を走行する荷台付きトラックを表す図である。 図27の状態で撮像される画像を表す図である。 視差の情報が検出される荷台付きトラックの荷台の後あおりの左右のエッジ部分や前壁とキャブの背面部分に対応する部分を説明する図である。 図28の画像等に対するステレオマッチング処理で得られる各代表距離を実空間上にプロットした図である。
符号の説明
1 物体検出装置
9 物体位置検出手段
11 代表距離算出手段
12 物体検出手段
Ca キャブ
dp 位置の情報(視差の情報)
F 前壁
Frest 推定位置
Hn ヒストグラム
O、S 物体
P 荷台
R1〜R5 所定の範囲
Sn 区分空間
ti タイヤ
TLl、TLr テールランプ
Vah 物体(先行車両)
Z 距離
Zn 代表距離

Claims (5)

  1. 周囲に存在する物体の実空間上の距離の情報を含む位置の情報を検出する物体位置検出手段と、
    前記実空間を上下方向に延在する複数の区分空間に分割して、各区分空間ごとにヒストグラムを作成し、前記物体の距離の情報を当該物体の位置の情報が属する区分空間に対応するヒストグラムに投票し、投票結果に基づいて前記各区分空間ごとに代表距離を算出する代表距離算出手段と、
    前記各代表距離をグルーピングして前記物体を検出する物体検出手段と、を備え、
    前記代表距離算出手段は、前記実空間内の所定の範囲内に前記物体の位置の情報が存在する場合には、当該情報をヒストグラムに投票する対象から除外することを特徴とする物体検出装置。
  2. 前記所定の範囲は、荷台付きトラックの荷台の前壁またはキャブの背面が存在し得る範囲に設定されることを特徴とする請求項1に記載の物体検出装置。
  3. 前記所定の範囲は、大型自動車の左右のタイヤの間の領域が存在し得る範囲に設定されることを特徴とする請求項1または請求項2に記載の物体検出装置。
  4. 前記所定の範囲は、車両の左右のテールランプの間の部分を領域とする範囲に設定されることを特徴とする請求項1から請求項3のいずれか一項に記載の物体検出装置。
  5. 前記代表距離算出手段は、前記実空間内の所定の範囲内に存在する前記物体の位置の情報のうち、過去の前記物体の実空間上の検出位置から推定される今回の検出時における推定位置から所定の間隔以上離れて存在する前記物体の位置の情報を、前記ヒストグラムに投票する対象から除外することを特徴とする請求項2から請求項4のいずれか一項に記載の物体検出装置。
JP2008014587A 2008-01-25 2008-01-25 物体検出装置 Active JP4956453B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008014587A JP4956453B2 (ja) 2008-01-25 2008-01-25 物体検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008014587A JP4956453B2 (ja) 2008-01-25 2008-01-25 物体検出装置

Publications (2)

Publication Number Publication Date
JP2009176091A true JP2009176091A (ja) 2009-08-06
JP4956453B2 JP4956453B2 (ja) 2012-06-20

Family

ID=41031099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008014587A Active JP4956453B2 (ja) 2008-01-25 2008-01-25 物体検出装置

Country Status (1)

Country Link
JP (1) JP4956453B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011113330A (ja) * 2009-11-27 2011-06-09 Fuji Heavy Ind Ltd 物体検出装置および運転支援システム
WO2012133457A1 (ja) * 2011-03-28 2012-10-04 トヨタ自動車株式会社 物体認識装置
JP2012198733A (ja) * 2011-03-22 2012-10-18 Fuji Heavy Ind Ltd 車外監視装置および車外監視方法
JP2013080460A (ja) * 2011-09-30 2013-05-02 Ricoh Co Ltd 前方車両検知方法及び前方車両検知装置
JP2014096185A (ja) * 2014-02-07 2014-05-22 Fuji Heavy Ind Ltd 車両検出装置
JP2014119858A (ja) * 2012-12-14 2014-06-30 Fuji Heavy Ind Ltd 画像処理装置
JP2016136321A (ja) * 2015-01-23 2016-07-28 トヨタ自動車株式会社 物体検出装置及び物体検出方法
US10041791B2 (en) 2015-07-21 2018-08-07 Denso Corporation Object detection apparatus method
JP2020199993A (ja) * 2019-06-13 2020-12-17 株式会社デンソー 物体認識装置、運転支援システム
US10909395B2 (en) 2017-04-07 2021-02-02 Toyota Jidosha Kabushiki Kaisha Object detection apparatus
JP7406962B2 (ja) 2019-11-26 2023-12-28 株式会社Subaru 画像処理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143799A (ja) * 1996-11-13 1998-05-29 Nissan Motor Co Ltd 先行車追従装置
JP2001052171A (ja) * 1999-08-06 2001-02-23 Nissan Motor Co Ltd 周囲環境認識装置
JP2003204546A (ja) * 2002-09-20 2003-07-18 Fuji Heavy Ind Ltd 車外監視装置
JP2007156626A (ja) * 2005-12-01 2007-06-21 Nissan Motor Co Ltd 物体種別判定装置及び物体種別判定方法
JP2007261452A (ja) * 2006-03-29 2007-10-11 Fuji Heavy Ind Ltd 車線逸脱防止装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143799A (ja) * 1996-11-13 1998-05-29 Nissan Motor Co Ltd 先行車追従装置
JP2001052171A (ja) * 1999-08-06 2001-02-23 Nissan Motor Co Ltd 周囲環境認識装置
JP2003204546A (ja) * 2002-09-20 2003-07-18 Fuji Heavy Ind Ltd 車外監視装置
JP2007156626A (ja) * 2005-12-01 2007-06-21 Nissan Motor Co Ltd 物体種別判定装置及び物体種別判定方法
JP2007261452A (ja) * 2006-03-29 2007-10-11 Fuji Heavy Ind Ltd 車線逸脱防止装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011113330A (ja) * 2009-11-27 2011-06-09 Fuji Heavy Ind Ltd 物体検出装置および運転支援システム
JP2012198733A (ja) * 2011-03-22 2012-10-18 Fuji Heavy Ind Ltd 車外監視装置および車外監視方法
CN102842028A (zh) * 2011-03-22 2012-12-26 富士重工业株式会社 车外监视装置及车外监视方法
DE102012102320B4 (de) * 2011-03-22 2020-03-05 Subaru Corporation Fahrzeugumfeldüberwachungsvorrichtung und Fahrzeugumfeldüberwachungsverfahren
WO2012133457A1 (ja) * 2011-03-28 2012-10-04 トヨタ自動車株式会社 物体認識装置
JP2012203806A (ja) * 2011-03-28 2012-10-22 Toyota Motor Corp 物体認識装置
CN103443838A (zh) * 2011-03-28 2013-12-11 丰田自动车株式会社 物体识别装置
JP2013080460A (ja) * 2011-09-30 2013-05-02 Ricoh Co Ltd 前方車両検知方法及び前方車両検知装置
JP2014119858A (ja) * 2012-12-14 2014-06-30 Fuji Heavy Ind Ltd 画像処理装置
JP2014096185A (ja) * 2014-02-07 2014-05-22 Fuji Heavy Ind Ltd 車両検出装置
DE102016200828A1 (de) 2015-01-23 2016-07-28 Denso Corporation Objekterfassungsvorrichtung und Objekterfassungsverfahren
US9886773B2 (en) 2015-01-23 2018-02-06 Toyota Jidosha Kabushiki Kaisha Object detection apparatus and object detection method
JP2016136321A (ja) * 2015-01-23 2016-07-28 トヨタ自動車株式会社 物体検出装置及び物体検出方法
DE102016200828B4 (de) 2015-01-23 2022-08-04 Denso Corporation Objekterfassungsvorrichtung und Objekterfassungsverfahren
US10041791B2 (en) 2015-07-21 2018-08-07 Denso Corporation Object detection apparatus method
US10909395B2 (en) 2017-04-07 2021-02-02 Toyota Jidosha Kabushiki Kaisha Object detection apparatus
DE102018108027B4 (de) 2017-04-07 2024-04-18 Toyota Jidosha Kabushiki Kaisha Objekterfassungsvorrichtung
JP2020199993A (ja) * 2019-06-13 2020-12-17 株式会社デンソー 物体認識装置、運転支援システム
JP7268490B2 (ja) 2019-06-13 2023-05-08 株式会社デンソー 物体認識装置、運転支援システム
JP7406962B2 (ja) 2019-11-26 2023-12-28 株式会社Subaru 画像処理装置

Also Published As

Publication number Publication date
JP4956453B2 (ja) 2012-06-20

Similar Documents

Publication Publication Date Title
JP4956453B2 (ja) 物体検出装置
US20240132154A1 (en) Road profile along a predicted path
US10696227B2 (en) Determining a road surface characteristic
CN109117709B (zh) 用于自动驾驶车辆的碰撞避免系统
US9064418B2 (en) Vehicle-mounted environment recognition apparatus and vehicle-mounted environment recognition system
US8605947B2 (en) Method for detecting a clear path of travel for a vehicle enhanced by object detection
US11620837B2 (en) Systems and methods for augmenting upright object detection
JP4676373B2 (ja) 周辺認識装置、周辺認識方法、プログラム
CN102646343B (zh) 车辆检测装置
JP4856656B2 (ja) 車両検出装置
US9360332B2 (en) Method for determining a course of a traffic lane for a vehicle
US20150073705A1 (en) Vehicle environment recognition apparatus
US20100098297A1 (en) Clear path detection using segmentation-based method
JP4901275B2 (ja) 走行誘導障害物検出装置および車両用制御装置
JP5411671B2 (ja) 物体検出装置および運転支援システム
US20230394682A1 (en) Object tracking device and object tracking method
JP7425223B2 (ja) 物体追跡装置及び物体追跡方法
WO2022230738A1 (ja) 物体追跡装置及び物体追跡方法
WO2022230739A1 (ja) 物体追跡装置
Schneider et al. An evaluation framework for stereo-based driver assistance
Jager et al. Lane Change Assistant System for Commercial Vehicles equipped with a Camera Monitor System

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120228

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120316

R150 Certificate of patent or registration of utility model

Ref document number: 4956453

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250