JP2009176090A - 環境認識装置 - Google Patents

Abstract

【課題】対象物を有効に検出して周囲の環境を認識することが可能な環境認識装置を提供する。
【解決手段】環境認識装置１は、一対のカメラ２ａ、２ｂで周囲の環境中の対象Ｖahを撮像して２枚一組の画像Ｔ_O、Ｔ_Cを出力する撮像手段２と、異なる撮像方法で撮像され、または撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対してステレオマッチング処理を行って各組ごとに距離画像Ｔ_Z１、Ｔ_Z２を形成するステレオマッチング手段７ａ、７ｂと、各距離画像Ｔ_Z１、Ｔ_Z２をそれぞれ複数の区分Ｄｎに分割して各区分Ｄｎごとに代表視差ｄｐｎ１、ｄｐｎ２を算出し、対応する区分Ｄｎの各代表視差ｄｐｎ１、ｄｐｎ２のうちいずれかの代表視差を選択して当該区分Ｄｎの代表視差ｄｐｎとする選択手段１１と、各区分Ｄｎの代表視差ｄｐｎに基づいて画像Ｔ_O中に撮像された対象を検出する検出手段１２と、を備える。
【選択図】図１

Description

本発明は、環境認識装置に係り、特に、撮像画像中に撮像された対象を検出して周囲の環境を認識する環境認識装置に関する。

ステレオカメラを用いて周囲の環境内に存在する対象物までの距離を測定する手法としては、左右同じ高さに取り付けられた一対のカメラで撮像された一対の撮像画像を用いて、一対の撮像画像のうち、基準となる一方の撮像画像（以下、基準画像Ｔ_Oという。）と他方の撮像画像（以下、比較画像Ｔ_Cという。）とを比較して、同じ対象物が撮像されている各画像中の各位置の差、すなわち視差を算出し、その視差に基づいて対象物までの距離を算出する手法が一般的である。そして、基準画像と比較画像で同じ対象物が撮像されている位置を特定する手法としては、通常、ステレオマッチング処理が行われる（例えば特許文献１、２等参照）。

ステレオマッチング処理では、図１７に示すように、基準画像Ｔ_Oを例えば３×３画素や４×４画素等の所定の画素数の小領域（以下、画素ブロックＰＢ_Oという。）に分割し、各画素ブロックＰＢ_Oごとに、比較画像Ｔ_C中で当該画素ブロックＰＢ_Oに対応する上下方向の位置にエピポーララインＥＰＬを設定し、画素ブロックＰＢ_Oの輝度パターンと、当該エピポーララインＥＰＬ上に存在する画素ブロックＰＢ_Oと同形の画素ブロックＰＢ_Cの輝度パターンとを比較する。

その際、例えば、基準画像Ｔ_Oの画素ブロックＰＢ_O中の各画素の輝度値をｐ１stとし、比較画像Ｔ_Cの画素ブロックＰＢ_C中の各画素の輝度値をｐ２stとした場合、輝度パターンの差異として下記（１）式のＳＡＤ（Sum of Absolute Difference）値を算出し、予め設定された閾値以下の値となるＳＡＤ値のうち、最小のＳＡＤ値を与える比較画像Ｔ_Cの画素ブロックＰＢ_Cが、基準画像Ｔ_Oの画素ブロックＰＢ_Oに撮像されている対象物と同じ対象物が撮像されている比較画像上の画素ブロックとして特定される。

そして、比較画像Ｔ_C上に特定された画素ブロックＰＢ_Cと元の基準画像Ｔ_Oの画素ブロックＰＢ_Oとの視差ｄｐが算出され、その視差ｄｐに基づいて三角測量の原理によりその画素ブロックＰＢ_Oに撮像されている対象物までの距離Ｚが算出される。そして、算出された距離Ｚに基づいて周囲の環境中から対象物が検出される。

このような基準画像Ｔ_Oと比較画像Ｔ_Cに対するステレオマッチング処理により視差ｄｐを算出して対象物までの距離Ｚを算出する対象物の検出手法は、前記特許文献１、２等に記載されているように、通常の撮像環境中では支障なく機能し、周囲の環境中から対象物を有効に検出することができることが確認されている。

しかし、例えばステレオカメラが逆光の環境内に置かれた場合、図１８（Ａ）に例示する基準画像Ｔ_Oでは逆光が入射されて画像が全体的に明るく撮像されているのに対し、同じシーンで撮像された図１８（Ｂ）に示す比較画像Ｔ_Cでは逆光がビル等に遮られてさほど強くは入射されずに画像が全体的に基準画像Ｔ_Oよりも暗めに撮像される場合がある。

このように一対のカメラの明るさのバランスが崩れると、上記（１）式中の基準画像Ｔ_Oの画素ブロックＰＢ_Oの各画素の輝度値ｐ１stと比較画像Ｔ_Cの画素ブロックＰＢ_Cの各画素の輝度値ｐ２stとの差が全体的に大きくなる。そのため、算出されるＳＡＤ値が大きな値になって前述した閾値を越えてしまい、有効に視差ｄｐが算出されずに棄却される画素ブロックＰＢ_Oが増大する。

そのため、基準画像Ｔ_Oの各画素ブロックＰＢ_Oに算出された視差ｄｐを割り当てて形成されるデータ画像（以下、距離画像Ｔ_Zという。）は、図１９に示すように、有効な視差ｄｐのデータがさほど多く割り当てられていない距離画像Ｔ_Zが得られ、対象物の検出が困難になったり、対象物の検出結果の信頼性が低下する場合がある。最悪の場合には、ほとんど有効な視差ｄｐのデータがない距離画像Ｔ_Zしか得られず、対象物をまったく検出できなくなる場合も生じる。

このような場合、例えば図１８（Ａ）に示した基準画像Ｔ_Oに属する各画素についてその左隣または右隣の画素との間で輝度値ｐ１ijの差分を算出して図２０（Ａ）のような基準エッジ画像ＴＥ_Oを形成し、また、図１８（Ｂ）に示した比較画像Ｔ_Cについても同様にして図２０（Ｂ）のような比較エッジ画像ＴＥ_Cを形成し、それらのエッジ画像ＴＥ_O、ＴＥ_Cに対してステレオマッチング処理を行うように構成することが可能である。

このようにして形成された基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cに対してステレオマッチング処理を行うことで、図２１に示すように、有効な視差ｄｐのデータが比較的多く割り当てられた距離画像（以下、エッジ画像に基づく距離画像をエッジ距離画像という。）ＴＥ_Zが得られ、上記のように元の基準画像Ｔ_Oと比較画像Ｔ_Cに対する直接ステレオマッチング処理では対象物を有効に検出し難い場合でも、有効に対象物を検出することが可能となる場合がある。なお、図２０（Ａ）、（Ｂ）および図２１では、基準エッジ画像ＴＥ_Oや比較エッジ画像ＴＥ_C、エッジ距離画像ＴＥ_Zの一部が示されている。
特開平１０−２８３４６１号公報 特開平１０−２８３４７７号公報

しかしながら、エッジ処理は、隣接する画素の輝度値の差分をとる際に多くの情報が失われてしまうという問題がある。すなわち、２５６の輝度階調において輝度値の差分として３０という値が得られた場合、それが輝度値５０と８０との差なのか、２００と２３０との差なのかは分からない。また、それにより、基準画像Ｔ_Oや比較画像Ｔ_Cのノイズ成分が増幅されてしまうという問題もある。

また、１画素幅或いは数画素幅の輝度値の差しか見ていないため、基準画像Ｔ_Oや比較画像Ｔ_Cの周波数成分のうちの低周波数側の成分の情報も失われてしまう。そのため、ミスマッチングを生じ易くなるという問題もある。さらには、エッジ処理では、構造や模様等に乏しい壁やアスファルトの道路面等に対して有効な情報が得られ難いという問題もある。

このように、上記のような例でエッジ処理が有効であるからといって、常時、基準画像Ｔ_Oや比較画像Ｔ_Cにエッジ処理を施して基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cを形成し、それらに対してステレオマッチング処理を行って得られたエッジ距離画像ＴＥ_Zのみに基づいて対象物の検出を行うように構成することは避けられるべきである。

しかし、基準画像Ｔ_Oや比較画像Ｔ_Cから得られた距離画像Ｔ_Zのみに基づいて対象物検出を行うように構成すると、前述したように、通常の撮像環境中では周囲の環境中から対象物を有効に精度良く検出することができるが、上記のような特殊な環境下において対象物の検出が困難になることも否定できない。

本発明は、このような事情に鑑みてなされたものであり、対象物を有効に検出して周囲の環境を認識することが可能な環境認識装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、環境認識装置において、
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
異なる撮像方法で撮像された２枚一組の画像の複数の組または撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対して、各組の２枚の画像ごとにステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差をそれぞれ割り当てて各組ごとに１枚ずつ距離画像を形成するステレオマッチング手段と、
前記各組ごとに１枚ずつ形成された前記各距離画像をそれぞれ縦方向に延びる短冊状の複数の区分に分割して各区分ごとにそれぞれ代表視差を算出し、前記各組の各距離画像の互いに対応する区分の前記各代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備えることを特徴とする。

第２の発明は、第１の発明の環境認識装置において、前記異なる撮像方法で撮像された２枚一組の画像の複数の組とは、前記撮像手段の撮像条件を変えて撮像された２枚一組の画像の複数の組であることを特徴とする。

第３の発明は、第１または第２の発明の環境認識装置において、前記撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組は、前記撮像手段により撮像された２枚の画像の組、前記２枚一組の画像に対してそれぞれエッジ処理が施されて形成された２枚の画像の組、前記２枚一組の画像の解像度をそれぞれ変えて形成された２枚の画像の組、または画像の明るさをそれぞれ変えて形成された２枚の画像の組のいずれかであることを特徴とする。

第４の発明は、第１から第３のいずれかの発明の環境認識装置において、前記選択手段は、前記距離画像からノイズを除去する際の閾値を変更して前記２枚の画像の組を形成することを特徴とする。

第５の発明は、第１から第４のいずれかの発明の環境認識装置において、前記選択手段は、前記撮像された２枚一組の画像から形成された前記距離画像を分割する前記区分の画素幅を変更して形成した前記各区分ごとにそれぞれ代表視差を算出し、互いに対応する前記区分の前記各代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択することを特徴とする。

第６の発明は、第１から第５のいずれかの発明の環境認識装置において、前記選択手段は、前記各組ごとに形成された前記各距離画像の前記複数の区分について各区分ごとにそれぞれヒストグラムを作成し、当該ヒストグラムにおける前記視差の度数に基づいてその最頻値を前記代表視差として算出することを特徴とする。

第７の発明は、第６の発明の環境認識装置において、前記選択手段は、前記各組ごとに形成された各距離画像の対応する区分の前記各代表視差のうち、度数が最大の代表視差、分散が最小となるヒストグラムに基づく代表視差、前記最頻値が最も大きい代表視差、または前回のサンプリング周期で検出された前記対象の位置から推定される今回のサンプリング周期における当該対象までの距離に最も近い距離を与える代表視差のいずれかの代表視差を選択して当該区分の代表視差とすることを特徴とする。

第８の発明は、第６または第７の発明の環境認識装置において、前記選択手段は、前記撮像された２枚一組の画像から形成された前記距離画像の前記複数の区分について各区分ごとにそれぞれ作成する前記ヒストグラムの最大値、最小値または階級幅の少なくとも１つを変更した複数種類のヒストグラムを作成し、当該複数種類のヒストグラムについてそれぞれ前記代表視差を算出することを特徴とする。

第９の発明は、環境認識装置において、
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備え、
前記複数種類の代表視差は、前記距離画像からノイズを除去する際の閾値が異なる値に設定されて形成された複数種類の前記距離画像に基づいて算出されることを特徴とする。

第１０の発明は、環境認識装置において、
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備え、
前記複数種類の代表視差は、前記距離画像を分割する前記区分の画素幅が異なる画素幅に設定されることで算出される複数種類の代表視差であることを特徴とする。

第１１の発明は、環境認識装置において、
一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
を備え、
前記選択手段は、前記各区分ごとにそれぞれヒストグラムを作成し、当該ヒストグラムにおける前記視差の最頻値を前記代表視差として算出し、前記各区分のヒストグラムとして、前記ヒストグラムの最大値、最小値または階級幅の少なくとも１つが変更された複数種類のヒストグラムを用いることで前記複数種類の代表視差を算出することを特徴とする。

第１２の発明は、第１から第１１のいずれかの発明の環境認識装置において、前記選択手段は、所定の重み付けがなされた前記代表視差のいずれかを選択することを特徴とする。

第１３の発明は、第１から第１２のいずれかの発明の環境認識装置において、前記２枚一組の画像を得るための前記撮像方法、前記２枚一組の画像に対する前記画像処理方法、または前記距離画像に対する処理のしかたを切り替えることが可能とされていることを特徴とする。

第１４の発明は、第１３の発明の環境認識装置において、前記撮像方法、前記画像処理方法、または前記距離画像に対する処理のしかたの切り替えは、周囲の環境に応じて行われることを特徴とする。

第１５の発明は、第１から第１４のいずれかの発明の環境認識装置において、前記対象は、基準面より高い位置に存在する立体物であることを特徴とする。

第１６の発明は、第１から第１５のいずれかの発明の環境認識装置において、前記視差および前記代表視差に代えて、三角測量の原理に基づいて前記視差および前記代表視差にそれぞれ一意に対応付けられる距離および代表距離を用いて前記ステレオマッチング手段における処理および前記選択手段における処理が構成されていることを特徴とする。

第１の発明によれば、撮像された２枚一組に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対してそれぞれステレオマッチング処理を行い、複数種類の距離画像を得る。そして、複数種類の距離画像をそれぞれ複数の区分に分割し、各区分についてより条件に適合する代表視差を選択してその区分の代表視差とする。そのため、各区分について、それぞれ複数種類の距離画像に基づく代表視差の中からより優秀な代表視差を各区分の代表視差として抽出することが可能となり、例えば一方の画像の組だけでは距離画像のある区分で代表視差を抽出することが困難な状況であっても、他方の画像の組の当該区分のデータでそれを補うことが可能となる。

このように、第１の発明によれば、区分ごとのいわば「良いとこ取り」により区分の代表視差を的確に抽出することが可能となり、抽出されたデータに基づいて先行車両等の対象物を有効に検出して、周囲の環境を的確に認識することが可能となる。

第２の発明によれば、撮像手段の撮像条件を変えて２枚一組の画像を撮像することで、撮像条件が異なる２枚一組の画像の複数の組を得ることが可能となる。そして、このようにして得られた複数の画像の組に基づいて算出された代表視差の中から優秀な代表視差を選択することが可能となり、前記発明の効果が的確に発揮される。

第３の発明によれば、撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組を、撮像手段により撮像された２枚の画像の組、２枚一組の画像に対してそれぞれエッジ処理が施されて形成された２枚の画像の組、２枚一組の画像の解像度をそれぞれ変えて形成された２枚の画像の組、距離画像の形成の際のノイズ除去の閾値が変更されて形成された２枚の画像の組、または画像の明るさをそれぞれ変えて形成された２枚の画像の組のいずれかとすることで、画像処理方法が異なる２枚一組の画像の複数の組を得ることが可能となる。そして、このようにして得られた複数の画像の組に基づいて算出された代表視差の中から優秀な代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。

第４および第９の発明によれば、距離画像からノイズを除去する際の閾値を変更して２枚の画像の組を形成することで、ノイズ除去の閾値が異なる２枚一組の画像の複数の組を得ることが可能となる。そして、このようにして得られた複数の画像の組に基づいて算出された代表視差の中から優秀な代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。

第５および第１０の発明によれば、撮像された２枚一組の画像から形成された距離画像を分割する区分の画素幅を変更することで、距離画像を異なる画素幅の区分で分割した複数種類の代表視差を得ることが可能となる。そして、このようにして得られた複数種類の代表視差の中から優秀な代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。

第６の発明によれば、各区分ごとにそれぞれヒストグラムを作成してその度数の最頻値を代表視差として算出することで、容易かつ的確に代表視差を算出することが可能となり、前記各発明の効果が的確に発揮される。

第７の発明によれば、度数が最大の代表視差を選択して区分の代表視差とすれば的確な区分の代表視差を即座に選択することが可能となり、分散が最小となるヒストグラムに基づく代表視差を選択して区分の代表視差とすればノイズ等の影響が少ない代表視差を選択することが可能となり、最頻値が最も大きい代表視差を選択して区分の代表視差とすれば撮像手段に最も近い位置の代表視差を選択することが可能となり、前回のサンプリング周期で検出された対象の位置から推定される今回のサンプリング周期における当該対象までの距離に最も近い距離を与える代表視差を選択して区分の代表視差とすれば対象を安定して検出することが可能となる。

このように、対象を検出する際に求められる条件に応じて区分の代表視差の選択手法を決めることで、その条件に適した区分の代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。

第８および第１１の発明によれば、撮像された２枚一組の画像から形成された距離画像の複数の区分について各区分ごとにそれぞれ作成するヒストグラムの最大値、最小値または階級幅の少なくとも１つを変更することで、距離画像の同じ区分に対して複数種類の代表視差を得ることが可能となる。そして、このようにして得られた複数種類の代表視差の中から優秀な代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。

第１２の発明によれば、代表視差に所定の重み付けをして選択することで、算出のもととなるデータ数が異なる代表視差同士を平等に選択することが可能となり、或いは優先したい方の代表視差の重みを大きくしてその代表視差が選択され易くすることが可能となり、対象を検出する際に求められる条件に応じて重みを決定することで、その条件に適した区分の代表視差を選択することが可能となり、前記各発明の効果が的確に発揮される。

第１３および第１４の発明によれば、撮像方法や画像処理方法、または距離画像に対する処理のしかたを切り替え可能とし、特に周囲の環境に応じて切り替えることで、対象を検出する際に求められる条件に適した撮像方法等に切り替えて代表視差を算出することが可能となり、特に、例えば日中から夜間に変化するように周囲の環境が変化する際に、特定の環境（例えば日中）に適した撮像方法等から他の特定の環境（例えば夜間）に適した撮像方法等に切り替えて代表視差を算出することが可能となる。そのため、周囲の環境等に応じて撮像方法等を切り替えることで、周囲の環境中から対象物を的確に検出して環境を認識することが可能となり、前記各発明の効果が的確に発揮される。

第１５の発明によれば、対象として先行車両等の基準面（道路面）より高い位置に存在する立体物を検出する場合にも、前記各発明を適用することが可能であり、前記各発明の効果が的確に発揮される。

第１６の発明によれば、視差や代表視差は、三角測量の原理に基づいて距離や代表距離と一意に対応づけることができる。そのため、視差や代表視差に代えて距離や代表距離を用いて処理を組み立てることが可能であり、そのような場合にも前記各発明の効果が的確に発揮される。

以下、本発明に係る環境認識装置の実施の形態について、図面を参照して説明する。

なお、以下では、環境認識装置を車両に搭載して先行車両を検出する場合について説明するが、対象物は先行車両には限定されず、他の車両や歩行者、障害物等、或いはそれらすべてを認識対象とするように構成することも可能である。また、環境認識装置は、車両に搭載して用いられる形態に限定されず、例えば自走式ロボット等の他の移動体に搭載したり、或いは据え置き型の監視装置等としても用いる形態とすることも可能である。

本実施形態に係る環境認識装置１は、図１に示すように、撮像手段２、変換手段３、および選択手段１１や検出手段１２を備える認識手段１０等で構成されている。また、環境認識装置１は、２系統の画像処理手段６ａ、６ｂを備えている。

なお、撮像手段２や変換手段３、画像補正部４、画像データメモリ５、第１、第２ステレオマッチング手段７ａ、７ｂと第１、第２距離データメモリ８ａ、８ｂを備える第１、第２画像処理手段６ａ、６ｂの構成は本願出願人により先に提出された前記特許文献１、２のほか、特開平５−１１４０９９号公報や特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開２００６−７２４９５号公報等に詳述されている。以下、簡単に説明する。

撮像手段２は、本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され例えばフロントガラスの車内側に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられた一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。

メインカメラ２ａおよびサブカメラ２ｂは、道路面から同じ高さに取り付けられており、所定のサンプリング周期で同時に自車両の周囲の環境を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ２ａは図２に例示される基準画像Ｔ_Oの画像データを出力し、運転者から遠い側に配置されたサブカメラ２ｂは図示を省略する比較画像Ｔ_Cの画像データを出力するようになっている。本実施形態では、基準画像Ｔ_Oおよび比較画像Ｔ_Cが２枚一組の画像となる。

メインカメラ２ａとサブカメラ２ｂから出力された画像データは、変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでアナログ画像からそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部４で、ずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ５に送信されて格納されるとともに、第１画像処理手段６ａおよび第２画像処理手段６ｂに送信されるようになっている。

画像処理手段６ａは、イメージプロセッサ等からなる第１ステレオマッチング手段７ａと第１距離データメモリ８ａとを備えている。

なお、本実施形態では、第１画像処理手段６ａでは、基準画像Ｔ_Oや比較画像Ｔ_Cに前処理を施さず、基準画像Ｔ_Oや比較画像Ｔ_Cに対して直接ステレオマッチング処理を行う場合について説明するが、後述する第２画像処理手段６ｂの場合と同様に、第１画像処理手段６ａにおいても基準画像Ｔ_Oや比較画像Ｔ_Cに対して前処理が施されて形成された２枚一組の画像に対してステレオマッチング処理を行うように構成することも可能である。その場合、第１画像処理手段６ａと第２画像処理手段６ｂには互いに異なる前処理の手法で前処理された２枚一組の画像がそれぞれ入力される。

第１ステレオマッチング手段７ａでは、図１７に示した手法でステレオマッチング処理が行われるようになっている。すなわち、第１ステレオマッチング手段７ａは、基準画像Ｔ_O上に例えば３×３画素や４×４画素等の所定の画素数の画素ブロックＰＢ_Oを設定し、画素ブロックＰＢ_Oに対応する比較画像Ｔ_Cの上下方向の位置にエピポーララインＥＰＬを設定し、エピポーララインＥＰＬ上を例えば左から右に向かって１画素分ずつシフトさせながら比較画像Ｔ_Cの各画素ブロックＰＢ_Cを探索し、上記（１）式に従ってＳＡＤ値を算出して、ＳＡＤ値が閾値以下で、かつ最小の画素ブロックＰＢ_Cを特定するようになっている。

本実施形態では、このようにＳＡＤ値を用いるように構成されているが、この他にも、例えば画素ブロックＰＢ_O中の各画素の輝度値ｐ１stと画素ブロックＰＢ_C中の各画素の輝度値ｐ２stとの差の二乗和に基づいてステレオマッチング処理を行うように構成することも可能である。また、画素ブロックＰＢ_Oと画素ブロックＰＢ_Cとの輝度パターンの差異を適切に算出できるものであれば他の計算式に従って算出される差異に基づいてステレオマッチング処理を行うように構成することも可能である。

第１ステレオマッチング手段７ａは、さらに、ステレオマッチング処理により特定した画素ブロックＰＢ_Cの比較画像Ｔ_C上の位置と元の基準画像Ｔ_O上の画素ブロックＰＢ_Oの位置から第１視差ｄｐ１を算出する。そして、以上の処理を基準画像Ｔ_O上の全画素ブロックＰＢ_Oについて行って、画素ブロックＰＢ_Oごとに第１視差ｄｐ１を算出するようになっている。

基準画像Ｔ_Oの各画素ブロックＰＢ_Oに、算出された有効な第１視差ｄｐ１を割り当てると、例えば図３に例示するように、各画素ブロックＰＢ_Oに第１視差ｄｐ１が割り当てられた第１距離画像Ｔ_Z１が形成される。第１ステレオマッチング手段７ａは、このようにして、ステレオマッチング処理により第１視差ｄｐ１を算出し、第１距離画像Ｔ_Z１を形成するようになっている。

なお、一対のメインカメラ２ａとサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向（左右方向）をＸ軸方向、車高方向（高さ方向）をＹ軸方向、車長方向（前後方向）をＺ軸方向とした場合の実空間上の点（Ｘ_１，Ｙ_１，Ｚ_１）と、上記の第１視差ｄｐ１、第１距離画像Ｔ_Z１上の点（ｉ_１，ｊ_１）とは、三角測量の原理に基づき下記（２）〜（４）式で表される座標変換により一意に対応づけられる。
Ｘ_１＝ＣＤ／２＋Ｚ_１×ＰＷ×（ｉ_１−ＩＶ） …（２）
Ｙ_１＝ＣＨ＋Ｚ_１×ＰＷ×（ｊ_１−ＪＶ） …（３）
Ｚ_１＝ＣＤ／（ＰＷ×（ｄｐ１−ＤＰ）） …（４）

上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の第１距離画像Ｔ_Z１上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

このように、第１視差ｄｐ１と第１距離Ｚ_１とは一意に対応づけられるものであるため、第１ステレオマッチング手段７ａにおいて、算出した第１視差ｄｐ１を上記（４）式に従って第１距離Ｚ_１に変換し、基準画像Ｔ_Oの各画素ブロックＰＢ_Oに、変換した第１距離Ｚ_１を割り当てて第１距離画像Ｔ_Z１を形成するように構成することも可能である。

第１ステレオマッチング手段７ａは、上記のようにして形成した第１距離画像Ｔ_Z１の情報を第１距離データメモリ８ａに送信して格納させるようになっている。

なお、この第１ステレオマッチング手段７ａでは、メインカメラ２ａとサブカメラ２ｂで前述した図１８（Ａ）、（Ｂ）に示したような基準画像Ｔ_Oと比較画像Ｔ_Cが撮像されるシーンでは、図１９に示したような第１距離画像Ｔ_Z１が形成される。

一方、第２画像処理手段６ｂには、前処理手段９（図１参照）で基準画像Ｔ_Oと比較画像Ｔ_Cに対してそれぞれ所定の前処理が施されて形成された２枚一組の画像が入力されるようになっている。

本実施形態では、前処理手段９では、所定の前処理として基準画像Ｔ_Oと比較画像Ｔ_Cに対して前述したエッジ処理を行って基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cを形成するようになっている。すなわち、基準画像Ｔ_Oに属する各画素について本実施形態では当該画素の輝度値とその左隣の画素の輝度値との差分を算出して基準エッジ画像ＴＥ_Oを形成し、また、比較画像Ｔ_Cについても同様にして比較エッジ画像ＴＥ_Cを形成するようになっている。

例えば、図１８（Ａ）、（Ｂ）に示したような基準画像Ｔ_Oや比較画像Ｔ_Cに対してエッジ処理を行うと、図２０（Ａ）、（Ｂ）に示したように、前記輝度値の差分値を各画素の輝度値とする基準エッジ画像ＴＥ_Oや比較エッジ画像ＴＥ_Cが形成される。前処理手段９は、このようにして基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cとをそれぞれ形成して、第２画像処理手段６ｂに送信するようになっている。

第２画像処理手段６ｂは、上記の第１画像処理手段６ａと同様に構成されており、第２画像処理手段６ｂの第２ステレオマッチング手段７ｂにおいても、図１７に示した手法でステレオマッチング処理が行われるようになっている。ただし、ステレオマッチング処理の対象は基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cである。

そして、第２ステレオマッチング手段７ｂは、第１ステレオマッチング手段７ａと同様にして基準エッジ画像ＴＥ_O上の画素ブロックごとに第２視差ｄｐ２を算出し、基準エッジ画像ＴＥ_Oの各画素ブロックに、算出した第２視差ｄｐ２を割り当てて第２距離画像Ｔ_Z２（すなわちエッジ距離画像ＴＥｚ）を形成するようになっている。図２０（Ａ）、（Ｂ）に示した基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cから図２１に示したような第２距離画像Ｔ_Z２が得られる。

なお、基準エッジ画像ＴＥ_Oの各画素ブロックは、第１ステレオマッチング手段７ａにおける基準画像Ｔ_O上の各画素ブロックＰＢ_Oと同じ画素位置に設定されるため、第２距離画像Ｔ_Z２は、基準画像Ｔ_Oの各画素ブロックＰＢ_Oに算出した各第２視差ｄｐ２を割り当てて形成されると表現することも可能である。

また、上記と同様に原点やＸ軸方向、Ｙ軸方向、Ｚ軸方向を設定し、第２視差ｄｐ２から算出される実空間上の点の座標を（Ｘ_２，Ｙ_２，Ｚ_２）とした場合、それと第２視差ｄｐ２、第２距離画像Ｔ_Z２上の点（ｉ_２，ｊ_２）とは、三角測量の原理に基づき下記（５）〜（７）式で表される座標変換により一意に対応づけられる。なお、式中のＣＤ等は上記と同様である。
Ｘ_２＝ＣＤ／２＋Ｚ_２×ＰＷ×（ｉ_２−ＩＶ） …（５）
Ｙ_２＝ＣＨ＋Ｚ_２×ＰＷ×（ｊ_２−ＪＶ） …（６）
Ｚ_２＝ＣＤ／（ＰＷ×（ｄｐ２−ＤＰ）） …（７）

また、第２視差ｄｐ２と第２距離Ｚ_２とが一意に対応づけられるものであるため、第２ステレオマッチング手段７ｂにおいて、算出した第２視差ｄｐ２を上記（７）式に従って第２距離Ｚ_２に変換し、基準エッジ画像ＴＥ_O（基準画像Ｔ_O）の各画素ブロックＰＢ_Oに、変換した第２距離Ｚ_２を割り当てて第２距離画像Ｔ_Z２を形成するように構成することも可能である。

第２ステレオマッチング手段７ｂは、上記のようにして形成した第２距離画像Ｔ_Z２の情報を第２距離データメモリ８ｂに送信して格納させるようになっている。

このように、本実施形態では、撮像された基準画像Ｔ_Oと比較画像Ｔ_Cに対してデジタル化やノイズの除去等の画像補正等の画像処理が行われた、いわば生の基準画像Ｔ_Oと比較画像Ｔ_Cが第１ステレオマッチング手段７ａに入力され、また、撮像された基準画像Ｔ_Oと比較画像Ｔ_Cに対してデジタル化や画像補正等のほか、前処理（エッジ処理）等の画像処理が行われて形成された基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cが第２ステレオマッチング手段７ｂに入力されるように構成されており、撮像された２枚一組の画像（基準画像Ｔ_Oと比較画像Ｔ_C）に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対して各組の２枚の画像ごとにステレオマッチング処理が行われるようになっている。

なお、前述したように、基準画像Ｔ_Oや比較画像Ｔ_Cに対して第２ステレオマッチング手段７ｂに入力される２枚一組の画像とは異なる前処理が施されて形成された２枚一組の画像を第１ステレオマッチング手段７ａに入力するように構成することも可能であるが、その場合も、撮像された２枚一組の画像（基準画像Ｔ_Oと比較画像Ｔ_C）に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対して各組の２枚の画像ごとにステレオマッチング処理が行われることになる。

認識手段１０（図１参照）は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたコンピュータより構成されている。また、認識手段１０には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。

認識手段１０は、選択手段１１と、検出手段１２とを備えており、さらに図示しないメモリを備えている。

選択手段１１は、第１距離画像Ｔ_Z１を第１距離データメモリ８ａから読み出して、図４に示すように第１距離画像Ｔ_Z１を所定の画素幅で縦方向に延在する短冊状の区分Ｄｎに分割する。そして、各区分Ｄｎごとに図５に示すような第１ヒストグラムＨｎ１をそれぞれ作成し、各区分Ｄｎに属する各第１視差ｄｐ１を当該第１視差ｄｐ１が属する区分Ｄｎの第１ヒストグラムＨｎ１に投票する。そして、度数Ｆｎが最大の階級の階級値すなわち最頻値をその区分Ｄｎにおける第１代表視差ｄｐｎ１とするようになっている。

なお、本実施形態では、第１視差ｄｐ１の第１ヒストグラムＨｎ１への投票の際、第１視差ｄｐ１の値および当該第１視差ｄｐｎ１が割り当てられた画素ブロックＰＢ_Oの第１距離画像Ｔ_Z１上の位置（ｉ_１，ｊ_１）から前記（３）式に従って算出される当該第１視差ｄｐｎ１に対応する高さＹ_１が道路面の高さ以下の高さである場合には、当該第１視差ｄｐｎ１は投票の対象から除外されるようになっている。下記の第２視差ｄｐ２の第２ヒストグラムＨｎ２への投票においても同様である。

また、選択手段１１は、第２距離画像Ｔ_Z２を第２距離データメモリ８ｂから読み出して、図４に示した手法と同様に第２距離画像Ｔ_Z２を縦方向に延在する短冊状の区分Ｄｎに分割する。この場合、第２距離画像Ｔ_Z２の各区分Ｄｎは、第１距離画像Ｔ_Z１と同じ画素位置に同じ画素幅で形成される。そして、各区分Ｄｎごとに図５に示したものと同様の第２ヒストグラムＨｎ２をそれぞれ作成し、各区分Ｄｎに属する各第２視差ｄｐ２を当該第２視差ｄｐ２が属する区分Ｄｎの第２ヒストグラムＨｎ２に投票する。そして、第２ヒストグラムＨｎ２の最頻値をその区分Ｄｎにおける第２代表視差ｄｐｎ２とするようになっている。

選択手段１１は、続いて、第１距離画像Ｔ_Z１と第２距離画像Ｔ_Z２の対応する区分Ｄｎすなわち番号ｎが同じ区分Ｄｎの第１ヒストグラムＨｎ１と第２ヒストグラムＨｎ２の各度数分布を比較する。第１、第２距離画像Ｔ_Z１、Ｔ_Z２の対応する区分Ｄｎの第１、第２ヒストグラムＨｎ１、Ｈｎ２の各度数分布を１つのヒストグラムにあわせて表示すると、例えば図６のヒストグラムのように表される。

そして、本実施形態では、選択手段１１は、当該区分Ｄｎの第１代表視差ｄｐｎ１の度数Ｆｎと第２代表視差ｄｐｎ２の度数Ｆｎとを比較して大きい方を、当該区分Ｄｎの代表視差ｄｐｎとして選択するようになっている。例えば図６の例では、第１代表視差ｄｐｎ１より第２代表視差ｄｐｎ２の方が度数Ｆｎが大きいので第２代表視差ｄｐｎ２が当該区分Ｄｎの代表視差ｄｐｎとして選択される。

選択手段１１は、上記のような区分Ｄｎの代表視差ｄｐｎの選択を各区分Ｄｎごとに行うようになっている。従って、ある区分Ｄｎでは上記のように第２代表視差ｄｐｎ２がその区分Ｄｎの代表視差ｄｐｎとして選択されたが、他の区分Ｄｎでは第１代表視差ｄｐｎ１がその区分Ｄｎの代表視差ｄｐｎとして選択されることが頻繁に生じ得る。

本実施形態では、選択手段１１は、区分Ｄｎの代表視差ｄｐｎとして第１代表視差ｄｐｎ１を選択した場合にはその区分ＤｎにフラグＦとして０を設定し、区分Ｄｎの代表視差ｄｐｎとして第２代表視差ｄｐｎ２を選択した場合にはその区分ＤｎにフラグＦとして１を設定するようになっている。

選択手段１１は、このように設定した各区分ＤｎごとのフラグＦのほか、各区分Ｄｎの各第１、第２ヒストグラムＨｎ１、Ｈｎ２の投票結果や各第１、第２代表視差ｄｐｎ１、ｄｐｎ２、各区分Ｄｎの代表視差ｄｐｎ、区分Ｄｎの画素幅等をメモリに保存するようになっている。

なお、本実施形態では、上記のように、第１距離画像Ｔ_Z１と第２距離画像Ｔ_Z２の対応する区分Ｄｎの第１ヒストグラムＨｎ１と第２ヒストグラムＨｎ２の各度数分布を比較して、第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２の各度数Ｆｎの大きい方を、当該区分Ｄｎの代表視差ｄｐｎとして選択する場合について説明した。この基準によれば、第１ヒストグラムＨｎ１や第２ヒストグラムＨｎ２に第１距離画像Ｔ_Z１の第１視差ｄｐ１や第２距離画像Ｔ_Z２の第２視差ｄｐ２を投票した時点で即座に当該区分Ｄｎの代表視差ｄｐｎを第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のいずれにするかを選択することが可能となるため、選択処理の迅速化が図れるとともに、制御構成が簡単で明確になるという利点がある。

しかし、これ以外の基準に基づいて当該区分Ｄｎの代表視差ｄｐｎを選択するように構成することも可能である。

例えば、対応する区分Ｄｎの第１、第２ヒストグラムＨｎ１、Ｈｎ２の各度数分布を比較して、第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうち、分散σ^２が最小となるヒストグラムの代表視差を、当該区分Ｄｎの代表視差ｄｐｎとして選択するように構成することが可能である。この基準によれば、度数分布の分散σ^２が小さくばらつきが少ない方の度数分布に基づく代表視差が選択されるため、よりノイズが少ない方の距離画像Ｔ_Zが選ばれるようになり、ノイズによる誤検出の発生が低下され、より精度が高い検出を実現することが可能となる。

また、第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうち、それらの値自体が最も大きい代表視差を、当該区分Ｄｎの代表視差ｄｐｎとして選択するように構成することが可能である。第１代表視差ｄｐｎ１や第２代表視差ｄｐｎ２を上記（４）式や（７）式に代入すると自車両から対象物（先行車両）までの距離である前記第１距離Ｚ_１や第２距離Ｚ_２が算出され、第１代表視差ｄｐｎ１や第２代表視差ｄｐｎ２の値が大きいほど第１距離Ｚ_１や第２距離Ｚ_２の値は小さくなる。そして、仮に実際の自車両から対象物までの距離より大きな距離が算出され、それに基づいて自動制御が行われると、自車両が対象物（先行車両）と接触したり衝突したりする危険性が高くなる。

そのため、この基準によれば、第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうち値が大きい方の代表視差を当該区分Ｄｎの代表視差ｄｐｎとして選択することで、それらから算出される第１距離Ｚ_１や第２距離Ｚ_２のうち小さい方の値が選択されることになり、選択された方の値に基づいて自動制御が行われても自車両が対象物（先行車両）と接触、衝突する危険性が低くなり、より安全性を重視した検出を行うことが可能となる。

さらに、後述する検出手段１２では先行車両が実空間上に検出されるが、図７に示すように、その先行車両の背面の前回のサンプリング周期で検出された実空間上の中心位置（Ｘold，Ｙold，Ｚold）と、先行車両と自車両との相対変位ΔＰ、および自車両のヨー角運動による変位Δθから、今回のサンプリング周期における先行車両までの距離Ｚestを推定することができる。

そこで、第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうち、それらから算出される第１距離Ｚ_１や第２距離Ｚ_２が、この今回のサンプリング周期における先行車両の推定距離Ｚestに最も近い距離となる方を、当該区分Ｄｎの代表視差ｄｐｎとして選択するように構成することが可能である。この基準によれば、対象物（この場合は先行車両）を安定して検出することが可能となる。

なお、上記の各基準を独立に適用することも可能であるが、それらを総合して適用するように構成することも可能である。また、例えば、特に夜間には基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cから算出される第２距離画像Ｔ_Z２上にはノイズ成分に基づく第２視差ｄｐ２のデータが多数算出されるようになるため、例えば日中の検出時には本実施形態のように第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうち度数Ｆｎの大きい方を当該区分Ｄｎの代表視差ｄｐｎとして選択し、夜間、自車両のヘッドライトが点灯されたような場合には、度数分布の分散σ^２が小さい方を選択するように、基準を切り替えるように構成することも可能である。

検出手段１２（図１参照）は、選択手段１１により各区分Ｄｎごとに選択された区分Ｄｎの代表視差ｄｐｎに基づいて、基準画像Ｔ_O中に撮像された対象物を検出し、さらにその中から先行車両を検出するようになっている。

具体的には、検出手段１２は、各区分Ｄｎごとに選択手段１１により設定されたフラグＦの値を確認しながら第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２のうちのフラグＦの値に対応する方の値を区分Ｄｎの代表視差ｄｐｎとして各区分Ｄｎごとにメモリから読み出し、区分Ｄｎの視差ｄｐｎを上記（４）式または（７）式のｄｐ１またはｄｐ２に代入して第１距離Ｚ_１または第２距離Ｚ_２を算出し、各区分Ｄｎごとに区分Ｄｎの代表距離Ｚｎとして、図８に示すように実空間上にプロットする。

そして、検出手段１２は、図９に示すように、プロットされた各区分Ｄｎの代表距離Ｚｎを表す点同士の距離や方向性に基づいて、互いに隣接する各点をそれぞれグループＧ１、Ｇ２、Ｇ３、…にまとめてグループ化するようになっている。

上記のように、本実施形態では、第１視差ｄｐ１や第２視差ｄｐ２の第１ヒストグラムＨｎ１や第２ヒストグラムＨｎ２への投票の際に、道路面以下の高さの第１視差ｄｐ１や第２視差ｄｐは投票の対象から除外されるため、上記のようにして検出された対象物は基準面である道路面より高い位置に存在する立体物である。

そのため、本実施形態では、検出手段１２は、図１０に示すように各グループに属する各点をそれぞれ直線近似し、それぞれのグループ内の各点が自車両Ａの車幅方向すなわちＸ軸方向に略平行に並ぶグループには“物体”Ｏとラベルし、各点が自車両Ａの車長方向すなわちＺ軸方向に略平行に並ぶグループには“側壁”Ｓとラベルして分類して、対象物である立体物を検出するようになっている。なお、同一の対象物（立体物）の“物体”のグループと“側壁”のグループの交点とみなすことができる箇所にコーナー点としてＣをラベルするようになっている。

このようにして、検出手段１２は、図１０の例では、［側壁Ｓ１］、［物体Ｏ１］、［側壁Ｓ２］、［物体Ｏ２とコーナー点Ｃと側壁Ｓ３］、［側壁Ｓ４］、［物体Ｏ３］、［物体Ｏ４］、［側壁Ｓ５とコーナー点Ｃと物体Ｏ５］、［物体Ｏ６］、［側壁Ｓ６］をそれぞれ１つの立体物として検出して、各対象物を検出するようになっている。

また、検出手段１２は、このようにして検出した各対象物を図１１に示すように基準画像Ｔ_O上で矩形状の枠線で包囲するようにして検出するようになっている。検出手段１２は、このようにして基準画像Ｔ_O中に撮像された各対象物を検出して、自車両Ａの周囲の環境を認識するようになっている。

本実施形態では、検出手段１２は、さらに、検出した対象物の中から先行車両を検出するようになっている。

具体的には、検出手段１２は、まず、図１２に示すように自車両Ａの挙動に基づいて自車両Ａが今後進行するであろう軌跡を走行軌跡Ｌestとして推定し、その走行軌跡Ｌestを中心とする自車両Ａの車幅分の領域を自車両Ａの進行路Ｒestとして算出するようになっている。

自車両Ａの走行軌跡Ｌestは、センサ類Ｑから送信されてくる自車両Ａの車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等の情報に基づいて下記（８）式または下記（９）、（１０）式に従って算出される自車両Ａの旋回曲率Ｃuaに基づいて算出することができる。なお、下記の各式におけるＲｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。
Ｃua＝γ／Ｖ …（８）
Ｒｅ＝（１＋Ａsf・Ｖ^２）・（Ｌwb／δ） …（９）
Ｃua＝１／Ｒｅ …（１０）

そして、検出手段１２は、自車両Ａの進行路Ｒest上に存在する対象物の中で自車両Ａに最も近接する対象物を自車両Ａの前方を走行する先行車両Ｖahとして検出するようになっている。例えば図１１に示したシーンでは、図１３に示すように、車両Ｏ３が先行車両Ｖahとして検出される。

なお、本実施形態では、検出手段１２は、前回のサンプリング周期で検出した先行車両と今回のサンプリング周期で先行車両として検出した対象物（立体物）とが同一の立体物である確率を算出するなどして、整合性を保ちながら先行車両を追跡するようになっている。また、検出手段１２は、検出した先行車両が自車両の前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。

検出手段１２は、このようにして検出した各対象物および先行車両Ｖahの情報をメモリに保存するとともに、必要に応じてそれらの情報を、選択手段１１がメモリに保存した設定した各区分ＤｎごとのフラグＦの情報等とともに環境認識装置１の外部に出力するようになっている。

次に、本実施形態に係る環境認識装置１の作用について説明する。

認識手段１０の選択手段１１では、上記のようにして形成された第１距離画像Ｔ_Z１と第２距離画像Ｔ_Z２が所定の同じ画素幅の短冊状の区分Ｄｎに分割され、各区分Ｄｎごとに第１距離画像Ｔ_Z１について第１ヒストグラムＨｎ１が、第２距離画像Ｔ_Z２について第２ヒストグラムＨｎ２がそれぞれ作成され、各区分Ｄｎに属する各第１、第２視差ｄｐ１、ｄｐ２が第１、第２ヒストグラムＨｎ１、Ｈｎ２にそれぞれ投票される。

そして、当該区分Ｄｎについて投票が終了すると即座に第１、第２ヒストグラムＨｎ１、Ｈｎ２の最頻値を判別されて第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２が算出され、その度数Ｆｎの大小が比較されて、大きい方が当該区分Ｄｎの代表視差ｄｐｎとして選択される。そして、この処理が全区分Ｄｎに対してそれぞれ行われて、各区分Ｄｎについて代表視差ｄｐｎが算出される。

このように、選択手段１１では、各区分Ｄｎについて、上記のような設定された種々の基準を満たし、より条件に適合する方の第１代表視差ｄｐｎ１または第２代表視差ｄｐｎ２が各区分Ｄｎごとに選択されるようになっている。そのため、区分Ｄｎの代表視差ｄｐｎは、各区分Ｄｎごとの代表視差ｄｐｎ１、ｄｐｎ２の中から最も優秀な代表視差のみが抽出されたものとなる。

そして、本実施形態では、基準画像Ｔ_Oと比較画像Ｔ_Cとから形成された第１距離画像Ｔ_Z１と、基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cとから形成される第２距離画像Ｔ_Z２とを比較して、各区分Ｄｎごとに優秀な方の代表視差が区分Ｄｎの代表視差ｄｐｎとされる。そのため、例えば図１８（Ａ）、（Ｂ）に示したメインカメラ２ａとサブカメラ２ｂの明るさのバランスが崩れるような場合に得られる第１距離画像Ｔ_Z１において有効な第１視差ｄｐ１のデータ数が少ない区分Ｄｎが生じても、第２距離画像Ｔ_Z２の当該区分Ｄｎの第２代表視差ｄｐｎ２の度数Ｆｎが大きければそちらが選択されて、検出手段１２で有効に精度良く対象物を検出することが可能となる。

また、基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cとから形成される第２距離画像Ｔ_Z２のある区分Ｄｎで例えばノイズが多く、第２視差ｄｐ２の値がばらついて第２ヒストグラムＨｎ２上で明確なピークが得られないような場合でも、基準画像Ｔ_Oと比較画像Ｔ_Cとから形成された第１距離画像Ｔ_Z１で第１視差ｄｐ１の値が第１ヒストグラムＨｎ１上の同一の階級に集中して検出され、第２代表視差ｄｐｎ２よりも第１代表視差ｄｐｎ１の方が度数Ｆｎが大きくなれば、当該区分Ｄｎでは代表視差ｄｐｎとして第１代表視差ｄｐｎ１が選択される。そのため、このような状況においても、検出手段１２は、選択された優秀な代表視差に基づいて有効に精度良く対象物を検出することが可能となる。

以上のように、本実施形態に係る環境認識装置１によれば、撮像された基準画像Ｔ_Oと比較画像Ｔ_Cに対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組、すなわち例えば生データの基準画像Ｔ_Oと比較画像Ｔ_Cの組とエッジ処理された基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cの組に対して、それぞれステレオマッチング処理を行い、第１距離画像Ｔ_Z１と第２距離画像Ｔ_Z２を得る。そして、第１距離画像Ｔ_Z１と第２距離画像Ｔ_Z２をそれぞれ複数の区分Ｄｎに分割し、各区分Ｄｎについてより条件に適合する代表視差ｄｐｎ１、ｄｐｎ２を選択してその区分Ｄｎの代表視差ｄｐｎとする。

そのため、各区分Ｄｎについて、それぞれ第１距離画像Ｔ_Z１と第２距離画像Ｔ_Z２に基づく代表視差の中からより優秀な代表視差を各区分Ｄｎの代表視差ｄｐｎとして抽出することが可能となり、例えば一方の画像の組だけでは距離画像Ｔ_Zのある区分Ｄｎで代表視差ｄｐｎを抽出することが困難な状況であっても、他方の画像の組の当該区分Ｄｎのデータでそれを補うことが可能となる。

このように、本実施形態に係る環境認識装置１では、区分Ｄｎごとのいわば「良いとこ取り」により区分Ｄｎの代表視差ｄｐｎを的確に抽出することが可能となり、抽出されたデータに基づいて対象物や先行車両Ｖahを有効に検出して、周囲の環境を認識することが可能となる。

［変形例１］
なお、本実施形態では、画像処理手段として画像処理手段６ａ、６ｂの２系統を設け、撮像された２枚一組の画像（基準画像Ｔ_Oと比較画像Ｔ_C）に対して異なる画像処理方法を施して２枚一組の画像を２組（基準画像Ｔ_Oと比較画像Ｔ_Cの生データの組と基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cの組）を形成する場合について説明した。しかし、異なる画像処理方法を施して形成する２枚一組の画像の組を３組以上形成するように構成することも可能である。

このように構成すれば、区分Ｄｎの代表視差ｄｐｎを選択する際の選択肢がさらに多くなるため、より条件に適合する代表視差を抽出することが可能となり、上記の効果がより効果的に発揮される。

［変形例２］
また、本実施形態では、基準画像Ｔ_Oと比較画像Ｔ_Cに対する画像処理方法が異なる２枚一組の画像の組として、基準画像Ｔ_Oと比較画像Ｔ_Cに対してノイズの除去等の画像補正等の画像処理のみが行われた、いわば生の基準画像Ｔ_Oと比較画像Ｔ_Cの組と、エッジ処理を施した基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cの組とを用いる場合について説明した。

しかし、一方の２枚一組の画像の組から形成される距離画像と、他方の２枚一組の画像の組から形成される距離画像との対応する区分Ｄｎについて、いずれかの優秀な代表視差を選択するという本発明の本質から考えると、撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組は、上記のような２種類の組の他にも、種々の組であることが可能である。

例えば、図１４に示すように、メインカメラ２ａにより撮像された基準画像Ｔ_Oの各画素の輝度値ｐ１ijを例えば２×２画素分ずつ平均をとるなどしてそれを１画素分の輝度値として元の基準画像Ｔ_Oから解像度を変えた画像Ｔ_O ^＊を形成して車両の自動制御等に用いる場合がある。このように、基準画像Ｔ_Oと比較画像Ｔ_Cの解像度をそれぞれ変えて形成された２枚の画像の組を用いることが可能である。

［変形例３］
また、本願出願人により先に提出された特開平１０−２８５５８２号公報等に記載されているように、距離画像に含まれるノイズを効率的に除去するために、距離画像中で隣接する視差ｄｐの情報の差が例えば±１［ピクセル］であればグループ化する等の方法で視差ｄｐの情報同士を図１５に示すようにグループｇ１〜ｇ３のようにグループ化して、同じグループｇに属する視差ｄｐの情報の数が予め設定された閾値以上であるグループｇ１、ｇ３は有効なデータとして採用し、閾値未満であるグループｇ２はノイズとして棄却するという処理が行われる場合がある。本実施形態でもこの方法が採用されている。

そこで、上記の撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組として、距離画像の形成の際のノイズ除去の上記閾値を変えた２組を用いるように構成することが可能である。

［変形例４］
また、上記の撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組として、メインカメラ２ａやサブカメラ２ｂにより撮像された基準画像Ｔ_Oと比較画像Ｔ_Cの組の明るさを変えない元の基準画像Ｔ_Oと比較画像Ｔ_Cの組と、基準画像Ｔ_Oと比較画像Ｔ_Cの組に対して画像補正部４や前処理手段９で画像の明るさを変えて形成した２枚の画像の組の計２組を用いるように構成することが可能である。

さらに、メインカメラ２ａやサブカメラ２ｂにより撮像された基準画像Ｔ_Oと比較画像Ｔ_Cの組に対して、それぞれ異なる画像の明るさとなるように形成した２枚一組の画像の２組を用いるように構成することも可能である。このようにして形成された２枚一組の画像の２組に基づいて算出された代表視差の中から優秀な代表視差を選択することで、上記と同様の効果を得ることができる。

［変形例５］
また、同じ２枚一組の画像から形成された距離画像に対して、それを分割する図４に示したような縦方向に延在する区分の画素幅を変え、例えば所定の画素幅の区分Ｄｋに分割した距離画像と、その２倍の画素幅を有する区分Ｄｍに分割した距離画像とを形成し、各距離画像の各区分Ｄｋ、Ｄｍごとに代表視差を算出し、互いに対応する区分Ｄｋ、Ｄｍの各代表視差のうちいずれかを選択するように構成することも可能である。

この場合、区分Ｄｍには他方の距離画像の２つの区分Ｄｋが対応するが、各区分Ｄｋ、Ｄｍに属し得る視差ｄｐの情報の数が異なる。そのため、選択手段１１は、各区分Ｄｋ、Ｄｍについて算出した代表視差に所定の重み付けをしたうえで選択するように構成されることが好ましい。この重み付けをしたうえでの選択は、他の変形例においても適宜行われる。

［変形例６］
また、同じ２枚一組の画像から形成された距離画像を同じ画素幅の複数の区分Ｄｎに分割するが、選択手段１１で各区分Ｄｎについてそれぞれヒストグラムを作成する際、１つの区分Ｄｎについてヒストグラムの最大値、最小値または階級幅の少なくとも１つを変更した複数種類のヒストグラムを作成し、当該複数種類のヒストグラムについてそれぞれ代表視差を算出してそのいずれかを選択するように構成することも可能である。

なお、上記の変形例３から変形例６までは、基準画像Ｔ_Oと比較画像Ｔ_Cから形成された距離画像Ｔ_Zに対する処理のしかたが異なるだけであるから、距離画像Ｔ_Zを形成するまでのハード構成は、図１に示したような２系統の画像処理手段６ａ、６ｂを備える構成である必要はなく、図１６に示すようにイメージプロセッサ等からなるステレオマッチング手段７と距離データメモリ８とを備える１系統の画像処理手段６で足りる。

逆の言い方をすれば、ステレオマッチング手段７と距離データメモリ８とを備える１系統の画像処理手段６を備えるハード構成の環境認識装置１^＊においても、距離画像Ｔ_Zに対する処理のしかたを変えることで複数種類の代表視差ｄｐｎの中から優秀な代表視差ｄｐｎを選択し、それに基づいて周囲の環境中から対象物（立体物）を検出して環境を認識することが可能となる。

［変形例７］
上記の変形例２から変形例６までは、メインカメラ２ａおよびサブカメラ２ｂで撮像された基準画像Ｔ_Oと比較画像Ｔ_Cに対する画像処理方法が異なり、或いはそれらから形成された距離画像に対する処理の方法が異なる２枚一組の画像の組として、本発明を適用する場合について述べた。しかし、メインカメラ２ａおよびサブカメラ２ｂで撮像された第１基準画像Ｔ_O１および第１比較画像Ｔ_C１と、同じメインカメラ２ａ等で撮像方法を変更し、撮像条件を変えて撮像された第２基準画像Ｔ_O２および第２比較画像Ｔ_C２とに対して処理を構成することも可能である。

この場合、撮像条件が異なる２種類の画像を同時に撮像することはできないが、撮像手段２の撮像条件を変えて非常に近接したタイミングで２種類の画像を撮像し、上記と同様にしてそれぞれ第１距離画像Ｔ_Z１および第２距離画像Ｔ_Z２を得ることで、算出された第１代表視差ｄｐｎ１と第２代表視差ｄｐｎ２は、十分に区分Ｄｎの代表視差ｄｐｎを選択するための材料となり得る。なお、この場合、撮像条件の変更には、撮像手段２の露光量やシャッタスピード等の変更や、アンプゲインの切り替えや、撮像手段２から出力される画素の輝度値を決めるＬＵＴ（Look Up Table）の選択の変更等が含まれる。

［本実施形態や変形例の組み合わせ］
なお、上記の本実施形態および変形例１〜７をそれぞれ組み合わせて行うことが可能である。そして、２枚一組の画像を得るための異なる撮像方法、２枚一組の画像に対する異なる画像処理方法、或いは距離画像に対する異なる処理のしかたにより得られた複数種類の代表視差ｄｐｎの中から優秀な代表視差ｄｐｎを選択し、それに基づいて周囲の環境中から対象物（立体物）を検出して環境を認識することが可能となる。

［撮像方法や画像処理方法等の切り替え］
また、上記の２枚一組の画像を得るための撮像方法（撮像条件）や、２枚一組の画像に対する画像処理方法や、距離画像Ｔ_Zに対する処理のしかたを所定の条件に下で切り替えるように構成することも可能である。

前述したように、例えば逆光の環境中では、基準画像Ｔ_Oと比較画像Ｔ_Cから形成した距離画像Ｔ_Zと、基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cから形成したエッジ距離画像ＴＥ_Zとを用いて、各区分Ｄｎで優秀な方の代表視差を用いるように構成すると良好に対象物を検出できるが、夜間は、基準エッジ画像ＴＥ_Oと比較エッジ画像ＴＥ_Cから算出されるエッジ距離画像ＴＥ_Z上にはノイズ成分が多数現れるようになる。一方で、変形例７に述べたように撮像方法（撮像条件）を変えると撮像される画像の輝度値のダイナミックレンジを広げることができる。

そこで、例えば、日中には基準画像Ｔ_O等から形成した距離画像Ｔ_Zと基準エッジ画像ＴＥ_O等から形成したエッジ距離画像ＴＥ_Zとを用い、夜間には、基準画像Ｔ_O等から形成した距離画像Ｔ_Zと比較する対象を、基準エッジ画像ＴＥ_O等から形成したエッジ距離画像ＴＥ_Zから、基準画像Ｔ_Oと比較画像Ｔ_Cを撮像する撮像方法（撮像条件）を変えて撮像された２枚一組の画像から形成した距離画像に切り替えるように構成することが可能である。

このように、周囲の環境に応じて撮像方法や画像処理方法、または距離画像に対する処理のしかたを切り替えることで、例えば上記の例では日中は逆光に有効に対処することが可能となり、夜間には撮像される画像の輝度値のダイナミックレンジを広げることが可能となるため、周囲の環境中から対象物（立体物）を的確に検出して環境を認識することが可能となる。

本実施形態に係る環境認識装置の構成を示すブロック図である。 基準画像の一例を示す図である。 図２の基準画像等に基づいて形成された第１距離画像を示す図である。 第１距離画像を分割する短冊状の区分を説明する図である。 図４の各区分ごとに作成される第１ヒストグラムを説明する図である。 第１距離画像と第２距離画像の各度数分布を示すヒストグラムの図である。 前回のサンプリング周期で検出された先行車両の背面の中心位置等から推定される今回のサンプリング周期における先行車両までの距離を説明する図である。 区分ごとの距離を実空間上にプロットした各点を表す図である。 図８の各点がグループ化されて形成される各グループを表す図である。 図９の各グループの各点を直線近似して検出された物体の例を表す図である。 基準画像上に枠線で包囲されて検出された各物体を表す図である。 実空間上の自車両の走行軌跡、進行路および先行車両を示す図である。 基準画像上の自車両の走行軌跡および先行車両を示す図である。 基準画像から解像度を変えた画像を形成する手法を説明する図である。 距離画像中でグループ化された視差の情報を表す図である。 １系統の画像処理手段を備える環境認識装置の構成を示すブロック図である。 ステレオマッチング処理の手法を説明する図である。 （Ａ）基準画像の一例を示す写真であり、（Ｂ）（Ａ）の基準画像より全体的に暗く撮像された比較画像を示す写真である。 図１８（Ａ）、（Ｂ）の基準画像と比較画像にステレオマッチング処理を行って得られる距離画像を示す写真である。 （Ａ）図１８（Ａ）の基準画像にエッジ処理を施して得られる基準エッジ画像を示す写真であり、（Ｂ）図１８（Ｂ）の比較画像にエッジ処理を施して得られる比較エッジ画像を示す写真である。 図２０（Ａ）、（Ｂ）の基準エッジ画像と比較エッジ画像にステレオマッチング処理を行って得られるエッジ距離画像を示す写真である。

符号の説明

１ 環境認識装置
２ 撮像手段
２ａ、２ｂ 一対のカメラ（メインカメラ、サブカメラ）
７、７ａ、７ｂ ステレオマッチング手段
１１ 選択手段
１２ 検出手段
Ｄｎ 区分
ｄｐ 視差
ｄｐｎ 区分の代表視差
ｄｐｎ１、ｄｐｎ２ 代表視差
Ｆｎ 度数
Ｈｎ１、Ｈｎ２ ヒストグラム
Ｏ、Ｓ 立体物
ＰＢ_O 画素ブロック
ＴＥ_O、ＴＥ_C エッジ処理が施された２枚の画像（基準エッジ画像、比較エッジ画像）
Ｔ_O、Ｔ_C ２枚一組の画像（基準画像、比較画像）
Ｔ_O ^＊ 解像度を変えて形成された画像
Ｔ_Z、Ｔ_Z１、Ｔ_Z２ 距離画像
Ｖah 対象（先行車両）
（Ｘold，Ｙold，Ｚold） 前回のサンプリング周期で検出された対象の位置
Ｚ 距離
Ｚest 今回のサンプリング周期における対象までの距離
Ｚｎ 代表距離
σ^２ 分散

Claims (16)

1. 一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
   異なる撮像方法で撮像された２枚一組の画像の複数の組または撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組に対して、各組の２枚の画像ごとにステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差をそれぞれ割り当てて各組ごとに１枚ずつ距離画像を形成するステレオマッチング手段と、
   前記各組ごとに１枚ずつ形成された前記各距離画像をそれぞれ縦方向に延びる短冊状の複数の区分に分割して各区分ごとにそれぞれ代表視差を算出し、前記各組の各距離画像の互いに対応する区分の前記各代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
   前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
   を備えることを特徴とする環境認識装置。
2. 前記異なる撮像方法で撮像された２枚一組の画像の複数の組とは、前記撮像手段の撮像条件を変えて撮像された２枚一組の画像の複数の組であることを特徴とする請求項１に記載の環境認識装置。
3. 前記撮像された２枚一組の画像に対して異なる画像処理方法を施して形成される２枚一組の画像の複数の組は、前記撮像手段により撮像された２枚の画像の組、前記２枚一組の画像に対してそれぞれエッジ処理が施されて形成された２枚の画像の組、前記２枚一組の画像の解像度をそれぞれ変えて形成された２枚の画像の組、または画像の明るさをそれぞれ変えて形成された２枚の画像の組のいずれかであることを特徴とする請求項１または請求項２に記載の環境認識装置。
4. 前記選択手段は、前記距離画像からノイズを除去する際の閾値を変更して前記２枚の画像の組を形成することを特徴とする請求項１から請求項３のいずれか一項に記載の環境認識装置。
5. 前記選択手段は、前記撮像された２枚一組の画像から形成された前記距離画像を分割する前記区分の画素幅を変更して形成した前記各区分ごとにそれぞれ代表視差を算出し、互いに対応する前記区分の前記各代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択することを特徴とする請求項１から請求項４のいずれか一項に記載の環境認識装置。
6. 前記選択手段は、前記各組ごとに形成された前記各距離画像の前記複数の区分について各区分ごとにそれぞれヒストグラムを作成し、当該ヒストグラムにおける前記視差の度数に基づいてその最頻値を前記代表視差として算出することを特徴とする請求項１から請求項５のいずれか一項に記載の環境認識装置。
7. 前記選択手段は、前記各組ごとに形成された各距離画像の対応する区分の前記各代表視差のうち、度数が最大の代表視差、分散が最小となるヒストグラムに基づく代表視差、前記最頻値が最も大きい代表視差、または前回のサンプリング周期で検出された前記対象の位置から推定される今回のサンプリング周期における当該対象までの距離に最も近い距離を与える代表視差のいずれかの代表視差を選択して当該区分の代表視差とすることを特徴とする請求項６に記載の環境認識装置。
8. 前記選択手段は、前記撮像された２枚一組の画像から形成された前記距離画像の前記複数の区分について各区分ごとにそれぞれ作成する前記ヒストグラムの最大値、最小値または階級幅の少なくとも１つを変更した複数種類のヒストグラムを作成し、当該複数種類のヒストグラムについてそれぞれ前記代表視差を算出することを特徴とする請求項６または請求項７に記載の環境認識装置。
9. 一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
   前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
   前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
   前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
   を備え、
   前記複数種類の代表視差は、前記距離画像からノイズを除去する際の閾値が異なる値に設定されて形成された複数種類の前記距離画像に基づいて算出されることを特徴とする環境認識装置。
10. 一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
    前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
    前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
    前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
    を備え、
    前記複数種類の代表視差は、前記距離画像を分割する前記区分の画素幅が異なる画素幅に設定されることで算出される複数種類の代表視差であることを特徴とする環境認識装置。
11. 一対のカメラで周囲の環境中の同じ対象を撮像して２枚一組の画像を出力する撮像手段と、
    前記２枚一組の画像に対してステレオマッチング処理を行い、当該画像の各画素ブロックに算出した各視差を割り当てた距離画像を形成するステレオマッチング手段と、
    前記距離画像を縦方向に延びる短冊状の複数の区分に分割して各区分ごとに複数種類の代表視差を算出し、対応する区分の前記複数種類の代表視差のうちいずれかの代表視差を選択して当該区分の代表視差とし、前記区分の代表視差を前記区分ごとに選択する選択手段と、
    前記各区分の代表視差に基づいて前記画像中に撮像された前記対象を検出する検出手段と、
    を備え、
    前記選択手段は、前記各区分ごとにそれぞれヒストグラムを作成し、当該ヒストグラムにおける前記視差の最頻値を前記代表視差として算出し、前記各区分のヒストグラムとして、前記ヒストグラムの最大値、最小値または階級幅の少なくとも１つが変更された複数種類のヒストグラムを用いることで前記複数種類の代表視差を算出することを特徴とする環境認識装置。
12. 前記選択手段は、所定の重み付けがなされた前記代表視差のいずれかを選択することを特徴とする請求項１から請求項１１のいずれか一項に記載の環境認識装置。
13. 前記２枚一組の画像を得るための前記撮像方法、前記２枚一組の画像に対する前記画像処理方法、または前記距離画像に対する処理のしかたを切り替えることが可能とされていることを特徴とする請求項１から請求項１２のいずれか一項に記載の環境認識装置。
14. 前記撮像方法、前記画像処理方法、または前記距離画像に対する処理のしかたの切り替えは、周囲の環境に応じて行われることを特徴とする請求項１３に記載の環境認識装置。
15. 前記対象は、基準面より高い位置に存在する立体物であることを特徴とする請求項１から請求項１４のいずれか一項に記載の環境認識装置。
16. 前記視差および前記代表視差に代えて、三角測量の原理に基づいて前記視差および前記代表視差にそれぞれ一意に対応付けられる距離および代表距離を用いて前記ステレオマッチング手段における処理および前記選択手段における処理が構成されていることを特徴とする請求項１から請求項１５のいずれか一項に記載の環境認識装置。