JP2009110172A - 物体検出装置 - Google Patents

Abstract

【課題】ステレオマッチング処理で検出された物体のうち、ミスマッチングにより誤検出された物体を的確に識別することが可能な物体検出装置を提供する。
【解決手段】物体検出装置１は、物体Ｏを撮像して基準画像Ｔ_Oと比較画像Ｔ_Cとを出力するステレオ撮像手段２と、ステレオマッチング処理を行って視差ｄｐを算出するステレオマッチング手段７と、グルーピング手段１０によりグループ化された視差ｄｐに基づいて基準画像Ｔ_O上に物体の領域を設定し、各領域の左端部の基準画素ブロックＰＢ_Oに対応して比較画像Ｔ_CのエピポーララインＥＰＬ上に特定された比較画素ブロックＰＢ_Cの左側の範囲について再度ステレオマッチング処理を行い、特定された比較画素ブロックＰＢ_C以外にＳＡＤ値の極小値が閾値以下となる比較画素ブロックＰＢ_Cを検出した場合に、当該物体はミスマッチングであると判定する判定手段１１とを備える。
【選択図】図１

Description

本発明は、物体検出装置に係り、特に、ステレオ撮像手段により撮像された一対の画像に対してステレオマッチング処理を行って物体を検出する物体検出装置に関する。

ステレオカメラを用いて物体までの距離を測定する手法としては、左右同じ高さに取り付けられた一対のカメラで撮像された一対の撮像画像を用いて、一対の撮像画像のうち、基準となる一方の撮像画像（以下、基準画像という。）と他方の撮像画像（以下、比較画像という。）とを比較して、同じ物体が撮像されている各画像中の各位置の差、すなわち視差を算出し、その視差に基づいて物体までの距離を算出する手法が一般的である。そして、基準画像と比較画像で同じ物体が撮像されている位置を特定する手法としては、通常、ステレオマッチング処理が行われる（例えば特許文献１等参照）。

ステレオマッチング処理では、図２２に示すように、基準画像Ｔ_Oを例えば３×３画素や４×４画素等の所定の画素数の小領域（以下、基準画素ブロックＰＢ_Oという。）に分割し、各基準画素ブロックＰＢ_Oごとに、比較画像Ｔ_C中の基準画素ブロックＰＢ_Oに対応する位置のエピポーララインＥＰＬ上の基準画素ブロックＰＢ_Oと同形の各比較画素ブロックＰＢ_Cとの輝度パターンを比較する。

その際、例えば、基準画素ブロックＰＢ_O中の各画素の輝度値をｐ１stとし、比較画素ブロックＰＢ_C中の各画素の輝度値をｐ２stとした場合、輝度パターンの差異として下記（１）式のＳＡＤ（Sum of Absolute Difference）値を算出する。

なお、上記（１）式では、基準画素ブロックＰＢ_Oや比較画素ブロックＰＢ_Cが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、例えば４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素について、差の絶対値の総和が算出される。

そして、このＳＡＤ値が最小となる比較画素ブロックＰＢ_Cが、基準画素ブロックＰＢ_Oに撮像されている物体と同じ物体が撮像されている比較画像上の比較画素ブロックとして特定される。また、このステレオマッチング処理の結果を用いて、特定された比較画素ブロックＰＢ_Cと元の基準画素ブロックＰＢ_Oとの視差が算出され、その視差に基づいて三角測量の原理により物体までの距離が算出される。
特開２００４−２３４４２３号公報

ところで、例えば図２３（Ａ）に示す基準画像Ｔ_Oと図２３（Ｂ）に示す比較画像Ｔ_Cは、車両に搭載したステレオカメラにより車両前方の同一の物体Ｏ（車両）を撮像したものである。ここで、このように似たような輝度パターンが一定の間隔で並んでいる物体Ｏ等が撮像されている画像に対して上記のステレオマッチング処理を行う場合について考察する。

例えば基準画像Ｔ_Oの物体Ｏの繰り返される輝度パターン部分に設定された基準画素ブロックＰＢ_O(p)に対して、比較画像Ｔ_CのエピポーララインＥＰＬ上の比較画素ブロックＰＢ_Cを左から右に１画素分ずつシフトしながら上記（１）式に従ってＳＡＤ値を算出していくと、図２４のグラフに示すように、ＳＡＤ値が極小となり下向きのピークとなる比較画素ブロックＰＢ_C(a)、ＰＢ_C(b)、ＰＢ_C(c)、…が繰り返し現れる。

そして、本来特定されるべき比較画素ブロックＰＢ_C(a)のＳＡＤ値ＳＡＤ(a)よりも他の比較画素ブロックＰＢ_C(c)のＳＡＤ値ＳＡＤ(c)の方が小さくなると、本来特定されるべき比較画素ブロックＰＢ_C(a)ではない比較画素ブロックＰＢ_C(c)が特定されてしまう、いわゆるミスマッチングが生じる。

そして、ミスマッチングに基づいて視差が算出されると、物体までの誤った距離が算出されてしまい、例えば図２３（Ａ）、（Ｂ）に示したように１つの物体Ｏが撮像されているにもかかわらず、物体Ｏの一部で誤った距離が算出された結果、図２５に示すように物体Ｏの一部が本来の物体Ｏとは距離が異なる別の物体Ｏａとして誤検出されるという事態が発生する。

このようなミスマッチングによる物体の誤検出は、図２３（Ａ）、（Ｂ）に示したように似たような輝度パターンが並ぶ物体が撮像されている場合だけでなく、例えば柵や塀等のように似たような輝度パターンが一定の間隔で並んで撮像される物体の場合においても生じ得る。

このような物体の誤検出が、例えば先行車両を追跡するために車両に搭載された物体検出装置で生じると、特に先行車両の手前側に別の物体が誤検出された場合には、その情報が車両のＥＣＵ（Electric Control Unit）の先行車追従システム等に送られて不要なブレーキ操作が自動的に行われてしまう等の問題が生じていた。

このような問題を解決するために、特許文献１では、ＳＡＤ値のピークの鋭さとピークの乱立状況により視差の信頼度を出力する方法や装置等が提案されている。しかし、この方法や装置等では、視差の信頼度を算出するための処理時間が長くなるとともに、図２３（Ａ）、（Ｂ）に示したようにもともとＳＡＤ値の誤ったピークを特定し易い輝度パターンを有する物体等を検出しようとすると全体的に信頼度が低下してしまうため、視差に基づいて算出された距離が実際には正しく算出されていてもその信頼度が低くなり、得られた結果が正しいのか誤っているのかの線引きをすることが困難になる場合が生じていた。

本発明は、このような事情に鑑みてなされたものであり、ステレオマッチング処理で検出された物体のうち、ミスマッチングにより誤検出された物体を的確に識別することが可能な物体検出装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、物体検出装置において、
左右同じ高さに取り付けられた一対のカメラで物体を同時に撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
前記基準画像上に所定の画素数の基準画素ブロックを設定し、当該基準画素ブロックに対応する前記比較画像中のエピポーラライン上の前記基準画素ブロックと同形の各比較画素ブロックについて当該基準画素ブロックとの輝度パターンの差異を所定の計算式に従って算出して前記差異が最小の比較画素ブロックを特定するステレオマッチング処理を行って、特定した比較画素ブロックの前記比較画像上の位置と当該基準画素ブロックの前記基準画像上の位置から視差を算出することで、前記基準画素ブロックごとに視差を算出するステレオマッチング手段と、
前記基準画素ブロックごとの視差に基づいて同一の物体と見なすべき前記視差をグループ化するグルーピング手段と、
前記グループ化された視差に基づいて前記基準画像上に物体を検出して前記物体が撮像されている領域を設定するとともに、前記各領域の左端部または右端部に属する前記基準画素ブロックを選択し、当該基準画素ブロックに対応して前記比較画像上に特定された前記比較画素ブロックを含む前記エピポーララインの前記特定された比較画素ブロックの左側または右側の範囲について再度前記ステレオマッチング処理を行い、前記特定された比較画素ブロック以外の比較画素ブロックであって、前記差異の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックが検出された場合には、当該物体はミスマッチングであると判定する判定手段と、
を備えることを特徴とする。

第２の発明は、第１の発明の物体検出装置において、前記所定の計算式は、前記基準画素ブロック中の各画素の輝度値をｐ１st、前記比較画素ブロック中の各画素の輝度値をｐ２stとするとき、前記基準画素ブロックおよび前記比較画素ブロック中の全画素の輝度値について

で算出されるＳＡＤ値を前記差異として算出する計算式であることを特徴とする。

第３の発明は、第１または第２の発明の物体検出装置において、前記判定手段は、前記基準画像上に検出された各物体について、当該物体が撮像されている領域の左端部または右端部に属する前記基準画素ブロックのうち、すべての基準画素ブロックまたは所定個数の基準画素ブロックに対して前記再度のステレオマッチング処理を行い、各基準画素ブロックについて、前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックの前記比較画像上での位置が集中している場合に、当該物体はミスマッチングであると判定することを特徴とする。

第４の発明は、第１から第３のいずれかの発明の物体検出装置において、前記判定手段は、ミスマッチングであると判定した物体を検出した物体中から除外することを特徴とする。

第５の発明は、第１から第３のいずれかの発明の物体検出装置において、前記判定手段は、ミスマッチングであると判定した物体が撮像されている領域の左端部または右端部に属する前記基準画素ブロックに対応して前記比較画像上に特定された前記比較画素ブロックを含む前記エピポーラライン上での前記再度のステレオマッチング処理により、前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックの前記比較画像上の位置と、当該基準画素ブロックの前記基準画像上の位置とから視差を算出し、前記ミスマッチングであると判定した物体が、当該算出した視差に基づいて算出される実空間上の距離に存在するとした場合に、検出されている他のいずれかの物体の実空間上の距離と所定の誤差の範囲内で符合するときは、当該ミスマッチングであると判定した物体を、それと符合する当該他の物体と同一の物体であると判定することを特徴とする。

第６の発明は、第５の発明の物体検出装置において、前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックが複数存在する場合には、前記特定された比較画素ブロック以外のすべての比較画素ブロックについて、前記符合するか否かの判定を行うことを特徴とする。

第７の発明は、第５または第６の発明の物体検出装置において、前記符合するか否かの判定を行う対象となる他の物体は、前記基準画像上で前記ミスマッチングであると判定した物体の近傍に検出された物体であることを特徴とする。

第８の発明は、第１から第７のいずれかの発明の物体検出装置において、前記判定手段は、今回のサンプリング周期でミスマッチングであると判定した物体について行った前記再度のステレオマッチング処理で得られた前記差異の極小値を与え当該極小値が前記閾値以下である比較画素ブロックの情報の中に、ミスマッチングであると判定した当該物体に対応する前回のサンプリング周期で検出された物体について前記前回のサンプリング周期で行った前記再度のステレオマッチング処理で得られた前記差異の極小値を与え当該極小値が前記閾値以下である比較画素ブロックの情報に近接する情報がある場合には、今回のサンプリング周期で当該物体に対して行ったミスマッチングであるとの判定の信頼度を向上させることを特徴とする。

第９の発明は、第１から第８のいずれかの発明の物体検出装置において、前記判定手段は、算出された前記差異に基づいて、前記基準画像と前記比較画像との一方または両方の輝度値を増加させまたは減少させることを特徴とする。

第１の発明によれば、ステレオ撮像手段で撮像された基準画像と比較画像と基づいてステレオマッチング処理を行って基準画像上に検出した物体に対して、物体が撮像されている基準画像上の各領域について、各領域の左端部または右端部に属する基準画素ブロックを選択し、当該基準画素ブロックに対応して特定された比較画素ブロックを含むエピポーラライン上の前記特定された比較画素ブロックの左側または右側の範囲について再度ステレオマッチング処理を行う。そして、当該物体について、特定された比較画素ブロック以外に、ＳＡＤ値等の差異の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックが検出された場合に、当該物体はミスマッチングであると判定する。

このように構成することで、図２３（Ａ）、（Ｂ）に示したような似たような輝度パターンが一定の間隔で並ぶ物体等が撮像され、ミスマッチングを生じ易い画像に対しても、再度のステレオマッチング処理で、特定された比較画素ブロックの左側または右側の範囲に差異の極小値を与え当該極小値が閾値以下である比較画素ブロックが検出された場合に当該物体がミスマッチングであると判定することで、ミスマッチングにより誤検出された物体を的確に識別することが可能となる。

また、そのため、例えば物体検出装置を車両に搭載し、先行車両を追跡する場合にも、物体の誤検出により先行車追従システム等が作動して不要なブレーキ操作が自動的に行われる事態の発生を防止することが可能となる。さらに、前記閾値を適切に設定することで、容易かつ確実にミスマッチングによる物体の誤検出を識別することが可能となる。

第２の発明によれば、前記（１）式に従って算出されるＳＡＤ値に基づいてステレオマッチング手段でステレオマッチング処理が行われ、判定手段で再度のステレオマッチング処理が行われるため、前記各処理を容易に行うことが可能となるとともに、判定手段での再度のステレオマッチング処理によりエピポーラライン上の前記範囲に特定された比較画素ブロック以外に前記条件を満たす比較画素ブロックが存在するか否かを容易かつ的確に判定することが可能となり、前記発明の効果がより容易かつ的確に発揮される。

第３の発明によれば、物体が撮像されている基準画像上の各領域について、各領域の左端部または右端部に属する複数の基準画素ブロックを選択してそれぞれ再度のステレオマッチング処理を行うことで、より確実にミスマッチングの判定を行うことが可能となり、前記各発明の効果がより確実に発揮される。

第４の発明によれば、前記各発明の効果に加え、ミスマッチングであると判定した物体を検出した物体中から除外することで、検出された物体中に誤検出された物体が含まれないようにすることが可能となり、物体検出の信頼性をより向上させることが可能となる。

第５の発明によれば、前記各発明の効果に加え、ミスマッチングであると判定した物体について、特定された比較画素ブロックを含むエピポーラライン上に特定された比較画素ブロック以外に検出された比較画素ブロックの情報を活用して、ミスマッチングであると判定した物体をそれと符合する他の物体と同一の物体であると判定することで、ミスマッチングされた物体の情報を有効に活用することが可能となるとともに、複数の物体として検出されていた本来１つの物体の情報を的確に１つにまとめることが可能となり、物体検出の信頼性をより向上させることが可能となる。

第６の発明によれば、ミスマッチングであると判定した物体について、特定された比較画素ブロックを含むエピポーラライン上に特定された比較画素ブロック以外に検出された比較画素ブロックが複数存在する場合に、それらの情報をすべて活用して、ミスマッチングであると判定した物体をそれと符合する他の物体と同一の物体であると判定することで、前記第５の発明の効果がより的確に発揮されるとともに、符合処理の信頼性を向上させることが可能となる。

第７の発明によれば、符合するか否かの判定を行う対象となる他の物体を、基準画像上でミスマッチングであると判定した物体の近傍に検出された物体に限定することで、基準画像上の合理的な範囲内で符合処理を行うことが可能となる。そのため、符合処理の信頼性を向上させることが可能となり、前記各発明の効果がより的確に発揮される。

第８の発明によれば、今回のサンプリング周期でミスマッチングであると判定した物体について、エピポーラライン上に検出された比較画素ブロックの情報の中に、その物体に対応し、前回のサンプリング周期で検出された物体について前回のサンプリング周期で行った再度のステレオマッチング処理で得られた比較画素ブロックの情報に近接する情報がある場合に、今回のサンプリング周期で当該物体に対して行ったミスマッチングであるとの判定の信頼度を向上させることで、物体検出の信頼性をより向上させることが可能となるとともに、ミスマッチングであると判定した物体の排除や、他の物体との符合処理を的確に行うことが可能となり、前記各発明の効果がより的確に発揮される。

第９の発明によれば、前記各発明の効果に加え、算出された差異に基づいて基準画像や比較画像の輝度値を増減させることで、次回以降のサンプリング周期で基準画像の基準画素ブロックに対して本来特定されるべき比較画素ブロックが特定される確率を向上させることが可能となり、ミスマッチングの発生確率を低下させて、物体検出の信頼性をより向上させることが可能となる。

以下、本発明に係る物体検出装置の実施の形態について、図面を参照して説明する。

なお、以下では、物体検出装置が車両に搭載され、道路上の、或いは道路周辺の物体を検出する場合について説明するが、本発明に係る物体検出装置の用途等はこの場合に限定されない。

本実施形態に係る物体検出装置１は、図１に示すように、ステレオ撮像手段２、変換手段３、画像処理手段６、検出手段９等で構成されている。

なお、ステレオ撮像手段２から検出手段９のグルーピング手段１０までの構成は本願出願人により先に提出された特開平５−１１４０９９号公報、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報、特開２００６−７２４９５号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。

ステレオ撮像手段２は、本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され例えばルームミラー近傍に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられた一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。

メインカメラ２ａおよびサブカメラ２ｂは、道路面から同じ高さに取り付けられており、所定のサンプリング周期で同時に車両前方の物体を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ２ａは図２に例示される基準画像Ｔ_Oの画像データを出力し、運転者から遠い側に配置されたサブカメラ２ｂは図示を省略する比較画像Ｔ_Cの画像データを出力するようになっている。

メインカメラ２ａとサブカメラ２ｂから出力された画像データは、変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでアナログ画像からそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部４で、ずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ５に送信されて格納されるとともに、画像処理手段６にも送信されるようになっている。

画像処理手段６は、イメージプロセッサ等からなるステレオマッチング手段７と距離データメモリ８とを備えている。

ステレオマッチング手段７では、図２２に示した手法でステレオマッチング処理が行われるようになっている。具体的には、ステレオマッチング手段７は、基準画像Ｔ_O上に例えば３×３画素や４×４画素等の所定の画素数の基準画素ブロックＰＢ_Oを設定し、基準画素ブロックＰＢ_Oに対応する比較画像Ｔ_C中のエピポーララインＥＰＬ上の基準画素ブロックＰＢ_Oと同形の各比較画素ブロックＰＢ_Cを左から右に１画素分ずつシフトしながら当該基準画素ブロックＰＢ_Oとの輝度パターンの差異を算出して、差異が最小の比較画素ブロックＰＢ_Cを特定するようになっている。

本実施形態では、前記差異として前記（１）式に従って算出されるＳＡＤ値を用いるように構成されているが、この他にも、例えば基準画素ブロックＰＢ_O中の各画素の輝度値ｐ１stと比較画素ブロックＰＢ_C中の各画素の輝度値ｐ２stとの差の二乗和を前記差異として算出するように構成することも可能である。また、基準画素ブロックＰＢ_Oと比較画素ブロックＰＢ_Cとの輝度パターンの差異を適切に算出できるものであれば他の計算式に従って差異を算出するように構成することも可能である。

ステレオマッチング手段７は、さらに、ステレオマッチング処理により特定した比較画素ブロックＰＢ_Cの比較画像Ｔ_C上の位置と当該基準画素ブロックＰＢ_Oの基準画像Ｔ_O上の位置から視差ｄｐを算出する。そして、以上の処理を基準画像Ｔ_Oの全基準画素ブロックＰＢ_Oについて行って、基準画素ブロックＰＢ_Oごとに視差ｄｐを算出するようになっている。

ステレオマッチング手段７は、このようにして基準画素ブロックＰＢ_Oごとに算出した視差ｄｐの情報を距離データメモリ８に送信して格納させるようになっている。なお、基準画像Ｔ_Oの各基準画素ブロックＰＢ_Oにそれぞれ視差ｄｐを割り当てて形成される図３に示すような画像を、以下、距離画像Ｔ_Zという。

なお、ステレオマッチング手段７は、視差ｄｐの信頼性を向上させる目的から、このようにして求めた視差ｄｐに対してフィルタリング処理を施し、有効とされた視差ｄｐのみを出力するようになっている。すなわち、例えば、基準画素ブロックＰＢ_Oが車道の映像のみからなる場合のように輝度パターンの点で特徴に乏しい場合、比較画像Ｔ_C中のエピポーララインＥＰＬ上を走査して得られる各比較画素ブロックＰＢ_CのＳＡＤ値は変化が少なく、特定された比較画素ブロックＰＢ_Cの信頼性は必ずしも高くない。そのため、そのような基準画素ブロックＰＢ_Oでの視差ｄｐは前記フィルタリング処理で無効とされ、その基準画素ブロックＰＢ_Oについては視差ｄｐの値として０を出力するようになっている。

したがって、ステレオマッチング手段７から出力される距離画像Ｔ_Zは、通常、基準画像Ｔ_Oにおいて左右方向に隣接する画素間での輝度値ｐ１stの差が大きい、いわゆる物体のエッジ部分の基準画素ブロックＰＢ_Oについて有効な視差ｄｐの値を有する画像となる。

また、一対のメインカメラ２ａとサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向（左右方向）をＸ軸方向、車高方向（高さ方向）をＹ軸方向、車長方向（前後方向）をＺ軸方向とした場合の実空間上の点（Ｘ，Ｙ，Ｚ）と、上記の視差ｄｐ、距離画像Ｔ_Z上の点（ｉ，ｊ）とは、三角測量の原理に基づき下記（２）〜（４）式で表される座標変換により一意に対応づけられる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（４）

上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像Ｔ_Z上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

従って、本実施形態では、上記のように基準画像Ｔ_Oの各基準画素ブロックＰＢ_Oにそれぞれ視差ｄｐが割り当てられた距離画像Ｔ_Zを用いて視差ｄｐに基づいて各処理が行われるが、予め視差ｄｐを前記（４）式に従って距離Ｚに変換し、基準画像Ｔ_Oの各基準画素ブロックＰＢ_Oにそれぞれ距離Ｚを割り当てた距離画像を用いて距離Ｚに基づいて各処理を行うように構成することも可能である。

検出手段９は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されている。図示を省略するが、検出手段９には、必要に応じて車速やヨーレート、ステアリングホイールの舵角等の情報が入力されるようになっている。

検出手段９は、図１に示すように、物体を検出するためのグルーピング手段１０と、検出された各物体についてミスマッチングであるか否かと判定する判定手段１１とを備えており、さらに図示しないメモリを備えている。

グルーピング手段１０は、本実施形態では、前述したように特開平１０−２８３４６１号公報等に記載された車外監視装置等をベースに構成されている。詳細な説明はそれらの公報に委ねる。以下、簡単にその構成について説明する。

グルーピング手段１０は、上記のステレオマッチング処理で得られた基準画素ブロックＰＢ_Oごとの視差ｄｐに基づいて同一の物体と見なすべき視差ｄｐをグループ化して、基準画像Ｔ_O上に物体を検出するようになっている。

具体的には、グルーピング手段１０は、距離データメモリ８から前述した距離画像Ｔ_Zを読み出して、図４に示すように距離画像Ｔ_Zを所定の画素幅で垂直方向に延びる短冊状の区分Ｄｎに分割する。そして、短冊状の各区分Ｄｎに属する各視差ｄｐについて図５に示すようにヒストグラムＨｎを作成し、度数Ｆｎが最大の階級の階級値をその短冊状の区分Ｄｎにおける物体の視差ｄｐｎとする。これを全区分Ｄｎについて行うようになっている。

グルーピング手段１０は、続いて、各区分Ｄｎごとに得られた視差ｄｐｎを前記（４）式のｄｐに代入して、視差ｄｐｎに対応する各区分Ｄｎごとの実空間上の距離Ｚｎを算出して、図６に示すように実空間上にプロットし、図７に示すようにプロットされた各点間の距離や方向性に基づいて互いに隣接する各点をそれぞれグループＧ１、Ｇ２、Ｇ３、…にまとめてグループ化するようになっている。

本実施形態では、グルーピング手段１０は、図８に示すように各グループに属する各点をそれぞれ直線近似し、それぞれのグループ内の各点が自車両Ａの車幅方向すなわちＸ軸方向に略平行に並ぶグループには“物体”Ｏとラベルし、各点が自車両Ａの車長方向すなわちＺ軸方向に略平行に並ぶグループには“側壁”Ｓとラベルして分類するようになっている。また、同一の物体の“物体”と“側壁”の交点とみなすことができる箇所にコーナー点としてＣをラベルするようになっている。

そして、グルーピング手段１０は、図８の例では、［側壁Ｓ１］、［物体Ｏ１］、［側壁Ｓ２］、［物体Ｏ２とコーナー点Ｃと側壁Ｓ３］、［側壁Ｓ４］、［物体Ｏ３］、［物体Ｏ４］、［側壁Ｓ５とコーナー点Ｃと物体Ｏ５］、［物体Ｏ６］、［側壁Ｓ６］をそれぞれ１つの物体として検出するようになっている。なお、上記のように便宜上ラベルとして“物体”と“側壁”とが用いられるが、“側壁”も物体として検出される。

グルーピング手段１０は、このようにして検出した各物体の情報すなわち各グループの近似直線の端点や中点の座標等をそれぞれメモリに保存するようになっている。なお、本実施形態では、以下、各物体の視差ｄｐや距離Ｚという場合、それらは、各物体に対応する各グループの近似直線の中点に対応する基準画素ブロックＰＢ_Oの視差ｄｐおよびそれに対応する距離Ｚを表す。

判定手段１１は、図９に示すように、グルーピング手段１０により検出された各物体の情報に基づいて、基準画像Ｔ_O上に各物体を包囲する矩形状の枠線を設定することで各物体が撮像されている各領域を設定して、基準画像Ｔ_O上に各物体を検出するようになっている。判定手段１１は、基準画像Ｔ_Oにおける各枠線の頂点の座標等をそれぞれメモリに保存するようになっている。

以下、判定手段１１におけるミスマッチングの判定手法について説明するとともに、本実施形態に係る物体検出装置１の作用について説明する。

本実施形態のステレオマッチング手段７で行われる図２２に示した手法によるステレオマッチング処理では、前述した従来の場合と同様に、例えば図２３（Ａ）、（Ｂ）に示した似たような輝度パターンが一定の間隔で並ぶ物体Ｏの基準画素ブロックＰＢ_O(p)に対してステレオマッチング処理を行った場合、前記（１）式で算出されるＳＡＤ値のグラフに、図２４に示したように、ＳＡＤ値が極小となる下向きのピークとなる比較画素ブロックＰＢ_C(a)、ＰＢ_C(b)、ＰＢ_C(c)、…が繰り返し現れる。

そして、本来特定されるべき比較画素ブロックＰＢ_C(a)とは別の比較画素ブロックＰＢ_C(c)でＳＡＤ値ＳＡＤ(c)が最小となって比較画素ブロックＰＢ_C(c)が特定されるミスマッチングが生じる。その結果、このミスマッチングに基づいて視差が算出されると、図２５に示したように物体Ｏの一部が本来の物体Ｏとは距離Ｚが異なる別の物体Ｏａとして誤検出される。

図２５に示した誤検出された物体Ｏａは、例えば図１０（Ａ）に示すように基準画像Ｔ_O上では、検出された物体Ｏの一部に現れる。これは、本来基準画像Ｔ_O上で物体Ｏと同一の物体として検出されるべき領域Ｏａに属する各基準画素ブロックＰＢ_Oに対して、図１０（Ｂ）に示すように、比較画像Ｔ_C上で、本来特定されるべき比較画素ブロックＰＢ_C(a)を含む領域Ｒａの各比較画素ブロックＰＢ_Cではなく、比較画像Ｔ_C上の領域Ｒａの右側の比較画素ブロックＰＢ_C(c)を含む領域Ｒｃの各比較画素ブロックＰＢ_Cが誤って特定されてしまったことを表す。

ここで、より詳しくミスマッチングされた領域Ｒｃについて検討すると、比較画像Ｔ_C上で領域Ｒｃの左側に本来マッチングされるべき領域Ｒａが存在する。そして、図１０（Ｂ）に示したようにミスマッチングにより誤って特定された比較画素ブロックＰＢ_C(c)が属するエピポーララインＥＰＬ上には領域Ｒｃの左外側に少なくとも本来特定されるべき比較画素ブロックＰＢ_C(a)が存在し、そこでは図２４のグラフに示したようにＳＡＤ値がＳＡＤ(c)と同程度に小さい極小値ＳＡＤ(a)を与え、下向きのピークとなる。なお、この場合は、図２４に示したように比較画素ブロックＰＢ_C(b)もＳＡＤ値の極小値ＳＡＤ(b)を与えて下向きのピークとなっている。

一方、正しく検出された物体Ｏについて検討すると、図１１に示すように、比較画像Ｔ_C上では本来マッチングされるべき領域Ｏがマッチングされている。そして、例えば図１０（Ａ）に示す物体Ｏが検出された領域Ｏの左端部に属する基準画素ブロックＰＢ_O(q)について観察すると、それに対応して特定された比較画素ブロックＰＢ_C(d)を含む比較画像Ｔ_C上のエピポーララインＥＰＬ上の比較画素ブロックＰＢ_C(d)の左側の範囲では、ＳＡＤ値は図１２に示すようなグラフになる。

すなわち、特定された比較画素ブロックＰＢ_C(d)以外にも、比較画素ブロックＰＢ_C(e)、ＰＢ_C(f)のようにＳＡＤ値の極小値を与える比較画素ブロックＰＢ_Cが存在するが、比較画素ブロックＰＢ_C(e)、ＰＢ_C(f)でのＳＡＤ値ＳＡＤ(e)、ＳＡＤ(f)は、特定された比較画素ブロックＰＢ_C(d)よりも大きい。

本実施形態では、似たような輝度パターンが一定の間隔で並んでいる物体Ｏ等が撮像されている場合にＳＡＤ値に生じる上記の特性を利用して、判定手段１１は、上記のようにして検出された各物体ごとに、基準画像Ｔ_O上に物体が撮像されている矩形状の枠線で囲まれた領域をそれぞれ設定すると、各領域（例えば図１０（Ａ）の領域Ｏ、Ｏａ）の左端部に属する基準画素ブロックＰＢ_O（例えば基準画素ブロックＰＢ_O(q)、ＰＢ_O(p)）を選択し、当該基準画素ブロックＰＢ_O（ＰＢ_O(q)、ＰＢ_O(p)）に対応して比較画像Ｔ_C上に特定された比較画素ブロックＰＢ_C（例えば比較画素ブロックＰＢ_C(d)、ＰＢ_C(c)）を含むエピポーララインＥＰＬの比較画素ブロックＰＢ_C（ＰＢ_C(d)、ＰＢ_C(c)）の左側の範囲について再度ステレオマッチング処理を行うようになっている。

そして、特定された比較画素ブロックＰＢ_C（ＰＢ_C(d)、ＰＢ_C(c)）以外の比較画素ブロックＰＢ_Cであって、ＳＡＤ値の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックＰＢ_Cが検出された場合には、当該物体はミスマッチングであると判定するように構成されている。閾値は予め適切な値に設定される。

このように構成すると、上記の例では、判定手段１１は、図１０（Ａ）の領域Ｏａの左端部に属する基準画素ブロックＰＢ_O(p)を選択すると、図１０（Ｂ）に示したように基準画素ブロックＰＢ_O(p)に対応して比較画像Ｔ_C上に特定された比較画素ブロックＰＢ_C(c)を含むエピポーララインＥＰＬの比較画素ブロックＰＢ_C(c)の左側の範囲について再度ステレオマッチング処理を行う。すると、図２４のグラフに示したように、特定された比較画素ブロックＰＢ_C(c)以外の比較画素ブロックＰＢ_Cであって、ＳＡＤ値の極小値ＳＡＤ(a)、ＳＡＤ(a)を与え、当該極小値が予め設定された閾値以下である比較画素ブロックＰＢ_C(a)、ＰＢ_C(b)が検出されるため、判定手段１１は、当該物体Ｏａはミスマッチングであると判定する。

一方、判定手段１１は、図１０（Ａ）の領域Ｏの左端部に属する基準画素ブロックＰＢ_O(q)を選択すると、図１１に示したように基準画素ブロックＰＢ_O(q)に対応して比較画像Ｔ_C上に特定された比較画素ブロックＰＢ_C(d)を含むエピポーララインＥＰＬの比較画素ブロックＰＢ_C(d)の左側の範囲について再度ステレオマッチング処理を行う。すると、図１２のグラフに示したように、比較画素ブロックＰＢ_C(e)、ＰＢ_C(f)のＳＡＤ値はともに閾値より大きな値であり、特定された比較画素ブロックＰＢ_C(d)以外の比較画素ブロックＰＢ_CであってＳＡＤ値の極小値を与え当該極小値が予め設定された閾値以下である比較画素ブロックＰＢ_Cは検出されないため、判定手段１１は、当該物体Ｏはミスマッチングではなく、正しくマッチングされた物体であると判定する。

このように、本実施形態の判定手段１１では、検出された各物体ごとに基準画像Ｔ_O上に物体が撮像されている矩形状の枠線で囲まれた領域をそれぞれ設定し、各領域の左端部に属する基準画素ブロックＰＢ_Oに対応して比較画像Ｔ_C上に特定された比較画素ブロックＰＢ_Cの左側のエピポーララインＥＰＬ上で再度ステレオマッチング処理を行って、ＳＡＤ値のグラフで下向きのピークを与える比較画素ブロックＰＢ_Cが特定された比較画素ブロックＰＢ_C以外に存在するか否かで、各物体がミスマッチングであるか否かをそれぞれ判定するようになっている。

しかし、このように構成した場合、図１０（Ａ）、（Ｂ）に示したミスマッチングとは逆方向のミスマッチングが生じた場合には、判定手段１１が必ずしも適切に機能しない場合がある。

すなわち、例えば図１３（Ａ）、（Ｂ）に示すように、基準画像Ｔ_O上の基準画素ブロックＰＢ_O(r)に対応して比較画像Ｔ_C上で比較画素ブロックＰＢ_C(a)が特定され、基準画像Ｔ_O上の物体Ｏの一部の領域Ｏｂが比較画像Ｔ_C上の本来特定されるべき領域Ｒｃではなくその左側の領域Ｒｃとミスマッチングされた場合、物体Ｏｂはミスマッチングにより誤検出された物体である。

しかし、それにもかかわらず、領域Ｏｂの基準画素ブロックＰＢ_O(r)に対応して比較画像Ｔ_C上に特定された比較画素ブロックＰＢ_C(a)の左側のエピポーララインＥＰＬ上で再度ステレオマッチング処理を行うと、特定された比較画素ブロックＰＢ_C(a)以外にはＳＡＤ値の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックＰＢ_Cは検出されないから、判定手段１１は、当該物体Ｏｂをミスマッチングであるとは判定しないという問題がある。

なお、この場合、誤検出された物体Ｏｂは、物体Ｏｂの領域に属する各区分Ｄｎの視差ｄｐｎを実空間上の距離Ｚｎに換算して実空間上にプロットすると、図１４に示すように本来の物体Ｏよりも遠い位置に誤検出される。本実施形態のように、物体検出装置１が車両に搭載され、道路上や道路周辺の物体を検出する場合には、前記図２５のように物体Ｏｂが本来の物体Ｏより近い位置に誤検出されると先行車追従システム等が作動して自動的に急ブレーキが掛かる等の問題が生じるが、本来の物体Ｏが確実に検出されている限り物体Ｏｂが本来の物体Ｏより遠い位置に誤検出されてもさほど不都合は生じない。

図１３（Ａ）、（Ｂ）に示したような図１０（Ａ）、（Ｂ）に示したミスマッチングとは逆方向のミスマッチングが生じているか否かの判定は、比較画像Ｔ_C上のエピポーララインＥＰＬの上記とは逆側すなわち右側の範囲で再度ステレオマッチング処理を行うように構成することで判定することができる。

すなわち、判定手段１１は、検出された各物体ごとに基準画像Ｔ_O上にそれぞれ設定された枠線で囲まれた領域（例えば図１５（Ａ）に示す領域Ｏ、Ｏｂ）の右端部に属する基準画素ブロックＰＢ_O（例えば基準画素ブロックＰＢ_O(s)、ＰＢ_O(t)）を選択し、当該基準画素ブロックＰＢ_O（ＰＢ_O(s)、ＰＢ_O(t)）に対応して比較画像Ｔ_C上に特定された比較画素ブロックＰＢ_C（例えば図１５（Ｂ）に示す比較画素ブロックＰＢ_C(g)、ＰＢ_C(h)）を含むエピポーララインＥＰＬの比較画素ブロックＰＢ_C（ＰＢ_C(g)、ＰＢ_C(h)）の右側の範囲について再度ステレオマッチング処理を行う。そして、特定された比較画素ブロックＰＢ_C（ＰＢ_C(g)、ＰＢ_C(h)）以外の比較画素ブロックＰＢ_Cであって、ＳＡＤ値の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックＰＢ_Cが検出された場合には、当該物体はミスマッチングであると判定するように構成される。

このように構成すれば、判定手段１１は、例えば図１５（Ａ）の領域Ｏの右端部の基準画素ブロックＰＢ_O(s)を選択すると、図１５（Ｂ）に示したように基準画素ブロックＰＢ_O(s)に対応して比較画像Ｔ_C上に特定された比較画素ブロックＰＢ_C(g)を含むエピポーララインＥＰＬの比較画素ブロックＰＢ_C(g)の右側の範囲について再度ステレオマッチング処理を行う。この場合、前述した図１２のグラフに示した各ＳＡＤ値と同様に、特定された比較画素ブロックＰＢ_C(g)以外の比較画素ブロックＰＢ_CであってＳＡＤ値の極小値を与え当該極小値が予め設定された閾値以下である比較画素ブロックＰＢ_Cは検出されないため、判定手段１１は、当該物体Ｏはミスマッチングではなく、正しくマッチングされた物体であると判定する。

また、判定手段１１は、例えば図１５（Ａ）の領域Ｏｂの右端部の基準画素ブロックＰＢ_O(t)を選択すると、基準画素ブロックＰＢ_O(t)とマッチングされた比較画素ブロックＰＢ_Cが比較画素ブロックＰＢ_C(h)であれば、図１５（Ｂ）に示したように基準画素ブロックＰＢ_O(t)に対応して比較画像Ｔ_C上に特定された比較画素ブロックＰＢ_C(h)を含むエピポーララインＥＰＬの比較画素ブロックＰＢ_C(h)の右側の範囲について再度ステレオマッチング処理を行う。

この場合は、比較画素ブロックＰＢ_C(h)の右側のエピポーララインＥＰＬ上に、比較画素ブロックＰＢ_C(h)と輝度パターンが似かよった比較画素ブロックＰＢ_Cが比較画素ブロックＰＢ_C(h)以外に１つ以上存在するため、図１６に示すように、特定された比較画素ブロックＰＢ_C(h)以外に、ＳＡＤ値の極小値ＳＡＤ(i)、ＳＡＤ(j)、…を与え、当該極小値が予め設定された閾値以下である比較画素ブロックＰＢ_C(i)、ＰＢ_C(j)、…が検出されるため、判定手段１１は、当該物体Ｏｂはミスマッチングであると判定する。

このように、判定手段１１を、検出された各物体ごとに基準画像Ｔ_O上に物体が撮像されている矩形状の枠線で囲まれた領域をそれぞれ設定し、各領域の右端部に属する基準画素ブロックＰＢ_Oに対応して比較画像Ｔ_C上に特定された比較画素ブロックＰＢ_Cの右側のエピポーララインＥＰＬ上で再度ステレオマッチング処理を行って、ＳＡＤ値のグラフで下向きのピークを与える比較画素ブロックＰＢ_Cが特定された比較画素ブロックＰＢ_C以外に存在するか否かで、各物体がミスマッチングであるか否かをそれぞれ判定するように構成することも可能である。

なお、上記の判定手段１１によるミスマッチングの判定においては、基準画像Ｔ_O上に検出された各物体の領域Ｏ、Ｏａ、Ｏｂの各左端部で基準画素ブロックＰＢ_Oをそれぞれ１つずつ（すなわち基準画素ブロックＰＢ_O (q)、ＰＢ_O (p) 、ＰＢ_O (r)）選択し、或いは各物体の領域Ｏ、Ｏｂの各右端部で基準画素ブロックＰＢ_Oをそれぞれ１つずつ（すなわち基準画素ブロックＰＢ_O (s)、ＰＢ_O (t)）選択する場合について説明したが、各物体の領域の左端部や右端部で選択される基準画素ブロックＰＢ_Oの数は１つに限定されない。寧ろ、各物体の領域の左端部や右端部で選択される基準画素ブロックＰＢ_Oの数を複数とすることで、より確実にミスマッチングの判定を行うことが可能となる。

ミスマッチングの判定において各物体の領域の左端部や右端部で選択される基準画素ブロックＰＢ_Oの数を複数とする場合、左端部または右端部に属するすべての基準画素ブロックＰＢ_Oに対して再度ステレオマッチング処理を行うように構成することができる。また、左端部または右端部に属するすべての基準画素ブロックＰＢ_Oのうち、予め設定された所定個数の基準画素ブロックに対して再度ステレオマッチング処理を行うように構成することも可能である。

その際、例えば前述した図１０（Ａ）に示した誤検出された物体Ｏａの領域Ｏａの左端部に属する基準画素ブロックＰＢ_Oとして基準画素ブロックＰＢ_O(p)を含む複数の基準画素ブロックＰＢ_Oを選択し、それらの基準画素ブロックＰＢ_Oに対してそれぞれ再度ステレオマッチング処理を行うと、図１７に示すように、ＳＡＤ値の極小値が閾値以下となる比較画素ブロックＰＢ_Cの位置が少なくとも比較画素ブロックＰＢ_C(a)、ＰＢ_C(b)、ＰＢ_C(c)の近傍の位置に集中する。

このように、ＳＡＤ値の極小値が閾値以下となる特定された比較画素ブロックＰＢ_C(c)以外の比較画素ブロックの位置が比較画素ブロックＰＢ_C(a)、ＰＢ_C(b)等の位置に集中している場合に当該物体Ｏａがミスマッチングであると判定するように構成することで、より確実にミスマッチングの判定を行うことが可能となる。

この場合、物体の領域の左端部や右端部に属するすべての基準画素ブロックＰＢ_Oまたは所定個数の基準画素ブロックＰＢ_Oのうち、すべての基準画素ブロックＰＢ_Oについて上記集中が生じる必要はなく、選択した基準画素ブロックＰＢ_Oのうちの所定個数以上或いは所定割合以上の基準画素ブロックＰＢ_Oにおいて上記集中が生じた場合に当該物体Ｏａがミスマッチングであると判定するように構成することも可能である。

判定手段１１は、例えば図１０（Ａ）に示した物体Ｏのようにミスマッチングではないと判定した物体について比較画像Ｔ_CのエピポーララインＥＰＬ上に現れた閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックＰＢ_C(d)（図１２参照）の比較画像Ｔ_C上の位置の情報や、図１０（Ａ）に示した物体Ｏａのようにミスマッチングと判定した物体について比較画像Ｔ_CのエピポーララインＥＰＬ上に現れた閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックＰＢ_C(a)、ＰＢ_C(b)、ＰＢ_C(c)（図２４参照）の比較画像Ｔ_C上の位置の情報を、各物体に対応付けてメモリに保存するようになっている。

ところで、判定手段１１によりミスマッチングであると判定された物体の処理については、例えば、検出した全物体中から除外するように構成することが可能である。この場合、判定手段１１は、前記グルーピング手段１０がメモリに保存した各物体の情報のうち、ミスマッチングと判定した物体の情報を削除するように構成される。

しかし、図２４や図１６、図１７に示したように、ミスマッチングの判定の際に行った再度のステレオマッチング処理で得られたＳＡＤ値のグラフにおいて、ＳＡＤ値が極小となり下向きのピークを与える比較画素ブロックＰＢ_Cの中に、本来特定されるべき比較画素ブロックＰＢ_C（例えば図２４等では比較画素ブロックＰＢ_C(a)）が存在している場合がある。

そこで、本実施形態では、それを利用して、再度のステレオマッチング処理の結果を用いて、誤検出された当該物体が検出された他の物体と統合できるか否かを見出すように構成されている。

なお、以下では、誤検出された物体の領域の左端部に属する１つの基準画素ブロックＰＢ_Oについて行った再度のステレオマッチング処理の結果を用いる場合について説明するが、右端部に属する基準画素ブロックＰＢ_Oについて行った結果を用いる場合についても同様である。また、物体の領域の左端部または右端部に属する複数の基準画素ブロックＰＢ_Oについて行った再度のステレオマッチング処理の結果を用いる場合についても同様である。

具体的には、判定手段１１は、まず、ミスマッチングであると判定した物体が撮像されている領域の左端部に属する基準画素ブロックＰＢ_Oに対応して比較画像Ｔ_C上に特定された比較画素ブロックＰＢ_Cを含むエピポーラライン上での再度のステレオマッチング処理により、ＳＡＤ値の極小値が閾値以下となる特定された比較画素ブロックＰＢ_C以外の比較画素ブロックＰＢ_Cの比較画像Ｔ_C上の位置と、元の基準画素ブロックＰＢ_Oの基準画像Ｔ_O上の位置とから視差ｄｐを算出する。

続いて、判定手段１１は、ミスマッチングであると判定した物体が、算出した視差ｄｐに基づいて算出される実空間上の距離Ｚに存在するとした場合に、検出されている他のいずれかの物体の実空間上の距離と所定の誤差の範囲内で符合するときは、当該ミスマッチングであると判定した物体を、それと符合する当該他の物体と同一の物体であると判定するようになっている。

図１０（Ａ）、（Ｂ）の場合、ミスマッチングであると判定された物体Ｏａの領域Ｏａの左端部に属する基準画素ブロックＰＢ_O(p) に対応して比較画像Ｔ_C上に特定された比較画素ブロックＰＢ_C(c)を含むエピポーララインＥＰＬ上での再度のステレオマッチング処理で、ＳＡＤ値の極小値ＳＡＤ(a)、ＳＡＤ(b)（図２４参照）が閾値以下となる特定された比較画素ブロックＰＢ_C(c)以外の比較画素ブロックＰＢ_C(a)、ＰＢ_C(b)の比較画像Ｔ_C上の位置と、元の基準画素ブロックＰＢ_O(p)の基準画像Ｔ_O上の位置とからそれぞれ視差ｄｐ(a)、ｄｐ(b)を算出する。

そして、前記（４）式に従って視差ｄｐ(a)、ｄｐ(b)から実空間上の距離Ｚ(a)、Ｚ(b)をそれぞれ算出する。図１８に示すように、ミスマッチングであると判定した物体Ｏａが距離Ｚ(b)に存在するとした場合、他の物体Ｏの実空間上の距離と符合するとは言い難いが、物体Ｏａが距離Ｚ(a)に存在するとした場合には物体Ｏの実空間上の距離と所定の誤差の範囲内で符合すると言い得る。従って、この場合は、判定手段１１は、ミスマッチングであると判定した物体Ｏａを、それと符合する他の物体Ｏと同一の物体であると判定し、物体Ｏと物体Ｏａとを統合して、図１９に示すように１つの物体Ｏとして検出するようになっている。

このように、本実施形態では、ＳＡＤ値の極小値が閾値以下となる特定された比較画素ブロックＰＢ_C以外の比較画素ブロックＰＢ_Cが複数存在する場合には、特定された比較画素ブロックＰＢ_C以外のすべての比較画素ブロックＰＢ_Cについて、符合するか否かの判定を行うようになっている。

また、図２０に示すように、本来基準画像Ｔ_O上で１つの物体として検出されるべき物体の領域が、その一部でミスマッチングを生じてしまったために、複数の物体Ｏｃ、Ｏｄ、Ｏｅとして検出される場合がある。

しかし、この場合も、まず、最も左側に検出されている物体Ｏｃについて、その領域Ｏｃの左端部に属する基準画素ブロックＰＢ_Oに対応して比較画像Ｔ_C上に特定された比較画素ブロックＰＢ_Cを含むエピポーララインＥＰＬの当該特定された比較画素ブロックＰＢ_Cの左側の範囲について再度ステレオマッチング処理を行い、図１２に示したようなＳＡＤ値のグラフを得て、特定された比較画素ブロックＰＢ_C以外の比較画素ブロックＰＢ_CでＳＡＤ値の極小値が予め設定された閾値以下である比較画素ブロックＰＢ_Cが検出されないことを確認し、当該物体Ｏｃが正しくマッチングされた物体であると確認する。

そして、物体Ｏｄについても同様に再度ステレオマッチング処理を行い、ＳＡＤ値の極小値が閾値以下となる特定された比較画素ブロックＰＢ_C以外の比較画素ブロックＰＢ_Cの比較画像Ｔ_C上の位置と、元の基準画素ブロックＰＢ_Oの基準画像Ｔ_O上の位置とから視差ｄｐを算出し、視差ｄｐから算出される距離Ｚに基づいて物体Ｏｄを物体Ｏｃと統合できるか否かを判定して、物体Ｏｄを物体Ｏｃに統合させて１つの物体とする。

物体Ｏｅについても同様の処理を行い、統合された物体Ｏｃ、Ｏｄと統合できるか否かを判定し、最終的に物体Ｏｃ〜Ｏｅを統合することで、図１９に示すような１つの物体Ｏとして検出することができる。

なお、実施形態では、図１９等に示したように、車幅方向（Ｘ軸方向）に延在する物体を検出する場合について説明したが、例えば、図９に示したような“側壁”とラベルされた車長方向（Ｚ軸方向）に延在する物体Ｓ（［側壁Ｓ１］〜［側壁Ｓ６］）についても同様に適用される。

また、図９に示したように基準画像Ｔ_O上に複数の物体が検出されている場合に、上記の処理により例えば物体Ｏ６がミスマッチングであると判定されたとしても、同じような距離Ｚに存在する物体Ｏ２と統合させることは明らかに無理がある。

従って、本実施形態では、ミスマッチングであると判定した物体と符合するか否かの判定を行う対象となる他の物体を、基準画像Ｔ_O上でミスマッチングであると判定した物体の近傍に検出された物体に限定するようになっている。具体的には、基準画像Ｔ_O上でミスマッチングであると判定された物体を表す枠線と当該他の物体を表す枠線とが共有されていること、或いは少なくとも枠線が接していることを条件としている。基準画像Ｔ_O上でミスマッチングであると判定された物体を表す枠線から所定の距離内にある他の物体を符合するか否かの判定を行う対象とするように構成することも可能である。

本実施形態では、判定手段１１は、ミスマッチングであると判定した物体を他の物体と統合して１つの物体として検出した場合には、前記グルーピング手段１０がメモリに保存した各物体の情報のうち、ミスマッチングと判定した物体の情報を当該他の物体の情報と統合し、必要があれば統合して１つの物体とされた物体の情報の近似直線等をし直し、その端点や中点の座標等をそれぞれメモリに保存するようになっている。

その際、判定手段１１は、統合して１つの物体とされた物体の基準画像Ｔ_Oにおける各枠線の頂点の座標等の再計算等が必要であれば再計算を行い、また、統合して１つの物体とされた物体について統合される前の当該他の物体について比較画像Ｔ_CのエピポーララインＥＰＬ上に現れた閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックＰＢ_Cを対応付けてメモリに保存するようになっている。

一方、ステレオ撮像手段２のメインカメラ２ａおよびサブカメラ２ｂからは数十〜数百ミリ秒のサンプリング周期で基準画像Ｔ_Oや比較画像Ｔ_Cの各画像データが送られてくるようになっており、検出された各物体について、前回のサンプリング周期で撮像された画像と今回のサンプリング周期で撮像された画像との間で、比較画像Ｔ_CのエピポーララインＥＰＬ上で本来特定されるべき比較画素ブロックＰＢ_Cの位置が大きく変化することは考え難い。

従って、本実施形態の判定手段１１は、今回のサンプリング周期でミスマッチングであると判定した物体について行った再度のステレオマッチング処理で得られた閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックＰＢ_Cの情報の中に、ミスマッチングであると判定した物体に対応する前回のサンプリング周期で検出された物体について前回のサンプリング周期で行った再度のステレオマッチング処理で得られた閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックＰＢ_Cの情報に近接する情報がある場合には、今回のサンプリング周期で当該物体に対して行ったミスマッチングであるとの判定の信頼度を向上させるようになっている。

具体的には、例えば前回のサンプリング周期で図１９のように検出された物体Ｏについて、今回のサンプリング周期で図１０（Ａ）に示したようにその一部がミスマッチングにより物体Ｏａとして検出された場合を考えると、今回のサンプリング周期の再度のステレオマッチング処理で図２４に示したようなＳＡＤ値のグラフが得られた場合、前回のサンプリング周期では本来特定されるべき比較画素ブロックＰＢ_C(a)またはそのごく近傍の比較画素ブロックＰＢ_Cを頂点とする下向きのピークが現れていて、それに相当する比較画素ブロックＰＢ_Cが特定されていたはずである。

従って、今回のサンプリング周期のステレオマッチング処理で誤って比較画素ブロックＰＢ_C(c)が特定され、比較画素ブロックＰＢ_C(a)にも下向きのピークが現れ、しかも前回のサンプリング周期の再度のステレオマッチング処理で比較画素ブロックＰＢ_C(a)に下向きのピークが現れていたのであれば、今回のサンプリング周期で特定された比較画素ブロックＰＢ_C(c)は誤りである可能性が非常に高くなる。

そのため、判定手段１１は、そのような場合に、今回のサンプリング周期でミスマッチングであると判定した物体についてその判定の信頼度を向上させて、判定の精度をさらに向上させるようになっている。

判定手段１１は、以上のようにして、ミスマッチングであると判定した物体であって、他の物体と統合されない物体が残存している場合には、その物体についてミスマッチングである旨の情報とその判定の信頼度とを対応付けてメモリに保存するようになっている。また、判定手段１１は、以上のようにして検出した物体（ミスマッチングであると判定した物体を含む）の情報を必要に応じてメモリから読み出して出力するようになっている。

ところで、比較画像Ｔ_CのエピポーララインＥＰＬ上での閾値以下の極小値を与える下向きのピークに相当する比較画素ブロックＰＢ_Cの特定を誤るために、物体のミスマッチングが生じる。そして、その際、比較画素ブロックＰＢ_Cの特定の基準になっているのは、本実施形態では、基準画素ブロックＰＢ_O中の各画素の輝度値ｐ１stと、比較画素ブロックＰＢ_C中の各画素の輝度値ｐ２stとした場合に、輝度パターンの差異として前記（１）式に従って算出されるＳＡＤ値である。

そこで、今回のサンプリング周期のステレオマッチング処理で誤った比較画素ブロックＰＢ_C(c)が特定されて物体のミスマッチングが生じたのであれば、次回のサンプリング周期のステレオマッチング処理で特定を誤らないように、例えば、輝度パターンの差異として算出されたＳＡＤ値に基づいて、基準画像Ｔ_Oと比較画像Ｔ_Cの輝度値を修正するように構成してもよい。

具体的には、判定手段１１は、今回のサンプリング周期で行った再度のステレオマッチング処理で例えば図２４に示したＳＡＤ値のグラフが得られた場合、誤って特定された比較画素ブロックＰＢ_C(c)に属する全画素の輝度値ｐ２stの平均値Ｋ_C(c)を算出し、また、本来特定されるべき比較画素ブロックＰＢ_C(a)に属する全画素の輝度値ｐ２stの平均値Ｋ_C(a)を算出する。さらに、比較画素ブロックＰＢ_C(c)が対応付けられた元の基準画像Ｔ_Oの基準画素ブロックＰＢ_O(p)（図１０（Ａ）参照）に属する全画素の輝度値ｐ１stの平均値Ｋ_O(p)を算出する。

上記のように、基準画素ブロックＰＢ_O(p)に対して本来特定されるべき比較画素ブロックＰＢ_C(a)ではなく比較画素ブロックＰＢ_C(c)が誤って特定される状況では、輝度値の平均値Ｋ_C(c)、 Ｋ_C(a) 、Ｋ_O(p)の間には、通常、図２１（Ａ）〜（Ｄ）の各グラフに示される関係が成り立っていると考えられる。図２１（Ａ）〜（Ｄ）のいずれのグラフにおいても平均値Ｋ_O(p)に対して平均値Ｋ_C(c)の方が平均値Ｋ_C(a)よりも近い値になっている。

その際、図２１（Ａ）〜（Ｄ）のいずれのグラフの場合も、平均値Ｋ_O(p)を平均値Ｋ_C(a)と同じ値になるように増加させまたは減少させることで、平均値Ｋ_O(p)に対して平均値Ｋ_C(a)は同じ値となり平均値Ｋ_C(c)は差が生じるようになり、次のサンプリング周期では基準画像Ｔ_Oの基準画素ブロックＰＢ_Oに対して本来特定されるべき比較画素ブロックＰＢ_Cが特定される確率を向上させることができると考えられる。

従って、判定手段１１は、上記のように、誤って特定された比較画素ブロックＰＢ_C(c)に属する全画素の輝度値ｐ２stの平均値Ｋ_C(c)と、本来特定されるべき比較画素ブロックＰＢ_C(a)に属する全画素の輝度値ｐ２stの平均値Ｋ_C(a)と、元の基準画素ブロックＰＢ_O(p)に属する全画素の輝度値ｐ１stの平均値Ｋ_O(p)を算出すると、Ｋ_C(a)−Ｋ_O(p)を計算し、前述したＡ／Ｄコンバータ３ａや画像補正部４（図１参照）にその差分値を送信して撮像された基準画像Ｔ_Oの画像データの輝度値にその差分値を加算させるように構成することができる。

Ａ／Ｄコンバータ３ａや画像補正部４で差分値に応じて基準画像Ｔ_Oの画像データの輝度値を調整する代わりに、差分値に応じてメインカメラ２ａの撮像条件を調整するように構成することも可能である。また、基準画像Ｔ_Oの画像データの輝度値を調整する代わりに、或いはそれとともに、比較画像Ｔ_Cの画像データの輝度値を調整するように構成することも可能である。

以上のように、本実施形態に係る物体検出装置１によれば、ステレオ撮像手段２により撮像された基準画像Ｔ_Oと比較画像Ｔ_Cとに基づいて、ステレオマッチング手段７でステレオマッチング処理を行って視差ｄｐを算出し、グルーピング手段１０で視差ｄｐをグループ化して、判定手段１１で基準画像Ｔ_O上に物体を検出する。

また、判定手段１１で、物体が撮像されている基準画像Ｔ_O上の各領域について、各領域の左端部または右端部に属する基準画素ブロックＰＢ_Oを選択し、当該基準画素ブロックＰＢ_Oに対応して比較画像Ｔ_C上に特定された比較画素ブロックＰＢ_Cを含むエピポーララインＥＰＬの前記特定された比較画素ブロックＰＢ_Cの左側または右側の範囲について再度ステレオマッチング処理を行う。そして、当該物体について、特定された比較画素ブロックＰＢ_C以外の比較画素ブロックＰＢ_Cであって、ＳＡＤ値等の差異の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックＰＢ_Cが検出された場合には、当該物体はミスマッチングであると判定する。

このように構成することで、図１０（Ａ）、（Ｂ）に示されたような似たような輝度パターンが一定の間隔で並ぶ物体等が撮像され、ミスマッチングを生じ易い画像に対しても、再度のステレオマッチング処理で、特定された比較画素ブロックＰＢ_Cの左側または右側の範囲に差異の極小値を与え当該極小値が閾値以下である比較画素ブロックＰＢ_Cが検出された場合に当該物体がミスマッチングであると判定することで、ミスマッチングにより誤検出された物体を的確に識別することが可能となる。

また、そのため、例えば本実施形態に係る物体検出装置１を車両に搭載し、先行車両を追跡する場合にも、物体の誤検出により先行車追従システム等が作動して不要なブレーキ操作が自動的に行われる事態の発生を防止することが可能となる。さらに、前記閾値を適切に設定することで、容易かつ確実にミスマッチングによる物体の誤検出を識別することが可能となる。

なお、本実施形態では、閾値が固定された値であることを前提に説明したが、例えばサンプリング周期ごとに異なる値をとるように構成することも可能であり、また、例えば基準画像Ｔ_Oや比較画像Ｔ_Cの全体的な輝度値等に応じて変動させるように構成することも可能である。

本実施形態に係る物体検出装置の構成を示すブロック図である。 基準画像の一例を示す図である。 図２の基準画像に基づいて形成された距離画像を示す図である。 図３の距離画像を分割する短冊状の区分を説明する図である。 図４の各区分ごとに作成されるヒストグラムを説明する図である。 区分ごとの距離を実空間上にプロットした各点を表す図である。 図６の各点がグループ化されて形成される各グループを表す図である。 図７の各グループの各点に基づいて近似された直線を表す図である。 基準画像上に枠線で包囲されて検出された各物体を表す図である。 （Ａ）基準画像上に誤検出された物体を示す図であり、（Ｂ）比較画像上で行われる再度のステレオマッチング処理の手法を説明する図である。 図１０（Ａ）の検出された物体に対して正しくマッチングされた比較画像上の領域を示す図である。 正しく検出された物体について再度のステレオマッチング処理が行われた場合のＳＡＤ値を表すグラフの一例である。 （Ａ）基準画像上に誤検出された物体を示す図であり、（Ｂ）誤検出された物体とミスマッチングされた比較画像上の領域とマッチングされるべき領域とを示す図である。 図１３の誤検出された物体が本来の物体より遠い位置に誤検出されることを説明する図である。 （Ａ）基準画像上に誤検出された物体を示す図であり、（Ｂ）図１３の誤検出の場合に比較画像上で行われる再度のステレオマッチング処理の手法を説明する図である。 図１５（Ｂ）の再度のステレオマッチング処理において算出されるＳＡＤ値を表すグラフの一例である。 図１０（Ｂ）の再度のステレオマッチング処理を物体の領域の複数の基準画素ブロックについて行った場合に算出されるＳＡＤ値を表すグラフの一例である。 ミスマッチングである物体の距離と他の物体の距離とが符合することを説明する図である。 最終的に基準画像上に１つの物体として検出された物体を表す図である。 ミスマッチングにより複数の物体として検出された物体を表す図である。 誤って特定された比較画素ブロック、特定されるべき比較画素ブロックおよび元の基準画素ブロックに属する全画素の輝度値の各平均値の関係を表すグラフである。 ステレオマッチング処理の手法を説明する図である。 （Ａ）似たような輝度パターンが一定の間隔で並ぶ物体が撮像された基準画像の一例と、（Ｂ）それに対応して撮像される比較画像の例を表す図である。 図２３（Ａ）、（Ｂ）の基準画像と比較画像に基づいてステレオマッチング処理を行った場合に得られるＳＡＤ値を表すグラフの一例である。 ミスマッチングに基づいて誤検出された物体が本来の物体より近い位置に誤検出されることを説明する図である。

符号の説明

１ 物体検出装置
２ ステレオ撮像手段
２ａ、２ｂ 一対のカメラ（メインカメラ、サブカメラ）
７ ステレオマッチング手段
１０ グルーピング手段
１１ 判定手段
ＥＰＬ エピポーラライン
ｄｐ 視差
Ｏ 物体
Ｏａ、Ｏｂ ミスマッチングであると判定された物体
ｐ１st 基準画素ブロック中の各画素の輝度値
ｐ２st 比較画素ブロック中の各画素の輝度値
ＰＢ_O 基準画素ブロック
ＰＢ_C 比較画素ブロック
ＳＡＤ ＳＡＤ値（差異）
Ｔ_O 基準画像
Ｔ_C 比較画像
Ｚ 距離

Claims (9)

1. 左右同じ高さに取り付けられた一対のカメラで物体を同時に撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
   前記基準画像上に所定の画素数の基準画素ブロックを設定し、当該基準画素ブロックに対応する前記比較画像中のエピポーラライン上の前記基準画素ブロックと同形の各比較画素ブロックについて当該基準画素ブロックとの輝度パターンの差異を所定の計算式に従って算出して前記差異が最小の比較画素ブロックを特定するステレオマッチング処理を行って、特定した比較画素ブロックの前記比較画像上の位置と当該基準画素ブロックの前記基準画像上の位置から視差を算出することで、前記基準画素ブロックごとに視差を算出するステレオマッチング手段と、
   前記基準画素ブロックごとの視差に基づいて同一の物体と見なすべき前記視差をグループ化するグルーピング手段と、
   前記グループ化された視差に基づいて前記基準画像上に物体を検出して前記物体が撮像されている領域を設定するとともに、前記各領域の左端部または右端部に属する前記基準画素ブロックを選択し、当該基準画素ブロックに対応して前記比較画像上に特定された前記比較画素ブロックを含む前記エピポーララインの前記特定された比較画素ブロックの左側または右側の範囲について再度前記ステレオマッチング処理を行い、前記特定された比較画素ブロック以外の比較画素ブロックであって、前記差異の極小値を与え、当該極小値が予め設定された閾値以下である比較画素ブロックが検出された場合には、当該物体はミスマッチングであると判定する判定手段と、
   を備えることを特徴とする物体検出装置。
2. 前記所定の計算式は、前記基準画素ブロック中の各画素の輝度値をｐ１st、前記比較画素ブロック中の各画素の輝度値をｐ２stとするとき、前記基準画素ブロックおよび前記比較画素ブロック中の全画素の輝度値について
   

   

   で算出されるＳＡＤ値を前記差異として算出する計算式であることを特徴とする請求項１に記載の物体検出装置。
3. 前記判定手段は、前記基準画像上に検出された各物体について、当該物体が撮像されている領域の左端部または右端部に属する前記基準画素ブロックのうち、すべての基準画素ブロックまたは所定個数の基準画素ブロックに対して前記再度のステレオマッチング処理を行い、各基準画素ブロックについて、前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックの前記比較画像上での位置が集中している場合に、当該物体はミスマッチングであると判定することを特徴とする請求項１または請求項２に記載の物体検出装置。
4. 前記判定手段は、ミスマッチングであると判定した物体を検出した物体中から除外することを特徴とする請求項１から請求項３のいずれか一項に記載の物体検出装置。
5. 前記判定手段は、ミスマッチングであると判定した物体が撮像されている領域の左端部または右端部に属する前記基準画素ブロックに対応して前記比較画像上に特定された前記比較画素ブロックを含む前記エピポーラライン上での前記再度のステレオマッチング処理により、前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックの前記比較画像上の位置と、当該基準画素ブロックの前記基準画像上の位置とから視差を算出し、前記ミスマッチングであると判定した物体が、当該算出した視差に基づいて算出される実空間上の距離に存在するとした場合に、検出されている他のいずれかの物体の実空間上の距離と所定の誤差の範囲内で符合するときは、当該ミスマッチングであると判定した物体を、それと符合する当該他の物体と同一の物体であると判定することを特徴とする請求項１から請求項３のいずれか一項に記載の物体検出装置。
6. 前記差異の極小値が前記閾値以下となる前記特定された比較画素ブロック以外の比較画素ブロックが複数存在する場合には、前記特定された比較画素ブロック以外のすべての比較画素ブロックについて、前記符合するか否かの判定を行うことを特徴とする請求項５に記載の物体検出装置。
7. 前記符合するか否かの判定を行う対象となる他の物体は、前記基準画像上で前記ミスマッチングであると判定した物体の近傍に検出された物体であることを特徴とする請求項５または請求項６に記載の物体検出装置。
8. 前記判定手段は、今回のサンプリング周期でミスマッチングであると判定した物体について行った前記再度のステレオマッチング処理で得られた前記差異の極小値を与え当該極小値が前記閾値以下である比較画素ブロックの情報の中に、ミスマッチングであると判定した当該物体に対応する前回のサンプリング周期で検出された物体について前記前回のサンプリング周期で行った前記再度のステレオマッチング処理で得られた前記差異の極小値を与え当該極小値が前記閾値以下である比較画素ブロックの情報に近接する情報がある場合には、今回のサンプリング周期で当該物体に対して行ったミスマッチングであるとの判定の信頼度を向上させることを特徴とする請求項１から請求項７のいずれか一項に記載の物体検出装置。
9. 前記判定手段は、算出された前記差異に基づいて、前記基準画像と前記比較画像との一方または両方の輝度値を増加させまたは減少させることを特徴とする請求項１から請求項８のいずれか一項に記載の物体検出装置。

Images