JP2004118638A - ステレオ画像処理装置およびステレオ画像処理方法 - Google Patents

Abstract

【課題】マッチングの確実性を向上させるとともに、視差を精度よく算出する。
【解決手段】ステレオマッチング部８は、一方の撮像画像において相関元となる画像領域ＰＢｉｊを特定し、特定された画像領域の相関先の候補となる画像領域を他方の撮像画像において特定する。このとき、相関元として特定された画像領域と相関先の候補として特定された画像領域との相関関係が評価される。また、領域制御部１０は、相関関係の評価対象となる画像領域の面積を可変に制御する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像処理装置およびステレオ画像処理方法に係り、特に、画像領域の面積を切替えてステレオマッチングを行うステレオ画像処理装置およびステレオ画像処理方法に関する。
【０００２】
【従来の技術】
近年、空間の三次元認識を行うために、一対の撮像画像を用いて対象物の距離（すなわち視差）を算出するステレオ画像処理装置が知られている。このステレオ画像処理装置は、ステレオカメラから取得した一対の撮像画像に基づき、両撮像画像に写し出された同一対象物に関する位置的なずれ量、すなわち視差を算出する。この視差算出に関する処理では、一方の撮像画像（基準画像）が行列状に分割された小領域毎の画像領域、すなわち、画素ブロックに関して、その相関先を他方の撮像画像（比較画像）において特定する、所謂、ステレオマッチングが用いられる。そして、一フレーム相当の撮像画像から、画素ブロックの個数相当の視差群が算出されるとともに、この視差群と、撮像画像により規定される画像平面上の座標位置とが対応付けられた距離データが算出される。
【０００３】
ところで、この画素ブロックの面積を大きくすることは、ブロック内に含まれる画素数が増えるので、画素ブロック間における輝度特性の相関関係を評価する際に、マッチングの確実性を図るという点で有利である（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２００２−２６７４４１号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、画素ブロックの面積を大きくした場合、視差の算出単位となる画素ブロックの位置と、その画素ブロックに関して算出された視差に対応する実座標位置とがオフセットしてしまう可能性がある。なぜならば、マッチングされる一対の画素ブロックは輝度に関する定量的な値としてその相関が評価されるため、相関先として特定される画素ブロックの位置は輝度変化の大きな部位に大きく影響されるからである。したがって、画素ブロックの面積が大きくなると、画素数が多くなるため、この視差の位置ずれの影響が大きくなる。この結果、この位置ずれに起因して、対象物の認識精度が低下する可能性が考えられる。対象物がカメラ光軸に正立するような立体物であればこのような認識精度の低下は少ないが、地面（例えば、道路など）のように斜めに写る対象物では、この影響が大きく、地面の認識誤差に繋がる可能性がある。
【０００６】
また、画像に関する撮像状況が悪い環境、例えば、雨天や夜間では、晴天時に比べ画像に輝度的な特徴が小さいため、マッチングの確実性を優先させるならば、画素ブロックは大きな面積である方が有利である。しかしながら、上述したように視差の位置ずれという問題が生じ得るため、特に大きな面積を必要とせずともマッチングの確実性が確保できるような状況では、画素ブロックの面積は小さい方が有利である。従来では、ステレオマッチング処理に際し、画素ブロックの面積は一定として取り扱われていたため、このような問題のうちどちらか一方を無視し、画素ブロックの大きさを決定せざる得なかった。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、その目的は、マッチングの確実性を向上させるとともに、視差を精度よく算出することである。
【０００８】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、一対の撮像画像に基づいて、一方の撮像画像における画像領域の相関先を他方の撮像画像において特定することにより、画像領域に関する視差を算出するステレオ画像処理装置において、ステレオマッチング部と、領域制御部とを有するステレオ画像処理装置を提供する。この第１の発明において、ステレオマッチング部は、一方の撮像画像において相関元となる画像領域を特定し、特定された画像領域の相関先の候補となる画像領域を他方の撮像画像において特定する。そして、相関元として特定された画像領域と相関先の候補として特定された画像領域との相関関係が評価される。また、領域制御部は、相関関係の評価対象となる画像領域の面積を可変に制御する。
【０００９】
ここで、第１の発明において、領域制御部は、相関元として特定される画像領域が位置する一方の撮像画像上のエリアに応じて、画像領域の面積を切替えることが好ましい。このとき、第１の発明は、画像平面を複数のエリアに分割する境界線を規定する境界線規定部をさらに有することが好ましい。この場合、領域制御部は、規定された境界線によって分割されたエリアのそれぞれを切替対象として、画像領域の面積を切替えることが望ましい。さらに、第１の発明において、領域制御部は、画像領域の面積を、少なくとも、所定の面積を有する第１の面積と、第１の面積より大きな第２の面積とに切替えることが好ましい。
【００１０】
また、第１の発明において、領域制御部は、一対の撮像画像に関する撮像状況に応じて、画像領域の面積を切替えることが好ましい。この場合、領域制御部は、少なくとも夜間、雨天、霧、逆光、または、雪面のいずれかの撮像状況では、画像領域の面積を、所定の面積を有する第１の面積より大きな第２の面積に切替えることが好ましい。
【００１１】
また、第２の発明は、一対の撮像画像に基づいて、一方の撮像画像における画像領域の相関先を他方の撮像画像において特定することにより、画像領域に関する視差を算出するステレオ画像処理装置において、ステレオマッチング部と、領域制御部とを有するステレオ画像処理装置を提供する。この第２の発明において、ステレオマッチング部は、一方の撮像画像において相関元となる画像領域を特定し、特定された画像領域の相関先の候補となる画像領域を他方の撮像画像において特定する。そして、画像領域中のそれぞれの画素に対応付けて設定された重み係数に基づいて、相関元として特定された画像領域と相関先の候補として特定された画像領域との相関関係が評価される。また、領域制御部は、相関関係の評価対象となる画像領域において、中央領域の周囲に位置する周辺領域における重み係数を可変に制御する。
【００１２】
ここで、第２の発明において、領域制御部は、周辺領域における重み係数の値を、０、または、０以外に切替えることが好ましい。
【００１３】
また、第３の発明は、一対の撮像画像に基づいて、一方の撮像画像における画像領域の相関先を他方の撮像画像において特定することにより、画像領域に関する視差を算出するステレオ画像処理方法を提供する。この第３の発明は、第１のステップとして、一方の撮像画像において、相関元となる画像領域を特定する。第２のステップとして、特定された画像領域の相関先の候補となる画像領域を他方の撮像画像において特定する。第３のステップとして、相関元として特定された画像領域と相関先の候補として特定された画像領域との相関関係を評価する。そして、第４のステップとして、相関元として特定される画像領域が位置する一方の撮像画像上のエリアに応じて、相関関係の評価対象となる画像領域の面積を切替える。
【００１４】
また、第４の発明は、一対の撮像画像に基づいて、一方の撮像画像における画像領域の相関先を他方の撮像画像において特定することにより、画像領域に関する視差を算出するステレオ画像処理方法を提供する。この第４の発明は、第１のステップとして、一方の撮像画像において、相関元となる画像領域を特定する。第２のステップとして、特定された画像領域の相関先の候補となる画像領域を他方の撮像画像において特定する。第３のステップとして、相関元として特定された画像領域と相関先の候補として特定された画像領域との相関関係を評価する。そして、第４のステップとして、一対の撮像画像に関する撮像状況に応じて、相関関係の評価対象となる画像領域の面積を切替える。
【００１５】
また、第５の発明は、一対の撮像画像に基づいて、一方の撮像画像における画像領域の相関先を他方の撮像画像において特定することにより、画像領域に関する視差を算出するステレオ画像処理方法を提供する。この第５の発明は、第１のステップとして、一方の撮像画像において相関元となる画像領域を特定する。第２のステップとして、特定された画像領域の相関先の候補となる画像領域を他方の撮像画像において特定する。第３のステップとして、画像領域中のそれぞれの画素に対応付けて設定された重み係数に基づいて、相関元として特定された画像領域と相関先の候補として特定された画像領域との相関関係を評価する。そして、第４のステップとして、相関元として特定される画像領域が位置する一方の撮像画像上のエリアに応じて、相関関係の評価対象となる画像領域における中央領域の周囲に位置する周辺領域の重み係数を切替える。
【００１６】
さらに、第６の発明は、一対の撮像画像に基づいて、一方の撮像画像における画像領域の相関先を他方の撮像画像において特定することにより、画像領域に関する視差を算出するステレオ画像処理方法を提供する。この第６の発明は、第１のステップとして、一方の撮像画像において相関元となる画像領域を特定する。第２のステップとして、特定された画像領域の相関先の候補となる画像領域を他方の撮像画像において特定する。第３のステップとして、画像領域中のそれぞれの画素に対応付けて設定された重み係数に基づいて、相関元として特定された画像領域と相関先の候補として特定された画像領域との相関関係を評価する。そして、第４のステップとして、一対の撮像画像に関する撮像状況に応じて、相関関係の評価対象となる画像領域における中央領域の周囲に位置する周辺領域における重み係数を切替える。
【００１７】
【発明の実施の形態】
（第１の実施形態）
図１は、第１の実施形態にかかるステレオ画像処理装置１のブロック構成図である。同図に示すステレオ画像処理装置１は、一例として、車外監視装置の一部として機能しており、一対の撮像画像を用いてステレオ画像処理を行うとともに、この処理された情報に基づき、自車両前方の状況を認識・監視する。
【００１８】
車外の景色を撮像するステレオカメラは、ルームミラーの近傍に取り付けられており、一対のカメラ２，３で構成されている。これら一対のカメラ２，３のそれぞれには、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ３は、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２，３から出力された各アナログ画像は、Ａ／Ｄコンバータ４，５により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。
【００１９】
デジタル化された一対の画像データは、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２，３の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００２０】
このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。これらの画像データは、各画素の輝度値（０〜２５５）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一フレーム（一画像の表示単位）相当のステレオ画像データは、後段のステレオ画像処理ユニット７に出力されるとともに、画像データメモリ１１に格納される。
【００２１】
ステレオ画像処理ユニット７は、ステレオマッチング部８と、視差算出部９と、領域制御部１０とから構成され、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、基準画像データによって規定される画像平面において、所定面積の画像領域（以下、「画素ブロックＰＢｉｊ」と称する）を算出単位として算出される視差群、すなわち、画素ブロックＰＢｉｊ毎に一つずつ算出される視差ｄの集合である。
【００２２】
ある画素ブロックＰＢｉｊ（相関元）を対象として視差ｄを算出する場合、画素ブロックＰＢｉｊの輝度特性と相関を有する画像領域（相関先）を比較画像において特定する。周知のとおり、ステレオ画像に写し出された対象物までの距離は、ステレオ画像における視差、すなわち、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰＢｉｊのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。そこで、ステレオマッチング部８は、相関元のｉ座標を基準として設定される所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、評価結果に基づいて、視差算出部９は、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢｉｊの視差ｄとする。
【００２３】
このような視差ｄ算出の処理において、ステレオマッチング部８は、ある画素ブロックＰＢｉｊと比較画像中の領域（相関先の候補）との相関を、相関評価手法の一つであるシティブロック距離により評価する。画素ブロックＰＢｉｊの相関先は、基本的に、シティブロック距離の値が最小となる領域である。
【００２４】
後述するように視差ｄは、二次元平面（すなわち画像平面）から三次元空間（すなわち実空間）への変換パラメータとして必須パラメータである関係上、その数が多ければ多いほど距離データの分解能、すなわち、三次元認識能力が高くなる。通常、基準画像上の相関元と、比較画像上の相関先とのマッチングを行う上で必要とされる画素ブロックＰＢｉｊの面積は、例えば、４×４画素程度である。画素ブロックＰＢｉｊの所定面積を４×４画素とした場合、一フレーム相当の撮像画像から、画素ブロックＰＢｉｊの個数相当（５０×１２８個）の視差群が算出され得る。
【００２５】
図２は、所定面積の画素ブロックＰＢｉｊより大きな面積を有する画素ブロックＰＢｉｊを示した説明図である。マッチングの確実性を図るためには、輝度情報を増やすといった観点からブロック内の画素数を増やす、すなわち、画素ブロックＰＢｉｊの面積を大きくすることが好ましい。同図に示すように、上述した４×４画素のブロックに対し、このブロックを中心とし、かつ、これを上下左右方向にそれぞれ４画素分拡幅することで、例えば、８×８画素の画素ブロックＰＢｉｊを設定することができる。したがって、シティブロック距離の算出ベースとして、４×４画素の画素ブロックＰＢｉｊよりも８×８画素の画素ブロックＰＢｉｊを用いた方が、ブロック内の画素数が増える（輝度情報が増える）こととなる。
【００２６】
ところで、上述したように、画素ブロックＰＢｉｊの面積を大きくした場合、視差ｄの算出単位となる画素ブロックＰＢｉｊの座標位置と、その画素ブロックＰＢｉｊに関して算出された視差ｄに対応する実際の座標位置とが異なってしまう可能性がある。ステレオマッチングを用いた三次元空間認識は、視差ｄと、その視差ｄに対応付けられる座標上の位置（すなわち、画素ブロックＰＢｉｊの座標位置）とに基づいて行われる。そのため、この算出された視差ｄの座標上の位置ずれに起因して、実空間上の認識が、垂直・水平位置の認識の甘さとして反映される可能性がある。特に、画像平面に対して正立しない対象物、例えば、道路やこの道路上に描かれる白線などについては、垂直・水平位置の認識の甘さとして反映され易い。
【００２７】
そこで、本実施形態ではその特徴の一つとして、ステレオマッチング部８で相関先と相関先の候補との相関を評価する際に、領域制御部１０によって、相関の評価対象となる画素ブロックＰＢｉｊの面積を切替えることにある。換言すれば、この領域制御部１０は、相関元として特定される画素ブロックＰＢｉｊが位置する基準画像上のエリアに応じて、相関関係の評価対象となる画素ブロックＰＢｉｊの面積を可変に制御することができる。そして、本実施形態において、この面積の切換えは、立体物などの対象物が正立して写し出されるエリアと、地面などの対象物が斜めに写し出されるエリアとで行われる。
【００２８】
図３は、基準画像のエリアに応じて切替えられる画素ブロックＰＢｉｊの面積を説明する図である。本実施形態では、画像平面において水平方向に延在する境界線ＢＬが規定されており、この境界線ＢＬを境に、撮像画像の上下で画素ブロックＰＢｉｊにおける面積の制御が行われる。具体的には、この境界線ＢＬの上方では、画素ブロックＰＢｉｊの面積は、８×８画素として取り扱われ、この境界線ＢＬの下方では、画素ブロックＰＢｉｊの面積は、４×４画素として取り扱われる。境界線ＢＬの位置は、後段の境界線規定部１５によって規定され、この境界線ＢＬを境として、撮像平面が道路などの地面が写し出されるエリア（境界線ＢＬより下方）と、この地面上に存在する立体物が写し出されるエリア（境界線ＢＬより上方）とに分割される。すなわち、この規定された境界線ＢＬによって分割されたエリアが切替対象として、画素ブロックＰＢｉｊの面積が切替えられることとなる。なお、この境界線規定部１５によって行われる処理は後述するものとして、ここでの詳細な説明は省略する。
【００２９】
図４は、基準画像と比較画像とに設定される画素ブロックＰＢｉｊを示す説明図である。同図に示すように、基準画像側の８×８画素相当の画素ブロックＰＢｉｊ（相関元）における各画素ｐｉｊの輝度値をＡ１１〜Ａ８８、比較画像側の画素ブロックＰＢｉｊ（相関先の候補）における各画素ｐｉｊの輝度値をＢ１１〜Ｂ８８とすると、シティブロック距離ＣＢの基本形は下式で表現される。
【数１】

【００３０】
数式１において、前段の項は、中央領域（４×４画素）における位置的に対応した輝度値Ａｉｊ，Ｂｉｊの差（絶対値）の総和である。また、同数式において、後段の項は、周辺領域（８×８画素中の中央領域相当の画素を除いた領域）における位置的に対応した輝度値Ａｉｊ，Ｂｉｊの差（絶対値）の総和である。そして、この前段の項と、係数Ｋを有する後段の項とを加算することにより、シティブロック距離ＣＢの値が算出される。この数式１で示された係数Ｋの値は、領域制御部１０からステレオマッチング部８に対して与えられる。この場合、領域制御部１０は、画素ブロックＰＢｉｊの撮像画像上のエリアに応じて、すなわち、基準画像の相関元の画素ブロックＰＢｉｊの位置と、境界線ＢＬの位置とに応じて、係数Ｋの値を０または１．０で切替える。上述した例では、領域制御部１０は、相関元の画素ブロックＰＢｉｊが境界線ＢＬよりも上側のエリアに存在する場合には、この係数Ｋの値を１．０とするべき旨の指示を出力し、一方、画素ブロックＰＢｉｊが下側のエリアに存在する場合には、この係数Ｋの値を０とするべき旨の指示を出力する。
【００３１】
このことから理解されるように、Ｋが１．０として与えられている場合には、ステレオマッチング部８は、８×８画素相当の画素ブロックＰＢｉｊで相関性を評価する。また、Ｋが０として与えられている場合には、ステレオマッチング部８は、４×４画素相当の画素ブロックＰＢｉｊで相関性を評価する。換言すれば、領域制御部１０は、ステレオマッチング部８に対して、Ｋの値を０または１．０として与えることで、画素ブロックＰＢｉｊの面積を、所定の面積を有する第１の面積（本実施形態では、４×４画素）と、この面積より大きな第２の面積（本実施形態では、８×８画素）とを切替えることと等価の処理を行っている。
【００３２】
ただし、画素ブロックＰＢｉｊの面積を切替えることは、単に、シティブロック距離ＣＢを算出する上での演算対象領域を切替えるに過ぎないことに理解されたい。すなわち、本実施形態では、視差ｄの算出単位は、基本的に、所定面積として規定される４×４画素の画素ブロックＰＢｉｊ相当の個数算出される。したがって、エリアに応じて４×４画素の画素ブロックＰＢｉｊを用いる場合には、ある画素ブロックＰＢｉｊに関する相関性の評価が終了したら、隣接する４×４画素相当の画素ブロックＰＢｉ＋１ｊが処理対象とされる。一方、エリアに応じて８×８画素の画素ブロックＰＢｉｊを用いる場合には、ある画素ブロックＰＢｉｊに関する相関性の評価が終了したら、この画素ブロックＰＢｉｊと水平方向に２画素分オーバーラップした８×８画素相当の画素ブロックＰＢｉ＋１ｊが処理対象とされる（図２参照）。すなわち、この画素ブロックＰＢｉｊと画素ブロックＰＢｉ＋１ｊとの中心間距離は、４画素だけ離間している。また、同様に、画素ブロックＰＢｉｊ＋１が処理対象の場合には、この画素ブロックＰＢｉｊ＋１は、画素ブロックＰＢｉｊと垂直方向に２画素分オーバーラップした８×８画素相当のブロックとなる。
【００３３】
なお、８×８画素相当の画素ブロックＰＢｉｊを用いた場合、撮像画像の四辺の縁部では、画素ブロックＰＢｉｊの周辺領域が有効画像領域からはみ出してしまう事態が生じ得る。この場合は、４×４画素の画素ブロックＰＢｉｊのまま相関性を評価する。図３に示すように、境界線ＢＬの上方で、撮像画像の周辺にハッチングが施されていなエリアが残っているのはそのためである。ただし、このような場合には、有効画像領域外の画素を用いて８×８画素相当の画素ブロックＰＢｉｊを定義してもよい。
【００３４】
このように、ステレオマッチング部８は、４×４画素（または８×８画素）相当の画素ブロックＰＢｉｊを評価対象として、上述した探索範囲の全域に渡って水平方向に一画素ずつオフセットさせながら、相関先の候補となる画素ブロックＰＢｉｊ毎にシティブロック距離ＣＢを算出する。そして、視差算出部９は、算出されたシティブロック距離ＣＢのうち、最も値が小さい相関先の候補の一つを相関先として特定し、この相関先に関する水平方向のずれ量を視差ｄとして算出する。以上の手法により、ステレオ画像処理ユニット７は、エリアに応じて画素ブロックＰＢｉｊの面積を切替えながら、一フレーム相当の撮像画像に関して視差ｄを順次算出する。そして、これにより得られた距離データＤが、距離データメモリ１２に格納される。
【００３５】
マイクロコンピュータ１３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、認識部１４と、境界線規定部１５とを有する。
【００３６】
認識部１４は、画像データメモリ１１および距離データメモリ１２に格納された各情報に基づき、車両前方の道路状態等を認識したり（道路形状認識）、車両前方の立体物（走行車）等を認識する（立体物認識）。道路形状の認識プロセスを概略的に説明する。「道路形状の認識」とは、三次元的な道路形状を左右の車線（白線や追い越し禁止ライン等）に関する関数で表現し、この関数の各パラメータを、実際の道路形状（直線、カーブ曲率または起伏）に合致するような値に設定することである。例えば、認識部１４は、画像データメモリ１１より基準画像データを読み込み、その基準画像データにおいて、白線エッジ、すなわち、水平方向の輝度エッジ（隣接画素間の輝度の変化量が大きい箇所）のうち白線に起因して生じたものを特定する。
【００３７】
そして、特定された白線エッジ毎に、その座標（ｉ，ｊ）およびその視差ｄを周知の座標変換式に代入することにより、実空間上の座標（ｘ，ｙ，ｚ）が算出される。自車両の位置を基準に設定された実空間の座標系は、ステレオカメラの中央真下の道路面を原点として、車幅方向をｘ軸、車高方向をｙ軸、車長方向（距離方向）をｚ軸とする。このようにして特定された各白線エッジの実空間上の座標（ｘ，ｙ，ｚ）に基づいて白線モデルが特定される。白線モデルは、進行方向に関し左右の白線エッジのそれぞれに関して所定区間ごとに近似直線を求め、これを折れ線状に連結して表現したものである。これらの白線モデルは、道路のカーブ曲率を表現したカーブ関数（Ｘ＝ｆ（Ｚ））と、道路の勾配や起伏を表現した勾配関数（Ｙ＝ｆ（Ｚ））とで構成されている。したがって、実空間における道路の三次元的な変化状態は、左右の白線モデルによって把握することができる。
【００３８】
また、対象物の認識プロセスを概略的に説明する。認識部１４は、検出された道路形状（白線モデル）に基づいて、道路表面より上のデータを立体物データの候補として特定する。そして、この立体物データの候補に関し、ｚ方向、ｘ方向に距離が近似しているものをグループとして取り扱う。これにより、認識部１４は、自車両と同一車線上に位置するグループを先行車として特定し、また、同一車線外に位置するグループを対向車、障害物、或いは、側壁として特定する。そして、認識部１４は、そして、これらの認識結果に基づいて、前方のカーブや立体物に対する警報が必要と判定された場合、モニタやスピーカー等の警報装置（図示せず）を作動させてドライバーに注意を促す。また、必要に応じて制御装置（図示せず）を制御することにより、ＡＴ（自動変速機）のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車両制御が実行される。
【００３９】
境界線規定部１５は、画像平面を複数のエリアに分割する境界線ＢＬを規定する。本実施形態では、境界線規定部１５は、水平方向に延在する境界線ＢＬを画像平面上に規定することにより、道路面が写し出されるエリアと、この道路面上に存在する立体物が存在するエリアとの２つのエリアに撮像画像を分割する。画像平面上に設定される境界線ＢＬの位置は、道路面と立体物との切り分けができるような位置を統計的な手法を用いて予め決定してもよい。しかしながら、両エリアを正確に分割するためには、車両のピッチングや道路形状のアップダウンを考慮して、境界線ＢＬの位置を可変とすることが好ましい。そこで、本実施形態では、境界線規定部１５によって、この境界線ＢＬの位置を制御するものとする。ここで、前提として、境界線規定部１５は、現在の道路面の位置を把握している。具体的には、境界線規定部１５は、認識部１４によって認識された道路形状に基づき、例えば、白線の平行性を利用して、撮像画像平面上で２本の白線の交点から消失点を算出する。そして、この消失点位置にオフセット量（例えば、下側に数画素程度）を加算した位置に地面と立体物との境界位置が決定され、この境界位置に境界線ＢＬが設定される。このとき、境界線規定部１５は、画像平面上において、この境界線ＢＬを規定するパラメータを領域制御部１０に対して出力する。
【００４０】
以上の説明からわかるように、第１の実施形態に示すステレオ画像処理の手法では、画素ブロックＰＢｉｊの面積を可変に制御することで、撮像画像上のエリアに応じて、画素ブロックＰＢｉｊの面積を切替えることができる。これにより、立体物が写し出されるような撮像画像上のエリアでは、８×８画素相当の画素ブロックＰＢｉｊで相関が評価され、また、道路面が写し出されるようなエリアでは、４×４画素相当の画素ブロックＰＢｉｊで相関が評価される。これにより、視差の位置ずれが認識精度の低下を招くような道路面が写し出されたエリアでは、大面積に起因した視差の位置ずれの低減を目的として、小面積の画素ブロックＰＢｉｊを用いることができる。この結果、実空間上において、道路面の水平・垂直方向の認識精度の向上を図ることができる。また、このような影響が少ない立体物が写し出されるエリアでは、大きな面積の画素ブロックで相関が評価されるので、マッチングの確実性を図ることができる。このように、画素ブロックＰＢｉｊの面積を切替えることで、撮像画像のエリアに応じて最適なマッチング面積を選択することができる。さらに、距離データを構成する視差ｄの個数は、４×４画素相当の個数算出されるため、あるエリアにおいて大きな面積で相関性を評価したとしても、距離データにおける分解能の低下させない。この結果、三次元空間の認識をより正確に行うことが可能となる。
【００４１】
なお、本実施形態では、第１の面積として４×４画素、この第１の面積より大きな第２の面積として８×８画素を例に挙げて説明を行ったが、本発明の画素ブロックＰＢｉｊの面積がこれに限定されるものではない。すなわち、画素ブロックＰＢｉｊの面積の大きさは、必要に応じて適宜最適な面積を使用することができる。また、本実施形態では、ステレオ画像処理装置１を車外監視と関連付けた関係上、水平方向に延在する境界線ＢＬを規定したが、画素ブロックＰＢｉｊの面積を切替えるエリアに応じて、垂直方向、または、斜め方向に延在する境界線ＢＬを規定してもよい。また、本実施形態では、境界線ＢＬによって画像平面を２つのエリアに分割したが、３つ以上のエリアに分割することも可能である。この場合には、エリア毎に画素ブロックＰＢｉｊの面積を順次大きくし、画素ブロックＰＢｉｊの面積を多段的に切替えてもよい。
【００４２】
また、上述した実施形態では、数式１に示すシティブロック距離ＣＢの算出式における係数Ｋの値を切替えることで、等価的に画素ブロックＰＢｉｊの面積をエリアに応じて切替えている。しかしながら、以下の基本形で示される数式２のように、シティブロック距離ＣＢを、位置的に対応した二つの輝度値Ａｉｊ，Ｂｉｊの差（絶対値）に重み係数ｗｉｊを乗じた値の画素ブロックＰＢｉｊ全体における総和として定義することもできる。
【数２】

【００４３】
図５は所定面積の画素ブロックＰＢｉｊに設定される重み係数ｗｉｊの一例を示した説明図である。上述した実施形態と同様、画素ブロックＰＢｉｊは、４×４画素と８×８画素の面積に切替える例を挙げて説明する。同図に示すように、重み係数ｗｉｊは、演算対象ブロック中の各要素（輝度値Ａｉｊ，Ｂｉｊ）に応じて、値が予め設定されており、本実施形態では、周辺領域においてその値が可変となっている。画素ブロックＰＢｉｊの面積を、４×４画素とするのであれば、ブロックにおける中央領域の４×４画素の重み係数ｗｉｊが１．０とされるとともに、この中央領域を除く周辺領域の画素における重み係数ｗｉｊが０とされる。一方、画素ブロックＰＢｉｊの面積を、８×８画素とするのであれば、ブロックにおける中央領域の４×４画素の重み係数ｗｉｊが１．０とされる（すなわち、そのまま維持される）とともに、この中央領域を除く周辺領域の画素における重み係数ｗｉｊが０以外（本実施形態では、例示的に、中央領域と同じ１．０）とされる。このような重み係数ｗｉｊの変更は、上述した係数Ｋの指示と同様に、領域制御部１０からの指示にともない行われる。このように、周辺部の重み係数ｗｉｊの値を０と１．０とで変更することで、領域制御部１０は、等価的に画素ブロックＰＢｉｊの面積をエリアに応じて切替えることができる。換言すれば、領域制御部１０は、相関関係の評価対象となる画素ブロックＰＢｉｊにおいて、中央領域の周囲に位置する周辺領域の重み係数ｗｉｊを可変に制御している。この結果、上述した実施形態と同様の作用および効果を奏することができる。
【００４４】
なお、画素ブロックＰＢｉｊの相関性の評価を大きな面積（すなわち、８×８画素の面積）の画素ブロックＰＢｉｊで行う場合、マッチングする８×８領域の中心から離れるに従い、比較画像データの信頼性は低下する。そこで、予め設定される重み付け係数ｗｉｊのうち、中央領域は重み付け係数ｗｉｊをすべて１．０とするとともに、周囲の領域は重み付け係数ｗｉｊを徐々に小さくしてもよい。
【００４５】
（第２の実施形態）
図６は、第２の実施形態にかかるステレオ画像処理装置１ａを示すブロック構成図である。なお、この第２の実施形態において、第１の実施形態で説明した構成要素と同じ要素については、同一の符号を付してその説明を省略する。第２の実施形態が、第１の実施形態と相違する点は、一対の撮像画像に関する撮像状況に応じて、画像領域の面積を切替えることである。具体的には、領域制御部１０は、少なくとも夜間、雨天、霧、逆光、または、雪面のいずれかの状況では、撮像画像のエリアに拘わらず、画素ブロックＰＢｉｊの面積を所定の面積を有する第１の面積（本実施形態では４×４画素）より大きな第２の面積（本実施形態では８×８画素）に切替える。なぜならば、このような状態で撮像された撮像画像では輝度的な特徴が少ないので、画素ブロックＰＢｉｊを大きな面積とすることでマッチングの確実性を図る方が有利だからである。
【００４６】
図７は、第２の実施形態にかかる面積切替え処理の手順を示したフローチャートである。なお、このフローチャートに示したルーチンは、所定の間隔で呼び出され、領域制御部１０によって実行される。まずステップ１において、撮像状況が降雨状態であるか否かとして、降雨判定が行われる。降雨状態については、図示しない車両側のワイパースイッチがＯＮであるか否かにより判断される。また、認識部１４によって立体物の認識にあたり行われるグループ化の際に、グループ化されない孤立データの数に基づき、降雨状態であるか否かを判断することができる。あるいは、基準画像において位置的に異なる相関元が、比較画像上の同一相関先と一致するような数、すなわち、ミスマッチ数に基づき、降雨状態であるか否かを判断することができる。なぜならば、降雨状態では、車両のフロントウィンドウに付着した水滴、或いは、雨粒により、孤立データやミスマッチ数が増えるからである。そこで、これらの数を判断基準とすることで、降雨状態を判断することができる。また、ワイパースイッチＯＮを検出するとともに、これらの検出結果を考慮することで、より正確に降雨判定を行うことができる。
【００４７】
この降雨判定で肯定された場合、すなわち、撮像状況が降雨状態である場合には、後段のステップ７に進み、一方、否定された場合、すなわち、降雨状態でない場合には、ステップ２に進む。
【００４８】
ステップ２において、撮像状況が夜間であるか否かとして、夜間判定が行われる。夜間であるか否かの判断については、図示しない車両側のヘッドライトスイッチがＯＮであるか否かにより判断される。また、カメラ２，３の露光制御を行うための露光量制御部（図示せず）によって算出される露光量に基づき、夜間状態であるか否かを判断することができる。露光量制御部は、撮像された画像データの輝度値に基づき、次フレームの撮像において最適な明るさとなるように露光量を調整するパラメータ（例えば、シャッタースピード、カメラレンズの絞り、増幅ゲイン）を制御している。そこで、この調整パラメータを判断基準とすることで、夜間であるか否かを判断することができる。また、ヘッドライトスイッチＯＮを検出するとともに、この検出結果を考慮することで、より正確に夜間状態を判断することができる。
【００４９】
この夜間判定で肯定された場合、すなわち、撮像状況が夜間である場合には、後段のステップ７に進み、一方、否定された場合、すなわち、夜間状態でない場合には、ステップ３に進む。
【００５０】
また、ステップ３〜ステップ５において、霧判定、逆光判定および雪面判定が行われる。この霧判定では、撮像状況が霧状態であるか否かが判断される。霧判定は、所定領域内の距離データ（視差ｄ）数と、撮像画像における輝度エッジ数とに基づき行われる。また、逆光判定では、撮像状況が逆光状態であるか否かが判断される。逆光判定は、上述したカメラ２，３の露光量と、画像上部の平均輝度値と、画像下部の平均輝度値とに基づき行われる。さらに、雪面判定では、撮像状況、具体的には、地面が雪面であるか否かが判断される。雪面判定では、画像の設定領域内（例えば、道路面内）の平均輝度、更には、輝度エッジ数に基づき行われる。
【００５１】
ステップ６において、ステップ１〜ステップ５のすべてにおいて否定判定された場合には、大きな面積を用いてマッチングの確実性を図るほどの悪い撮像状況ではないとして、画素ブロックＰＢｉｊの面積が４×４画素に設定される。このとき、領域制御部１０は、画素ブロックＰＢｉｊの面積を切替える（或いは、既に画素ブロックＰＢｉｊの面積が４×４画素である場合には、そのまま維持する）。そして、上述した探索範囲の全域に渡って水平／垂直方向に一画素ずつオフセットさせながら、相関先の候補となる４×４画素相当の画素ブロックＰＢｉｊ毎に一つのシティブロック距離ＣＢを算出する。そして、算出されたシティブロック距離ＣＢの大小に基づき相関先を決定する。
【００５２】
一方、ステップ１〜ステップ５のいずれかのステップで肯定判定された場合には、大きな面積を用いてマッチングの確実性を図ることが好ましいような悪い撮像状況であるとして、画素ブロックＰＢｉｊの面積が８×８画素に設定される（ステップ７）。このとき、領域制御部１０は、画素ブロックＰＢｉｊの面積を切替える（或いは、既に画素ブロックＰＢｉｊの面積が８×８画素である場合には、そのまま維持する）。そして、上述した探索範囲の全域に渡って水平／垂直方向に一画素ずつオフセットさせながら、相関先の候補となる８×８画素相当の画素ブロックＰＢｉｊ毎に算出されるシティブロック距離ＣＢに基づき、相関先を決定する。以上の手法により、ステレオ画像処理ユニット７は、一フレーム相当の撮像画像に関して視差ｄを順次算出する。
【００５３】
以上の説明からわかるように、第２の実施形態に示すステレオ画像処理の手法では、撮像状況に応じて、画素ブロックＰＢｉｊの面積を切替えている。これにより、撮像画像において輝度的な特徴が少なくなるような悪い撮像状況では、８×８画素相当の画素ブロックＰＢｉｊで相関が評価される。また、このような状況でないときには、４×４画素相当の画素ブロックＰＢｉｊで相関が評価される。これにより、悪い撮像状況でも、画素ブロックＰＢｉｊの面積を大きくすることで、マッチングの確実性を図ることができる。また、大きな面積を必要とせずともマッチングの確実性が確保できるような状況では、画素ブロックＰＢｉｊの面積を小さくすることで、上述したような大きな面積に起因する画素の位置ずれを低減することができる。また、撮像状況に応じて画素ブロックＰＢｉｊの面積を切替えることを可能とすることで、最適なマッチング面積を選択することができる。その結果、このような手法にともない算出される距離データに基づき、正確な三次元認識を行うことができる。
【００５４】
なお、上述した実施形態では、雨、夜間、霧、逆光および雪面を悪い撮像状況の一例として挙げたが、本発明はこれらのみ限定されるものではない。その他にも撮像状況を悪くするような状況として、例えば自然環境（砂嵐や黄砂など）、トンネル内（擬似的に夜間と同等）などの状況を判断基準に含めてもよい。また、車外監視装置では、フロントウィンドウの汚れ、カメラ２，３のレンズ面に汚れなども判断基準に含めてもよい。
【００５５】
なお、本実施形態では、車外監視を例にとって説明したが、このような手法を用いた適用例としては、ステレオ画像処理を用いた踏切監視、地形認識または高度測定といった様々な用途が挙げられる。
【００５６】
【発明の効果】
このように本発明によれば、一方の撮像画像において特定された画像領域の相関先を、他方の撮像画像において特定する際に、相関関係の評価対象となる画像領域の面積を可変に制御することができる。これにより、条件に応じて適宜画像領域の面積を切替えることで、相関元と相関先のマッチングを正確に行うことができる。また、マッチングが正確に行われるので、これにともない算出される視差の精度向上を図ることができる。
【図面の簡単な説明】
【図１】第１の実施形態にかかるステレオ画像処理装置のブロック構成図
【図２】所定面積の画素ブロックより大きな面積を有する画素ブロックを示した説明図
【図３】基準画像のエリアに応じて切替えられる画素ブロックの面積を説明する図
【図４】基準画像と比較画像とに設定される画素ブロックを示す説明図
【図５】所定面積の画素ブロックに設定される重み付け係数の一例を示した説明図
【図６】第２の実施形態にかかるステレオ画像処理装置のブロック構成図
【図７】面積切替え処理の手順を示したフローチャート
【符号の説明】
１　　　　ステレオ画像処理装置
１ａ　　　ステレオ画像処理装置
２　　　　メインカメラ
３　　　　サブカメラ
４　　　　Ａ／Ｄコンバータ
５　　　　Ａ／Ｄコンバータ
６　　　　画像補正部
７　　　　ステレオ画像処理ユニット
８　　　　ステレオマッチング部
９　　　　視差算出部
１０　　　　領域制御部
１１　　　　画像データメモリ
１２　　　　距離データメモリ
１３　　　　マイクロコンピュータ
１４　　　　認識部
１５　　　　境界線規定部

Claims (12)

1. 一対の撮像画像に基づいて、一方の撮像画像における画像領域の相関先を他方の撮像画像において特定することにより、前記画像領域に関する視差を算出するステレオ画像処理装置において、
   一方の撮像画像において相関元となる画像領域を特定し、当該特定された画像領域の相関先の候補となる画像領域を他方の撮像画像において特定するとともに、前記相関元として特定された画像領域と前記相関先の候補として特定された画像領域との相関関係を評価するステレオマッチング部と、
   前記相関関係の評価対象となる前記画像領域の面積を可変に制御する領域制御部と
   を有することを特徴とするステレオ画像処理装置。
2. 前記領域制御部は、前記相関元として特定される画像領域が位置する前記一方の撮像画像上のエリアに応じて、前記画像領域の面積を切替えることを特徴とする請求項１に記載されたステレオ画像処理装置。
3. 画像平面を複数のエリアに分割する境界線を規定する境界線規定部をさらに有し、
   前記領域制御部は、前記規定された境界線によって分割されたエリアのそれぞれを切替対象として、前記画像領域の面積を切替えることを特徴とする請求項２に記載されたステレオ画像処理装置。
4. 前記領域制御部は、前記画像領域の面積を、少なくとも、所定の面積を有する第１の面積と、当該第１の面積より大きな第２の面積とに切替えることを特徴とする請求項１から３のいずれかに記載されたステレオ画像処理装置。
5. 前記領域制御部は、前記一対の撮像画像に関する撮像状況に応じて、前記画像領域の面積を切替えることを特徴とする請求項１に記載されたステレオ画像処理装置。
6. 前記領域制御部は、少なくとも夜間、雨天、霧、逆光、または、雪面のいずれかの撮像状況では、前記画像領域の面積を、所定の面積を有する第１の面積より大きな第２の面積に切替えることを特徴とする請求項５に記載されたステレオ画像処理装置。
7. 一対の撮像画像に基づいて、一方の撮像画像における画像領域の相関先を他方の撮像画像において特定することにより、前記画像領域に関する視差を算出するステレオ画像処理装置において、
   一方の撮像画像において相関元となる画像領域を特定し、当該特定された画像領域の相関先の候補となる画像領域を他方の撮像画像において特定するとともに、前記画像領域中のそれぞれの画素に対応付けて設定された重み係数に基づいて、前記相関元として特定された画像領域と前記相関先の候補として特定された画像領域との相関関係を評価するステレオマッチング部と、
   前記相関関係の評価対象となる前記画像領域において、中央領域の周囲に位置する周辺領域の前記重み係数を可変に制御する領域制御部と
   を有することを特徴とするステレオ画像処理装置。
8. 前記領域制御部は、前記周辺領域における前記重み係数の値を、０、または、０以外に切替えることを特徴とする請求項７に記載されたステレオ画像処理装置。
9. 一対の撮像画像に基づいて、一方の撮像画像における画像領域の相関先を他方の撮像画像において特定することにより、前記画像領域に関する視差を算出するステレオ画像処理方法において、
   一方の撮像画像において、相関元となる画像領域を特定するステップと、
   前記特定された画像領域の相関先の候補となる画像領域を他方の撮像画像において特定するステップと、
   前記相関元として特定された画像領域と前記相関先の候補として特定された画像領域との相関関係を評価するステップと、
   前記相関元として特定される画像領域が位置する前記一方の撮像画像上のエリアに応じて、前記相関関係の評価対象となる前記画像領域の面積を切替えるステップと
   を有することを特徴とする画像処理方法。
10. 一対の撮像画像に基づいて、一方の撮像画像における画像領域の相関先を他方の撮像画像において特定することにより、前記画像領域に関する視差を算出するステレオ画像処理方法において、
    一方の撮像画像において、相関元となる画像領域を特定するステップと、
    前記特定された画像領域の相関先の候補となる画像領域を他方の撮像画像において特定するステップと、
    前記相関元として特定された画像領域と前記相関先の候補として特定された画像領域との相関関係を評価するステップと、
    前記一対の撮像画像に関する撮像状況に応じて、前記相関関係の評価対象となる前記画像領域の面積を切替えるステップと
    を有することを特徴とする画像処理方法。
11. 一対の撮像画像に基づいて、一方の撮像画像における画像領域の相関先を他方の撮像画像において特定することにより、前記画像領域に関する視差を算出するステレオ画像処理方法において、
    一方の撮像画像において相関元となる画像領域を特定するステップと、
    前記特定された画像領域の相関先の候補となる画像領域を他方の撮像画像において特定するステップと、
    前記画像領域中のそれぞれの画素に対応付けて設定された重み係数に基づいて、前記相関元として特定された画像領域と前記相関先の候補として特定された画像領域との相関関係を評価するステップと、
    前記相関元として特定される画像領域が位置する前記一方の撮像画像上のエリアに応じて、前記相関関係の評価対象となる前記画像領域における中央領域の周囲に位置する周辺領域の前記重み係数を切替えるステップと
    を有することを特徴とするステレオ画像処理方法。
12. 一対の撮像画像に基づいて、一方の撮像画像における画像領域の相関先を他方の撮像画像において特定することにより、前記画像領域に関する視差を算出するステレオ画像処理方法において、
    一方の撮像画像において相関元となる画像領域を特定するステップと、
    前記特定された画像領域の相関先の候補となる画像領域を他方の撮像画像において特定するステップと、
    前記画像領域中のそれぞれの画素に対応付けて設定された重み係数に基づいて、前記相関元として特定された画像領域と前記相関先の候補として特定された画像領域との相関関係を評価するステップと、
    前記一対の撮像画像に関する撮像状況に応じて、前記評価関係の評価対象となる前記画像領域における中央領域の周囲に位置する周辺領域の前記重み係数を切替えるステップと
    を有することを特徴とするステレオ画像処理方法。

Images