JP2004132870A - ステレオカメラの調整装置およびステレオカメラの調整方法 - Google Patents

Abstract

【課題】ステレオカメラの光学的な歪みと位置的なずれとを画像処理によって調整する新規な手法を提供する。
【解決手段】補正部１３は、所定のパターンを有するチャートＡＣをステレオカメラで撮像することによって出力された一対の画像データを処理対象として、画像データ毎に、画像データによって規定される画像平面に写し出されたパターンが、チャートが有する所定のパターンに近づくように画像データを変換する補正パラメータを算出する。なお、この補正パラメータは、少なくとも、カメラの光学的な歪みに起因した画像データの歪みを正す。また、校正部１４は、算出された補正パラメータによって変換された一対の画像データに関する画像の特性を拘束条件として、一対のカメラの位置的ずれに起因した一対の画像データのずれを正す校正パラメータを算出する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、一対のカメラから構成されるステレオカメラの調整装置および調整方法に関する。本発明は、特に、ステレオカメラから出力される一対の画像データのそれぞれを、パラメータを用いて変換することにより、ステレオカメラの光学的な歪みと位置的なずれと画像処理によって調整する手法に好適である。
【０００２】
【従来の技術】
近年、車外監視、踏切監視、地形認識または高度計測といった様々な用途において、ステレオ式監視装置が注目・実用化されている。この類の監視装置では、対象物の認識・監視を行う前提として、距離データである視差を算出する必要がある。視差は、ステレオカメラより得られる一対の撮像画像（ステレオ画像）に基づき、ステレオマッチング処理を行うことによって算出される。
【０００３】
ところで、このような監視装置では、ステレオカメラの取り付け位置に関して高レベルの精度が要求される。なぜなら、ステレオカメラの取り付け位置にずれ、すなわち、一対のカメラの相対的な位置にずれ（位置的なずれ）が生じると、それぞれのカメラの撮像方向がずれてしまい、算出された距離データに悪影響を及ぼしてしまうからである。特に、カメラの上下方向・回転方向の並進ずれは、各画像における同一水平ライン（エピポーラライン）のずれとなって現れる。そのため、エピポーララインの一致を前提としたステレオマッチングにおいて、この不一致は、距離データの信頼性の低下につながる。そこで、従来より、ステレオカメラの位置的なずれに起因した画像間のずれを正す技術が提案されている（例えば、特許文献１参照）。
【０００４】
また、ステレオカメラでは、カメラの光学的な歪み、例えば、レンズの歪みや、撮像素子の受光面のあおりなどに起因して、それぞれの撮像画像に非線形な歪みが生じることがある。これらの歪みは、ステレオマッチングを行う際に、エピポーララインの歪みとなって現われる。上記ステレオマッチングでは、このような歪みも、距離データの信頼性の低下につながる。そこで、従来より、光学的な歪みに起因した画像の歪みを正す技術が提案されている（例えば、特許文献２参照）。
【０００５】
【特許文献１】
特開平１０−１１５５０６号公報
【特許文献２】
特開平１１−３２５８８９号公報
【０００６】
【発明が解決しようとする課題】
このように、ステレオマッチング処理を行う前提として、カメラ光学的な歪みに起因した画像の歪み、および、ステレオカメラの位置的なずれに起因した画像のずれを正すことは、算出される距離データの信頼性向上を図る上で重要である。
【０００７】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、ステレオカメラの光学的な歪みと位置的なずれとを画像処理によって調整する新規な手法を提供することである。
【０００８】
また、本発明の別の目的は、ステレオカメラのバラツキ調整を行うことにより、算出される距離データの信頼性向上を図ることである。
【０００９】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、ステレオカメラを構成する一対のカメラから出力された一対の画像データのそれぞれを、パラメータを用いて変換することにより、ステレオカメラの光学的な歪みと位置的なずれとを画像処理によって調整するステレオカメラの調整装置を提供する。このステレオカメラの調整装置は、補正部と、校正部とを有する。ここで、補正部は、所定のパターンを有するチャートをステレオカメラで撮像することによって出力された一対の画像データを処理対象として、画像データ毎に、画像データによって規定される画像平面に写し出されたパターンが、チャートが有する所定のパターンに近づくように画像データを変換する補正パラメータを算出する。ここで、この補正パラメータは、少なくとも、カメラの光学的な歪みに起因した画像データの歪みを正す。また、校正部は、算出された補正パラメータによって変換された一対の画像データに関する画像の特性を拘束条件として、一対のカメラの位置的ずれに起因した一対の画像データのずれを正す校正パラメータを算出する。
【００１０】
ここで、第１の発明において、補正部は、画像データによって規定される画像平面においてパターンの座標を検出するとともに、検出されたパターンの座標と、予め定められた所定のパターンを表わす目標座標とに基づいて、検出されたパターンの座標が目標座標に近づくような補正パラメータを算出する。
【００１１】
また、第１の発明において、拘束条件は、一方のカメラを基準とした他方のカメラの回転ずれがないことであることが好ましい。
【００１２】
第１の発明において、拘束条件は、一対のカメラのそれぞれの焦点距離が等しいことであることが好ましい。
【００１３】
第１の発明において、拘束条件は、一対のカメラのそれぞれの垂直方向と水平方向との拡大比が等しいことであることが望ましい。
【００１４】
また、第１の発明において、一対のカメラの位置的なずれは、一方のカメラを基準とした他方のカメラの並進ずれであることが好ましい。
【００１５】
また、第１の発明において、校正部は、一対の画像データのそれぞれ等しい回転と、一方の画像データを基準とした他方の画像データの垂直方向への並進とを含む校正パラメータを算出することが好ましい。
【００１６】
また、第１の発明において、校正部は、上記拘束条件を反映させたＦマトリックスを用いて、校正パラメータを算出することが好ましい。
【００１７】
この場合、校正部は、異なる距離に配置された２つ以上の対象物をステレオカメラで撮像することによって出力された一対の画像データのそれぞれにおいて、対象物のそれぞれに関する一方の画像データと他方の画像データとの座標のずれを算出し、水平方向および垂直方向の座標のずれ量を基準とした二次元平面において、対象物のそれぞれについて算出された座標のずれに関する近似直線を算出するとともに、近似直線に基づき、校正パラメータを算出することが好ましい。
【００１８】
第２の発明は、ステレオカメラを構成する一対のカメラから出力された一対の画像データのそれぞれを、パラメータを用いて変換することにより、ステレオカメラの光学的な歪みと位置的なずれとを画像処理によって調整するステレオカメラの調整方法を提供する。このステレオカメラの調整方法では、第１のステップとして、少なくとも、カメラの光学的な歪みに起因した画像データの歪みを正す補正パラメータであって、所定のパターンを有するチャートをステレオカメラで撮像することによって出力された一対の画像データを対象として、画像データ毎に、画像データによって規定される画像平面に写し出されたパターンが、チャートが有する所定のパターンに近づくように画像データを変換する補正パラメータを算出する。そして、第２のステップとして、算出された補正パラメータによって変換された一対の画像データに関する画像の特性を拘束条件として、一対のカメラの位置的ずれに起因した一対の画像データのずれを正す校正パラメータを算出する。
【００１９】
ここで、第２の発明において、第１のステップは、画像データによって規定される画像平面においてパターンの座標を検出するとともに、検出されたパターンの座標と、予め定められた所定のパターンを表わす目標座標とに基づいて、検出されたパターンの座標を目標座標に近づけるような補正パラメータを算出することが好ましい。
【００２０】
また、第２の発明において、一対のカメラの位置的なずれは、一方のカメラを基準とした他方のカメラの並進ずれであることが好ましい。
【００２１】
また、第２の発明において、第２のステップは、一対の画像データのそれぞれ等しい回転と、一方の画像データを基準とした他方の画像データの垂直方向への並進とを含む校正パラメータを算出することが好ましい。
【００２２】
さらに、第２の発明において、第２のステップは、拘束条件を反映させたＦマトリックスを用いて、校正パラメータを算出することが好ましい。
【００２３】
この場合、第２のステップは、異なる距離に配置された２つ以上の対象物を撮像することによって出力された一対の画像データのそれぞれにおいて、対象物のそれぞれに関する一方の画像データと他方の画像データとの座標のずれを算出するステップと、水平方向および垂直方向の座標のずれ量を基準とした二次元平面において、対象物のそれぞれについて算出された座標のずれに関する近似直線を算出するステップと、算出された近似直線に基づき、校正パラメータを算出するステップとを有することが望ましい。
【００２４】
【発明の実施の形態】
（第１の実施形態）
図１は、本実施形態にかかるステレオカメラの調整装置を示すブロック図である。本実施形態にかかるステレオカメラの調整装置１（以下、単に「調整装置１」と称する）は、一例として、自車両前方の走行状況を監視するステレオ式車外監視装置の一部として機能している。この調整装置１は、製品の出荷前（或いは、定期点検時）に行われる調整行程において、ステレオカメラの光学的な歪みと位置的なずれとを画像処理によって調整する。ここで、本明細書において、補正とは、主として、カメラ２，３の光学的な歪みに起因した画像の歪みを正すことをいう。また、校正とは、ステレオカメラを構成するカメラ２，３の位置的なずれに起因した画像間の位置ずれを正すことをいう。
【００２５】
車外の景色を撮像するステレオカメラは一対のカメラ２，３で構成されており、これらのカメラ２，３は所定のカメラ基線長だけ離間された状態で、ルームミラーの近傍に取り付けられている。カメラ２，３のそれぞれには、イメージセンサ（ＣＣＤセンサまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ３は、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２，３から出力された各アナログ画像は、Ａ／Ｄコンバータ４，５により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。デジタル化された一対の画像データにおいて、画像データによって規定される画像平面はｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。このようなデジタル化を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。
【００２６】
歪補正部６は、補正パラメータに基づいて、基準画像データと比較画像データとをそれぞれ変換する。この補正パラメータは、カメラの光学的な歪みに起因した画像データの歪みを正す（すなわち、補正する）。具体的には、基準画像データを構成するある画素点の座標（ｉＲ，ｊＲ）は、基準画像データ用の補正パラメータ（ΔＩＲ（ｉＲ），ΔＪＲ（ｊＲ））に基づき、その画像平面上の座標位置が変換される。これにより、ある画素点の座標（ｉＲ，ｊＲ）は、（ｉＲ＋ΔＩＲ（ｉＲ），ｊＲ＋ΔＪＲ（ｊＲ））の座標位置にシフトする。同様に、比較画像データにおけるある画素点の座標（ｉＬ，ｊＬ）は、比較画像データ用の補正パラメータ（ΔＩＬ（ｉＬ），ΔＪＬ（ｊＬ））に基づき、その画像平面上の座標位置が変換される。これらの変換によって、基本的に、個々のカメラ２，３の光学的な歪みに起因した画像の歪みが補正される。これらの補正パラメータ（ΔＩＲ（ｉＲ），ΔＪＲ（ｊＲ）），（ΔＩＬ（ｉＬ），ΔＪＬ（ｊＬ））はマップ或いは計算式として歪補正部６に保持されており、後述する前段の補正部１３によって調整工程時に作成（或いは、更新）され、歪補正部６に対してフィードバックされる。
【００２７】
歪補正部６において変換が施された一対の画像データのそれぞれは、アフィン変換部７，８において、再度、画像の変換が行われる。通常、一対のカメラ２，３の位置は、程度の差はあるものの誤差（すなわち、位置的なずれ）が存在するため、それに起因したずれが左右の各画像に生じている。このずれを校正するために、アフィン変換等を用いて、画像の回転や平行移動等の変換が行われる。数式１は、アフィン変換の基本形を示す。なお、本明細書では、「アフィン変換」という用語を、画像データを回転、移動または拡大・縮小する座標変換を総称する意味で用いる。
【数１】

【００２８】
同数式において、アフィンパラメータＳＨＦＴＩ，ＳＨＦＴＪはそれぞれ、ｉ方向（画像の水平方向）への移動、ｊ方向（画像の垂直方向）への移動を表している。また、アフィンパラメータθ，Ｋはそれぞれθの回転、Ｋ倍の角度（｜Ｋ｜＜１の場合は縮小）を示している。換言すれば、それぞれのアフィンパラメータＳＨＦＴＩ，ＳＨＦＴＪ，θ，Ｋは、一対のカメラ２，３の位置的なずれに起因した一対の画像データのずれを校正する校正パラメータとして機能している。
【００２９】
メインカメラ２の出力側に設けられたアフィン変換部７は、数式１に示す関係式に基づき、基準画像データにおけるある画素点の座標（ｉＲ，ｊＲ）を変換する。また、サブカメラ３の出力側に設けられたアフィン変換部８は、数式１に示す関係式に基づき、比較画像データにおけるある画素点の座標（ｉＬ，ｊＬ）を変換する。これらのアフィンパラメータＳＨＦＴＩ，ＳＨＦＴＪ，θ，Ｋ、すなわち、校正パラメータは、マップ或いは計算式としてアフィン変換部７，８のそれぞれに保持されている。この校正パラメータは、後述する前段の校正部１４によって調整工程時に決定（或いは、更新）され、アフィン変換部７，８のそれぞれに対してフィードバックされる。ただし、本実施形態では、各アフィン変換部７，８にフィードバックされる校正パラメータは、基準画像用の校正パラメータθＲ、および、比較画像用の校正パラメータθＬ，ＳＨＦＴＪＬのみである。この場合、これら以外のフィードバックされない校正パラメータ（基準画像用の校正パラメータＫＲ，ＳＨＦＴＩＲ，ＳＨＦＴＪＲ、比較画像用の校正パラメータＫＬ，ＳＨＦＴＩＬ）は、所定の基準値を用いる（例えば、ＫＲ，ＫＬ＝１，ＳＨＦＴＩＲ，ＳＨＦＴＪＲ，ＳＨＦＴＩＬ＝０）。
【００３０】
このように、歪補正部６における補正とアフィン変換部７，８における校正とによって（より正確には、歪補正部６およびアフィン変換部７，８による画像データの変換によって）、基準画像と比較画像とにおけるエピポーララインの一致が保証される。そして、一フレーム（一画像の表示単位）相当の一対の画像データは、後段のステレオ画像処理部９に出力されるとともに、画像データメモリ１１に格納される。
【００３１】
ステレオ画像処理部９は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄは、基準画像の一部を構成する所定面積（例えば、４×４画素）の画素ブロック毎に１つ算出される。
【００３２】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が２００×５１２画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックＰＢｉｊの個数相当（５０×１２８個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢｉｊに関する水平方向のずれ量であり、画素ブロックＰＢｉｊに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢｉｊ内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢｉｊの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。
【００３３】
ある画素ブロックＰＢｉｊ（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢｉｊの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰｉｊのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部９は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢｉｊの視差ｄとする。
【００３４】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式２は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ｉｊは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ｉｊは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ｉｊ，ｐ２ｉｊの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数２】

【００３５】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部９のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合は、距離データメモリ１０に格納される。
【００３６】
マイクロコンピュータ１２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、補正部１３と、校正部１４と、認識部１５とを有する。
【００３７】
マイクロコンピュータ１２の機能的な要素のうち、補正部１３および校正部１４は、調整装置１としての主要な機能を担っており、調整工程において、ステレオカメラの光学的な歪みと位置的なずれと画像処理によって調整する。補正部１３および校正部１４は、予めプログラムされた調整ルーチンをそれぞれ実行する。これにより、一対の画像データを処理対象として、画像データの歪みを補正する補正パラメータ、および、一対の画像のずれを校正する校正パラメータをそれぞれ算出する。
【００３８】
補正部１３は、所定のパターンを有するチャートをステレオカメラで撮像することによって出力された一対の画像データを処理対象として、画像データ毎に、補正パラメータを算出する。この補正パラメータは、画像データによって規定される画像平面に写し出されたパターンが、チャートが有する所定のパターンに近づくように画像データを変換する。具体的には、本実施形態において、補正部１３は、後述するようなパターンを有する補正用チャートＡＣをステレオカメラで撮像することによって得られた一対の画像データを処理対象として、画像データ毎に、画像平面上においてパターンの座標を検出する。そして、検出されたパターンの座標と、予め定められた所定のパターンを表わす目標座標とに基づいて、検出されたパターンの座標が目標座標に近づくような補正パラメータが算出される。これにより、基準画像データを対象とした補正パラメータ（ΔＩＲ（ｉＲ），ΔＪＲ（ｊＲ））と、比較画像データを補正対象とした補正パラメータ（ΔＩＬ（ｉＬ），ΔＪＬ（ｉＬ））とがそれぞれ算出される。そして、算出されたこれらの補正パラメータ（ΔＩＲ（ｉＲ），ΔＪＲ（ｊＲ）），（ΔＩＬ（ｉＬ），ΔＪＬ（ｉＬ））が、歪補正部６に対してそれぞれフィードバックされる。
【００３９】
校正部１４は、算出された補正パラメータによって変換された一対の画像データ、すなわち、メインカメラ２の出力画像が基準画像用の補正パラメータ（ΔＩＲ（ｉＲ），ΔＪＲ（ｊＲ））で変換された画像データと、サブカメラ３の出力画像が比較画像用の補正パラメータ（ΔＩＬ（ｉＬ），ΔＪＬ（ｉＬ））で変換された画像データとを処理対象として、次のことを行う。まず、一対の画像データに関する画像の特性を拘束条件として、一対の撮像データのずれを校正する校正パラメータが算出される。本明細書では、「拘束条件」という用語を、画像の歪みや位置ずれのうち補正によって制限される条件という意味で用いる。本実施形態では、基準画像データを校正対象とした校正パラメータθＲと、比較画像データを校正対象とした校正パラメータθＬ，ＳＨＦＴＪＬとがそれぞれ算出される。そして、基準画像データ用の校正パラメータθＲがアフィン変換部７に対してフィードバックされ、また、比較画像データ用の校正パラメータθＬがアフィン変換部８に対してフィードバックされる。
【００４０】
なお、本実施形態の特徴の一つは、このような補正および校正からなるステレオカメラの調整手法にあり、その詳細な処理の内容については後述する。
【００４１】
認識部１６は、このようなステレオカメラの調整工程が行われた後の稼働状態において、ステレオ式車外監視装置としての主要な機能を担う。具体的には、認識部１６は、道路形状（白線）や車両前方の立体物（走行車）等の対象物を認識する。そして、これらの認識結果に基づいて、前方のカーブや立体物に対する警報が必要と判定された場合、モニタやスピーカー等の警報装置（図示せず）を作動させることにより、ドライバーに対する注意が喚起される。また、必要に応じて制御装置（図示せず）を制御することにより、ＡＴ（自動変速機）のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車両制御が実行される。
【００４２】
対象物の認識は、距離データメモリ１０に格納された距離データに基づき、距離データ（ｉ，ｊ，ｄ）を数式３に示す周知の座標変換式で実空間の座標系（Ｘ，Ｙ，Ｚ）に変換し、空間を三次元認識することによって行われる。自車両の位置を基準に設定された実空間の座標系（Ｘ，Ｙ，Ｚ）は、ステレオカメラの中央真下の道路面を原点として、車幅方向をＸ軸、車高方向をＹ軸、車長方向（距離方向）をＺ軸とする。ここで、数式３において、ＫＺＨは、所定の定数（カメラ基線長／水平視野角）である。また、Ｄｐは、消失点視差であり、本実施形態において補正可能な値である。定数ＣＡＨはステレオカメラの取付高さ、定数ｒはカメラ２，３の取り付け間隔、定数ＰＷＶ，ＰＷＨはそれぞれ１画素当たりの垂直視野角、水平視野角である。定数ＩＶ，ＪＶはそれぞれ予め設定された消失点Ｖのｉ座標値、ｊ座標値である。
【数３】

【００４３】
なお、認識部１６は、これらの認識に際し、画像データメモリ１１中に記憶された画像データ（例えば、基準画像データ）をさらに利用してもよい。また、図示していない車速センサや舵角センサからのセンサ情報、或いはナビゲーション情報等も必要に応じて参照される。
【００４４】
以下、本実施形態にかかるステレオカメラの調整手順を説明する。この調整手順には、補正部１３によって実行される補正プロセスと、この補正プロセスを前提条件として校正部１４によって実行される校正プロセスとの２つプロセスが含まれる。
【００４５】
まず、校正プロセスの前提条件である、補正プロセスについて説明する。図３は、ステレオカメラの調整手順における補正プロセスの手順を示すフローチャートである。まず、オペレータは、補正プロセスの開始に先立ち、補正用チャートＡＣを車両前方の所定位置に配置しておく。図４は、補正用チャートＡＣの位置と検査対象であるステレオカメラ（車両）との関係を示した図である。同図において、補正用チャートＡＣの取付位置は、ステレオカメラの取り付け位置からの距離ＺがＺ１、地面から補正用チャートＡＣの中央点までの高さＹがＹ１、そしてＸが０である。このとき、補正用チャートＡＣは、カメラ２，３のカメラ基線と概ね平行となるように配置される。このような状態で補正用チャートＡＣをカメラ２，３で撮像することにより、撮像画像に補正用チャートＡＣが写し出される。
【００４６】
ここで、図５は、補正プロセスにおいて用いられる補正用チャートＡＣの一例を示す説明図である。この補正用チャートＡＣには、複数の垂直線と複数の水平線とが等間隔で配置された格子状パターンが描かれている。垂直線（以下、「垂直格子線」と称する）のそれぞれ、或いは、水平線（以下、「水平格子線」と称する）のそれぞれは、予め設定した間隔、例えば、カメラ基線長の整数分の一の間隔で隣接している。本実施形態において、画像平面上のパターンの座標を検出するべく、補正部１３は、格子状パターンのうち特徴となり得る格子点（垂直格子線と水平格子線との交点）に注目してその座標を検出する。そのため、格子点の検出精度および歪み補正の精度を考慮した上で、撮像画像に補正用チャートＡＣが写し出された状態で、格子線の間隔が８〜２０画素となる程度に設定される。また、格子状パターンを構成する格子線の幅は、格子線が画像で見える程度で、十分な細さを有するように設定されており、例えば、補正用チャートＡＣが写し出された状態で、その間隔が１．５画素程度となるように設定される。
【００４７】
また、補正用チャートＡＣには、カメラ２，３の間隔（カメラ基線長）と概ね同じ間隔の格子位置に、メインマークＭｍとサブマークＭｓとが描かれている。これらのマークＭｍ，Ｍｓは、格子状パターンの格子線に影響を与えない程度の形状（格子点とオーバーラップしない大きさ）に設定され、本実施形態では、それぞれが４つの円形マークより構成されている。右側のメインマークＭｍは、メインカメラ２と位置的に対応する垂直格子線Ｌｖｍと中央の水平格子線Ｌｈｃとの格子点周り配置されている。また、左側のサブマークＭｓは、サブカメラ３と位置的に対応する垂直格子線Ｌｖｓと水平格子線Ｌｈｃとの格子点周り配置される。これらのマークＭｍ，Ｍｓは、格子点検出の開始位置を規定する役割を果たし、同図に示す例では、メインマークＭｍとサブマークＭｓとで同一の図柄となっている。
【００４８】
再び図３を参照し、まず、ステップ１０において、初期化作業が行われ、歪補正部６に設定されている補正パラメータと、アフィン変換部７，８に設定されている校正パラメータとがリセットされる。ステップ１０に続くステップ１１において、補正用チャートＡＣを撮像した基準画像（右画像）データと比較画像（左画像）データとが読み込まれる。
【００４９】
ステップ１２において、基準画像データを処理対象として、補正用チャートＡＣにおいてメインマークＭｍが周囲に配置された格子点（以下、「メイン格子点」と称する）の座標が検出される。このステップ１２では、メイン格子点の座標を求める前提として、まず、メインカメラ２とメインマークＭｍとの位置関係に基づき、基準画像データによって規定される画像平面（以下、単に「基準画像平面」と称する）において、メイン格子点が存在するであろう領域に、所定面積の探索範囲が設定される。この探索範囲の面積は、画像平面において一つの格子点のみを含み得るような大きさとして決定されている。そして、シティブロック距離ＣＢなどを用い、この探索範囲内の全域に渡り水平／垂直方向に一画素ずつオフセットさせながら、図６（ａ）に示す評価パターンＰ１と最も高い相関を有する画像領域を特定する（二次元マッチング）。これにより、特定された画像領域に対応する基準画像平面の座標位置が、メイン格子点の座標として検出される。
【００５０】
このステップ１２に示す処理において、メイン格子点の座標は、補正プロセスの精度向上を図るためにも、サブピクセル成分を補間することで、一画素単位以下（サブピクセルレベル）の分解能で求めることが好ましい。例えば、このサブピクセル成分は、シティブロック距離ＣＢの分布の対称性に基づき、シティブロック距離ＣＢの分布から極小値の位置を推定し、直線近似等によって極小点の座標を算出することによって求めるといった如くである。なお、サブピクセル成分を求める手法については、本出願人によって既に提案された特開２０００−２８３７５３号公報および特願２００１−２９６２４５号に開示されているので、必要ならば参照されたい。
【００５１】
ステップ１３において、比較画像データを処理対象として、補正用チャートＡＣにおいてサブマークＭｓが周囲に配置された格子点（以下、「サブ格子点」と称する）の座標が検出される。このステップ１３では、サブ格子点の座標を求める前提として、まず、サブカメラ２とサブマークＭｓとの位置関係に基づき、比較画像データによって規定される画像平面（以下、単に「比較画像平面」と称する）において、サブ格子点が存在するであろう領域に、所定面積の探索範囲が設定される。そして、ステップ１２で示した処理と同様に、この探索範囲内において、評価パターンＰ１と最も高い相関を有する画像領域を特定することにより、サブ格子点の座標がサブピクセルレベルで求められる。
【００５２】
ステップ１４において、再び基準画像データを処理対象として用い、メイン格子点の座標位置を基準として、基準画像平面に存在する格子点の座標が検出される。この処理では、まず、メイン格子点の座標位置を基準として、既知の格子線間隔に基づき、メイン格子点に隣接する格子点が存在するであろう所定の相対位置に、探索範囲が設定される。そして、この探索範囲内の全域に亘り水平／垂直方向に一画素ずつオフセットさせながら、図６（ｂ）に示す評価パターンＰ２と最も高い相関を有する画像領域を特定する（二次元マッチング）。これにより、特定された画像領域に対応する基準画像平面の座標位置が、格子点の座標として検出される。そして、検出された新たな格子点の座標を基準として、この格子点に隣接する格子点の座標を順次検出することにより、垂直格子線と水平格子線との交点数相当の格子点の座標が検出される。
【００５３】
ステップ１５において、比較画像データを処理対象として、比較画像平面に存在する格子点の座標のそれぞれが検出される。この処理では、ステップ１４で示す処理と同様に、まず、サブ格子点の座標位置を基準として、サブ格子点と隣接する格子点の座標が検出される。そして、新たに検出された格子点の座標を基準として、この格子点に隣接する格子点の座標を順次検出することにより、垂直格子線と水平格子線との交点数相当の格子点の座標が検出される。
【００５４】
そして、ステップ１６において、基準画像平面に関して検出された格子点の座標のそれぞれと、予め定められたパターンを表わす目標座標（正確には、格子点を表す目標座標のそれぞれ）とに基づいて、基準画像データの座標を補正する補正パラメータが算出される。ここで、この目標座標とは、光学的な歪みが全く存在しないような理想的なカメラで補正用チャートＡＣを撮像した場合に検出される格子点（すなわち、所定のパターン）の座標をいう。例えば、目標座標は、補正用チャートＡＣのパターンと、この補正用チャートＡＣとステレオカメラとの間の距離Ｚ１およびカメラの焦点距離とに基づき、理論的に算出することができる。
【００５５】
このステップ１６に示す処理では、まず、目標座標と、基準画像平面で検出された格子点の座標とにおいて、位置的に対応する格子点同士が対応付けられる。つぎに、格子点のそれぞれを処理対象として、検出された格子点の座標と、この格子点に対応付けられた目標座標との座標相当の差分値が算出される。そして、算出された差分値のうち、ｉ軸方向の差分値をΔＩＲ、ｊ軸方向の差分値をΔＪＲとして、これらの差分値ΔＩＲ，ΔＪＲが、処理対象となる格子点の座標（ｉＲ，ｊＲ）に関する補正パラメータ（ΔＩＲ，ΔＪＲ）として決定される。
【００５６】
そして、ステップ１７において、比較画像平面に関して検出された格子点の座標のそれぞれと、予め定められたパターンを表わす目標座標のそれぞれとに基づいて、比較画像データの座標を補正する補正パラメータが算出される。このステップ１７では、ステップ１６で示す処理と同様に、検出された格子点の座標と、この格子点と対応付けられた目標座標との座標相当の差分値ΔｉＬ，ΔｊＬが、格子点の座標（ｉＬ，ｊＬ）に関する補正パラメータ（ΔＩＬ，ΔＪＬ）として決定される。
【００５７】
つぎに、ステップ１８では、基準画像データにおいて、格子点外の基準画像平面の座標について、補正パラメータ（ΔＩＲ，ΔＪＲ）が算出される。具体的には、格子点外の座標の周囲に存在する格子点の座標に関して求められた差分値ΔｉＲ，ΔｊＲに基づき、補間計算によって、補正パラメータ（ΔＩＲ，ΔＪＲ）が算出される。そして、ステップ１６およびステップ１８で示す処理により、基準画像平面のすべてにおいて、ある座標（ｉＲ，ｊＲ）に関する補正パラメータが、（ΔＩ（ｉＲ），ΔＪ（ｊＲ））として算出される。
【００５８】
また、ステップ１９では、ステップ１８に示す処理と同様に、比較画像データにおいて、格子点外の比較画像平面の座標について、補正パラメータ（ΔＩＬ，ΔＪＬ）が算出される。そして、ステップ１７およびステップ１９で示す処理により、比較画像平面のすべてにおいて、ある座標（ｉＬ，ｊＬ）に関する補正パラメータが、（ΔＩＬ（ｉＬ），ΔＪＬ（ｊＬ））として算出され、本ルーチンを抜ける。
【００５９】
以上の補正プロセスにより、算出された補正パラメータ（ΔＩＲ（ｉＲ），ΔＪＲ（ｊＲ））、（ΔＩＬ（ｉＬ），ΔＪＬ（ｊＬ））が歪補正部６に対してフィードバックされる。そして、この補正プロセス以降に出力される画像データのそれぞれは、これらの補正パラメータに基づいて、その座標位置が変換される。このような変換が施された画像データでは、補正パラメータ（ΔＩ（ｉＲ），ΔＪ（ｊＲ））（或いは、（ΔＩ（ｉＬ），ΔＪ（ｊＬ）））が、検出された格子点の座標を目標座標に近づけるように作用するため、光学的な歪みに起因した画像の歪みが解消されることとなる。
【００６０】
上述した補正プロセスの終了に続いて、校正部１４は、校正プロセスを実行する。図７は、ステレオカメラの調整手順における校正プロセスの手順を示すフローチャートである。まず、オペレータは、校正プロセスの開始に先立ち、少なくとも２つ以上の校正用チャートＣＣ（本実施形態では、校正用チャートＣＣ１〜ＣＣ３の３つ）のそれぞれをステレオカメラの前方に異なる距離Ｚで配置しておく。ここで、図８は、校正用チャートＣＣ１〜ＣＣ３の位置と検査対象であるステレオカメラ（車両）との関係を示した図である。同図に示すように、車長方向（Ｚ軸）に関して、カメラ２，３から遠ざかる方向に、校正用チャートＣＣ１、ＣＣ２、ＣＣ３の順番で、校正用チャートＣＣ１〜ＣＣ３のそれぞれが配置されている。また、これらの校正用チャートＣＣ１〜ＣＣ３は、これらのチャートＣＣ１〜ＣＣ３が画像に写し出された際に、画像平面内においてチャートＣＣ１〜ＣＣ３のそれぞれが重ならないような状態で配置されている。
【００６１】
これらの校正用チャートＣＣ１〜ＣＣ３には、画像に写し出されたチャートＣＣ１〜ＣＣ３のそれぞれに対して二次元マッチングを行う関係上、それぞれユニークなパターンが描かれている。図８に示す例において、これらの校正用チャートＣＣ１〜ＣＣ３には、内側と外側とで異なる輝度階調の同心円状（二重丸）のパターンが描かれており、校正用チャートＣＣ１，ＣＣ２，ＣＣ３のそれぞれは、内側の円の輝度階調で相違している。
【００６２】
再び図７を参照し、まず、ステップ２０において、初期化作業が行われ、アフィン変換部７，８に設定されているそれぞれの校正パラメータの値がリセットされる。ステップ２０に続くステップ２１において、校正用チャートＣＣ１〜ＣＣ３を撮像した基準画像（右画像）データと比較画像（左画像）データとが読み込まれる。
【００６３】
ステップ２２において、基準画像データを処理対象として、基準画像平面に写し出された校正用チャートＣＣ１〜ＣＣ３の座標のそれぞれが検出される。このステップ２２では、まず、校正用チャートＣＣ１〜ＣＣ３のそれぞれに対応した輝度特性を有する評価パターンを用いて、基準画像平面の全域に亘り水平／垂直方向に一画素ずつオフセットさせながら、二次元マッチングを行う。これにより、それぞれの評価パターンと最も高い相関を有する画像領域が特定される。そして、特定された画像領域のそれぞれに対応する基準画像平面の座標位置が、校正用チャートＣＣ１〜ＣＣ３の座標としてそれぞれ特定される。ここで、校正用チャートＣＣ１が写し出された基準画像平面の座標を（ｉＲ１，ｊＲ１）とし、校正用チャートＣＣ２，ＣＣ３が写し出された基準画像平面の座標のそれぞれを（ｉＲ２，ｊＲ２），（ｉＲ３，ｊＲ３）とする。これらの座標（ｉＲ１，ｊＲ１），（ｉＲ２，ｊＲ２），（ｉＲ３，ｊＲ３）は、サブピクセルレベルで算出することが望ましい。
【００６４】
そして、ステップ２３において、比較画像データを処理対象として、比較画像平面に写し出された校正用チャートＣＣ１〜ＣＣ３のそれぞれの座標を、二次元マッチングを用いて検出する。これにより、校正用チャートＣＣ１が写し出された比較画像平面の座標が（ｉＬ１，ｊＬ１）として検出され、校正用チャートＣＣ２，ＣＣ３が写し出された比較画像平面の座標のそれぞれが（ｉＬ２，ｊＬ２），（ｉＬ３，ｊＬ３）として検出される。
【００６５】
ステップ２４において、校正用チャートＣＣ１〜ＣＣ３のそれぞれを処理対象として、基準画像平面での座標と比較画像平面での座標との位置ずれ（Δｉ，Δｊ）が算出される。本実施形態では、校正用チャートＣＣ１に関する位置ずれ（Δｉ１，Δｊ１）、および、校正用チャートＣＣ２，ＣＣ３に関する位置ずれ（Δｉ２，Δｊ２），（Δｉ３，Δｊ３）のそれぞれが算出される。
【００６６】
そして、ステップ２５において、ΔｉとΔｊとによって規定される二次元平面、すなわち、水平方向および垂直方向の座標のずれ量を基準とした二次元平面において、それぞれの位置ずれの点（Δｉ１，Δｊ１），（Δｉ２，Δｊ２），（Δｉ３，Δｊ３）を最小二乗法などを用いて直線近似する。これにより、以下に示す数式を満たす変数α，βが算出される（図９参照）。
【数４】

【００６７】
ステップ２６では、算出された変数α，βを用いて、校正パラメータ（すなわち、アフィンパラメータ）θ，ＳＨＦＴＪを下式に基づき算出する。ここで、θは基準画像データおよび比較画像データに関する等しい回転を示し、ＳＨＦＴＪは一方の画像データ（本実施形態では、比較画像データ）に関するｉ方向（画像の水平方向）への移動を示す。
【数５】

【００６８】
そして、ステップ２７において、算出された校正パラメータθが所定の閾値θｔｈと比較されるとともに、校正パラメータＳＨＦＴＪが所定の閾値ＳＨＦＴＪｔｈと比較される。ここで、この所定の閾値θｔｈおよびＳＨＦＴＪｔｈは、一対の画像データ間のずれが補正するには至らないとみなせる程度の最大値として決定されている。したがって、このステップ２７で、校正パラメータθが所定の閾値θｔｈよりも大きい場合、或いは、校正パラメータＳＨＦＴＪが所定の閾値ＳＨＦＴＪｔｈよりも大きい場合には、肯定判定され、後段のステップ２８に進む。すなわち、このステップ２７で肯定判定された場合には、校正を必要とする程度に画像間がずれていると判断する。これにともない、基準画像データに関する校正パラメータθＲとして、ステップ２６で算出されたθの値がセットされる。また、比較画像データに関する校正パラメータθＬ，ＳＨＦＴＪＬとして、ステップ２６において算出されたθ，ＳＨＦＴＪの値がそれぞれセットされる（ステップ２８）。
【００６９】
一方、このステップ２７で、校正パラメータθが所定の閾値θｔｈ以下で、かつ、校正パラメータＳＨＦＴＪが所定の閾値ＳＨＦＴＪｔｈ以下の場合には、校正を必要とする程度に画像間がずれていないと判断する。この場合には、後段のステップ２９に進む。
【００７０】
そして、ステップ２９において、校正用チャートＣＣ１〜ＣＣ３の内、いずれかの校正用チャートＣＣ（例えば、校正用チャートＣＣ１）に関する水平方向のずれ量Δｉ（すなわち、視差）の値に基づき、数式３に示した消失点視差Ｄｐの値が算出される。消失点視差Ｄｐの算出は、数式３の上段の式を満足するような値として、校正用チャートＣＣ１とステレオカメラとの間の距離Ｚと、ずれ量Δｉ１とに基づき、一義的に算出することができる。そして、この消失点視差Ｄｐが算出され、本ルーチンを抜ける。
【００７１】
以上の処理により、校正パラメータθＲが、メインカメラ２側のアフィン変換部７に対してフィードバックされ、校正パラメータθＬ，ＳＨＦＴＪＬがサブカメラ３側のアフィン変換部８に対してフィードバックされる。これにより、この校正プロセス以降に出力される画像データは、これらの校正パラメータθＲ，θＬ，ＳＨＦＴＪＬに基づいて、その座標位置が変換される。具体的には、アフィン変換部７，８に入力された一対の画像データは、それぞれ等しい回転θと、基準画像データに対する比較画像データのｊ軸方向の並進ＳＨＦＴＪＬとの校正が行われることとなる。これにより、カメラ２，３の位置的なずれに起因した画像データのずれが解消される。
【００７２】
つぎに、校正パラメータθＲ，θＬ，ＳＨＦＴＪＬが、数式４および数式５より算出される理由について説明する。図１０は、カメラの投影像をモデル化した説明図である。三次元空間内のある対象物を視点Ｃの画像に投影した場合、この画像平面上の投影像は、基本的に、視線上に配置された二次元平面のスクリーンＳ上への投影像と等価として考えることができる。すなわち、三次元空間内のある点Ｘが視点Ｃの画像に投影されている場合、点Ｘと視点Ｃとを結ぶ直線がスクリーンＳと交差する点ｘが、三次元空間内の点ＸのスクリーンＳ上への投影像である。
【００７３】
このとき、三次元空間内の点Ｘ（Ｘ＝（Ｘ，Ｙ，Ｚ））を投影するスクリーンＳ（ｘｙ平面）上の点ｘ（ｘ＝（ｘ，ｙ））と、画像平面上の点ｍ（ｍ＝（ｉ，ｊ））とは、以下に示す数式６の関係を満たす。
【数６】

【００７４】
ここで、Ａは、カメラの内部パラメータであり、スクリーンＳ上の点から画像平面上の点への変換行列としての３×３の周知のマトリックスである。また、▲１▼（すなわち、［ｉ，ｊ，１］^Ｔ）は画像平面上の点ｍに対する斉次座標であり、▲２▼（すなわち、［ｘ，ｙ，１］^Ｔ）はスクリーンＳ上の点ｘに対する斉次座標である。
【００７５】
同様に、カメラの内部パラメータの逆行列Ａ^−１について、画像平面上の点ｍ（ｉ，ｊ）と、スクリーン上の点ｘ（ｘ，ｙ）とは、以下に示す数式７の関係を満たす。
【数７】

【００７６】
このような数式６および数式７に示す関係を前提とした上で、ステレオカメラから出力される一対の画像（右画像および左画像）について考える。ここで、三次元空間内のある点Ｘに関する右画像（本実施形態では、基準画像）平面上の座標位置、すなわち、点Ｘの右画像への投影点を、ｍ_Ｒ（ｉＲ，ｊＲ）とする。また、この点Ｘに関する左画像（本実施形態では、比較画像）平面上の座標位置、すなわち、点Ｘの左画像への投影点を、ｍ_Ｌ（ｉＬ，ｊＬ）とする。このとき、右画像と左画像との間には、以下に示す数式８の関係があることは周知である。
【数８】

【００７７】
ここで、▲３▼（すなわち、［ｉＲ，ｊＲ，１］^Ｔ）は右画像平面上の投影点ｍ_Ｒ（ｉＲ，ｊＲ）に対する斉次座標であり、▲４▼（すなわち、［ｉＬ，ｊＬ，１］^Ｔ）は左画像平面上の投影点ｍ_Ｌ（ｉＬ，ｊＬ）に対する斉次座標である。また、Ｆは、ファンダメンタル行列（ｆｕｎｄａｍｅｎｔａｌ　ｍａｔｒｉｘ）或いは基礎行列と呼ばれ（以下、単に「Ｆマトリックス」と称する）、エッセンシャル行列（ｅｓｓｅｎｔｉａｌ　ｍａｔｒｉｘ）Ｅと、カメラの内部パラメータＡとを用いて、以下に示す数式９によって表わされる。
【数９】

【００７８】
ここで、エッセンシャル行列Ｅは、並進、回転、縦横比、せん断などに関する情報をその要素に含む３×３の周知のマトリックスである。また、Ａ^−Ｔは、カメラの内部パラメータの逆行列Ａ^−１の転置を示す。
【００７９】
数式８から理解されるように、異なる視線から得られた２つの画像において、三次元空間内のある点を投影した左右画像上の対応点同士（ｍ_Ｒ，ｍ_Ｌ）は、数式８を必ず満たす。したがって、このＦマトリックスは、カメラの光学的な歪み、および、一対にカメラの位置的なずれなどをその要素に含み、右画像と左画像との対応する点ｍ_Ｒ，ｍ_Ｌの関係を規定するものである。よって、このＦマトリックスを解くことにより、画像の歪み、或いは、一対の画像のずれが特定され、これらを補正／校正することが可能となる。しかしながら、Ｆマトリックスには、多くの要素に起因する独立パラメータ（例えば、並進、回転、縦横比、せん断など）が存在するため、それを解くことは容易ではない。
【００８０】
ところで、上述した補正プロセスを行うことにより、算出された補正パラメータによって変換された左右の画像データ（すなわち、基準画像データおよび比較画像データ）に関する画像の特性として、以下の条件が保証される。この条件は、（１）一方のカメラを基準とした他方のカメラの回転ずれがないこと、（２）一対のカメラのそれぞれの焦点距離が等しいこと、および、（３）一対のカメラのそれぞれの垂直方向と水平方向との拡大比が等しいことの３つである。換言すれば、検出された格子点の座標を目標座標に近づけるように作用する校正プロセスにより、その画像の特性として、（２）および（３）の条件に示す、光学的な歪みに起因した画像の歪みが解消されている。なお、本実施形態に示す補正プロセスは、基本的にカメラの光学的な歪みを補正することとを前提とするものの、その補正処理の性質に起因して一部校正的な要素として、（１）の条件をも含んでいる。そして、これらの画像データに関する画像の特性を拘束条件とした場合、画像間に生じている可能性のあるバラツキは、一対のカメラの並進成分のずれに起因するずれのみと考えることができる。したがって、上述したエッセンシャル行列Ｅにこの拘束条件を反映させると、エッセンシャル行列Ｅは、数式１０に示す行列まで、そのパラメータを減少することができる。
【数１０】

【００８１】
同数式において、Ｔ１はＸ軸に関するカメラの並進ずれ、Ｔ２はＹ軸に関するカメラの並進ずれ、Ｔ３はＺ軸に関するカメラの並進ずれである。そこで、数式１０に示すｅｓｓｅｎｔｉａｌ行列Ｅを数式９に示す式に代入し、これを整理すると、Ｆマトリックスは、数式１１に示す行列になる。
【数１１】

【００８２】
数式１１に示すように、本実施形態に示した補正プロセスを行うことにより、上記拘束条件がＦマトリックスに反映されるので、Ｆマトリックス中のパラメータを減らすことができる。したがって、パラメータが減った分、数式１１中に示すα，βを単に求めることにより、Ｆマトリックスを容易に解くことができる。本実施形態では、上述した拘束条件に基づき、Ｆマトリックスを解くことは、カメラ２，３の並進ずれに起因した左右画像の位置ずれを特定することと等価である。なお、一般に、一対のカメラが理想的な状態、すなわち、一対のカメラにずれが存在しない状態のステレオカメラにおいて、γを任意の値とした場合、Ｆマトリックスは、以下に示す数式１２となることは既知である。
【数１２】

【００８３】
したがって、数式１１に示すＦマトリックス（Ｆ）が、数式１２に示すＦマトリックス（Ｆ０）になるように、左右の画像のそれぞれを回転・並進させたならば、一対のカメラの並進ずれは等価的に校正される。なお、上述した拘束条件により、カメラ間での回転ずれがないという条件を得ているので、画像の校正は、左右のカメラのそれぞれ等しい回転と、並進方向のずれとを考慮すればよい。すなわち、これらの校正を実現するためには、校正用行列ＢＲ，ＢＬが、下式の条件を満たすことと等価である。
【数１３】

【数１４】

【００８４】
ここで、校正用行列ＢＲは右画像に対する校正用行列を示し、校正用行列ＢＬは左画像に対する校正用行列を示す（数式１４参照）。また、θは画像の回転を示し、ＳＨＦＴＪＬは左画像のｊ軸方向（縦方向）での並進を示す。なお、並進は一方の画像に対する他方の画像の相対移動であるため、本実施形態では、左画像のみに並進を考慮している。校正行列ＢＬのみにＳＨＦＴＪＬがそのパラメータとして含まれているのは、そのためである。なお、並進を考慮する以上、画像のｉ軸方向（横方向）の並進についても考慮する必要があるが、本実施形態では、ｉ軸方向の並進成分のずれは、視差のずれ量（すなわち、消失点視差Ｄｐ）として求めるとして、ここでは省略する。
【００８５】
そして、数式１３および数式１４から、θ、ＳＨＦＴＪＬを求めることで、校正パラメータを求めることができる。そして、これらの関係を満たすカメラの校正量θ，ＳＨＦＴＪＬが、上述の数式５として与えられる。
【００８６】
ここで、数式５に含まれるα，βの求め方について説明する。実空間上のある点に関し、右画像および左画像において対応する座標は、上述した数式８に示す関係を満たす。したがって、数式１１に示すＦマトリックスを、数式８に代入することで、これらのα，βの関係を導くことできる。このとき、同一対象物（本実施形態では、校正用チャートＣＣ）に関する左右画像での位置ずれを（Δｉ，Δｊ）とすると、パラメータα，βは、上述した数式４に示す関係を満たす。この数式４の関係式から理解されるように、パラメータα，βは、ΔｉとΔｊとで規定される二次元平面における直線の式となっている。したがって、上述した校正プロセスで述べたように、２点以上の（Δｉ，Δｊ）を検出することにより、パラメータα，βを特定することができる。また、ステップ２９において消失点視差Ｄｐを算出することにより、並進成分のうち、水平方向のずれをさらに校正している。
【００８７】
以上の説明のように、本実施形態によれば、校正プロセスに先立ち、補正プロセスを行うことにより、一定の拘束条件をともなった画像特性を有する画像データを得ることができる。本実施形態では、一方のカメラを基準とした他方のカメラの回転ずれがない、一対のカメラのそれぞれの焦点距離が等しい、および、一対のカメラのそれぞれの垂直方向と水平方向との拡大比が等しい、という３つの拘束条件を得る。これらの拘束条件より、ステレオカメラに存在しているバラツキを、一対のカメラに存在している位置的なずれ、特に、カメラの並進ずれとして特定することができる。したがって、これらの画像の特性を拘束条件として、Ｆマトリックスのパラメータを減少した上で、Ｆマトリックスを解くことにより、一対のカメラの並進ずれに起因した一対の画像データのずれを校正する校正パラメータを容易に特定することができる。この結果、これら補正プロセスおよび校正プロセスを含むステレオカメラのバラツキ調整を行うことにより、光学的な歪みに起因した画像の歪み、および、一対のカメラの位置的なずれに起因した画像データのずれを有効に正すことがことができる。また、このような補正および校正が行われた状態で、ステレオ画像処理を行うことにより、ステレオマッチングを行う際のエピポーララインの一致が保証されるので、算出される距離データの信頼性を向上することができる。
【００８８】
なお、上述した説明では、（１）〜（３）の拘束条件を用いることにより、Ｆマトリックスのパラメータを２つまで減少させている。しかしながら、補正パラメータによって変換された一対の画像データに関する画像の特性を拘束条件としてＦマトリックスに反映させることで、そのパラメータを減少させる方向に作用させるのであれば、本発明の目的は達せられる。したがって、本実施形態に示した補正プロセスに起因した（１）〜（３）の拘束条件は本発明の一形態を示すにすぎず、これら（１）〜（３）のいずれかが拘束条件となる、或いは、その他の画像の特性が拘束条件となるような補正パラメータを補正プロセスが算出することを排除するものではない。すなわち、補正パラメータは、少なくとも、画像の歪みを正すようなパラメータであればよい。ただし、Ｆマトリックスのパラメータを減少させるという観点に鑑みれば、補正パラメータを算出する補正プロセスには、以下の条件が要求される。まず、一つの条件として、カメラ２，３が組み付けられた状態（すなわち、ステレオカメラとして構成された状態）で、カメラ２，３で同時にチャートを撮像することである。そして、他の条件として、このチャートを撮像することによって出力された一対の画像データを処理対象として、画像データ毎に、補正パラメータを算出する。例えば、画像データ毎に、画像データによって規定される画像平面に写し出されたパターンが、チャートが有する所定のパターンに近づくように（すなわち、少なくとも画像の歪みが正されるように）画像データを変換する補正パラメータを算出するといった如くである。換言すれば、本発明の補正プロセスは、個々のカメラの組み付け状態を考慮しないような、カメラ単体のみで独立して行う歪み補正とは相違する。
【００８９】
また、本発明で用いられた補正用チャートＡＣは、上述した格子状パターンを有する補正用チャートＡＣに限定されない。補正用チャートＡＣとしては、他にも、ドット状パターン、水平／垂直の波線状パターンなど様々なパターンを使用することができる。換言すれば、この校正用チャートＡＣは、予め定められたパターンを表わす目標座標に対応するようなパターンであれば、いかなる形状のパターンをも用いることができる。なお、この場合、図６に示した評価パターンＰ１，Ｐ２は、校正用チャートＡＣに描かれたパターンの形状に応じたデザインに変更されることはいうまでもない。
【００９０】
また、上述した校正プロセスの説明では、複数の異なる校正チャートＣＣ１〜ＣＣ３をそれぞれ異なる距離Ｚに配置したが、単一の校正チャートＣＣのみを用いて校正プロセスを行うことも可能である。この場合には、この校正チャートＣＣの距離Ｚを変えながら、図７に示すステップ２１〜ステップ２４の処理を複数回行うことで、上述した実施形態と同様の作用・効果を奏することができる。
【００９１】
（第２の実施形態）
第１の実施形態では、Ｆマトリックス中のパラメータα，βを用いることで、一対のカメラの並進ずれに起因した画像データのずれを校正した。Ｆマトリックスを用いる場合、校正パラメータを一義的に特定することができるので有利であるが、一対のカメラの並進ずれに起因した画像間のずれを校正する手法は、第１の実施形態に示す校正プロセスに限定されるものではない。図１１は、ステレオカメラの調整手順における別の校正プロセスの手順を示すフローチャートである。
【００９２】
まず、第２の実施形態にかかる校正プロセスを説明する前提として、この校正プロセスに関する概略を説明する。まず、上述した補正プロセスにおいて、一対のカメラ間のずれは、並進方向のみに存在していることは、上述したとおりである。図１２は、校正プロセス後のカメラの光軸を示す説明図である。カメラ２，３を水平方向より眺めた場合、補正プロセス後のカメラ２，３の位置と、光軸との関係は、図１２に示す状態となる。具体的には、メインカメラ２に対してサブカメラ３が下側（Ｙ軸方向）に並進していると考えた場合、上述の補正プロセスによる画像データの補正により、現在のカメラの状態は、サブカメラ３の光軸がねじれた状態と等価となっている。すなわち、補正プロセス後の校正プロセスにおいて必要とされる処理は、このカメラ２，３の光軸のねじれを正すことである。そこで、このようなねじれを正す処理を、再び図１１を参照して説明する。
【００９３】
まず、オペレータは、校正プロセスの開始に先立ち、上述した３つの校正用チャートＣＣ１〜ＣＣ３を車両前方に配置しておく。図１３は、校正用チャートＣＣの配置位置と検査対象であるステレオカメラとの関係を示した図である。同図に示すように、ステレオカメラに対して等しい距離Ｚに校正用チャートＣＣ１，ＣＣ２が配置され、これらのチャートＣＣ１，ＣＣ２とは異なる位置（本実施形態では、チャートＣＣ１，ＣＣ２よりも遠距離）に校正用チャートＣＣ３が配置されてる。同図に示すチャートＣＣ１〜ＣＣ３は、説明の便宜上、第１の実施形態の校正プロセスで用いた校正用チャートと同一のチャートを使用している。
【００９４】
再び図１１を参照し、まず、ステップ３０において、初期化作業が行われ、アフィン変換部７，８のそれぞれにおいて設定される校正パラメータの値がリセットされる。ステップ３０に続くステップ３１において、校正用チャートＣＣ１〜ＣＣ３を撮像した基準画像（右画像）データと比較画像（左画像）データとが読み込まれる。
【００９５】
ステップ３２において、基準画像データを処理対処として、画像平面に写し出された校正用チャートＣＣ１〜ＣＣ３のうち、等距離に配置された校正用チャートＣＣ（本実施形態では、校正用チャートＣＣ１，ＣＣ２）の座標が、二次元マッチングを用いてそれぞれ検出される。これにより、校正用チャートＣＣ１が写し出された基準画像平面の座標が（ｉＲ１，ｊＲ１）として検出され、校正用チャートＣＣ２が写し出された基準画像平面の座標が（ｉＲ２，ｊＲ２）として検出される。
【００９６】
そして、ステップ３３において、比較画像データを処理対象として、二次元マッチングを用いて比較画像平面に写し出された校正用チャートＣＣ１，ＣＣ２の座標がそれぞれ検出される。これにより、校正用チャートＣＣ１が写し出された比較画像平面の座標が（ｉＬ１，ｊＬ１）として検出され、校正用チャートＣＣ２が写し出された比較画像平面の座標が（ｉＬ２，ｊＬ２）として検出される。
【００９７】
ステップ３４において、校正用チャートＣＣ１，ＣＣ２に対応するｊ座標の差Δ（ｊＲ１−ｊＬ１），Δ（ｊＲ２−ｊＬ２）が０となるように、比較画像データに関する校正パラメータθＬ，ＳＨＦＴＪＬが算出される。そして、算出された校正パラメータθＬ，ＳＨＦＴＪＬ相当の校正が比較画像に対して行われる（ステップ３５）。
【００９８】
ステップ３６において、基準画像データを処理対象として、二次元マッチングを用いて基準画像平面に写し出された校正用チャートＣＣ３の座標が検出される。これにより、校正用チャートＣＣ３が写し出された基準画像平面の座標が（ｉＲ３，ｊＲ３）として検出される。そして、ステップ３７において、ステップ３５で校正された比較画像データを処理対象として、二次元マッチングを用いて比較画像平面に写し出された校正用チャートＣＣ３の座標が検出される。これにより、校正用チャートＣＣ３が写し出された比較画像平面の座標が（ｉＬ３，ｊＬ３）として検出される。
【００９９】
ステップ３７に続くステップ３８において、校正用チャートＣＣ３に対応するｊ座標の差Δ（ｊＲ３−ｊＬ３）が算出される。そして、このΔ（ｊＲ３−ｊＬ３）が所定の閾値Δｊｔｈと比較されることにより、Δ（ｊＲ３−ｊＬ３）が閾値Δｊｔｈ以下であるか否かが判断される。
【０１００】
このステップ３８で否定判断された場合、校正用チャートＣＣ３に関する位置がそれぞれの画像間で大きく異なると判断され、ステップ３９に進む。そして、ステップ３９において、このΔ（ｊＲ３−ｊＬ３）の値に適当なゲインを乗算し、この値を校正するような基準画像に対する回転相当の校正パラメータθＲが算出される。そして、この算出された校正パラメータθＲ相当の校正（すなわち、変換）が基準画像に対して行われる。そして、ステップ３２に進み、上述した処理を繰り返す。一方、ステップ３８で肯定判定された場合、校正用チャートＣＣ３に関する位置がそれぞれの画像間で近いと判断され、後段のステップ４１に進む。
【０１０１】
そして、ステップ４１において、校正用チャートＣＣ１〜ＣＣ３の内、いずれかの校正用チャートＣＣ（例えば、校正用チャートＣＣ１）に関する水平方向のずれ量Δｉ（すなわち、視差）の値に基づき、数式３に示した消失点視差Ｄｐの値が算出される。そして、この消失点視差Ｄｐが算出され、本ルーチンを抜ける。
【０１０２】
以上の処理により、校正パラメータθＲ，θＬ、ＳＨＦＴＪＬが適宜決定される。そして、校正パラメータθＲがメインカメラ２側のアフィン変換部７に対してフィードバックされ、校正パラメータθＬ，ＳＨＦＴＪＬがサブカメラ３側のアフィン変換部８に対してフィードバックされる。これにより、この校正プロセス以降に出力される画像データのそれぞれは、これらの校正パラメータに基づいて、その座標位置が変換される。
【０１０３】
このように第２の実施形態によれば、基準画像および比較画像を適宜回転、並進させて、最適な校正パラメータを求めることにより、Ｆマトリックスを用いた第１の実施形態と同様の作用・効果を奏することができる。すなわち、この処理では、一対の画像間のエピポーララインを一致させるという前提のもと、最適な校正パラメータを求めている。なお、第２の実施形態に示す処理を行った場合であっても、一対の画像に関する回転相当の校正パラメータθＲと校正パラメータθＬとの値は基本的に同一な値となる。
【０１０４】
なお、上述した実施形態では、３つの校正用チャートＣＣ１〜ＣＣ３を用いて校正プロセスを行ったが、本実施形態はこれに限定されるものでない。ステレオカメラと補正用チャートＡＣとの間の距離とは異なる距離で、かつ、校正用チャートＣＣ１，ＣＣ２が等しい距離に配置されるのであれば、２枚の校正用チャートＣＣ１，ＣＣ２を用いてこのような処理を行うことができる。
【０１０５】
【発明の効果】
このように本発明のステレオカメラの調整装置および調整方法によれば、まず、少なくとも、カメラの光学的な歪みに起因した画像データの歪みを正す補正パラメータが算出される。この算出された補正パラメータによって、変換された一対の画像データは、一定の拘束条件をともなった画像特性を有する画像データとなる。この拘束条件を前提とすることで、一対のカメラに存在している位置的なずれを特定することができるので、この位置的なずれに起因した画像データの位置ずれを補正する補正パラメータを算出することができる。これにより、一対の画像データのそれぞれを、補正パラメータと校正パラメータとを用いて変換することにより、ステレオカメラの光学的な歪みと位置的なずれとを画像処理によってを調整することができる。
【図面の簡単な説明】
【図１】本実施形態にかかるステレオカメラの調整装置を示すブロック図
【図２】基準画像に設定される画素ブロックの説明図
【図３】ステレオカメラの調整手順における補正プロセスの手順を示すフローチャート
【図４】補正用チャートの配置位置と検査対象であるステレオカメラ（車両）との関係を示した図
【図５】補正プロセスにおいて用いられる補正用チャートの一例を示す説明図
【図６】二次元マッチングで用いられる評価パターンを示す説明図
【図７】ステレオカメラの調整手順における校正プロセスの手順を示すフローチャート
【図８】校正用チャートの配置位置と検査対象であるステレオカメラとの関係を示した図
【図９】Δｉ−Δｊ平面における位置ずれに関する近似直線を説明する図
【図１０】カメラの投影像をモデル化した説明図
【図１１】ステレオカメラの調整手順における別の校正プロセスの手順を示すフローチャート
【図１２】校正プロセス後のカメラの光軸を示す説明図
【図１３】校正用チャートの配置位置と検査対象であるステレオカメラとの関係を示した図
【符号の説明】
１　　　　調整装置
２　　　　メインカメラ
３　　　　サブカメラ
４　　　　Ａ／Ｄコンバータ
５　　　　Ａ／Ｄコンバータ
６　　　　歪補正部
７　　　　アフィン変換部
８　　　　アフィン変換部
９　　　　ステレオ画像処理部
１０　　　　距離データメモリ
１１　　　　画像データメモリ
１２　　　　マイクロコンピュータ
１３　　　　補正部
１４　　　　校正部
１５　　　　認識部

Claims (15)

1. ステレオカメラを構成する一対のカメラから出力された一対の画像データのそれぞれを、パラメータを用いて変換することにより、ステレオカメラの光学的な歪みと位置的なずれとを画像処理によって調整する装置において、
   少なくとも、カメラの光学的な歪みに起因した画像データの歪みを正す補正パラメータであって、所定のパターンを有するチャートを前記ステレオカメラで撮像することによって出力された一対の画像データを処理対象として、画像データ毎に、画像データによって規定される画像平面に写し出されたパターンが、前記チャートが有する所定のパターンに近づくように画像データを変換する補正パラメータを算出する補正部と、
   前記算出された補正パラメータによって変換された一対の画像データに関する画像の特性を拘束条件として、前記一対のカメラの位置的なずれに起因した一対の画像データのずれを正す校正パラメータを算出する校正部とを有することを特徴とするステレオカメラの調整装置。
2. 前記補正部は、前記画像データによって規定される画像平面において前記パターンの座標を検出するとともに、当該検出されたパターンの座標と、予め定められた前記所定のパターンを表わす目標座標とに基づいて、前記検出されたパターンの座標が前記目標座標に近づくような前記補正パラメータを算出することを特徴とする請求項１に記載されたステレオカメラの調整装置。
3. 前記拘束条件は、一方のカメラを基準とした他方のカメラの回転ずれがないことであることを特徴とする請求項１または２に記載されたステレオカメラの調整装置。
4. 前記拘束条件は、一対のカメラのそれぞれの焦点距離が等しいことであることを特徴とする請求項１から３のいずれかに記載されたステレオカメラの調整装置。
5. 前記拘束条件は、一対のカメラのそれぞれの垂直方向と水平方向との拡大比が等しいことであることを特徴とする請求項１から４のいずれかに記載されたステレオカメラの調整装置。
6. 前記一対のカメラの位置的なずれは、一方のカメラを基準とした他方のカメラの並進ずれであることを特徴とする請求項１から５のいずれかに記載されたステレオカメラの調整装置。
7. 前記校正部は、前記一対の画像データのそれぞれ等しい回転と、一方の画像データを基準とした他方の画像データの垂直方向への並進とを含む校正パラメータを算出することを特徴とする請求項１から６のいずれかに記載されたステレオカメラの調整装置。
8. 前記校正部は、前記拘束条件を反映させたＦマトリックスを用いて、前記校正パラメータを算出することを特徴とする請求項１から７に記載されたステレオカメラの調整装置。
9. 前記校正部は、異なる距離に配置された２つ以上の対象物を前記ステレオカメラで撮像することによって出力された一対の画像データのそれぞれにおいて、前記対象物のそれぞれに関する一方の画像データと他方の画像データとの座標のずれを算出し、水平方向および垂直方向の座標のずれ量を基準とした二次元平面において、前記対象物のそれぞれについて算出された座標のずれに関する近似直線を算出するとともに、当該近似直線に基づき、校正パラメータを算出することを特徴とする請求項６から８のいずれかに記載されたステレオカメラの調整装置。
10. ステレオカメラを構成する一対のカメラから出力された一対の画像データのそれぞれを、パラメータを用いて変換することにより、ステレオカメラの光学的な歪みと位置的なずれとを画像処理によって調整する方法において、
    少なくとも、カメラの光学的な歪みに起因した画像データの歪みを正す補正パラメータであって、所定のパターンを有するチャートを前記ステレオカメラで撮像することによって出力された一対の画像データを対象として、画像データ毎に、画像データによって規定される画像平面に写し出されたパターンが、前記チャートが有する所定のパターンに近づくように画像データを変換する補正パラメータを算出する第１のステップと、
    前記算出された補正パラメータによって変換された一対の画像データに関する画像の特性を拘束条件として、前記一対のカメラの位置的なずれに起因した一対の画像データのずれを正す校正パラメータを算出する第２のステップと
    を有することを特徴とするステレオカメラの調整方法。
11. 前記第１のステップは、前記画像データによって規定される画像平面において前記パターンの座標を検出するとともに、当該検出されたパターンの座標と、予め定められた前記所定のパターンを表わす目標座標とに基づいて、前記検出されたパターンの座標を前記目標座標に近づけるような前記補正パラメータを算出することを特徴とする請求項１０に記載されたステレオカメラの調整方法。
12. 前記一対のカメラの位置的なずれは、一方のカメラを基準とした他方のカメラの並進ずれであることを特徴とする請求項１０または１１に記載されたステレオカメラの調整方法。
13. 前記第２のステップは、前記一対の画像データのそれぞれ等しい回転と、一方の画像データを基準とした他方の画像データの垂直方向への並進とを含む校正パラメータを算出することを特徴とする請求項１０から１２のいずれかに記載されたステレオカメラの調整方法。
14. 前記第２のステップは、前記拘束条件を反映させたＦマトリックスを用いて、前記校正パラメータを算出することを特徴とする請求項１０から１３のいずれかに記載されたステレオカメラの調整方法。
15. 前記第２のステップは、異なる距離に配置された２つ以上の対象物を撮像することによって出力された一対の画像データのそれぞれにおいて、前記対象物のそれぞれに関する一方の画像データと他方の画像データとの座標のずれを算出するステップと、
    水平方向および垂直方向の座標のずれ量を基準とした二次元平面において、前記対象物のそれぞれについて算出された座標のずれに関する近似直線を算出するステップと、
    前記算出された近似直線に基づき、校正パラメータを算出するステップと
    を有することを特徴とする請求項１２から１４のいずれかに記載されたステレオカメラの調整方法。

Images