JP2004069437A - テストチャート、ステレオカメラの位置ずれ検査装置および位置ずれ検査方法 - Google Patents
テストチャート、ステレオカメラの位置ずれ検査装置および位置ずれ検査方法 Download PDFInfo
- Publication number
- JP2004069437A JP2004069437A JP2002227777A JP2002227777A JP2004069437A JP 2004069437 A JP2004069437 A JP 2004069437A JP 2002227777 A JP2002227777 A JP 2002227777A JP 2002227777 A JP2002227777 A JP 2002227777A JP 2004069437 A JP2004069437 A JP 2004069437A
- Authority
- JP
- Japan
- Prior art keywords
- pair
- cameras
- pattern
- test chart
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Input (AREA)
Abstract
【課題】カメラの位置ずれ、特に、上下方向・回転方向の位置ずれを有効に検査する新規なテストチャートを提供する。
【解決手段】所定のカメラ基線長だけ離間された一対のカメラによって取得された一対の撮像画像に基づき算出される距離データを用いて、一対のカメラの相対的な位置ずれを検査する際に、一対のカメラの前方でカメラ基線と基準方向とを一致させて平行に配置されるとともに、一対のカメラによって撮像されることにより、一対の撮像画像に写し出されるテストチャート１６であって、このテストチャート１６は、テストチャートに描かれるパターンが、基準方向から斜めに傾いている。
【選択図】 図６
【解決手段】所定のカメラ基線長だけ離間された一対のカメラによって取得された一対の撮像画像に基づき算出される距離データを用いて、一対のカメラの相対的な位置ずれを検査する際に、一対のカメラの前方でカメラ基線と基準方向とを一致させて平行に配置されるとともに、一対のカメラによって撮像されることにより、一対の撮像画像に写し出されるテストチャート１６であって、このテストチャート１６は、テストチャートに描かれるパターンが、基準方向から斜めに傾いている。
【選択図】 図６
Description
【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラを構成する一対のカメラの相対的な位置ずれを検査する際に使用されるテストチャート、並びに、一対のカメラの位置ずれをこのテストチャートを利用して検査する位置ずれ検査装置および位置ずれ検査方法に関する。
【０００２】
【従来の技術】
近年、車外監視、踏切監視、地形認識または高度計といった様々な用途において、ステレオ式監視装置が注目・実用化されている。この監視装置では、対象物の認識・監視を行う前提として、距離データである視差を算出する必要がある。視差は、ステレオカメラより得られる一対の撮像画像に基づき、ステレオマッチング処理を行うことによって算出される。
【０００３】
このようなステレオカメラを車体に取り付ける際には、その取り付け位置に関して高レベルの精度が要求される。なぜなら、ステレオカメラの取り付け位置にずれ、すなわち、一対のカメラの相対的な位置にずれ（位置ずれ）が生じると、それに起因してカメラそれぞれの撮像方向がずれてしまうため、算出された距離データに直接影響を及ぼしてしまうからである。特に、カメラの上下方向・回転方向のずれは、ステレオマッチングを行う際に、各画像における同一水平ライン（エピポーラライン）のずれとなって現れるため、算出された距離データの信頼性が低下してしまう場合がある。
【０００４】
この点に関して、特開２００１−９１２４７号公報では、ステレオ画像に基づき算出された距離データの信頼性を検査する技術が提案されている。この従来技術では、ランダムな輝度パターンが描かれたテストチャートをステレオカメラで撮像することによって、一対の撮像画像を取得するとともに、これらの撮像画像に基づき距離データを算出する。そして、撮像画像に写し出されたテストチャートに関する距離データを評価サンプルとして、ステレオカメラとテストチャートとの間の実距離に基づき、この距離データを評価する。これにより、算出された距離データの信頼性が判定される。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記公報に記載された従来技術では、距離データの信頼性を評価することはできるものの、それがどの程度のカメラの位置ずれに起因しているのか、すなわち、そのずれ量を特定することまでは開示されていない。また、距離データの信頼性を正確に判定するためには、サブピクセル単位、すなわち１画素（１ピクセル）以下の分解能でずれを検出することが好ましい。この従来技術では、距離データをサブピクセル単位で算出し、これによりサブピクセル単位で位置ずれの判定を行うことを開示している。しかしながら、この手法は、距離データをサブピクセル単位で算出するため、計算処理量が大きく、また、計算処理が煩雑となってしまう可能性がある。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、その目的は、カメラの位置ずれ、特に、上下方向・回転方向の位置ずれを有効に検査する新規なテストチャートを提供することである。
【０００７】
また、本発明の別の目的は、このテストチャートを用いて、距離データの信頼性を低下させるカメラの位置ずれを有効に検査することである。
【０００８】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、所定のカメラ基線長だけ離間された一対のカメラによって取得された一対の撮像画像に基づき算出される距離データを用いて、一対のカメラの相対的な位置ずれを検査する際に、一対のカメラの前方でカメラ基線と基準方向とを一致させて平行に配置されるとともに、一対のカメラによって撮像されることにより、一対の撮像画像に写し出されるテストチャートを提供する。このテストチャートは、テストチャートに描かれるパターンが、基準方向から斜めに傾いている。
【０００９】
ここで、第１の発明において、パターンは、斜め方向に延在する同一輝度階調の直線を形成することが好ましい。この場合、パターンは、傾き角の異なる複数の直線で構成される屈曲したパターンであることが好ましい。また、この場合、複数の直線のそれぞれは、輝度階調が異なることが好ましい。
【００１０】
また、第１の発明において、パターンは、基準方向と直交する方向にパターンが隣接して配置されたパターン群を構成しており、パターン群は、直交方向においてランダムな輝度階調となることが好ましい。
【００１１】
また、第２の発明は、一対の撮像画像に基づき算出される距離データを用いて一対のカメラの相対的な位置ずれを検査する位置ずれ検査装置において、一対のカメラと、ステレオ画像処理部と、検査部とを有する位置ずれ検査装置を提供する。この位置ずれ検査装置において、一対のカメラは、所定のカメラ基線長だけ離間されて、撮像画像を出力する。また、ステレオ画像処理部は、一対のカメラの前方でカメラ基線と基準方向とを一致させて平行に配置されているとともに、基準方向から斜めに傾いたパターンが描かれたテストチャートを、一対のカメラで撮像することによって得られた撮像画像に基づいて、距離データを算出する。検査部は、算出された距離データに基づき、一対のカメラの相対的な位置ずれを検査する。
【００１２】
ここで、第２の発明において、上述したパターンは、傾き角の異なる複数の直線で構成される屈曲したパターンであることが好ましい。この場合、検査部は、パターンの傾き角の変化する位置で距離データを複数の領域に分割する。そして、分割された領域のそれぞれにおいて視差に関する近似直線が算出され、パターンを構成する直線の傾きと算出された近似直線とに基づき、一対のカメラの相対的なずれ量が算出されることが望ましい。
【００１３】
また、第２の発明において、検査部は、パターンを構成する直線の傾きと、算出された近似直線とをパラメータとして、一対のカメラの相対的な上下方向および回転方向のずれ量を算出することが好ましい。また、検査部は、パターンを構成する直線の傾きと、近似直線と、テストチャートまでの実距離に対応する視差とをパラメータとして、一対のカメラの相対的な左右方向のずれ量を算出することが好ましい。
【００１４】
また、第２の発明は、一対のカメラの相対的な位置ずれに起因した一対の撮像画像の相対的なずれを補正パラメータを用いて補正する画像補正部をさらに有することが好ましい。このとき、検査部は、画像補正部に対し、算出されたずれ量に基づき補正パラメータを出力することが望ましい。
【００１５】
また、第２の発明において、パターンを構成する複数の直線のそれぞれは、輝度階調が異なることが好ましい。
【００１６】
さらに、第２の発明において、パターンは、基準方向と直交する方向にパターンが隣接して配置されたパターン群を構成しており、直交方向において、隣接するパターンの輝度階調がそれぞれ異なることが好ましい。
【００１７】
さらに、第３の発明は、所定のカメラ基線長だけ離間された一対のカメラによって取得された一対の撮像画像に基づき算出される距離データを用いて、一対のカメラの相対的な位置ずれを検査する位置ずれ検査方法を提供する。この位置ずれ検査方法では、第１のステップとして、一対のカメラの前方でカメラ基線と基準方向とを一致させて平行に配置されているとともに基準方向から斜めに傾いたパターンが描かれたテストチャートを、一対のカメラで撮像する。第２のステップとして、撮像された一対の撮像画像に基づいて、距離データを算出する。第３のステップは、算出された距離データに基づき、一対のカメラの相対的な位置ずれを検査する。
【００１８】
ここで、第３の発明において、上述したパターンは、傾き角の異なる複数の直線で構成される屈曲したパターンであることが好ましい。この場合、第３のステップは、パターンの傾き角の変化する位置で距離データを複数の領域に分割する。そして、分割された領域のそれぞれにおいて視差に関する近似直線が算出され、パターンを構成する直線の傾きと算出された近似直線とに基づき、一対のカメラの相対的なずれ量が算出されることが望ましい。
【００１９】
また、第３の発明において、第３のステップは、パターンを構成する直線の傾きと、算出された近似直線とをパラメータとして、一対のカメラの相対的な上下方向および回転方向のずれ量を算出することが好ましい。また、第３のステップは、パターンを構成する直線の傾きと、算出された近似直線と、テストチャートまでの実距離に対応する視差とをパラメータとして、一対のカメラの相対的な左右方向のずれ量を算出することが好ましい。
【００２０】
さらに、第３の発明は、一対のカメラの相対的な位置ずれに起因した一対の画像の相対的なずれを補正パラメータを用いて補正する第４のステップと、算出されたずれ量に基づき、補正パラメータをフィードバック補正する第５のステップとをさらに有することが好ましい。
【００２１】
【発明の実施の形態】
図１は、本実施形態にかかるステレオ式監視装置１のブロック構成図である。本実施形態にかかるステレオ式監視装置１は、一例として、自車両前方の走行状況を監視する車外監視装置として機能する。なお、本実施形態の特徴の一つとして、このステレオ式監視装置１は、これら車外監視を行う前提として、例えば、製品出荷前の検査段階において、ステレオカメラの位置ずれを検査・調整する位置ずれ検査装置としても機能する。
【００２２】
車外の景色を撮像するステレオカメラは、ルームミラーの近傍に取り付けられており、所定のカメラ基線長だけ離間された一対のカメラ２，３で構成されている。これら一対のカメラ２，３のそれぞれには、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ３は、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２，３から出力された各アナログ画像は、Ａ／Ｄコンバータ４，５により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。
【００２３】
デジタル化された一対の画像データは、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２，３の位置は、程度の差はあるものの誤差（すなわち、位置ずれ）が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。数式１は、アフィン変換の基本形を示す。なお、本明細書では、「アフィン変換」という用語を、画像データを回転、移動または拡大・縮小する幾何学的な座標変換を総称する意味で用いる。
【数１】
【００２４】
この数式において、（ｉ，ｊ）は変換前の画像データの座標であり、（ｉ’，ｊ’）は変換後の画像データの座標である。また、補正パラメータとしてのアフィンパラメータＳＨＦＴＩ，ＳＨＦＴＪはそれぞれ、ｉ方向（画像の水平方向）への移動、ｊ方向（画像の垂直方向）への移動を表している。アフィンパラメータθ，Ｋはそれぞれθの回転、Ｋ倍の角度（｜Ｋ｜＜１の場合は縮小）を示している。この画像補正部６は、後段の検査部１４からの指示に基づき、これらアフィンパラメータの適切な値を使用することができる。
【００２５】
このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。これらの画像データ（ステレオ画像データ）は、各画素の輝度値（０〜２５５）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一フレーム（一画像の表示単位）相当のステレオ画像データは、後段のステレオ画像処理部７に出力されるとともに、画像データメモリ８に格納される。
【００２６】
ステレオ画像処理部７は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄは、基準画像の一部を構成する所定面積（例えば、４×４画素）の画素ブロック毎に１つ算出される。
【００２７】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が２００×５１２画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックＰＢｉｊの個数相当（５０×１２８個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢｉｊに関する水平方向のずれ量であり、画素ブロックＰＢｉｊに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢｉｊ内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢｉｊの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。
【００２８】
ある画素ブロックＰＢｉｊ（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢｉｊの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰｉｊのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢｉｊの視差ｄとする。
【００２９】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式２は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ｉｊは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ｉｊは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ｉｊ，ｐ２ｉｊの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数２】
【００３０】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合は、距離データメモリ９に格納される。
【００３１】
マイクロコンピュータ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、認識部１１と、検査部１４とを有する。
【００３２】
認識部１１は、道路形状（白線）や車両前方の立体物（走行車）等を認識する。これらの認識は、距離データメモリ９に格納された距離データＤに基づいて行われる。なお、認識部１１は、これらの認識に際し、画像データメモリ８中に記憶された画像データをさらに利用してもよい。また、図示していない車速センサや舵角センサからのセンサ情報、或いはナビゲーション情報等も必要に応じて参照される。そして、これらの認識結果に基づいて、前方のカーブや立体物に対する警報が必要と判定された場合、モニタやスピーカー等の警報装置１２を作動させてドライバーに注意を促す。また、必要に応じて制御装置１３を制御することにより、ＡＴ（自動変速機）のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車両制御が実行される。
【００３３】
図１に示す検査装置１５は、製品の検査工程（例えば、製品の出荷前、或いは、定期点検時）においてのみ接続される外付けの装置である。マイクロコンピュータ１０に検査装置１５が接続され、検査装置１５によって検査の開始が指示されると、検査部１４は予めプログラムされた検査ルーチンを実行する。具体的には、検査部１４は、テストチャートを撮像した一対の撮像画像から算出された距離データに基づき、一対のカメラ２，３の相対的な位置ずれを検査する。換言すれば、検査部１４は、カメラ２，３に相対的な位置ずれが生じているか否かを判断し、位置ずれが生じていると判断した場合には、このずれ量を算出するとともに、この位置ずれを調整すべく算出されたずれ量を画像補正部６に出力する。
【００３４】
図３および図４は、本実施形態にかかる位置ずれの検査手順を示したフローチャートである。まず、検査者は、検査ルーチンの開始指示に先立ち、所定のパターンが描かれたテストチャートを車両前方の所定位置に配置しておく。図５は、テストチャートの配置位置と検査対象である車両との関係を示した図である。同図において、テストチャート１６は、車長方向（Ｚ軸）に関してステレオカメラの取り付け位置からＺ１の距離で、車高方向（Ｙ軸）に関して地面から十字交点（例えば、テストチャート１６の中央点）ＣまでがＹ１の高さで配置されている。このとき、テストチャート１６は、基準方向を車幅方向（Ｘ軸）、すなわち、カメラ２，３のカメラ基線と一致させて平行に配置されている。ここで、基準方向とは、ステレオカメラ前方にテストチャート１６を配置した際に、カメラ基線に対して、このテストチャート１６に描かれるパターンが斜めに傾くように、テストチャート１６の平面上に設定される方向をいう。このような状態でテストチャート１６をカメラ２，３で撮像することにより、撮像画像にテストチャート１６が写し出される。
【００３５】
図６は、テストチャートの一例を示した図である。本実施形態における特徴の一つであるテストチャート１６には、基準方向から斜めに傾いたパターンが描かれている。このようなパターンの一例としては、斜め方向に延在する同一輝度階調の直線（この直線は所定の幅を有する）を形成したパターンが挙げられる。テストチャート１６では、このような直線が組合わされて、傾き角の異なる２本の直線で構成される屈曲したパターン、すなわち、略Ｖ字状のパターンが描かれている。また、同図に示す例では、このようなパターンが、基準方向と直交する方向（上下方向）に隣接して配置されたパターン群を構成している。同図において、直線のそれぞれに示した階調Ａ〜Ｆはそれぞれ異なる輝度の階調を表現しており、このパターン群は、上下方向にランダムな輝度階調となるように構成されている。
【００３６】
再び図３を参照して、検査ルーチンの手順を説明する。検査者が検査装置１５を操作して検査の開始を指示すると、マイクロコンピュータ１０（すなわち検査部１４）は、１フレーム分の距離データＤを、距離データメモリ９から読み出す（ステップ１）。
【００３７】
ステップ２において、読み出された距離データＤを処理対象として、この距離データＤが信頼し得るものであるか、すなわち、距離Ｚ１相当の視差ｄが算出されているか否かが評価される。換言すれば、このステップ２では、距離データＤの信頼性を評価することにより、一対のカメラ２，３の相対的な位置ずれが検査される（より具体的には、位置ずれがあるか否かが判断される）。このステップ２では、撮像画像に写し出されたテストチャート１６に関する距離データＤを評価サンプルとして、この評価サンプルの距離値（視差ｄ）と出現度数との関係を示したヒストグラムが生成される。そして、生成されたヒストグラムの特性が適正率ｒとして定量的に算出されるとともに、設定されたしきい値ｒｔｈとこの適正率ｒとを比較することにより、算出された距離データＤの信頼性が評価される。このとき、適正率ｒがしきい値ｒｔｈ以上であれば、信頼できる距離データＤが算出されている（すなわち、カメラ２，３に位置ずれが生じていない）として肯定判定され、図４に示すステップ１９に進む。これに対して、適正率ｒが判定しきい値ｒｔｈ未満であれば、信頼できない距離データＤが算出されている（すなわち、カメラ２，３に位置ずれが生じている）として否定判定され、後段のステップ３に進む。なお、テストチャートを使用した距離データの検査方法およびその検査装置については、特開２００１−９１２４７号公報に開示されているので、必要ならば参照されたい。
【００３８】
ステップ２に続くステップ３において、読み出された距離データＤが、画像平面上の座標位置に対応する二次元的な平面において、縦方向に延在する短冊状の区分に切断（分割）される。そして、分割された区分のそれぞれを処理対象として、視差ｄに関するヒストグラム（頻度分布）が算出される（ステップ４）。このヒストグラムは、ある一つの区分における視差ｄの値と、その値相当の視差ｄの出現度数との関係を示すものであり、このステップ４により、分割された区分相当数のヒストグラムが算出される。
【００３９】
ステップ５において、各区分を代表する代表視差ｄ’が特定される。このステップ５では、算出されたヒストグラムを用いて、出現頻度が最も多く、かつ、所定のしきい値ｄｔｈ以上となる視差ｄの値が、代表視差ｄ’として特定される。例えば、このしきい値ｄｔｈは、テストチャート１６までの距離Ｚ１に相当する視差ｄを基準として、この基準となる視差ｄの値より若干小さめな値として決定されている。このとき、代表視差ｄ’の候補となる視差ｄがヒストグラム内（すなわち、区分内）に存在しないときは、その区分については、代表視差ｄ’の特定は行われない。このような代表視差ｄ’の特定処理が分割された全ての区分に対応するヒストグラムについて行われ、最大で分割された区分相当数の代表視差ｄ’が特定される。
【００４０】
ステップ６において、テストチャート１６に描かれたパターンの傾き角の変化する位置で、距離データＤが複数の領域に分割される。具体的には、テストチャート１６のパターンを構成する直線の傾き角が変化する位置（図６に示す「変化位置」）を基準として、この変化位置と座標位置的に対応する距離データＤ上の位置を境に、距離データＤが複数の領域に分割される。図７は、距離データの領域分割の一例を示した説明図である。同図に示すように、Ｖ字状のテストチャート１６を用いた場合、距離データＤは、Ｖ字の中心を境に、２つの領域ＡｒｅａＬ（図中左側），ＡｒｅａＲ（図中右側）に分割されることとなる。このとき、この領域ＡｒｅａＬ，ＡｒｅａＲと位置的に対応する区分に関して特定された代表視差ｄ’が、領域ＡｒｅａＬ，ＡｒｅａＲのそれぞれに対応付けられる。
【００４１】
なお、ステップ６において、各領域に対応づけられる代表視差ｄ’の個数が、所定の個数より小さい場合には、検査部１４は、この距離データＤを不適と判断し、後段のステップ２０に進むことが好ましい。例えば、このような不適と判断される距離データＤには、本実施形態で示す範囲内で調整可能な位置ずれ以上のずれが起こっている、或いは、アフィン変換では修正できないようなずれが生じていることが考えられる。
【００４２】
そして、ステップ７において、領域ＡｒｅａＬ，ＡｒｅａＲのそれぞれを処理対象として、この領域に対応付けられた代表視差ｄ’に関する近似直線が算出される。換言すれば、このステップ７では、分割された領域ＡｒｅａＬ，ＡｒｅａＲのそれぞれにおいて、視差ｄ（正確には、代表視差ｄ’）に関する近似直線が算出される。図８は、領域毎に算出される近似直線の一例を示す図である。この近似直線は、同図に示すように距離データＤ平面上のｉ座標と視差ｄとの直交二次元座標系において、例えば、最小二乗法を用いて算出される。算出された近似直線は、数式３に示すような一般形で示され、この近似直線を規定する直線パラメータα，βが領域ＡｒｅａＬ，ＡｒｅａＲのそれぞれについて算出されることとなる。ここで、数式３において、領域ＡｒｅａＬに関して算出される近似直線ｄ’Ｌについては、その直線パラメータα，βに添字としてＬが付されいる。また、領域ＡｒｅａＲに関して算出される近似直線ｄ’Ｒについては、その直線パラメータα，βに添字としてＲが付されている。
【数３】
【００４３】
図９は、カメラ２，３の上下方向への相対的なずれに起因した視差のずれを示した説明図である。一般に、カメラ２，３に相対的な位置ずれがないと仮定した場合、平行に配置されたテストチャート１６を撮像したならば、この撮像画像に基づき算出される視差ｄの値は、距離Ｚ１に相当する値として一様にその値が定まる。ところで、カメラ２，３に上下方向の相対的な位置ずれが存在する場合（例えば、メインカメラ２を基準としてサブカメラ３がずれている場合）、比較画像に写し出されるテストチャート１６のＶ字パターンは、本来あるべきの位置（破線で示すＶ字のパターン）よりも、例えば、上側にシフトした位置（実線で示すＶ字のパターン）に存在する（同図（ａ）参照）。この状態でステレオマッチングを行ったならば、マッチングされる位置（対応点）は、同一輝度階調のパターンが傾斜しているため本来マッチングされる位置よりも左右方向（すなわち、図中の矢印方向）に大きくずれる。換言すれば、このパターンによれば、カメラ２，３の上下方向の位置ずれは、左右方向のずれ、すなわち、視差のずれとして反映されることとなる。当然、このとき算出されるテストチャート１６に関する視差の値は、真値から大きくずれた値となる。
【００４４】
また、屈曲したパターンが描かれたテストチャートを使用した場合、パターンの傾き角が変化する位置を境に直線の傾きが逆転するため、それにともない算出される視差の値は、視差の真値よりも大きくなるものと、小さくなるものとが存在する。Ｖ字パターンが描かれたテストチャート１６を使用した場合、同図に示す例では、Ｖ字の中心を境に、距離データＤの左側では視差ｄの値が真値よりも大きくなり、また、距離データＤの右側では視差ｄの値が真値よりも小さくなる。このような場合には、それぞれの領域ＡｒｅａＬ，ＡｒｅａＲに対応付けられた視差ｄに関する近似直線は、図中（ｂ）に示したような実線の軌跡となる。
【００４５】
また、図１０は、カメラ２，３の回転方向への相対的なずれに起因した視差のずれを示した説明図である。同図（ａ）に示すように、回転方向のずれが存在する場合（例えば、メインカメラ２を基準としてサブカメラ３がずれる場合）、比較画像に写し出されるテストチャート１６のＶ字パターンは、本来あるべき位置よりも、例えば、時計回り方向にシフトした位置に存在している。この状態で、ステレオマッチングを行ったならば、マッチングされる位置（対応点）は、パターンが傾斜しているため、図中の矢印方向にずれる。また、Ｖ字パターンが描かれたテストチャート１６を使用した場合、同図に示す例では、算出される視差ｄの値は、距離データＤの左側から右側にかけて真値よりも大きくなっていく傾向となる。このような場合には、それぞれの領域ＡｒｅａＬ，ＡｒｅａＲに対応付けられた視差ｄに関する近似直線は、同図（ｂ）に示したような実線の軌跡となる。
【００４６】
さらに、図１１は、カメラ２，３の左右方向への相対的なずれに起因した視差のずれを示した説明図である。同図（ａ）に示すように、左右方向のずれが存在する場合（例えば、メインカメラ２を基準としてサブカメラ３がずれる場合）、比較画像に写し出されるテストチャート１６のＶ字のパターンは、本来あるべき位置より、例えば、右方向にシフトした位置に存在している。この状態でステレオマッチングを行ったならば、マッチングされる位置（対応点）は、本来マッチングされる位置よりも左右方向（すなわち、図中の矢印方向）にずれた位置となる。このような場合には、それぞれの領域ＡｒｅａＬ，ＡｒｅａＲに対応付けられた視差ｄに関する近似直線は、同図（ｂ）に示したような実線の軌跡となる。
【００４７】
図９〜１１に示して説明したように、カメラ２，３に相対的な位置ずれが生じていると仮定した場合、テストチャート１６を撮像することによって検出されるあるｉ座標位置における視差ｄの値は、一般に、数式４に示す関係を満たす。
【数４】
【００４８】
ここで、ｄＬは、パターンの傾きの変化位置、すなわち、Ｖ字の中心を境とした領域ＡｒｅａＬにおける視差、ｄＲは、領域ＡｒｅａＲにおける視差である。また、Δｉは基準画像と比較画像との左右方向への相対的なずれ量（すなわち、カメラ２，３の左右方向への相対的なずれ量）、Δｊはカメラ２，３の上下方向への相対的なずれ量、Δθはカメラ２，３の回転方向への相対的なずれ量である。また、Ｃはテストチャート１６までの距離Ｚ１に相当する視差ｄである。さらに、Ａ（すなわち、ＡＬおよびＡＲ）は、数式５で示されるように、テストチャート１６のパターンの傾きによって与えられる定数である。
【数５】
【００４９】
この数式５において、αＬは、Ｖ字の右下がりの直線（Ｖ字の中心を境に左側）の傾きを示し、αＲは、Ｖ字の右上がりの直線（Ｖ字の中心を境に右側）の傾きを示している。また、ｐｖは、カメラ２，３の１画素相当の高さ、ｐｈは、カメラ２，３の１画素相当の幅を示している。
【００５０】
数式４から理解されるように、テストチャート１６が写し出された撮像画像に基づき算出された距離データＤによって特定される視差ｄは、視差ｄの真値Ｃに以下に示す３つのずれ量が加味される。
（１）左右方向の位置ずれ量Δｉ
（２）上下方向の位置ずれが反映された左右方向のずれ
（３）回転方向の位置ずれが反映された左右方向のずれ
ここで、回転方向の位置ずれが反映された左右方向のずれは、ｉ座標値に回転方向のずれ量Δθとパターンの傾きＡとを乗じた値、上下方向の位置ずれが反映された左右方向のずれは、上下方向のずれΔｊに傾きＡを乗じた値として算出される。
【００５１】
したがって、算出された視差ｄ（正確には、代表視差ｄ’）に関する近似直線が数式３として求められているならば、数式３と数式６とに基づき、これらのずれ量Δｉ，ΔｊおよびΔθが特定可能となる。
【００５２】
そこで、再び図３に示すステップ８において、以下に示す数式６に基づき、ステレオカメラのずれ量が算出される。数式６から理解されるように、このステップ８では、カメラ２，３の相対的な位置ずれとして、上下方向のずれ量Δｊ、左右方向のずれ量Δｉおよび回転方向のずれ量Δθのそれぞれが一義的に特定される。
【数６】
【００５３】
この数式６の意味するところは、テストチャート１６のパターンを構成する直線の傾きと、ステップ７において算出された近似直線とに基づき、カメラ２，３の相対的な位置ずれを算出できることである。すなわち、同式から理解されるように、パターンを構成する直線の傾きと、算出された近似直線とをパラメータとして、カメラ２，３の相対的な上下方向および回転方向のずれΔｊ，Δθが算出される。また、パターンを構成する直線の傾きと、近似直線と、テストチャート１６までの実距離Ｚ１に対応する視差Ｃとをパラメータとして、カメラ２，３の相対的な左右方向のずれΔｉが算出される。
【００５４】
そして、図４に示すステップ９において、算出された上下方向のずれ量Δｊと、所定のしきい値Δｊｔｈとが比較され、算出されたずれ量Δｊが補正すべきずれ量であるか否かが判断される。具体的には、算出されたずれ量Δｊが所定のしきい値Δｊｔｈ以下となるか否かにより、このずれ量Δｊが、補正すべきずれ量であるか否かの判断が行われる。ここで、所定のしきい値Δｊｔｈは、算出されたずれ量Δｉが許容可能となるずれ量の最大値として決定されている。したがって、このステップ９で肯定判定された場合、検査部１４は、現在のカメラ２，３の状態が補正する程度のずれが生じていないと判断し、ステップ１０に進む。このとき、検査部１４は、画像補正部６にて用いられるアフィンパラメータの現在値を把握しており、左右方向のパラメータＳＨＦＴＪを現在値のまま維持する（ステップ１０）。ここで、アフィンパラメータの現在値とは、製品出荷前の検査段階では、例えば０（すなわち、未定値）をいい、定期点検における検査段階では、製品出荷時の検査段階（或いは、以前の定期点検時における検査段階）で決定された値をいう。一方、このステップ９で否定判定された場合、検査部１４は、現在のカメラ２，３の状態に補正すべきずれが生じていると判断し、ステップ１１に進む。そして、検査部１４は、パラメータＳＨＦＴＪの現在値に、算出されたずれ量Δｊ相当の値を加算した値を、パラメータＳＨＦＴＪの現在値として更新する（ステップ１１）。
【００５５】
ステップ１２において、算出された左右方向のずれ量Δｉと、所定のしきい値Δｉｔｈとが比較され、算出されたずれ量Δｉが補正すべきずれ量であるか否かが判断される。そして、ステップ９に示した処理と同様、算出されたずれ量Δｉが所定のしきい値Δｉｔｈ以下と判断された場合には、左右方向のアフィンパラメータＳＨＦＴＩが現在値のまま維持される（ステップ１３）。一方、算出されたずれ量Δｉが所定のしきい値Δｉｔｈより大きいと判断された場合には、パラメータＳＨＦＴＩの現在値に、算出されたずれ量Δｉ相当の値を加算した値が、パラメータＳＨＦＴＩの現在値として更新される（ステップ１４）。
【００５６】
さらに、算出された回転方向のずれ量Δθと、所定のしきい値Δθｔｈとが比較される（ステップ１５）。そして、ステップ９およびステップ１２と同様、回転方向のアフィンパラメータθが現在値のまま維持される（ステップ１６）、或いは、パラメータθの現在値に、算出されたずれ量Δθ相当の値を加算した値が、パラメータθの現在値として更新される（ステップ１７）。そして、算出されたずれ量（具体的には、更新されたアフィンパラメータ）が画像補正部６に対して出力さる。これにより、算出されたずれ量に基づき、一対の画像の相対的なずれを補正する補正パラメータ（すなわち、アフィンパラメータ）がフィードバック補正される。なお、このとき算出されたずれ量のそれぞれが、所定のしきい値以下となる場合には、後述するステップ１８をスキップして、ステップ１９に進む。
【００５７】
そして、ステップ１６（またはステップ１７）に続くステップ１８において、更新されたアフィンパラメータで画像変換が行われた一対の撮像画像に基づき算出された距離データＤを読み出し、上述したステップ２と同様に、距離データの信頼性が評価される。このとき、距離データＤが信頼性に足りるものであると判断された場合には、ステップ１９に進み、調整結果を「ＯＫ」として、本ルーチンを抜ける。この場合、検査部１４における検査結果を受けて、検査装置１５は検査者に対して検査結果が「良好」である旨を通知する。一方、この距離データＤが信頼性に足りるものではないと判断された場合、ステップ２０に進み、検査結果を「ＮＧ」として、本ルーチンを抜ける。この場合、検査部１４における検査結果を受けて、検査装置１５は、検査者に対して調整結果が「不良」である旨を通知する。
【００５８】
以上の説明からわかるように、本実施形態に示す位置ずれ検査手法では、まず、予め規定された位置に配置されたテストチャート１６を一対のカメラ２，３で撮像する。そして、撮像画像に写し出されたテストチャート１６に関する距離データＤに基づき、距離データＤの算出異常の有無、すなわち、カメラ２，３の位置ずれが検査される。上述したテストチャート１６は、パターンが斜めに傾いているため、カメラ２，３の位置ずれに起因して、マッチングする対応点を左右方向にずらす作用がある。したがって、このとき算出される視差ｄの値は真値からずれた値となる。特に、カメラ２，３の上下方向・回転方向のずれに対しては、このテストチャート１６を用いることにより、位置ずれが大きな視差のずれとして現れるので、これらの位置ずれを有効に特定することができる。それ故に、微少な位置ずれ（すなわち、これらの位置ずれに起因する一対の撮像画像の相対的なずれがサブピクセル単位となるようなずれ）であっても、この位置ずれの特定を効率的かつ正確に行うことができる。
【００５９】
また、テストチャート１６には、傾き角の異なる複数の直線で構成される屈曲したパターン（本実施形態では、Ｖ字状のパターン）が描かれている。この傾き角の変化する位置を境に、距離データＤを領域分割し、それぞれの領域で視差ｄに関する近似直線を求めることで、この近似直線とパターンの傾きとに基づき、カメラ２，３の位置ずれを特定することができる。また、本実施形態では、これらの位置ずれが定量的に特定されるため、この位置ずれに起因した一対の撮像画像の相対的な位置ずれの補正を、自動的に行うことができる。
【００６０】
なお、上述した実施形態では、距離データのカメラ２，３の位置ずれを検査・調整することを主として説明をおこなったが、このテストチャート１６の使用方法は、上述した実施形態に限定されるものではない。例えば、カメラ２，３の位置ずれの他にも、ステレオカメラの感度バランスのずれ、カメラのレンズ特性の影響、または適切でない画像補正等に起因して、算出された距離データの信頼性が低下してしまう場合がある。本実施形態に示すテストチャート１６は、上述したように視差ｄの値を真値から拡大してずらす作用を奏する。したがって、テストチャート１６を用いて、ステップ２の処理を行えば、これらの要素の起因して距離データＤの信頼性が低下する場合であっても、この距離データＤの信頼性を有効に評価することができる。
【００６１】
なお、本実施形態では、ステップ２において、距離データＤを評価するステップを設けているが、上述した検査ルーチンにステップ２を設けるか否かは選択的である。例えば、製品出荷前の検査段間で、単に、最適なアフィンパラメータを求めるために行われるのであれば、このステップ２は省略可能である。このようなステップ２は、例えば、経時的な変化が予想される、定期点検時の検査段階のみに実行されてもよい。
【００６２】
また、本実施形態では、テストチャートとして、Ｖ字状のパターンが描かれたテストチャート１６を用いて説明をおこなったが、本発明のテストチャートはこれに限定されるものではない。例えば、テストチャートは、傾き角の異なる複数の直線で構成されるパターン、例えば、Ｗ字状のパターンが描かれていてもよい。このようなパターンでは、エピポーラライン上の探索領域内に同一輝度階調のパターンが複数存在しないように、複数の直線のそれぞれが、輝度階調が異なることが好ましい。なお、Ｗ字状のパターンが描かれているテストチャートでは、距離データＤは、左右方向にかけて直線の傾き角の変化する位置を境に、４つの領域に分割されることとなる。
【００６３】
また、テストチャートの別の一例としては、上述したテストチャート１６を上下方向で線対称に配置した、Ｘ字状のパターン、或いは、◇状のパターンであってもよい。このようなパターンが描かれるテストチャートでは、距離データＤは、上下左右の４つの領域に分割されるとなる。
【００６４】
また、本明細書において、「パターンが基準方向から斜めに傾いている」とは、その傾きが斜めとなるような曲線をも含むことに理解されたい。したがって、Ｖ字状と近似する略Ｕ字状（二次関数）のパターンであってもよいし、Ｗ字状のパターンと近似する波形状のパターンであってもよい。また、上述した◇状のパターンと近似する、楕円或いは円状のパターンであっても、上述したテストパターン１６と同様の作用、効果を奏することができる。
【００６５】
また、テストチャートの別の一例としては、パターンとして水平な縞模様が描かれるようなテストチャートも挙げられる。なお、このとき、テストチャートの平面に設定される基準方向は、カメラ基線に対して、パターンが斜めに傾くようにさせる関係上、水平な縞模様に対して斜めに傾いて設定されることとなる。この場合、検査時には、このテストチャート、或いは、ステレオカメラ全体を回転させ、カメラ基線とテストチャートの基準方向とを一致させることで、上述した実施形態と同様な作用、効果を奏することができる。
【００６６】
【発明の効果】
このように、本発明によれば、テストチャートに描かれるパターンが斜めに傾いている。このテストチャートを所定のカメラ基線長だけ離間された一対のカメラで撮像した場合、取得された一対の撮像画像に基づき算出される距離データでは、カメラの位置ずれが左右方向のずれ、すなわち、視差の値として反映される。これにより、カメラの位置ずれを効果的に検査することができる。
【図面の簡単な説明】
【図１】本実施形態にかかるステレオ式監視装置のブロック構成図
【図２】基準画像に設定される画素ブロックの説明図
【図３】本実施形態にかかる位置ずれの検査手順を示したフローチャート
【図４】本実施形態にかかる位置ずれの検査手順を示したフローチャート
【図５】テストチャートの配置位置と検査対象である車両との関係を示した図
【図６】テストチャートの一例を示した図
【図７】距離データの領域分割の一例を示した説明図
【図８】領域毎に算出される近似直線の一例を示す図
【図９】カメラの上下方向への相対的なずれに起因した視差のずれを示した説明図
【図１０】カメラの回転方向への相対的なずれに起因した視差のずれを示した説明図
【図１１】カメラの左右方向への相対的ずれに起因した視差のずれを示した説明図
【符号の説明】
１ ステレオ式監視装置
２ メインカメラ
３ サブカメラ
４ Ａ／Ｄコンバータ
５ Ａ／Ｄコンバータ
６ 画像補正部
７ ステレオ画像処理部
８ 画像データメモリ
９ 距離データメモリ
１０ マイクロコンピュータ
１１ 認識部
１２ 警報装置
１３ 制御装置
１４ 検査部
１５ 検査装置
１６ テストチャート
【発明の属する技術分野】
本発明は、ステレオカメラを構成する一対のカメラの相対的な位置ずれを検査する際に使用されるテストチャート、並びに、一対のカメラの位置ずれをこのテストチャートを利用して検査する位置ずれ検査装置および位置ずれ検査方法に関する。
【０００２】
【従来の技術】
近年、車外監視、踏切監視、地形認識または高度計といった様々な用途において、ステレオ式監視装置が注目・実用化されている。この監視装置では、対象物の認識・監視を行う前提として、距離データである視差を算出する必要がある。視差は、ステレオカメラより得られる一対の撮像画像に基づき、ステレオマッチング処理を行うことによって算出される。
【０００３】
このようなステレオカメラを車体に取り付ける際には、その取り付け位置に関して高レベルの精度が要求される。なぜなら、ステレオカメラの取り付け位置にずれ、すなわち、一対のカメラの相対的な位置にずれ（位置ずれ）が生じると、それに起因してカメラそれぞれの撮像方向がずれてしまうため、算出された距離データに直接影響を及ぼしてしまうからである。特に、カメラの上下方向・回転方向のずれは、ステレオマッチングを行う際に、各画像における同一水平ライン（エピポーラライン）のずれとなって現れるため、算出された距離データの信頼性が低下してしまう場合がある。
【０００４】
この点に関して、特開２００１−９１２４７号公報では、ステレオ画像に基づき算出された距離データの信頼性を検査する技術が提案されている。この従来技術では、ランダムな輝度パターンが描かれたテストチャートをステレオカメラで撮像することによって、一対の撮像画像を取得するとともに、これらの撮像画像に基づき距離データを算出する。そして、撮像画像に写し出されたテストチャートに関する距離データを評価サンプルとして、ステレオカメラとテストチャートとの間の実距離に基づき、この距離データを評価する。これにより、算出された距離データの信頼性が判定される。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記公報に記載された従来技術では、距離データの信頼性を評価することはできるものの、それがどの程度のカメラの位置ずれに起因しているのか、すなわち、そのずれ量を特定することまでは開示されていない。また、距離データの信頼性を正確に判定するためには、サブピクセル単位、すなわち１画素（１ピクセル）以下の分解能でずれを検出することが好ましい。この従来技術では、距離データをサブピクセル単位で算出し、これによりサブピクセル単位で位置ずれの判定を行うことを開示している。しかしながら、この手法は、距離データをサブピクセル単位で算出するため、計算処理量が大きく、また、計算処理が煩雑となってしまう可能性がある。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、その目的は、カメラの位置ずれ、特に、上下方向・回転方向の位置ずれを有効に検査する新規なテストチャートを提供することである。
【０００７】
また、本発明の別の目的は、このテストチャートを用いて、距離データの信頼性を低下させるカメラの位置ずれを有効に検査することである。
【０００８】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、所定のカメラ基線長だけ離間された一対のカメラによって取得された一対の撮像画像に基づき算出される距離データを用いて、一対のカメラの相対的な位置ずれを検査する際に、一対のカメラの前方でカメラ基線と基準方向とを一致させて平行に配置されるとともに、一対のカメラによって撮像されることにより、一対の撮像画像に写し出されるテストチャートを提供する。このテストチャートは、テストチャートに描かれるパターンが、基準方向から斜めに傾いている。
【０００９】
ここで、第１の発明において、パターンは、斜め方向に延在する同一輝度階調の直線を形成することが好ましい。この場合、パターンは、傾き角の異なる複数の直線で構成される屈曲したパターンであることが好ましい。また、この場合、複数の直線のそれぞれは、輝度階調が異なることが好ましい。
【００１０】
また、第１の発明において、パターンは、基準方向と直交する方向にパターンが隣接して配置されたパターン群を構成しており、パターン群は、直交方向においてランダムな輝度階調となることが好ましい。
【００１１】
また、第２の発明は、一対の撮像画像に基づき算出される距離データを用いて一対のカメラの相対的な位置ずれを検査する位置ずれ検査装置において、一対のカメラと、ステレオ画像処理部と、検査部とを有する位置ずれ検査装置を提供する。この位置ずれ検査装置において、一対のカメラは、所定のカメラ基線長だけ離間されて、撮像画像を出力する。また、ステレオ画像処理部は、一対のカメラの前方でカメラ基線と基準方向とを一致させて平行に配置されているとともに、基準方向から斜めに傾いたパターンが描かれたテストチャートを、一対のカメラで撮像することによって得られた撮像画像に基づいて、距離データを算出する。検査部は、算出された距離データに基づき、一対のカメラの相対的な位置ずれを検査する。
【００１２】
ここで、第２の発明において、上述したパターンは、傾き角の異なる複数の直線で構成される屈曲したパターンであることが好ましい。この場合、検査部は、パターンの傾き角の変化する位置で距離データを複数の領域に分割する。そして、分割された領域のそれぞれにおいて視差に関する近似直線が算出され、パターンを構成する直線の傾きと算出された近似直線とに基づき、一対のカメラの相対的なずれ量が算出されることが望ましい。
【００１３】
また、第２の発明において、検査部は、パターンを構成する直線の傾きと、算出された近似直線とをパラメータとして、一対のカメラの相対的な上下方向および回転方向のずれ量を算出することが好ましい。また、検査部は、パターンを構成する直線の傾きと、近似直線と、テストチャートまでの実距離に対応する視差とをパラメータとして、一対のカメラの相対的な左右方向のずれ量を算出することが好ましい。
【００１４】
また、第２の発明は、一対のカメラの相対的な位置ずれに起因した一対の撮像画像の相対的なずれを補正パラメータを用いて補正する画像補正部をさらに有することが好ましい。このとき、検査部は、画像補正部に対し、算出されたずれ量に基づき補正パラメータを出力することが望ましい。
【００１５】
また、第２の発明において、パターンを構成する複数の直線のそれぞれは、輝度階調が異なることが好ましい。
【００１６】
さらに、第２の発明において、パターンは、基準方向と直交する方向にパターンが隣接して配置されたパターン群を構成しており、直交方向において、隣接するパターンの輝度階調がそれぞれ異なることが好ましい。
【００１７】
さらに、第３の発明は、所定のカメラ基線長だけ離間された一対のカメラによって取得された一対の撮像画像に基づき算出される距離データを用いて、一対のカメラの相対的な位置ずれを検査する位置ずれ検査方法を提供する。この位置ずれ検査方法では、第１のステップとして、一対のカメラの前方でカメラ基線と基準方向とを一致させて平行に配置されているとともに基準方向から斜めに傾いたパターンが描かれたテストチャートを、一対のカメラで撮像する。第２のステップとして、撮像された一対の撮像画像に基づいて、距離データを算出する。第３のステップは、算出された距離データに基づき、一対のカメラの相対的な位置ずれを検査する。
【００１８】
ここで、第３の発明において、上述したパターンは、傾き角の異なる複数の直線で構成される屈曲したパターンであることが好ましい。この場合、第３のステップは、パターンの傾き角の変化する位置で距離データを複数の領域に分割する。そして、分割された領域のそれぞれにおいて視差に関する近似直線が算出され、パターンを構成する直線の傾きと算出された近似直線とに基づき、一対のカメラの相対的なずれ量が算出されることが望ましい。
【００１９】
また、第３の発明において、第３のステップは、パターンを構成する直線の傾きと、算出された近似直線とをパラメータとして、一対のカメラの相対的な上下方向および回転方向のずれ量を算出することが好ましい。また、第３のステップは、パターンを構成する直線の傾きと、算出された近似直線と、テストチャートまでの実距離に対応する視差とをパラメータとして、一対のカメラの相対的な左右方向のずれ量を算出することが好ましい。
【００２０】
さらに、第３の発明は、一対のカメラの相対的な位置ずれに起因した一対の画像の相対的なずれを補正パラメータを用いて補正する第４のステップと、算出されたずれ量に基づき、補正パラメータをフィードバック補正する第５のステップとをさらに有することが好ましい。
【００２１】
【発明の実施の形態】
図１は、本実施形態にかかるステレオ式監視装置１のブロック構成図である。本実施形態にかかるステレオ式監視装置１は、一例として、自車両前方の走行状況を監視する車外監視装置として機能する。なお、本実施形態の特徴の一つとして、このステレオ式監視装置１は、これら車外監視を行う前提として、例えば、製品出荷前の検査段階において、ステレオカメラの位置ずれを検査・調整する位置ずれ検査装置としても機能する。
【００２２】
車外の景色を撮像するステレオカメラは、ルームミラーの近傍に取り付けられており、所定のカメラ基線長だけ離間された一対のカメラ２，３で構成されている。これら一対のカメラ２，３のそれぞれには、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ３は、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２，３から出力された各アナログ画像は、Ａ／Ｄコンバータ４，５により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。
【００２３】
デジタル化された一対の画像データは、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２，３の位置は、程度の差はあるものの誤差（すなわち、位置ずれ）が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。数式１は、アフィン変換の基本形を示す。なお、本明細書では、「アフィン変換」という用語を、画像データを回転、移動または拡大・縮小する幾何学的な座標変換を総称する意味で用いる。
【数１】
この数式において、（ｉ，ｊ）は変換前の画像データの座標であり、（ｉ’，ｊ’）は変換後の画像データの座標である。また、補正パラメータとしてのアフィンパラメータＳＨＦＴＩ，ＳＨＦＴＪはそれぞれ、ｉ方向（画像の水平方向）への移動、ｊ方向（画像の垂直方向）への移動を表している。アフィンパラメータθ，Ｋはそれぞれθの回転、Ｋ倍の角度（｜Ｋ｜＜１の場合は縮小）を示している。この画像補正部６は、後段の検査部１４からの指示に基づき、これらアフィンパラメータの適切な値を使用することができる。
【００２５】
このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。これらの画像データ（ステレオ画像データ）は、各画素の輝度値（０〜２５５）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一フレーム（一画像の表示単位）相当のステレオ画像データは、後段のステレオ画像処理部７に出力されるとともに、画像データメモリ８に格納される。
【００２６】
ステレオ画像処理部７は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄは、基準画像の一部を構成する所定面積（例えば、４×４画素）の画素ブロック毎に１つ算出される。
【００２７】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が２００×５１２画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックＰＢｉｊの個数相当（５０×１２８個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢｉｊに関する水平方向のずれ量であり、画素ブロックＰＢｉｊに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢｉｊ内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢｉｊの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。
【００２８】
ある画素ブロックＰＢｉｊ（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢｉｊの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰｉｊのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢｉｊの視差ｄとする。
【００２９】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式２は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ｉｊは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ｉｊは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ｉｊ，ｐ２ｉｊの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数２】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合は、距離データメモリ９に格納される。
【００３１】
マイクロコンピュータ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、認識部１１と、検査部１４とを有する。
【００３２】
認識部１１は、道路形状（白線）や車両前方の立体物（走行車）等を認識する。これらの認識は、距離データメモリ９に格納された距離データＤに基づいて行われる。なお、認識部１１は、これらの認識に際し、画像データメモリ８中に記憶された画像データをさらに利用してもよい。また、図示していない車速センサや舵角センサからのセンサ情報、或いはナビゲーション情報等も必要に応じて参照される。そして、これらの認識結果に基づいて、前方のカーブや立体物に対する警報が必要と判定された場合、モニタやスピーカー等の警報装置１２を作動させてドライバーに注意を促す。また、必要に応じて制御装置１３を制御することにより、ＡＴ（自動変速機）のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車両制御が実行される。
【００３３】
図１に示す検査装置１５は、製品の検査工程（例えば、製品の出荷前、或いは、定期点検時）においてのみ接続される外付けの装置である。マイクロコンピュータ１０に検査装置１５が接続され、検査装置１５によって検査の開始が指示されると、検査部１４は予めプログラムされた検査ルーチンを実行する。具体的には、検査部１４は、テストチャートを撮像した一対の撮像画像から算出された距離データに基づき、一対のカメラ２，３の相対的な位置ずれを検査する。換言すれば、検査部１４は、カメラ２，３に相対的な位置ずれが生じているか否かを判断し、位置ずれが生じていると判断した場合には、このずれ量を算出するとともに、この位置ずれを調整すべく算出されたずれ量を画像補正部６に出力する。
【００３４】
図３および図４は、本実施形態にかかる位置ずれの検査手順を示したフローチャートである。まず、検査者は、検査ルーチンの開始指示に先立ち、所定のパターンが描かれたテストチャートを車両前方の所定位置に配置しておく。図５は、テストチャートの配置位置と検査対象である車両との関係を示した図である。同図において、テストチャート１６は、車長方向（Ｚ軸）に関してステレオカメラの取り付け位置からＺ１の距離で、車高方向（Ｙ軸）に関して地面から十字交点（例えば、テストチャート１６の中央点）ＣまでがＹ１の高さで配置されている。このとき、テストチャート１６は、基準方向を車幅方向（Ｘ軸）、すなわち、カメラ２，３のカメラ基線と一致させて平行に配置されている。ここで、基準方向とは、ステレオカメラ前方にテストチャート１６を配置した際に、カメラ基線に対して、このテストチャート１６に描かれるパターンが斜めに傾くように、テストチャート１６の平面上に設定される方向をいう。このような状態でテストチャート１６をカメラ２，３で撮像することにより、撮像画像にテストチャート１６が写し出される。
【００３５】
図６は、テストチャートの一例を示した図である。本実施形態における特徴の一つであるテストチャート１６には、基準方向から斜めに傾いたパターンが描かれている。このようなパターンの一例としては、斜め方向に延在する同一輝度階調の直線（この直線は所定の幅を有する）を形成したパターンが挙げられる。テストチャート１６では、このような直線が組合わされて、傾き角の異なる２本の直線で構成される屈曲したパターン、すなわち、略Ｖ字状のパターンが描かれている。また、同図に示す例では、このようなパターンが、基準方向と直交する方向（上下方向）に隣接して配置されたパターン群を構成している。同図において、直線のそれぞれに示した階調Ａ〜Ｆはそれぞれ異なる輝度の階調を表現しており、このパターン群は、上下方向にランダムな輝度階調となるように構成されている。
【００３６】
再び図３を参照して、検査ルーチンの手順を説明する。検査者が検査装置１５を操作して検査の開始を指示すると、マイクロコンピュータ１０（すなわち検査部１４）は、１フレーム分の距離データＤを、距離データメモリ９から読み出す（ステップ１）。
【００３７】
ステップ２において、読み出された距離データＤを処理対象として、この距離データＤが信頼し得るものであるか、すなわち、距離Ｚ１相当の視差ｄが算出されているか否かが評価される。換言すれば、このステップ２では、距離データＤの信頼性を評価することにより、一対のカメラ２，３の相対的な位置ずれが検査される（より具体的には、位置ずれがあるか否かが判断される）。このステップ２では、撮像画像に写し出されたテストチャート１６に関する距離データＤを評価サンプルとして、この評価サンプルの距離値（視差ｄ）と出現度数との関係を示したヒストグラムが生成される。そして、生成されたヒストグラムの特性が適正率ｒとして定量的に算出されるとともに、設定されたしきい値ｒｔｈとこの適正率ｒとを比較することにより、算出された距離データＤの信頼性が評価される。このとき、適正率ｒがしきい値ｒｔｈ以上であれば、信頼できる距離データＤが算出されている（すなわち、カメラ２，３に位置ずれが生じていない）として肯定判定され、図４に示すステップ１９に進む。これに対して、適正率ｒが判定しきい値ｒｔｈ未満であれば、信頼できない距離データＤが算出されている（すなわち、カメラ２，３に位置ずれが生じている）として否定判定され、後段のステップ３に進む。なお、テストチャートを使用した距離データの検査方法およびその検査装置については、特開２００１−９１２４７号公報に開示されているので、必要ならば参照されたい。
【００３８】
ステップ２に続くステップ３において、読み出された距離データＤが、画像平面上の座標位置に対応する二次元的な平面において、縦方向に延在する短冊状の区分に切断（分割）される。そして、分割された区分のそれぞれを処理対象として、視差ｄに関するヒストグラム（頻度分布）が算出される（ステップ４）。このヒストグラムは、ある一つの区分における視差ｄの値と、その値相当の視差ｄの出現度数との関係を示すものであり、このステップ４により、分割された区分相当数のヒストグラムが算出される。
【００３９】
ステップ５において、各区分を代表する代表視差ｄ’が特定される。このステップ５では、算出されたヒストグラムを用いて、出現頻度が最も多く、かつ、所定のしきい値ｄｔｈ以上となる視差ｄの値が、代表視差ｄ’として特定される。例えば、このしきい値ｄｔｈは、テストチャート１６までの距離Ｚ１に相当する視差ｄを基準として、この基準となる視差ｄの値より若干小さめな値として決定されている。このとき、代表視差ｄ’の候補となる視差ｄがヒストグラム内（すなわち、区分内）に存在しないときは、その区分については、代表視差ｄ’の特定は行われない。このような代表視差ｄ’の特定処理が分割された全ての区分に対応するヒストグラムについて行われ、最大で分割された区分相当数の代表視差ｄ’が特定される。
【００４０】
ステップ６において、テストチャート１６に描かれたパターンの傾き角の変化する位置で、距離データＤが複数の領域に分割される。具体的には、テストチャート１６のパターンを構成する直線の傾き角が変化する位置（図６に示す「変化位置」）を基準として、この変化位置と座標位置的に対応する距離データＤ上の位置を境に、距離データＤが複数の領域に分割される。図７は、距離データの領域分割の一例を示した説明図である。同図に示すように、Ｖ字状のテストチャート１６を用いた場合、距離データＤは、Ｖ字の中心を境に、２つの領域ＡｒｅａＬ（図中左側），ＡｒｅａＲ（図中右側）に分割されることとなる。このとき、この領域ＡｒｅａＬ，ＡｒｅａＲと位置的に対応する区分に関して特定された代表視差ｄ’が、領域ＡｒｅａＬ，ＡｒｅａＲのそれぞれに対応付けられる。
【００４１】
なお、ステップ６において、各領域に対応づけられる代表視差ｄ’の個数が、所定の個数より小さい場合には、検査部１４は、この距離データＤを不適と判断し、後段のステップ２０に進むことが好ましい。例えば、このような不適と判断される距離データＤには、本実施形態で示す範囲内で調整可能な位置ずれ以上のずれが起こっている、或いは、アフィン変換では修正できないようなずれが生じていることが考えられる。
【００４２】
そして、ステップ７において、領域ＡｒｅａＬ，ＡｒｅａＲのそれぞれを処理対象として、この領域に対応付けられた代表視差ｄ’に関する近似直線が算出される。換言すれば、このステップ７では、分割された領域ＡｒｅａＬ，ＡｒｅａＲのそれぞれにおいて、視差ｄ（正確には、代表視差ｄ’）に関する近似直線が算出される。図８は、領域毎に算出される近似直線の一例を示す図である。この近似直線は、同図に示すように距離データＤ平面上のｉ座標と視差ｄとの直交二次元座標系において、例えば、最小二乗法を用いて算出される。算出された近似直線は、数式３に示すような一般形で示され、この近似直線を規定する直線パラメータα，βが領域ＡｒｅａＬ，ＡｒｅａＲのそれぞれについて算出されることとなる。ここで、数式３において、領域ＡｒｅａＬに関して算出される近似直線ｄ’Ｌについては、その直線パラメータα，βに添字としてＬが付されいる。また、領域ＡｒｅａＲに関して算出される近似直線ｄ’Ｒについては、その直線パラメータα，βに添字としてＲが付されている。
【数３】
図９は、カメラ２，３の上下方向への相対的なずれに起因した視差のずれを示した説明図である。一般に、カメラ２，３に相対的な位置ずれがないと仮定した場合、平行に配置されたテストチャート１６を撮像したならば、この撮像画像に基づき算出される視差ｄの値は、距離Ｚ１に相当する値として一様にその値が定まる。ところで、カメラ２，３に上下方向の相対的な位置ずれが存在する場合（例えば、メインカメラ２を基準としてサブカメラ３がずれている場合）、比較画像に写し出されるテストチャート１６のＶ字パターンは、本来あるべきの位置（破線で示すＶ字のパターン）よりも、例えば、上側にシフトした位置（実線で示すＶ字のパターン）に存在する（同図（ａ）参照）。この状態でステレオマッチングを行ったならば、マッチングされる位置（対応点）は、同一輝度階調のパターンが傾斜しているため本来マッチングされる位置よりも左右方向（すなわち、図中の矢印方向）に大きくずれる。換言すれば、このパターンによれば、カメラ２，３の上下方向の位置ずれは、左右方向のずれ、すなわち、視差のずれとして反映されることとなる。当然、このとき算出されるテストチャート１６に関する視差の値は、真値から大きくずれた値となる。
【００４４】
また、屈曲したパターンが描かれたテストチャートを使用した場合、パターンの傾き角が変化する位置を境に直線の傾きが逆転するため、それにともない算出される視差の値は、視差の真値よりも大きくなるものと、小さくなるものとが存在する。Ｖ字パターンが描かれたテストチャート１６を使用した場合、同図に示す例では、Ｖ字の中心を境に、距離データＤの左側では視差ｄの値が真値よりも大きくなり、また、距離データＤの右側では視差ｄの値が真値よりも小さくなる。このような場合には、それぞれの領域ＡｒｅａＬ，ＡｒｅａＲに対応付けられた視差ｄに関する近似直線は、図中（ｂ）に示したような実線の軌跡となる。
【００４５】
また、図１０は、カメラ２，３の回転方向への相対的なずれに起因した視差のずれを示した説明図である。同図（ａ）に示すように、回転方向のずれが存在する場合（例えば、メインカメラ２を基準としてサブカメラ３がずれる場合）、比較画像に写し出されるテストチャート１６のＶ字パターンは、本来あるべき位置よりも、例えば、時計回り方向にシフトした位置に存在している。この状態で、ステレオマッチングを行ったならば、マッチングされる位置（対応点）は、パターンが傾斜しているため、図中の矢印方向にずれる。また、Ｖ字パターンが描かれたテストチャート１６を使用した場合、同図に示す例では、算出される視差ｄの値は、距離データＤの左側から右側にかけて真値よりも大きくなっていく傾向となる。このような場合には、それぞれの領域ＡｒｅａＬ，ＡｒｅａＲに対応付けられた視差ｄに関する近似直線は、同図（ｂ）に示したような実線の軌跡となる。
【００４６】
さらに、図１１は、カメラ２，３の左右方向への相対的なずれに起因した視差のずれを示した説明図である。同図（ａ）に示すように、左右方向のずれが存在する場合（例えば、メインカメラ２を基準としてサブカメラ３がずれる場合）、比較画像に写し出されるテストチャート１６のＶ字のパターンは、本来あるべき位置より、例えば、右方向にシフトした位置に存在している。この状態でステレオマッチングを行ったならば、マッチングされる位置（対応点）は、本来マッチングされる位置よりも左右方向（すなわち、図中の矢印方向）にずれた位置となる。このような場合には、それぞれの領域ＡｒｅａＬ，ＡｒｅａＲに対応付けられた視差ｄに関する近似直線は、同図（ｂ）に示したような実線の軌跡となる。
【００４７】
図９〜１１に示して説明したように、カメラ２，３に相対的な位置ずれが生じていると仮定した場合、テストチャート１６を撮像することによって検出されるあるｉ座標位置における視差ｄの値は、一般に、数式４に示す関係を満たす。
【数４】
ここで、ｄＬは、パターンの傾きの変化位置、すなわち、Ｖ字の中心を境とした領域ＡｒｅａＬにおける視差、ｄＲは、領域ＡｒｅａＲにおける視差である。また、Δｉは基準画像と比較画像との左右方向への相対的なずれ量（すなわち、カメラ２，３の左右方向への相対的なずれ量）、Δｊはカメラ２，３の上下方向への相対的なずれ量、Δθはカメラ２，３の回転方向への相対的なずれ量である。また、Ｃはテストチャート１６までの距離Ｚ１に相当する視差ｄである。さらに、Ａ（すなわち、ＡＬおよびＡＲ）は、数式５で示されるように、テストチャート１６のパターンの傾きによって与えられる定数である。
【数５】
この数式５において、αＬは、Ｖ字の右下がりの直線（Ｖ字の中心を境に左側）の傾きを示し、αＲは、Ｖ字の右上がりの直線（Ｖ字の中心を境に右側）の傾きを示している。また、ｐｖは、カメラ２，３の１画素相当の高さ、ｐｈは、カメラ２，３の１画素相当の幅を示している。
【００５０】
数式４から理解されるように、テストチャート１６が写し出された撮像画像に基づき算出された距離データＤによって特定される視差ｄは、視差ｄの真値Ｃに以下に示す３つのずれ量が加味される。
（１）左右方向の位置ずれ量Δｉ
（２）上下方向の位置ずれが反映された左右方向のずれ
（３）回転方向の位置ずれが反映された左右方向のずれ
ここで、回転方向の位置ずれが反映された左右方向のずれは、ｉ座標値に回転方向のずれ量Δθとパターンの傾きＡとを乗じた値、上下方向の位置ずれが反映された左右方向のずれは、上下方向のずれΔｊに傾きＡを乗じた値として算出される。
【００５１】
したがって、算出された視差ｄ（正確には、代表視差ｄ’）に関する近似直線が数式３として求められているならば、数式３と数式６とに基づき、これらのずれ量Δｉ，ΔｊおよびΔθが特定可能となる。
【００５２】
そこで、再び図３に示すステップ８において、以下に示す数式６に基づき、ステレオカメラのずれ量が算出される。数式６から理解されるように、このステップ８では、カメラ２，３の相対的な位置ずれとして、上下方向のずれ量Δｊ、左右方向のずれ量Δｉおよび回転方向のずれ量Δθのそれぞれが一義的に特定される。
【数６】
この数式６の意味するところは、テストチャート１６のパターンを構成する直線の傾きと、ステップ７において算出された近似直線とに基づき、カメラ２，３の相対的な位置ずれを算出できることである。すなわち、同式から理解されるように、パターンを構成する直線の傾きと、算出された近似直線とをパラメータとして、カメラ２，３の相対的な上下方向および回転方向のずれΔｊ，Δθが算出される。また、パターンを構成する直線の傾きと、近似直線と、テストチャート１６までの実距離Ｚ１に対応する視差Ｃとをパラメータとして、カメラ２，３の相対的な左右方向のずれΔｉが算出される。
【００５４】
そして、図４に示すステップ９において、算出された上下方向のずれ量Δｊと、所定のしきい値Δｊｔｈとが比較され、算出されたずれ量Δｊが補正すべきずれ量であるか否かが判断される。具体的には、算出されたずれ量Δｊが所定のしきい値Δｊｔｈ以下となるか否かにより、このずれ量Δｊが、補正すべきずれ量であるか否かの判断が行われる。ここで、所定のしきい値Δｊｔｈは、算出されたずれ量Δｉが許容可能となるずれ量の最大値として決定されている。したがって、このステップ９で肯定判定された場合、検査部１４は、現在のカメラ２，３の状態が補正する程度のずれが生じていないと判断し、ステップ１０に進む。このとき、検査部１４は、画像補正部６にて用いられるアフィンパラメータの現在値を把握しており、左右方向のパラメータＳＨＦＴＪを現在値のまま維持する（ステップ１０）。ここで、アフィンパラメータの現在値とは、製品出荷前の検査段階では、例えば０（すなわち、未定値）をいい、定期点検における検査段階では、製品出荷時の検査段階（或いは、以前の定期点検時における検査段階）で決定された値をいう。一方、このステップ９で否定判定された場合、検査部１４は、現在のカメラ２，３の状態に補正すべきずれが生じていると判断し、ステップ１１に進む。そして、検査部１４は、パラメータＳＨＦＴＪの現在値に、算出されたずれ量Δｊ相当の値を加算した値を、パラメータＳＨＦＴＪの現在値として更新する（ステップ１１）。
【００５５】
ステップ１２において、算出された左右方向のずれ量Δｉと、所定のしきい値Δｉｔｈとが比較され、算出されたずれ量Δｉが補正すべきずれ量であるか否かが判断される。そして、ステップ９に示した処理と同様、算出されたずれ量Δｉが所定のしきい値Δｉｔｈ以下と判断された場合には、左右方向のアフィンパラメータＳＨＦＴＩが現在値のまま維持される（ステップ１３）。一方、算出されたずれ量Δｉが所定のしきい値Δｉｔｈより大きいと判断された場合には、パラメータＳＨＦＴＩの現在値に、算出されたずれ量Δｉ相当の値を加算した値が、パラメータＳＨＦＴＩの現在値として更新される（ステップ１４）。
【００５６】
さらに、算出された回転方向のずれ量Δθと、所定のしきい値Δθｔｈとが比較される（ステップ１５）。そして、ステップ９およびステップ１２と同様、回転方向のアフィンパラメータθが現在値のまま維持される（ステップ１６）、或いは、パラメータθの現在値に、算出されたずれ量Δθ相当の値を加算した値が、パラメータθの現在値として更新される（ステップ１７）。そして、算出されたずれ量（具体的には、更新されたアフィンパラメータ）が画像補正部６に対して出力さる。これにより、算出されたずれ量に基づき、一対の画像の相対的なずれを補正する補正パラメータ（すなわち、アフィンパラメータ）がフィードバック補正される。なお、このとき算出されたずれ量のそれぞれが、所定のしきい値以下となる場合には、後述するステップ１８をスキップして、ステップ１９に進む。
【００５７】
そして、ステップ１６（またはステップ１７）に続くステップ１８において、更新されたアフィンパラメータで画像変換が行われた一対の撮像画像に基づき算出された距離データＤを読み出し、上述したステップ２と同様に、距離データの信頼性が評価される。このとき、距離データＤが信頼性に足りるものであると判断された場合には、ステップ１９に進み、調整結果を「ＯＫ」として、本ルーチンを抜ける。この場合、検査部１４における検査結果を受けて、検査装置１５は検査者に対して検査結果が「良好」である旨を通知する。一方、この距離データＤが信頼性に足りるものではないと判断された場合、ステップ２０に進み、検査結果を「ＮＧ」として、本ルーチンを抜ける。この場合、検査部１４における検査結果を受けて、検査装置１５は、検査者に対して調整結果が「不良」である旨を通知する。
【００５８】
以上の説明からわかるように、本実施形態に示す位置ずれ検査手法では、まず、予め規定された位置に配置されたテストチャート１６を一対のカメラ２，３で撮像する。そして、撮像画像に写し出されたテストチャート１６に関する距離データＤに基づき、距離データＤの算出異常の有無、すなわち、カメラ２，３の位置ずれが検査される。上述したテストチャート１６は、パターンが斜めに傾いているため、カメラ２，３の位置ずれに起因して、マッチングする対応点を左右方向にずらす作用がある。したがって、このとき算出される視差ｄの値は真値からずれた値となる。特に、カメラ２，３の上下方向・回転方向のずれに対しては、このテストチャート１６を用いることにより、位置ずれが大きな視差のずれとして現れるので、これらの位置ずれを有効に特定することができる。それ故に、微少な位置ずれ（すなわち、これらの位置ずれに起因する一対の撮像画像の相対的なずれがサブピクセル単位となるようなずれ）であっても、この位置ずれの特定を効率的かつ正確に行うことができる。
【００５９】
また、テストチャート１６には、傾き角の異なる複数の直線で構成される屈曲したパターン（本実施形態では、Ｖ字状のパターン）が描かれている。この傾き角の変化する位置を境に、距離データＤを領域分割し、それぞれの領域で視差ｄに関する近似直線を求めることで、この近似直線とパターンの傾きとに基づき、カメラ２，３の位置ずれを特定することができる。また、本実施形態では、これらの位置ずれが定量的に特定されるため、この位置ずれに起因した一対の撮像画像の相対的な位置ずれの補正を、自動的に行うことができる。
【００６０】
なお、上述した実施形態では、距離データのカメラ２，３の位置ずれを検査・調整することを主として説明をおこなったが、このテストチャート１６の使用方法は、上述した実施形態に限定されるものではない。例えば、カメラ２，３の位置ずれの他にも、ステレオカメラの感度バランスのずれ、カメラのレンズ特性の影響、または適切でない画像補正等に起因して、算出された距離データの信頼性が低下してしまう場合がある。本実施形態に示すテストチャート１６は、上述したように視差ｄの値を真値から拡大してずらす作用を奏する。したがって、テストチャート１６を用いて、ステップ２の処理を行えば、これらの要素の起因して距離データＤの信頼性が低下する場合であっても、この距離データＤの信頼性を有効に評価することができる。
【００６１】
なお、本実施形態では、ステップ２において、距離データＤを評価するステップを設けているが、上述した検査ルーチンにステップ２を設けるか否かは選択的である。例えば、製品出荷前の検査段間で、単に、最適なアフィンパラメータを求めるために行われるのであれば、このステップ２は省略可能である。このようなステップ２は、例えば、経時的な変化が予想される、定期点検時の検査段階のみに実行されてもよい。
【００６２】
また、本実施形態では、テストチャートとして、Ｖ字状のパターンが描かれたテストチャート１６を用いて説明をおこなったが、本発明のテストチャートはこれに限定されるものではない。例えば、テストチャートは、傾き角の異なる複数の直線で構成されるパターン、例えば、Ｗ字状のパターンが描かれていてもよい。このようなパターンでは、エピポーラライン上の探索領域内に同一輝度階調のパターンが複数存在しないように、複数の直線のそれぞれが、輝度階調が異なることが好ましい。なお、Ｗ字状のパターンが描かれているテストチャートでは、距離データＤは、左右方向にかけて直線の傾き角の変化する位置を境に、４つの領域に分割されることとなる。
【００６３】
また、テストチャートの別の一例としては、上述したテストチャート１６を上下方向で線対称に配置した、Ｘ字状のパターン、或いは、◇状のパターンであってもよい。このようなパターンが描かれるテストチャートでは、距離データＤは、上下左右の４つの領域に分割されるとなる。
【００６４】
また、本明細書において、「パターンが基準方向から斜めに傾いている」とは、その傾きが斜めとなるような曲線をも含むことに理解されたい。したがって、Ｖ字状と近似する略Ｕ字状（二次関数）のパターンであってもよいし、Ｗ字状のパターンと近似する波形状のパターンであってもよい。また、上述した◇状のパターンと近似する、楕円或いは円状のパターンであっても、上述したテストパターン１６と同様の作用、効果を奏することができる。
【００６５】
また、テストチャートの別の一例としては、パターンとして水平な縞模様が描かれるようなテストチャートも挙げられる。なお、このとき、テストチャートの平面に設定される基準方向は、カメラ基線に対して、パターンが斜めに傾くようにさせる関係上、水平な縞模様に対して斜めに傾いて設定されることとなる。この場合、検査時には、このテストチャート、或いは、ステレオカメラ全体を回転させ、カメラ基線とテストチャートの基準方向とを一致させることで、上述した実施形態と同様な作用、効果を奏することができる。
【００６６】
【発明の効果】
このように、本発明によれば、テストチャートに描かれるパターンが斜めに傾いている。このテストチャートを所定のカメラ基線長だけ離間された一対のカメラで撮像した場合、取得された一対の撮像画像に基づき算出される距離データでは、カメラの位置ずれが左右方向のずれ、すなわち、視差の値として反映される。これにより、カメラの位置ずれを効果的に検査することができる。
【図面の簡単な説明】
【図１】本実施形態にかかるステレオ式監視装置のブロック構成図
【図２】基準画像に設定される画素ブロックの説明図
【図３】本実施形態にかかる位置ずれの検査手順を示したフローチャート
【図４】本実施形態にかかる位置ずれの検査手順を示したフローチャート
【図５】テストチャートの配置位置と検査対象である車両との関係を示した図
【図６】テストチャートの一例を示した図
【図７】距離データの領域分割の一例を示した説明図
【図８】領域毎に算出される近似直線の一例を示す図
【図９】カメラの上下方向への相対的なずれに起因した視差のずれを示した説明図
【図１０】カメラの回転方向への相対的なずれに起因した視差のずれを示した説明図
【図１１】カメラの左右方向への相対的ずれに起因した視差のずれを示した説明図
【符号の説明】
１ ステレオ式監視装置
２ メインカメラ
３ サブカメラ
４ Ａ／Ｄコンバータ
５ Ａ／Ｄコンバータ
６ 画像補正部
７ ステレオ画像処理部
８ 画像データメモリ
９ 距離データメモリ
１０ マイクロコンピュータ
１１ 認識部
１２ 警報装置
１３ 制御装置
１４ 検査部
１５ 検査装置
１６ テストチャート
Claims (15)
- 所定のカメラ基線長だけ離間された一対のカメラによって取得された一対の撮像画像に基づき算出される距離データを用いて、前記一対のカメラの相対的な位置ずれを検査する際に、前記一対のカメラの前方で前記カメラ基線と基準方向とを一致させて平行に配置されるとともに、前記一対のカメラによって撮像されることにより、前記一対の撮像画像に写し出されるテストチャートにおいて、
当該テストチャートに描かれるパターンが、前記基準方向から斜めに傾いていることを特徴とするテストチャート。 - 前記パターンは、斜め方向に延在する同一輝度階調の直線を形成することを特徴とする請求項１に記載されたテストチャート。
- 前記パターンは、傾き角の異なる複数の前記直線で構成される屈曲したパターンであることを特徴とする請求項２に記載されたテストチャート。
- 前記複数の直線のそれぞれは、輝度階調が異なることを特徴とする請求項３に記載されたテストチャート。
- 前記パターンは、前記基準方向と直交する方向に前記パターンが隣接して配置されたパターン群を構成しており、当該パターン群は、前記直交方向においてランダムな輝度階調となることを特徴とする請求項２から４のいずれかに記載されたテストチャート。
- 一対の撮像画像に基づき算出される距離データを用いて一対のカメラの相対的な位置ずれを検査する位置ずれ検査装置において、
所定のカメラ基線長だけ離間されて、撮像画像を出力する一対のカメラと、
前記一対のカメラの前方で前記カメラ基線と基準方向とを一致させて平行に配置されているとともに、前記基準方向から斜めに傾いたパターンが描かれたテストチャートを、前記一対のカメラで撮像することによって得られた撮像画像に基づいて、距離データを算出するステレオ画像処理部と、
前記算出された距離データに基づき、前記一対のカメラの相対的な位置ずれを検査する検査部と
を有することを特徴とする位置ずれ検査装置。 - 前記パターンは、傾き角の異なる複数の前記直線で構成される屈曲したパターンであり、
前記検査部は、前記パターンの傾き角の変化する位置で前記距離データを複数の領域に分割するとともに、当該分割された領域のそれぞれにおいて視差に関する近似直線を算出し、前記パターンを構成する直線の傾きと前記算出された近似直線とに基づき、前記一対のカメラの相対的なずれ量を算出することを特徴とする請求項６に記載された位置ずれ検査装置。 - 前記検査部は、前記パターンを構成する直線の傾きと、前記算出された近似直線とをパラメータとして、前記一対のカメラの相対的な上下方向および回転方向のずれ量を算出するとともに、前記パターンを構成する直線の傾きと、前記近似直線と、前記テストチャートまでの実距離に対応する視差とをパラメータとして、前記一対のカメラの相対的な左右方向のずれ量を算出することを特徴とする請求項７に記載された位置ずれ検査装置。
- 前記一対のカメラの相対的な位置ずれに起因した前記一対の撮像画像の相対的なずれを補正パラメータを用いて補正する画像補正部をさらに有し、
前記検査部は、前記画像補正部に対し、前記算出されたずれ量に基づき補正パラメータを出力することを特徴とする請求項７または８に記載された位置ずれ検査装置。 - 前記パターンを構成する複数の直線のそれぞれは、輝度階調が異なることを特徴とする請求項７から９のいずれかに記載された位置ずれ検査装置。
- 前記パターンは、前記基準方向と直交する方向に前記パターンが隣接して配置されたパターン群を構成しており、前記直交方向において、隣接する前記パターンの輝度階調がそれぞれ異なることを特徴とする請求項６から１０のいずれかに記載された位置ずれ検査装置。
- 所定のカメラ基線長だけ離間された一対のカメラによって取得された一対の撮像画像に基づき算出される距離データを用いて、前記一対のカメラの相対的な位置ずれを検査する位置ずれ検査方法において、
前記一対のカメラの前方で前記カメラ基線と基準方向とを一致させて平行に配置されているとともに前記基準方向から斜めに傾いたパターンが描かれたテストチャートを、前記一対のカメラで撮像する第１のステップと、
前記撮像された一対の撮像画像に基づいて、距離データを算出する第２のステップと、
前記算出された距離データに基づき、前記一対のカメラの相対的な位置ずれを検査する第３のステップと
を有することを特徴とする位置ずれ検査方法。 - 前記パターンは、傾き角の異なる複数の前記直線で構成される屈曲したパターンであり、
前記第３のステップは、前記パターンの傾き角の変化する位置で前記距離データを複数の領域に分割するとともに、当該分割された領域のそれぞれにおいて視差に関する近似直線を算出し、前記パターンを構成する直線の傾きと前記算出された近似直線とに基づき、前記一対のカメラの相対的なずれ量を算出することを特徴とする請求項１２に記載された位置ずれ検査方法。 - 前記第３のステップは、前記パターンを構成する直線の傾きと、前記算出された近似直線とをパラメータとして、前記一対のカメラの相対的な上下方向および回転方向のずれ量を算出するとともに、前記パターンを構成する直線の傾きと、前記算出された近似直線と、前記テストチャートまでの実距離に対応する視差とをパラメータとして、前記一対のカメラの相対的な左右方向のずれ量を算出することを特徴とする請求項１３に記載された位置ずれ検査方法。
- 前記一対のカメラの相対的な位置ずれに起因した前記一対の画像の相対的なずれを補正パラメータを用いて補正する第４のステップと、
前記算出されたずれ量に基づき、前記補正パラメータをフィードバック補正する第５のステップと
をさらに有することを特徴とする請求項１３または１４に記載された位置ずれ検査方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002227777A JP4018950B2 (ja) | 2002-08-05 | 2002-08-05 | ステレオカメラの位置ずれ検査装置および位置ずれ検査方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002227777A JP4018950B2 (ja) | 2002-08-05 | 2002-08-05 | ステレオカメラの位置ずれ検査装置および位置ずれ検査方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004069437A true JP2004069437A (ja) | 2004-03-04 |
| JP4018950B2 JP4018950B2 (ja) | 2007-12-05 |
Family
ID=32014708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002227777A Expired - Fee Related JP4018950B2 (ja) | 2002-08-05 | 2002-08-05 | ステレオカメラの位置ずれ検査装置および位置ずれ検査方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4018950B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008075632A1 (ja) * | 2006-12-19 | 2008-06-26 | Panasonic Corporation | 複眼測距装置の検査方法および検査装置並びにそれに用いるチャート |
| WO2009107365A1 (ja) * | 2008-02-26 | 2009-09-03 | パナソニック株式会社 | 複眼測距装置の検査方法及び検査装置並びにそれに用いるチャート |
| JP2015184896A (ja) * | 2014-03-24 | 2015-10-22 | サクサ株式会社 | 画像処理装置 |
| JP2016029792A (ja) * | 2014-07-22 | 2016-03-03 | 株式会社リコー | 撮像装置、撮像装置のエラー確認方法及びプログラム |
| JP2019200776A (ja) * | 2018-05-15 | 2019-11-21 | 株式会社東芝 | 車両認識装置および車両認識方法 |
| CN112752094A (zh) * | 2020-12-28 | 2021-05-04 | 歌尔科技有限公司 | 一种双摄像头光轴检测设备 |
-
2002
- 2002-08-05 JP JP2002227777A patent/JP4018950B2/ja not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008075632A1 (ja) * | 2006-12-19 | 2008-06-26 | Panasonic Corporation | 複眼測距装置の検査方法および検査装置並びにそれに用いるチャート |
| WO2009107365A1 (ja) * | 2008-02-26 | 2009-09-03 | パナソニック株式会社 | 複眼測距装置の検査方法及び検査装置並びにそれに用いるチャート |
| US8102516B2 (en) | 2008-02-26 | 2012-01-24 | Panasonic Corporation | Test method for compound-eye distance measuring apparatus, test apparatus, and chart used for the same |
| JP2015184896A (ja) * | 2014-03-24 | 2015-10-22 | サクサ株式会社 | 画像処理装置 |
| JP2016029792A (ja) * | 2014-07-22 | 2016-03-03 | 株式会社リコー | 撮像装置、撮像装置のエラー確認方法及びプログラム |
| JP2019200776A (ja) * | 2018-05-15 | 2019-11-21 | 株式会社東芝 | 車両認識装置および車両認識方法 |
| CN112752094A (zh) * | 2020-12-28 | 2021-05-04 | 歌尔科技有限公司 | 一种双摄像头光轴检测设备 |
| CN112752094B (zh) * | 2020-12-28 | 2023-12-01 | 歌尔科技有限公司 | 一种双摄像头光轴检测设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4018950B2 (ja) | 2007-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6985619B1 (en) | Distance correcting apparatus of surroundings monitoring system and vanishing point correcting apparatus thereof | |
| JP4109077B2 (ja) | ステレオカメラの調整装置およびステレオカメラの調整方法 | |
| US7492964B2 (en) | System and method for detecting obstacle | |
| US7436430B2 (en) | Obstacle detection apparatus and method | |
| WO2012120856A1 (ja) | 物体検出装置及び物体検出方法 | |
| JP5804185B2 (ja) | 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法 | |
| JP2003083742A (ja) | 監視システムの距離補正装置および距離補正方法 | |
| JP2004037239A (ja) | 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置 | |
| JP2001082955A (ja) | ステレオ画像の位置ずれ調整装置 | |
| JP4032843B2 (ja) | 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 | |
| JP3255360B2 (ja) | 距離データの検査方法およびその検査装置 | |
| JP2008082870A (ja) | 画像処理プログラム及びこれを用いた路面状態計測システム | |
| CN112261390B (zh) | 车载摄像设备及其图像优化装置和优化方法 | |
| JP4296617B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP2007253699A (ja) | 光軸ずれ検出装置 | |
| JP4209637B2 (ja) | 監視システムの距離補正装置および距離補正方法 | |
| JP4018950B2 (ja) | ステレオカメラの位置ずれ検査装置および位置ずれ検査方法 | |
| JP4248212B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
| JPH11190611A (ja) | ３次元計測方法およびその方法を用いた３次元計測処理装置 | |
| JP7180739B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム | |
| JP2004151883A (ja) | 地形認識装置および地形認識方法 | |
| JP2004054586A (ja) | 画像処理装置および画像処理方法 | |
| JP2004053407A (ja) | ステレオ画像処理装置およびステレオ画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050729 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070530 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070717 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070907 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070921 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4018950 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130928 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |