JP2017003279A - カメラ校正方法 - Google Patents

Abstract

【課題】基線方向とは異なる方向の視差も考慮して、算出されるカメラパラメータの精度を上げる校正方法を提供する。
【解決手段】市松模様状の校正器をステレオ撮像し、カメラの第１の方向の画像間の視差に基づき算出される画像上の２点に対応する被写体上距離と、被写体上実距離との差である第１の評価値と、前記方向と異なる第２の方向の画像間の視差である第２の視差に基ずく第２の評価値を算出し、第１、第２の評価値を最小化するように、カメラパラメータを算出する。
【選択図】図１

Description

本発明は、カメラのカメラパラメータを算出するカメラ校正方法に関する。

２台のカメラ（ステレオカメラ）を用いて、被写体の長さや３次元位置（座標）を計測する方法が知られている。この方法では、異なる位置に配置された２台のカメラを用いて被写体を撮像し、２台のカメラが撮像した２枚の画像間における被写体の視差に基づいて、被写体の長さや３次元位置等を算出する。ここで、視差に基づいて、被写体の長さや３次元位置等を算出するためには、カメラパラメータが必要である。カメラパラメータには、各カメラの特性に関する内部パラメータの他、２台のカメラ間の関係に関する外部パラメータが含まれる。内部パラメータとして、例えば、カメラが備えたレンズの焦点距離および歪み係数が挙げられる。また、外部パラメータとして、例えば、２台のカメラ間の位置関係が挙げられる。被写体の長さや３次元位置を精度よく計測するために、カメラパラメータは、できるだけ正確な値に設定されていることが望ましい。

そこで、特許文献１には、複数の特徴点を備えた校正器を２台のカメラでそれぞれ撮像し、撮像した２枚の画像間における校正器の視差に基づいて、カメラパラメータを算出するカメラ校正方法が記載されている。具体的には、上記カメラ校正方法では、まず、ステレオ法によって、２枚の画像内に含まれる２つの特徴点間の（実空間における）距離を算出する。そして、算出した２つの特徴点間の距離と、実際の距離（既知）との誤差（計測誤差）を最小化するように、カメラパラメータを修正する。

特開２０１２−２０２６９４号公報（２０１２年１０月２２日公開）

しかしながら、特許文献１に記載の上記カメラ校正方法では、基線方向（２台のカメラが並ぶ方向）の視差のみに基づいて、カメラパラメータを修正している。すなわち、カメラパラメータを修正する際に、基線方向とは異なる方向の視差を考慮していないため、カメラパラメータを精度よく修正することができないという問題がある。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、カメラパラメータを精度よく算出するカメラ校正方法を提供することにある。

上記の課題を解決するために、本発明の一態様に係るカメラ校正方法は、ステレオカメラで被写体を撮像したステレオ画像から前記ステレオカメラのカメラパラメータを算出するカメラ校正方法であって、
前記ステレオカメラの第１の方向における前記ステレオ画像間の視差である第１の視差に基づき算出される前記ステレオ画像上の２点に対応する前記被写体上の２点間の距離と、前記被写体上の２点間の実際の距離との差である第１の評価値を算出する第１評価ステップと、
前記第１の方向とは異なる第２の方向における前記ステレオ画像間の視差である第２の視差に基づく第２の評価値を算出する第２評価ステップと、
前記第１の評価値、および前記第２の評価値を最小化するように、前記カメラパラメータを算出する校正ステップを含む。

本発明によれば、カメラパラメータを精度よく算出することができる。

実施形態１に係るステレオカメラシステムの構成を示すブロック図である。 実施形態１における校正器の一例を示す図である。 実施形態１におけるカメラパラメータ算出処理の一例を示すフローチャートである。 当該カメラパラメータ算出処理の一部の詳細を示すフローチャートである。 （ａ）は、ピンホールカメラで校正器を撮像した画像を示す図であり、（ｂ）は、レンズを備えたカメラで校正器を撮像した画像を示す図である。 正方形をピンホールカメラを用いて撮像して画像を得る様子を示す図である。 正方形を撮像した画像上における正方形の各頂点の座標と主点位置とを示す図である。 図６における各頂点を、主点位置が原点に位置するように平行移動した結果を示す図である。 焦点距離が異なる撮像装置で同じ校正器をそれぞれ撮像した場合を示す図である。 撮像装置が、校正器に対して光軸を傾けた状態で該校正器を撮像した画像を示す図である。 撮像装置が、校正器に対して光軸を傾けた状態で、図９とは異なる方向から該校正器を撮像した画像を示す図である。 実施形態１に係るステレオカメラシステムを構成する２台の撮像装置が被写体を撮像する場合における被写体と画像の結像位置との関係の一例を示す図である。 実施形態１に係るステレオカメラシステムを構成する１台の撮像装置の光軸および位置がずれている様子を示す図である。 図１２（Ａ）に示す状態にあるステレオカメラシステムにおいて、撮像装置が撮像する画像を示す図である。 被写体の一特徴点と、実施形態１に係る撮像装置が撮像する画像上における対応する点との位置関係を示す図である。 図１３（Ａ）に示す撮像装置が撮像した画像を示す図である。 ステレオカメラシステムを構成する１台の撮像装置の位置が基線からずれている状態を示す図である。 実施形態１の変形例に係るカメラパラメータ算出方法のフローチャートである。 実施形態２に係るステレオカメラシステムを構成する一方の撮像装置で撮像した画像において基準とする点と、他方の撮像装置で撮像した画像における対応する点とを示す。 図１６に示すｘｙ座標系をｘｙ平面内で４５度回転したｘ’ｙ’座標系を示す図である。 実施形態２に係るステレオカメラシステムを構成する１台の撮像装置の位置が基線からずれており、２台の撮像装置の間にｙ方向の視差が存在する状態を示す図である。 図１８（Ａ）に示すｘｙ座標系をｘｙ平面内で４５度回転した後のｘ’ｙ’座標系における２台の撮像装置間の基線長を示している。

〔実施形態１〕
以下、図面を参照しながら本発明の一実施形態について説明する。

（ステレオカメラシステム１）
図１は、本実施形態に係るステレオカメラシステム（カメラシステム）１の一構成例を示すブロック図である。図１に示すように、ステレオカメラシステム１は、撮像装置（カメラ）２００ａ、２００ｂ、制御装置３００および記憶部４００を備えている。

制御装置３００は、撮像装置２００ａ、２００ｂを制御して、校正器（被写体）２０１（図２参照）を撮像させる。制御装置３００は、撮像装置２００ａ、２００ｂの各々が撮像した校正器２０１の撮像画像をそれぞれ入力画像として取得し、当該入力画像に基づいて、最適なカメラパラメータを算出する。記憶部４００には、制御装置３００が算出したカメラパラメータの情報が記憶される。

制御装置３００は、画像取得部３０１、特徴点抽出部３０２、内部パラメータ算出部３０３、画像補正部３０４、外部パラメータ算出部３０５および撮像装置制御部３０６を含んでいる。制御装置３００の各部が行う処理については、後述する。なお、図１には、制御装置３００と記憶部４００がステレオカメラシステムに含まれる構成を示すが、カメラパラメータ算出に関連する画像取得部３０１、特徴点抽出部３０２、内部パラメータ算出部３０３、画像補正部３０４、外部パラメータ算出部３０５、記憶部は４００は、ステレオカメラシステム内に含まれない構成でもよく、予めステレオカメラで撮像した画像を、ステレオカメラ外の制御装置、例えば、ＰＣ内に備わる制御装置でカメラパラメータを算出してもよい。

（校正器２０１）
図２は、校正器２０１の一例を示す図である。図２に示すように、校正器２０１は、一例において、白色の正方形と黒色の正方形とが、市松模様状に上下左右に等間隔に交互に配置された模様を有する。各正方形の頂点は、明るさのコントラストが大きく、校正器２０１を撮像した画像の特徴点になる。校正器２０１において、頂点間の相対的な位置関係は既知である。

（カメラパラメータ算出処理）
次に、本実施形態におけるカメラパラメータ算出処理について説明する。図３（Ａ）は、カメラパラメータ算出処理の一例を示すフローチャートである。

一例において、カメラパラメータ算出処理では、まず、撮像装置制御部３０６により撮像装置２００ａ、２００ｂを制御し校正器２０１を撮像し、画像取得部３０１が、撮像装置２００ａ、２００ｂの各々で撮像された校正器２０１の撮像画像をそれぞれ入力画像として取得する（Ｓ１０１）。特徴点抽出部３０２は、画像取得部３０１が取得した入力画像から、特徴点（第一特徴点）を抽出し、当該画像内における第一特徴点の座標（第一特徴点座標）を算出する（Ｓ１０２）。

次に、内部パラメータ算出部３０３は、特徴点抽出部３０２が算出した第一特徴点座標に基づいて、撮像装置２００ａ、２００ｂの内部パラメータを算出する内部パラメータ算出処理を実行する（Ｓ１０３）。内部パラメータ算出部３０３は、算出した内部パラメータを記憶部４００に記憶する。

次に、特徴点抽出部３０２は、内部パラメータ算出部３０３が算出した内部パラメータを用いて画像補正部３０４が補正した入力画像から、特徴点（第二特徴点）を抽出し、当該画像内における第二特徴点の座標（第二特徴点座標）を算出する（Ｓ１０４）。

次に、外部パラメータ算出部３０５は、特徴点抽出部３０２が算出した第二特徴点座標に基づいて、撮像装置２００ａ、２００ｂの外部パラメータを算出する（Ｓ１０５）。外部パラメータ算出部３０５は、算出した外部パラメータを記憶部４００に記憶する。以上で、カメラパラメータ算出処理は終了する。

（内部パラメータ算出処理）
続いて、カメラパラメータ算出処理のＳ１０３として実行される内部パラメータ算出処理の詳細について述べる。内部パラメータ算出部３０３および画像補正部３０４が、内部パラメータ算出処理を実行する。

一例において、内部パラメータ算出処理において算出される内部パラメータには、焦点距離、主点位置、歪み係数などが含まれる。内部パラメータは、各撮像装置２００ａ、２００ｂ各々に固有の特性を表すパラメータであるため、撮像装置２００ａ、２００ｂごとに独立して算出することができる。

図３（Ｂ）は、内部パラメータ算出処理のフローを示している。内部パラメータ算出部３０３は、まず、歪み係数および主点位置を算出する（Ｓ１０３＿１、詳細は後述）。

次に、画像補正部３０４は、内部パラメータ算出部３０３が算出した歪み係数および主点位置に基づいて、入力画像の歪みを補正する（Ｓ１０３＿２）。歪みを補正された入力画像は、ピンホールカメラで撮像した歪みのない画像４０１（図４の（ａ）参照）に近似する。したがって、Ｓ１０３＿３以降の各処理においては、入力画像にピンホールカメラモデルを適用することが可能となる。

最後に、補正後の入力画像を用いて、撮像装置２００ａ、２００ｂの焦点距離を算出する（Ｓ１０３＿３、詳細は後述）。このとき、さらに主点位置を再計算してもよい（詳細は後述）。

以上で、内部パラメータ算出処理は終了する。

（Ｓ１０３＿１；歪み係数ｋ_ｉおよび主点位置（ｃ_ｘ、ｃ_ｙ）の算出方法）
ここでは、内部パラメータ算出処理のＳ１０３＿１（図３（Ｂ）参照）における歪み係数および主点位置の算出方法を具体的に説明する。まず、歪みのある画像と歪みのない画像とは具体的にどのような画像であるのかを、具体例を示して説明する。

図４の（ａ）は、ピンホールカメラで校正器２０１を撮像した歪みのない画像を示す図である。また、図４の（ｂ）は、レンズを備える撮像装置で校正器２０１を撮像した歪みのある画像を示す図である。

図４の（ａ）（ｂ）に示すように、レンズを備える撮像装置によって撮像された画像４０２は、レンズの収差により、ピンホールカメラで撮像した理想的な画像４０１に対して歪んでいる。そこで、Ｓ１０３＿１において、内部パラメータ算出部３０３は、レンズを備える撮像装置２００ａ、２００ｂによって撮像された歪みのある入力画像を、理想的なピンホールカメラで撮像されるような歪みのない画像へと歪み補正するためのパラメータを以下の示す方法で算出する。

ピンホールカメラで撮像した画像から算出される理想的な第一特徴点座標を理想座標（ｘ_ｐｉｎ，ｙ_ｐｉｎ）とし、当該理想座標を歪ませた（歪み逆補正を行った）座標を歪み座標（ｘ_ｄｉｓ，ｙ_ｄｉｓ）とすると、

と表わされる。

なお、式（１）（２）において、係数ｘ、ｙは、

である。ここで、位置（ｃ_ｘ、ｃ_ｙ）は、撮像装置２００ａ、２００ｂの光軸と、撮像装置２００ａ、２００ｂの撮像素子（ＣＣＤまたはＣＭＯＳなど）との交点を表わす主点位置を表す。また、ｒは、主点位置（ｃ_ｘ、ｃ_ｙ）から理想座標（ｘ_ｐｉｎ，ｙ_ｐｉｎ）までの画像上の距離を示し、係数ｘ、ｙと距離ｒとは、

の関係を満たす。

また、ｋ_ｉは、放射歪曲の歪みを表す歪み係数であり、放射歪曲の歪みを２ｎ次多項式で近似したときの係数である。

なお、式（１）（２）は、放射歪曲のみを考慮した歪み座標（ｘ_ｄｉｓ，ｙ_ｄｉｓ）を表しているが、偏心歪曲も考慮すると、歪み座標（ｘ_ｄｉｓ，ｙ_ｄｉｓ）は、

と表わすことができる。このとき、ｐ_ｉは、偏心歪曲の歪みを表す歪み係数であり、偏心歪曲の歪みを２ｎ次多項式で近似したときの係数である。

また、式（１）（２）（６）（７）は、レンズに起因する歪みを考慮した式であるが、更に撮像素子の歪みも考慮することによって、より好適な歪み補正が可能となる。

次に、Ｓ１０３＿１における理想座標の設定方法について述べる。図５は、正方形５０１を、ピンホールカメラによって撮像して画像４０１を得る様子を示す。図５において、ｚ＝ｆ（ｆはピンホールカメラの焦点距離）で表される位置に、ピンホールカメラの撮像素子が配置されている。Ｑ０（Ｘ０，Ｙ０，Ｚ０）、Ｑ１（Ｘ１，Ｙ１，Ｚ１）、Ｑ２（Ｘ２，Ｙ２，Ｚ２）、Ｑ３（Ｘ３，Ｙ３，Ｚ３）は、正方形５０１の４つの頂点の３次元座標である。また、Ｐ０（ｘ０，ｙ０，ｆ）、Ｐ１（ｘ１，ｙ１，ｆ）、Ｐ２（ｘ２，ｙ２，ｆ）、Ｐ３（ｘ３，ｙ３，ｆ）は、それぞれ、正方形５０１の各頂点の位置Ｑ０、Ｑ１、Ｑ２、Ｑ３に対応する画像４０１上の位置（正方形５０１の各頂点の撮像素子上の投影位置）を示す３次元座標であり、Ｐ０、Ｐ１、Ｐ２、Ｐ３の各々のｘ座標およびｙ座標は、Ｐ０、Ｐ１、Ｐ２、Ｐ３の各々の画像４０１上の座標となる。

図５に示す正方形５０１が、図２に示す校正器２０１の１つの正方形に対応するとすれば、校正器２０１の各正方形の頂点（第一特徴点に対応）の位置を示す３次元座標（Ｘ_ｐｉｎ，Ｙ_ｐｉｎ，Ｚ_ｐｉｎ）は、Ｑ０、Ｑ１、Ｑ３の３次元座標と、整数である係数ｕ、ｖとを用いて、

と表わされる。

また、式（８）（９）（１０）で表わされる正方形の頂点（第一特徴点に対応）の３次元座標（Ｘ_ｐｉｎ，Ｙ_ｐｉｎ，Ｚ_ｐｉｎ）に対応する画像４０１上の座標、すなわち、理想座標（ｘ_ｐｉｎ，ｙ_ｐｉｎ）は、Ｐ０、Ｐ１、Ｐ３の画像上４０１上の座標と、係数ｕ、ｖと、下記式（１１）（１２）で表わされる係数ｓ、ｔとを用いて、

と表わされる。

そして、内部パラメータ算出処理のＳ１０３＿１において、内部パラメータ算出部３０３は、式（１３）（１４）で表わされる理想座標（ｘ_ｐｉｎ，ｙ_ｐｉｎ）を、式（１）（２）（６）（７）を用いて歪ませた（歪み逆補正した）歪み座標（ｘ_ｄｉｓ，ｙ_ｄｉｓ）と、撮像装置２００ａ、２００ｂによって実際に撮像された入力画像から算出された第一特徴点座標との差を最小化するように、歪み係数、および、主点位置（ｃ_ｘ，ｃ_ｙ）を算出する。上記差を最小化するパラメータは、例えば、ニュートン法などの既知の最適化アルゴリズムを用いて算出することができる。これによって、上述した歪み補正に必要なパラメータを算出することができる。

なお、理想座標（ｘ_ｐｉｎ，ｙ_ｐｉｎ）は、式（１３）（１４）で表わされることから、校正器２０１は、図２に示すような正方形が交互に配置された模様を有している必要はなく、その形状が既知であれば、例えば、ひし形や長方形などの任意の形状が配置された模様であってもよい。また、内部パラメータを算出するためには、校正器２０１の特徴点間の距離は未知であってもよいが、外部パラメータを算出するためには、特徴点間の距離は既知である必要がある。そのため、外部パラメータを算出する際に、校正器２０１を使用する場合、校正器２０１の特徴点間の距離は既知である必要がある。

また、上述した方法で歪み座標（ｘ_ｄｉｓ，ｙ_ｄｉｓ）および主点位置（ｃ_ｘ，ｃ_ｙ）を算出する場合、画像４０２の歪みが大きいならば、歪みの中心、すなわち主点位置（ｃ_ｘ，ｃ_ｙ）を精度良く算出することができる。しかしながら、画像４０２の歪みが小さい場合、算出された主点位置（ｃ_ｘ，ｃ_ｙ）が実際の主点位置からずれていたとしても、精度良く歪みを補正することができるため、算出した主点位置（ｃ_ｘ，ｃ_ｙ）と実際の主点位置とがずれている可能性がある。そこで、主点位置（ｃ_ｘ，ｃ_ｙ）については、内部パラメータ算出部３０３が、後述する焦点距離算出時に再算出すると好適である。

また、校正器２０１を撮像した入力画像の全体に特徴点が均等に分布している方が、最適化の際に入力画像の各位置における重みが均等になるため好適である。そのために、撮像装置２００ａ、２００ｂが校正器２０１を撮像する際、光軸と校正器２０１とが略垂直になり、画面全体に特徴点が撮像されるように撮像装置２００ａ、２００ｂ等を設定することが望ましい。

（Ｓ１０３＿３；焦点距離ｆの算出方法）
次に、内部パラメータ算出処理のＳ１０３＿３（図１Ｂ参照）における焦点距離ｆの算出方法を具体的に説明する。

図６は、正方形をピンホールカメラで撮像した画像６０１上における当該正方形の各頂点の座標Ｐ６０（ｘ６０，ｙ６０）、Ｐ６１（ｘ６１，ｙ６１）、Ｐ６２（ｘ６２，ｙ６２）、Ｐ６３（ｘ６３，ｙ６３）と、主点位置（ｃ_ｘ，ｃ_ｙ）とを示している。

図７は、図６に示す画像６０１およびＰ６０、Ｐ６１、Ｐ６２、Ｐ６３を、主点位置（ｃ_ｘ，ｃ_ｙ）を原点とするように平行移動した画像７０１および座標Ｐ７０、Ｐ７１、Ｐ７２、Ｐ７３を示している。Ｐ７０の座標（ｘ７０，ｙ７０）は、

と表わされる。他の座標Ｐ７１（ｘ７１，ｙ７１）、Ｐ７２（ｘ７２，ｙ７２）、Ｐ７３（ｘ７３，ｙ７３）も、座標Ｐ７０と同様に、座標Ｐ６１（ｘ６１，ｙ６１）、Ｐ６２（ｘ６２，ｙ６２）、Ｐ６３（ｘ６３，ｙ６３）を平行移動した座標で表される。

また、焦点距離ｆは、Ｐ７０、Ｐ７１、Ｐ７３の座標と、下記式（１７）（１８）で表わされる係数ｓ７、ｔ７とを用いて、下記式（１９）から算出することが出来る。

ここで、撮像装置２００ａ、２００ｂが校正器２０１に対して略垂直な状態で校正器２０１を撮像した場合、式（１７）（１８）のｓ７およびｔ７が共に小さな値となり、式（１９）の分母も小さな値となるので、ｓ７やｔ７の誤差が焦点距離ｆの算出結果に与える影響が大きくなる。すなわち、式（１９）による焦点距離ｆの算出精度が低下する。

これを図面を用いて説明すると、図８は、焦点距離がｆ１である撮像装置８０１および焦点距離がｆ２である撮像装置８０２で同じ校正器２０１をそれぞれ撮像した場合を示す図である。ここで、撮像装置８０１および撮像装置８０２は、どちらも、校正器２０１に対して略垂直な状態で校正器２０１を撮像する。撮像装置８０１から校正器２０１までの距離はＺ１、撮像装置８０２から校正器２０１までの距離はＺ２である。図８において、ｆ２＝２×ｆ１、Ｚ２＝２×Ｚ１である場合、撮像装置８０１で撮像された画像４０２上の校正器２０１と撮像装置８０２で撮像された画像４０２上の校正器２０１とは区別が付け難くなる。したがって、焦点距離ｆの算出に用いる入力画像は、校正器２０１に対して光軸を傾けて撮像した画像が焦点距離ｆの算出精度が高くなり好適である。

図９は、撮像装置が、校正器２０１に対して光軸を傾けた状態で、校正器２０１を撮像した画像を示す図である。内部パラメータ算出部３０３は、撮像装置が撮像した画像４０２の中の任意の正方形を選択し、その正方形が有する４つの頂点Ｐ７０、Ｐ７１、Ｐ７２、Ｐ７３の座標を算出する。そして、式（１７）（１８）（１９）を用いて、Ｐ７０、Ｐ７１、Ｐ７２、Ｐ７３の座標から焦点距離ｆを算出する。ここで、前述したように、式（１７）（１８）のｓ７の絶対値とｔ７の絶対値との差が小さい場合、式（１９）の分母の誤差も小さくなり、式（１９）に基づく焦点距離ｆの算出精度が低下する。そのため、内部パラメータ算出部３０３は、ｓ７の絶対値とｔ７の絶対値との差が大きくなるように、前記正方形を適切に選択することが望ましい。また、内部パラメータ算出部３０３は、複数の画像を用いて、焦点距離ｆを算出することによって、焦点距離ｆの算出精度をさらに向上させることができる。

（Ｓ１０３＿３；主点位置（ｃ_ｘ，ｃ_ｙ）の再計算方法）
ここでは、内部パラメータ算出処理のＳ１０３＿３（図１Ｂ参照）における主点位置（ｃ_ｘ，ｃ_ｙ）の再計算方法を具体的に説明する。前述のように、主点位置（ｃ_ｘ，ｃ_ｙ）は、Ｓ１０３＿１で既に算出されているが、撮像装置２００ａ、２００ｂが撮像した画像４０２（図４の（ｂ）参照）の歪みが小さい場合、Ｓ１０３＿１で算出された主点位置（ｃ_ｘ、ｃ_ｙ）は、実際の主点位置からずれている可能性がある。式（１５）（１６）に示すように、正方形の各頂点の座標Ｐ７０、Ｐ７１、Ｐ７２、Ｐ７３は、主点位置（ｃ_ｘ，ｃ_ｙ）を中心とした座標で表されるため、主点位置（ｃ_ｘ，ｃ_ｙ）を示す座標が実際の主点位置とずれていた場合、座標Ｐ７０、Ｐ７１、Ｐ７２、Ｐ７３に基づいて算出される焦点距離ｆも、実際の焦点距離とずれる可能性がある。そこで、Ｓ１０３＿３において、焦点距離ｆを算出する際に、内部パラメータ算出部３０３が改めて主点位置（ｃ_ｘ，ｃ_ｙ）を算出することにより、焦点距離ｆおよび主点位置（ｃ_ｘ，ｃ_ｙ）の算出精度を向上させることができる。

式（１９）から算出される焦点距離ｆは、主点位置（ｃ_ｘ，ｃ_ｙ）と、校正器２０１の格子の各頂点の座標Ｐ７０、Ｐ７１、Ｐ７２、Ｐ７３とが正しければ、選択された正方形に依らず同じ値になる。そこで、内部パラメータ算出部３０３は、異なる複数の正方形を選択し、それぞれの正方形の各頂点の位置を示す座標に基づいて焦点距離ｆｉ（ｉ＝１，２，・・・）をそれぞれ算出し、焦点距離ｆｉが正方形に依らず同じ値となるように主点位置（ｃ_ｘ，ｃ_ｙ）を算出し、算出した主点位置（ｃ_ｘ，ｃ_ｙ）に基づいて、焦点距離ｆを算出する。主点位置（ｃ_ｘ，ｃ_ｙ）の最適化は、ニュートン法などの既知の最適化アルゴリズムを用いて行うことができる。例えば、各正方形の頂点座標から算出した焦点距離ｆｉの平均値ｆ_ａｖｅと、主点位置（ｃ_ｘ，ｃ_ｙ）の評価値Ｅ_ｆとをそれぞれ、

とし、内部パラメータ算出部３０３は、評価値Ｅ_ｆが最小となる主点位置（ｃｘ，ｃｙ）を算出すればよい。また、内部パラメータ算出部３０３は、評価値Ｅ_ｆが最小となるときの平均値ｆ_ａｖｅを焦点距離ｆとすればよい。

上述の方法によれば、内部パラメータ算出部３０３による主点位置（ｃ_ｘ，ｃ_ｙ）の算出精度が向上するとともに、焦点距離ｆの算出精度も向上する。その理由は以下のとおりである。

まず、理想的なピンホールカメラでは、主点位置（ｃ_ｘ，ｃ_ｙ）が正しければ、選択した正方形によらず、算出される焦点距離ｆは同じ値になる。ただし、実際には、特徴点抽出部３０２が抽出した頂点の座標には誤差が含まれることがあるため、内部パラメータ算出部３０３は、焦点距離ｆの正しい値を算出することができるとは限らない。１つの正方形の各頂点（第一特徴点）の座標から焦点距離ｆを算出した場合、第一特徴点の座標の計算誤差が、焦点距離ｆの計算誤差に反映される。

一方、上記構成によれば、複数の正方形について、第一特徴点の座標をそれぞれ算出し、その座標の算出結果ごとに焦点距離ｆｉを算出して、複数の焦点距離ｆｉ（ｉ＝１，２，・・・）の平均値ｆ_ａｖｅを焦点距離ｆとして算出する。これにより、第一特徴点の座標の算出結果に含まれる誤差が焦点距離ｆの算出結果に与える影響を低減することができる。すなわち、焦点距離ｆの算出精度が向上する。

また、内部パラメータ算出部３０３は、前述した歪み係数の算出結果に基づいて、画像４０２上から正方形を選択する位置を制限してもよい。これにより、焦点距離ｆの算出精度をさらに向上させることができる。前述したように、歪み係数は、歪み座標（ｘ_ｄｉｓ，ｙ_ｄｉｓ）と、実際の第一特徴点座標との差を評価することによって算出されるため、内部パラメータ算出部３０３は、当該差を指標として、各第一特徴点座標について歪み補正の精度を知ることができる。そして、内部パラメータ算出部３０３は、歪み補正の精度が不十分である第一特徴点周辺の第一特徴点の位置を、前記正方形の選択範囲から除外することにより、歪み補正精度の高い第一特徴点のみを含む正方形から焦点位置を算出することができる。特に、式（１９）は、ピンホールカメラモデルを想定した式であるから、歪み補正の精度が高い第一特徴点、すなわち、ピンホールカメラモデルを適用可能な第一特徴点のみを用いて、焦点距離を算出することは好適である。

また、内部パラメータ算出部３０３は、複数の焦点距離ｆｉ（ｉ＝１，２，・・・）の平均値ｆ_ａｖｅを焦点距離ｆとして算出する場合、複数の焦点距離ｆｉ（ｉ＝１，２，・・・）のうちの最大値と最小値とを除外して、平均値ｆ_ａｖｅを計算してもよい。これにより、焦点距離ｆの算出精度をさらに向上させることができる。誤差の大きな頂点座標を含む正方形から算出された焦点距離は、実際の焦点距離からのずれが大きい可能性が高い。そのため、内部パラメータ算出部３０３は、最大値と最小値を除外した複数の焦点距離ｆｉ（ｉ＝１，２，・・・）を用いて、平均値ｆ_ａｖｅを計算することによって、誤差の大きな頂点座標を含む正方形を除外して焦点距離を算出できる可能性が高く、焦点距離ｆの算出精度を向上させることができる。

また、内部パラメータ算出部３０３は、校正器２０１を撮像した複数の画像を用いて、焦点距離ｆを算出することによって、焦点距離ｆの算出精度をさらに向上させることができる。図１０は、図９と同様に校正器２０１に対して光軸を傾けた状態で、図９とは異なる方向から、校正器２０１を撮像した画像を示す。内部パラメータ算出部３０３は、図９の画像４０２と、図１０の画像４０２との各々を用いて、前述したように焦点距離ｆｉ（ｉ＝１，２，・・・）を算出し、算出した焦点距離ｆｉ（ｉ＝１，２，・・・）を平均することによって、精度の高い焦点距離ｆを算出することができる。このように、異なる方向から校正器を撮像した複数の画像を用いることで、各正方形の頂点座標から算出した焦点距離に含まれる誤差が平均化され精度を向上させることができる。

なお、本実施形態では、正方形でその模様が構成されている校正器２０１を用いて、焦点距離ｆを算出する方法を説明したが、正方形以外でその模様が構成されている校正器２０１を使用してもよい。

例えば、縦横比がＮ：１（Ｎは自然数）の長方形から焦点距離ｆを算出する場合、図７に示す線分Ｐ７０−Ｐ７１に対応する辺の長さと、線分Ｐ７１−Ｐ７２に対応する辺の長さとの比をＮ：１とすると、内部パラメータ算出部３０３は、焦点距離ｆを、

として算出することができる。

以上のように、内部パラメータ算出部３０３は、校正器２０１を撮像した入力画像から第一特徴点座標を算出し、算出した第一特徴点座標に基づいて、歪み係数ｋ_ｉと主点位置（ｃ_ｘ，ｃ_ｙ）とを算出する（Ｓ１０３＿１）。そして、画像補正部３０４は、内部パラメータ算出部３０３が算出した歪み係数ｋ_ｉおよび主点位置（ｃ_ｘ，ｃ_ｙ）を用いて、入力画像を歪み補正して焦点距離算出用画像とする（Ｓ１０３＿２）。そして、内部パラメータ算出部３０３は、画像補正部３０４が補正した焦点距離算出用画像から複数の正方形を選択し、選択した正方形の頂点座標に基づいて、焦点距離ｆを算出するとともに、主点位置（ｃｘ，ｃｙ）を再計算する（Ｓ１０３＿３）。

（Ｓ１０５；外部パラメータの算出方法）
ここでは、カメラパラメータ算出処理のＳ１０５（図１Ａ参照）における外部パラメータの算出方法を具体的に説明する。外部パラメータとは、ステレオカメラシステム１が備える複数の撮像装置２００ａ、２００ｂの位置関係を表すパラメータである。

外部パラメータ算出部３０５は、長さが既知である被写体（例えば、校正器２０１の任意の正方形）をステレオカメラ（撮像装置２００ａおよび撮像装置２００ｂの組）で撮像した２枚の入力画像（ステレオ画像）に基づいて、被写体の長さを計測する（ステレオ計測）。そして、外部パラメータ算出部３０５は、被写体の長さの計測結果と、被写体の実際の長さとを比較することによって、撮像装置２００ａと撮像装置２００ｂとの位置関係を表す外部パラメータを算出する。ここで、外部パラメータ算出部３０５は、外部パラメータを算出するために用いるステレオ画像として、カメラパラメータ算出処理のＳ１０３において、画像補正部３０４が歪み補正した入力画像（焦点距離算出用画像）を用いる。

図１１は、ステレオカメラシステムを構成する撮像装置２００ａおよび撮像装置２００ｂで被写体を撮像する場合における被写体と画像４０２ａ、４０２ｂの結像位置との位置関係の一例を示す図である。図１１は、左側に配置された撮像装置２００ａと、右側に配置された撮像装置２００ｂとを上（ｙ方向）から見た図である。撮像装置２００ａのｘ方向の基線長ｔｘ（外部パラメータ）は、ゼロでない。また、ｙ方向の基線長ｔｙ（外部パラメータ）とｚ方向のずれｔｚとはともにゼロである。ここで、本明細書において、「特定の方向における基線長」は、撮像装置２００ａと撮像装置２００ｂとの間の最短距離の特定の方向における成分を意味する。例えば、ｘ方向の基線長ｔｘは、撮像装置２００ａと撮像装置２００ｂとを結ぶ線分のｘ方向の長さであり、ｙ方向の基線長ｔｙは、撮像装置２００ａと撮像装置２００ｂとを結ぶ線分のｙ方向の長さである。２つの撮像装置２００ａ、２００ｂの焦点距離はともにｆであり、主点位置はともに撮像装置２００ａ、２００ｂの中心であるとする。

図１１において、外部パラメータ算出部３０５は、被写体上のある点Ｐ１１０３の３次元座標（Ｘ１１０１，Ｙ１１０１，Ｚ１１０１）を、ステレオ画像（画像４０２ａ、４０２ｂ）から以下の式に基づいて算出する。ここで、撮像装置２００ａ、２００ｂで撮像した画像４０２ａ、４０２ｂにおける被写体上の点Ｐ１１０３に対応する特徴点（第二特徴点）ｐ１１０３ａ、ｐ１１０３ｂのｘ座標をそれぞれ、ｄｘ１、ｄｘ２とする。また、撮像装置２００ａ、２００ｂの焦点距離をｆとする。撮像装置２００ａ、２００ｂ間のｘ方向の基線長をｔｘとする。画像４０２ａ、４０２ｂにおける被写体上の点Ｐ１１０３に対応する特徴点（第二特徴点）ｐ１１０３ａ、ｐ１１０３ｂのｙ座標をｄｙ１（図示せず）とする。画像４０２ａと画像４０２ｂとの間におけるｘ方向の視差をｄｘ＝ｄｘ２−ｄｘ１とする。

ここで、本明細書において、「視差」は、異なる撮像装置２００ａ、２００ｂによって撮像したステレオ画像４０２ａ、４０２ｂ間における同一の特徴点の位置座標の差分を意味する。また、「特定の方向における視差」は、視差の特定の方向の成分を意味する。例えば、画像４０２ａと画像４０２ｂとを同じスケールにした場合、ｘ方向の視差（第１の視差）ｄｘは、画像４０２ａにおける特徴点ｐ１１０３ａの位置座標と、画像４０２ｂにおける特徴点ｐ１１０３ｂの位置座標とを結ぶベクトルのｘ成分を意味する。また、ｙ方向の視差（第２の視差）ｄｙは、同じベクトルのｙ成分を意味する。

式（２３）（２４）（２５）において、未知数はｘ方向の基線長ｔｘのみであるので、外部パラメータ算出部３０５は、基線長ｔｘを決定した場合、Ｐ１１０３の３次元座標（Ｘ１１０１，Ｙ１１０１，Ｚ１１０１）を算出することができる。外部パラメータ算出部３０５は、未知数であるｘ方向（第１方向）の基線長ｔｘを決定するため、被写体上の２つの点Ｐ１１０３、Ｑ１１０３に対応する画像４０２ａ、４０２ｂ上の２点の特徴点（第二特徴点）を抽出し、式（２３）（２４）（２５）を用いて、２つの第二特徴点に対応する点Ｐ１１０３、Ｑ１１０３の３次元座標をそれぞれ算出し、算出した点Ｐ１１０３、Ｑ１１０３の３次元座標から計測した被写体上の距離と、実際の距離との誤差（第１の計測誤差）を算出する（第１評価ステップ）。そして、当該誤差がゼロまたは最小になる基線長ｔｘを算出する（校正ステップ）。例えば、図１１において、点Ｐ１１０３と点Ｑ１１０３との間の距離Ｄ_{ｓｔｅｒｅｏ}は、

で表される。一方、上記２つの点Ｐ−Ｑ間の実際の距離をＤ_ｒｅａｌとすると、距離Ｄ_{ｓｔｅｒｅｏ}と距離Ｄ_ｒｅａｌとの差Δ_Ｄ（第１の計測誤差）は、下記の（２７）または（２８）によって表される。

ここで、被写体を撮像するステレオカメラは、ピンホールカメラのモデルを適用することができる（すなわち、内部パラメータ算出部３０３は内部パラメータを正確に算出することができ、画像補正部３０４によって補正された入力画像は、完全に歪み補正されているものとする）から、外部パラメータである基線長ｔｘが正しい場合、ステレオカメラを用いて撮像された画像４０２ａ、４０２ｂに基づいて計測される被写体上の点Ｐ１１０３、Ｑ１１０３間の距離Ｄ_{ｓｔｅｒｅｏ}と、被写体上の点Ｐ１１０３、Ｑ１１０３間の実際のＤ_ｒｅａｌとが等しくなる。したがって、式（２７）または式（２８）において、差Δ_Ｄがゼロとなるときの基線長ｔｘが、最適な外部パラメータである。ただし、入力画像から第二特徴点座標を算出するときに誤差が含まれる場合があるため、差Δ_Ｄがゼロにならない可能性がある。この場合、外部パラメータ算出部３０５は、差Δ_Ｄを最小化するｔｘを外部パラメータとして決定する（校正ステップ）。

以上、図１１を例に挙げて、外部パラメータの算出方法を説明した。式（２３）（２４）（２５）は、図１１に示す構成のステレオカメラで撮像された場合に適用可能である。一方、例えば、撮像装置２００ａ、２００ｂ間に光軸のずれがある場合、式（２３）（２４）（２５）に基づいて特定の特徴点に対応する被写体上の点の３次元座標の算出を行うと、誤った３次元座標が算出される。この場合、差Δ_Ｄが最小になるｔｘは、求めるべき正しい外部パラメータの値ではない。

そこで、上記の場合、外部パラメータ算出部３０５は、ステレオカメラが撮像した入力画像を、式（２３）（２４）（２５）を適用可能な画像に変換する。この画像変換をレクティフィケーション（詳細を後述）と呼ぶ。そして、外部パラメータ算出部３０５は、レクティフィケーション後の画像４０２ａ、４０２ｂにおける２つの第二特徴点に対応する被写体上の２点間の距離Ｄ_{ｓｔｅｒｅｏ}を算出し、算出結果である距離Ｄ_{ｓｔｅｒｅｏ}と実際の被写体における２点間の距離Ｄ_ｒｅａｌとを比較し、両者の差Δ_Ｄを最小化するように、外部パラメータを算出する。

ここで、レクティフィケーションに必要な外部パラメータは未知数であるので、外部パラメータ算出部３０５は、ニュートン法などの既知の最適化アルゴリズムを用いた方法により、レクティフィケーション後の入力画像を用いて計測した被写体上の２点間の距離と、実際の当該２点間の距離との差Δ_Ｄを最小化するように外部パラメータを最適化する。ただし、上述のように、特定の２点間の距離のみに基づいて最適化を行った場合、ある外部パラメータの誤りを、他の外部パラメータを修正すること補償して、上記差Δ_Ｄが最小化してしまうケースがあり、誤った外部パラメータが算出される可能性がある。その誤った外部パラメータを適用して、別の２点間の距離を計測した場合、実際の２点間の距離との差が大きくなる。従って、外部パラメータ算出部３０５は、正しい外部パラメータを算出するために、被写体上の任意の２点間の計測距離と実際の距離との差を最小化する外部パラメータを算出すればよい。内部パラメータおよび外部パラメータが共に正しい場合、画像上のどの２点から計測される被写体上の距離も、実際の距離に等しくなる。そこで、外部パラメータ算出部３０５は、複数の組の第二特徴点に関して、画像に基づいて計測される被写体上の２点間の距離Ｄ_{ｓｔｅｒｅｏ}と実際の距離Ｄ_ｒｅａｌとの差を算出し、当該差を最小化するように、外部パラメータを算出することが好適である。

外部パラメータの算出に用いる入力画像は、例えば、図９や図１０に示すように、校正器２０１に対して光軸を傾けて校正器２０１を撮像した画像であってよい。これらの画像は、３次元空間において様々な方向に第二特徴点に対応する点を分布させることができ、また、条件の異なる複数の第二特徴点の組み合わせを選択することができるので、外部パラメータの算出に用いる画像として好適である。また、撮像装置２００ａ、２００ｂから校正器２０１までの距離を変えて校正器２０１を撮像した複数の画像からは、距離（ｚ座標）の条件が異なる複数の第二特徴点の組み合わせを選択することができる。そのため、そのような画像も、外部パラメータの算出に用いる画像として好適である。なお、レクティフィケーションは、画像から算出した第二特徴点座標に対してのみ適用すればよい。上述の構成では、外部パラメータ算出部３０５は、画像に含まれる第二特徴点の座標に基づいて外部パラメータを算出するために、画像全体をレクティフィケーションする必要はなく、第二特徴点座標に対してのみ適用することで処理量を低減できる。

（レクティフィケーション）
ここでは、レクティフィケーションの方法を具体的に説明する。

図１２（Ａ）は、ステレオカメラシステムを構成する１台の撮像装置２００ａに対し、他方の撮像装置２００ｂの光軸が傾いており、またｚ方向における位置がずれている状態を示す図である。ここで、撮像装置２００ａの焦点距離はｆ１、撮像装置２００ｂの焦点距離はｆ２である。また、ｘ方向の基線長はｔｘであり、ｙ方向の基線長はｔｙ（図示せず）である。撮像装置２００ａと撮像装置２００ｂとのｚ方向のずれはｔｚである。図１２（Ａ）に示すように、撮像装置２００ｂの光軸は、撮像装置２００ａの光軸に対して、ｙ軸を中心する角度が−θｙ、ｘ軸を中心とする角度が−θｘ（図示せず）だけ傾いている。また、図１２（Ｂ）は、図１２（Ａ）に示す状態にあるステレオカメラシステムにおいて、撮像装置２００ａ、２００ｂが撮像する画像４０２ａ、４０２ａを示す図である。図１２（Ｂ）には、撮像装置２００ａの主点位置（ｃ_ｘ１，ｃ_ｙ１）および撮像装置２００ｂの主点位置（ｃ_ｘ２，ｃ_ｙ２）が示されている。図１２（Ｂ）に示すように、撮像装置２００ａの光軸に対して、撮像装置２００ｂの光軸は、ｚ軸を中心に−θｚだけ傾いている。

以下、図１２（Ａ）（Ｂ）において、外部パラメータ算出部３０５が、撮像装置２００ｂが撮像した画像４０２ｂを、撮像装置２００ａが撮像した画像４０２ａを基準にレクティフィケーションする場合を説明する。

図１３（Ａ）は、被写体上の点Ｐ１３（Ｘ１３０１，Ｙ１３０１，Ｚ１３０１）と、撮像装置２００ｂが撮像する画像４０２ｂ上における対応する特徴点ｐ１３との位置関係を示す図である。また、図１３（Ｂ）は、図１３（Ａ）に示す撮像装置２００ｂが撮像した画像４０２ｂを示す図である。図１３（Ｂ）において、特徴点ｐ１３（ｘ１３０１，ｙ１３０１）は、図１３（Ａ）に示す画像４０２ｂ上の特徴点を示している。特徴点ｐ１３は、図１３（Ａ）に示す被写体上の点Ｐ１３（Ｘ１３０１，Ｙ１３０１，Ｚ１３０１）に対応する。

レクティフィケーションでは、まず、外部パラメータ算出部３０５は、撮像装置２００ａの焦点距離ｆ１と、撮像装置２００ｂの焦点距離ｆ２との差を補正する。補正後の点ｐ１３の位置を示す座標（ｘ１３０２,ｙ１３０２）は、

と表わされる。次に、撮像装置２００ａおよび撮像装置２００ｂの光軸の方向を揃えるために、外部パラメータ算出部３０５は、ｘ軸周りにθｘ、ｙ軸周りにθｙ、ｚ軸周りにθｚ、点ｐ１３の位置を回転する。回転後の点ｐ１３の位置を示す座標（ｘ１３０３,ｙ１３０３）は、

と表わされる。ここで、式（３１）（３２）において、ｒ１からｒ９は、

である。次に、外部パラメータ算出部３０５は、撮像装置２００ａと、撮像装置２００ｂとの間における主点位置のずれを補正する。補正後の点ｐ１３の位置を示す座標（ｘ１３０４,ｙ１３０４）は、

となる。以上のように、外部パラメータ算出部３０５は、式（２９）から式（３５）までの変換により、レクティフィケーションされた点ｐ１３の位置を示す座標（ｘ１３０４，ｙ１３０４）を算出することができ、さらに式（２３）（２４）（２５）を用いて、対応する被写体上の点Ｐ１３の３次元座標を算出することができる。ただし、式（２３）（２４）（２５）は、ｚ方向のずれｔｚがゼロの場合に成立する。

続いて、ｚ方向のずれｔｚがゼロではない場合について説明する。図１４は、ステレオカメラシステム１を構成する１台の撮像装置２００ｂの位置（ｚ方向における位置）が基線（ｘ軸）からずれている状態を示す図である。すなわち、図１４は、ずれｔｚがゼロでない場合のステレオカメラシステムを示す。図１４に示すように、画像４０２ａ上の特徴点ｐ１４０３ａのｘ座標がｄｘ１であり、画像４０２ｂ上の特徴点ｐ１４０３ｂのｘ座標がｄｘ２であり、ｘ方向の視差がｄｘ＝ｄｘ１−ｄｘ２であるとき、特徴点ｐ１４０３ａ、ｐ１４０３ｂに対応する被写体上の点Ｐ１４０３の３次元座標（Ｘ１４０１，Ｙ１４０１，Ｚ１４０１）は、

と表される。

ここで、上述した方法と同じように、外部パラメータ算出部３０５は、基準とする撮像装置２００ａで撮像した画像４０２ａ上における第二特徴点の位置を示す座標と、撮像装置２００ｂで撮像した画像上における同じ第二特徴点の座標をレクティフィケーションした座標とから、被写体上の点の３次元座標を算出する。そして、外部パラメータ算出部３０５は、算出した３次元座標から計測した被写体上の２点間の距離Ｄ_{ｓｔｅｒｅｏ}と、当該２点間の実際の距離Ｄ_ｒｅａｌ（既知）との差を最小化する外部パラメータを算出する。このとき、外部パラメータ算出部３０５は、複数の組の第二特徴点から計測される各距離Ｄ_{ｓｔｅｒｅｏ}と実際の距離Ｄ_ｒｅａｌとの差をそれぞれ算出し、これらの差が最小になるように外部パラメータを算出することによって、精度の高い外部パラメータを算出することができる。

以上、外部パラメータの算出方法について説明したが、式（２３）（２４）（２５）、（３６）（３７）（３８）に示すように、３次元座標を算出する式には、ｙ方向の基線長ｔｙが含まれない。しかしながら、ｔｘ、ｔｙ、ｔｚ、θｘ、θｙ、θｚは互いに影響するため、外部パラメータを正しく算出するためには、ｔｙも含めて最適化する必要がある。

そこで、外部パラメータ算出部３０５は、ｘ方向の視差（第１の視差）に基づく評価値（計測誤差）だけでなく、ｙ方向の視差（第２の視差）に基づく評価値も最小化するように、外部パラメータを算出する。具体的には、図１１において、ｙ方向の視差がｄｙであるとき、特徴点（ｄｘ１、ｄｙ１）に対応する被写体上の３次元座標（Ｘ１１０２，Ｙ１１０２，Ｚ１１０２）は、

と表される。外部パラメータ算出部３０５は、視差ｄｘを用いて被写体上の２点の３次元座標を算出し、当該２点間の距離を計測して、実際の距離との差（第１の評価値）を算出する（第１評価ステップ）と共に、式（３９）（４０）（４１）および視差ｄｙを用いて被写体上の２点の３次元座標を算出し、当該２点間の距離を計測して、実際の距離との差（第２の評価値）を算出し（第２評価ステップ）、それぞれの評価値を最小化するように外部パラメータを算出する（校正ステップ）ことにより、すべての外部パラメータを最適化することができる。

ここで、ｘ方向の視差ｄｘを用いて計測した被写体上の２点間の距離をＤ_{ｓｔｅｒｅｏ＿ｘ}、ｙ方向の視差ｄｙを用いて計測した被写体上の２点間の距離をＤ_{ｓｔｅｒｅｏ＿ｙ}とすれば、実際の距離Ｄ_ｒｅａｌとの差Δ_Ｄは、下記式（４２）または（４３）のように表される。外部パラメータ算出部３０５は、この差Δ_Ｄを最小化するように外部パラメータを算出すればよい。差Δ_Ｄを最小化する外部パラメータの算出には、例えば、ニュートン法のような既知の最適化アルゴリズムを用いることができる。

以上のように、本実施形態の構成によれば、ｘ方向の視差（第１の視差）ｄｘおよびｙ方向の視差（第２の視差）ｄｙを考慮して算出した被写体（例えば、校正器２０１）上の２点間の距離と、実際の距離との差を評価することで、すべての外部パラメータを最適化することができる。これにより、より精度よく外部パラメータを算出することができる。

（変形例１）
なお、一変形例では、外部パラメータ算出部３０５は、前述した歪み係数ｋ_ｉの算出結果に基づいて、画像中から選択する第二特徴点の位置を限定してもよい。これにより、外部パラメータの算出精度をさらに向上させることができる。前述のように、歪み係数算出時、内部パラメータ算出部３０３は、理想座標を歪ませた歪み座標（ｘ_ｄｉｓ，ｙ_ｄｉｓ）と、実際の特徴点の座標との差を評価している。したがって、各特徴点の座標についての歪み補正の精度が既知であり、外部パラメータ算出部３０５は、歪み補正の精度が不十分である特徴点、およびその特徴点の周辺の特徴点を含む領域を除いた領域（特定画像領域）から、特徴点を抽出する（画像領域抽出ステップ）。これにより、歪み補正精度の高い特徴点のみを用いて外部パラメータの最適化を行うことができるので、外部パラメータを高精度に算出することができる。上述した外部パラメータの最適化のために用いる式は、ピンホールカメラモデルを想定した式であるから、歪み補正の精度が高くなる第二特徴点、すなわち、ピンホールカメラモデルを適用可能な第二特徴点のみを用いて、被写体上の２点間の距離を計測し、実際の距離と比較することができ好適である。また、計測した被写体上の２点間の距離と、実際の距離との差が大きい第二特徴点の組み合わせを評価対象から除外することによって、外部パラメータの精度をさらに向上させることができる。

（変形例２）
本実施形態では、内部パラメータと外部パラメータを独立に算出する方法で説明した。しかし、ｘ方向の視差ｄｘとｙ方向の視差ｄｙを考慮してカメラパラメータを算出する方法は、内部パラメータと外部パラメータとを同時に算出する方法にも適用可能である。内部パラメータと外部パラメータとを同時に算出する場合におけるカメラパラメータ算出方法の一例を以下で説明する。

図１５は、本変形例に係るカメラパラメータ算出方法のフローチャートである。図１５に示すカメラパラメータ算出方法では、まず、画像取得部３０１は、ステレオカメラ（撮像装置２００ａおよび２００ｂ）によって、各特徴点の相対的な位置関係が既知の校正器２０１を撮像した画像（入力画像）を取得する（Ｓ１５０１）。次に、特徴点抽出部３０２は、校正器２０１が撮像された入力画像から、特徴点の座標を抽出する（Ｓ１５０２）。

次に、内部パラメータ算出部３０３および外部パラメータ算出部３０５は、算出された特徴点の座標に基づいて、ｘ方向の視差（第１の視差）およびｙ方向の視差（第２の視差）を算出する。そして、内部パラメータ算出部３０３および外部パラメータ算出部３０５は、ｘ方向の視差を用いて計測した校正器２０１上の２点間の距離と、当該２点間の実際の距離との差、および、ｙ方向の視差を用いて計測した校正器２０１上の２点間の距離と、当該２点間の実際の距離との差をともに最小化することによって、内部パラメータと外部パラメータとを同時に最適化する（Ｓ１５０３）。ただし、内部パラメータおよび外部パラメータをより正確に算出する場合、前述のように、内部パラメータと外部パラメータとを独立に算出するべきである。これにより、内部パラメータと外部パラメータとの間の相互の影響を低減することができるからである。

以上説明したように、ステレオ計測による計測距離と実際の距離との差を最小化するカメラ校正方法では、ｘ方向の視差とｙ方向の視差をともに考慮してカメラパラメータを最適化することによって、すべてのカメラパラメータを精度よく算出することができる。また、内部パラメータと外部パラメータとを独立に算出することで、内部パラメータに起因する誤差と外部パラメータに起因する誤差とが相互に影響することを防止しつつ、それぞれのパラメータを精度よく算出することができる。また、歪み補正の結果に基づいて、ピンホールカメラモデルを適用可能な特徴点のみを用いてカメラパラメータを算出することによって、カメラパラメータの算出精度を向上させることができる。

〔第２の実施形態〕
本発明の他の実施形態について、図１６、１７、１８を参照して説明する。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

前記実施形態１に係るステレオカメラシステム１（図３参照）において、２台の撮像装置２００ａ、２００ｂ間のｙ方向の基線長ｔｙが小さい場合、ｙ方向の視差ｄｙがゼロに近い値となる。そのため、基線長ｔｙおよび視差ｄｙが小さい場合において、視差ｄｙに誤差が含まれる場合、前記実施形態１で説明した式（３９）で算出される特徴点Ｑのｚ座標Ｚ１１０２の値に大きく影響する。

式（３９）において、基線長ｔｙおよび視差ｄｙが小さい場合、例えば、ｔｚ＝０、ｆ＝５０００、ｄｙ＝１、ｔｙ＝１、ｄｙ＝１である場合、Ｚ１１０２＝５０００となる。この場合、ｄｙに１を加算して、ｄｙ＝２とした場合、Ｚ１１０２＝２５００となり、Ｚ１１０２の値が大きく変化する。一方、基線長ｔｙおよび視差ｄｙが大きい場合、例えば、ｔｙ＝１００、ｄｙ＝１００の場合、Ｚ１１０２＝５０００となる。この場合、ｄｙに１を加算して、ｄｙ＝１０１とした場合、Ｚ１１０２≒４９５０となり、Ｚ１１０２の値はあまり変化しない。

そこで、本実施形態では、基線長ｔｙおよび視差ｄｙが小さい場合、外部パラメータ算出部３０５は、基線長ｔｙおよび視差ｄｙを増大させるために、ｙ軸をｙ’軸に座標変換する（座標変換ステップ）。

図１６は、ステレオカメラシステム１を構成する一つの撮像装置２００ａで撮像した画像４０２ａにおいて基準とする点ｐ１６と、他の撮像装置２００ｂで撮像した画像４０２ｂにおける対応する点ｑ１６とを示す。ｄｘおよびｄｙは、点ｐ１６と点ｑ１６との間のｘ方向、ｙ方向それぞれにおける視差である。図１６に示すように、基線長ｔｙが小さい場合、外部パラメータ算出部３０５は、座標変換後の点ｐ１６、ｑ１６の座標を算出することによって、座標変換後の視差を拡大する。

図１７は、図１６に示すｘｙ座標系内の画像４０２ａ、４０２ｂを、ｘｙ平面内で４５度回転したｘ’ｙ’座標系内の画像４０２ａ’、４０２ｂ’に座標変換した図である。図１６に示す点ｐ１６および点ｑ１６の位置を示す座標は、座標変換によって、それぞれ、点ｐ１７(ｘ１７０１，ｙ１７０１)と点ｑ１７(ｘ１７０２，ｙ１７０２)に変化する。回転角度をθとすると、

となる。

図１７に示すように、座標変換後のｙ’方向の視差ｄｙ’（第２の視差）は、図１６に示す視差ｄｙに比べて十分大きくなる。式（３９）（４０）（４１）に、視差ｄｙの代わりに、視差ｄｙ’を代入することによって、特徴点に対応する被写体上の３次元座標（Ｘ１１０２’，Ｙ１１０２’，Ｚ１１０２’）を算出すると、

となる。なお、式（４８）（４９）（５０）において、ｄｘ’、ｄｙ’は、それぞれｘ’方向、ｙ’方向の視差を表し、ｄｘ１’、ｄｙ１’はそれぞれ、ｘ’ｙ’座標系における特徴点のｘ座標、ｙ座標を表し、ｔｙ’はｙ’方向の基線長を表す。

図１８（Ａ）は、ステレオカメラシステム１を構成する１台の撮像装置２００ｂのｙ方向における位置がずれており（ｔｙ≠０）、２台の撮像装置２００ａ、２００ｂの間にｙ方向の視差が存在する状態を示す図である。ｔｘはｘ方向の基線長を表し、ｔｙはｙ方向の基線長を表す。

図１８（Ｂ）は、図１８（Ａ）に示すｘｙ座標系をｘｙ平面内で４５度回転した後のｘ’ｙ’座標系における２台の撮像装置２００ａ、２００ｂ間の基線長ｔｘ’、ｔｙ’を示している。図１７および図１８（Ｂ）に示すように、座標変換（ｘｙ軸の回転）によって、ｘ方向がｘ’方向に、ｙ方向がｙ’方向にそれぞれ回転するとともに、基線長ｔｘ、ｔｙも視差ｄｘ’、ｄｙ’も同じように変化するため、座標変換後の基線長ｔｘ’、ｔｙ’は、座標変換前の基線長ｔｘ、ｔｙから計算することができる。

外部パラメータ算出部３０５は、座標変換後に、特徴点に対応する被写体上の３次元座標を算出する。これにより、視差ｄｙ’が視差ｄｙに比べて十分に大きくなるので、視差ｄｙ’に含まれる誤差が、被写体上の３次元座標の算出結果におけるｚ座標に与える影響が小さくなり、より高い信頼度で、特徴点に対応する被写体上の３次元座標を算出することができる。したがって、ｘ’方向、ｙ’方向ともに、精度の高い外部パラメータを算出することができる。

なお、座標の回転角度は、４５度でなくてもよく、基線長ｔｘ、ｔｙに基づいて、最適な角度に設定すればよい。例えば、回転角度θを、

とすると、座標変換後のｘ’方向の視差ｄｘ’とｙ’方向の視差ｄｙ’とが同程度の大きさとなり好適である。なお、式（５１）のｍａｘ（｜ｔｘ｜，｜ｔｙ｜）は、基線長ｔｘの絶対値と基線長ｔｙの絶対値とのうち、大きい方を意味する。また、式（５１）のｍｉｎ（｜ｔｘ｜，｜ｔｙ｜）は、基線長ｔｘおよび基線長ｔｙのうち、小さい方を意味する。

また、図１７に示す例では、ｙ方向の基線長ｔｙは、座標変換によって長くなる一方、ｘ方向の基線長ｔｘは、座標変換によって短くなる。そのため、座標変換後のｘ´方向の視差ｄｘ’の誤差が被写体上の３次元座標の算出結果に与える影響は、座標変換前よりも大きくなる。そこで、外部パラメータ算出部３０５は、基線長ｔｘの長いｘ方向に関して座標変換せずに、被写体上の３次元座標を算出してもよい。これにより、ｘ方向の視差ｄｘの誤差が被写体上の点のｘ座標に与える影響が座標変換によって大きくなることを防止しつつ、ｙ方向の視差ｄｙの誤差が被写体上の点のｙ座標に与える影響を、座標変換によって小さくすることができ好適である。

以上説明したように、本実施形態では、ｙ方向の基線長ｔｙが短い場合、外部パラメータ算出部３０５は、短い基線長ｔｙが長くなり、かつ視差ｄｙが拡大するように、座標変換を行う。そして、座標変換後に、画像に基づいて計測される被写体上の距離Ｄ_{ｓｔｅｒｅｏ}と、実際の距離Ｄ_ｒｅａｌとの差Δ_Ｄを最小化する外部パラメータを算出する。これにより、視差ｄｘ、ｄｙに誤差が含まれる場合であっても、その誤差が被写体上の３次元座標の算出結果に与える影響を低減することができる。したがって、すべての外部パラメータを精度よく算出することができる。

〔第３の実施形態〕
本発明の他の実施形態について説明する。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

前記実施形態２で説明したように、ｙ方向の基線長ｔｙが短く、視差ｄｙが小さい場合、視差ｄｙの誤差は、被写体上の３次元座標の算出結果に大きな影響を与える。

そこで、本実施形態では、基線長ｔｙの短いｙ方向に関する視差ｄｙを評価値とし、外部パラメータ算出部３０５は、視差ｄｙの誤差を評価値として評価する（第２評価ステップ）。これにより、視差ｄｙの誤差が被写体上の３次元座標の算出結果に大きな影響を与えることを抑制することができる。

式（３６）を用いて、ｘ方向の視差を用いて特徴点に対応する被写体上の点のｚ座標Ｚ１４０１を算出し、算出したＺ１４０１から、ｙ方向の視差ｄｙの推定値を算出する。視差ｄｙは、

で表される。外部パラメータが正しい場合、式（３６）、（５２）から算出した視差ｄｙの推定値と、画像から算出した視差ｄｙとは等しい。そこで、本実施形態では、外部パラメータ算出部３０５は、第１の視差を用いて式（３６）（３７）（３８）から算出した被写体上の３次元座標に基づいて計測した被写体上の２点間の距離と、被写体上の２点間の実際の距離との差（第１の評価値）、および第１の視差を用いて式（３６）から算出した被写体上の３次元座標に基づいて式（５２）から算出した視差ｄｙの推定値と、画像から算出したｙ方向の視差ｄｙとの差（第２の評価値）を最小化するように、外部パラメータｔｙを算出する。例えば、評価値Δは、定数ｋ、ｘ方向の視差を用いて計測した被写体上の２点間の距離の誤差Δ_ｄ、およびｙ方向の視差ｄｙの誤差Δ_{ｄｉｓｐａｒｉｔｙ＿ｙ}を用いて、

で表される。ここで、定数ｋは、ｘ方向の視差を用いて計測した被写体上の２点間の距離の誤差Δ_ｄの重み（大きさ）と、ｙ方向の視差ｄｙの誤差Δ_{ｄｉｓｐａｒｉｔｙ＿ｙ}の重み（大きさ）との差が小さくなるよう設定すればよい。

以上説明したように、本実施形態では、ｘ方向の基線長ｔｘが長く、ｙ方向の基線長ｔｙが短い場合、外部パラメータ算出部３０５は、ｘ方向の視差ｄｘに基づいて第二特徴点に対応する被写体上の点のｚ座標を算出し、算出したｚ座標から想定されるｙ方向の視差ｄｙを算出する。そして、算出したｙ方向の視差と、レクティフィケーション後のステレオ画像上でのｙ方向の視差との差、および、ｘ方向の視差に基づく計測距離と実際の距離との差を最小化するように外部パラメータを算出する。これにより、すべての外部パラメータを精度よく算出することができる。

なお、上述したカメラ校正をコンピュータで実現するようにしても良い。その場合、上述したカメラ校正を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。ここでいう「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、上述した実施形態におけるカメラ校正の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。カメラ校正の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

〔ソフトウェアによる実現例〕
ステレオカメラシステム１の制御装置３００（特に外部パラメータ算出部３０５）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、ステレオカメラシステム１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係るカメラ校正方法は、ステレオカメラで被写体を撮像したステレオ画像から前記ステレオカメラのカメラパラメータを算出するカメラ校正方法であって、
前記ステレオカメラの第１の方向における前記ステレオ画像間の視差である第１の視差に基づき算出される前記ステレオ画像上の２点に対応する前記被写体上の２点間の距離と、前記被写体上の２点間の実際の距離との差である第１の評価値を算出する第１評価ステップと、
前記第１の方向とは異なる第２の方向における前記ステレオ画像間の視差である第２の視差に基づく第２の評価値を算出する第２評価ステップと、
前記第１の評価値、および前記第２の評価値を最小化するように、前記カメラパラメータを算出する校正ステップと、を備える。

上記の構成によれば、ステレオカメラのカメラパラメータを算出する際に、第１の方向における視差に基づく距離の第１の評価値に加えて、（第１の方向とは異なる）第２の方向における視差に基づく第２の評価値も考慮される。そのため、単一の方向における視差に基づく評価値のみに基づいてカメラパラメータを算出するカメラ校正方法と比較して、カメラパラメータをより精度よく算出することができる。

本発明の態様２に係るカメラ校正方法は、上記態様１において、前記第２評価ステップは、前記第２の視差に基づき算出される前記画像上の２点に対応する前記被写体上の２点間の距離と、前記被写体上の２点間の実際の距離との差を、前記第２の評価値として算出してもよい。

上記の構成によれば、第１の視差に基づいて算出される２点間の距離と２点間の実際の距離との差である第１の評価値、および、第２の視差に基づいて算出される２点間の距離と２点間の実際の距離との差である第２の評価値を最小化するように、カメラパラメータが算出される。それゆえ、単一の方向における視差計測のみに基づいてカメラパラメータを算出するカメラ校正方法と比較して、カメラパラメータをより精度よく算出することができる。

本発明の態様３に係るカメラ校正方法は、上記態様１において、前記第２評価ステップは、前記第２の視差と、前記第１の視差に基づき算出される前記第２の視差の推定値との差を、前記第２の評価値として算出してもよい。

上記の構成によれば、第１の視差に基づいて算出される２点間の距離と２点間の実際の距離との差である第１の評価値、および、第２の視差と、第１の視差に基づいて算出される第２の視差の推定値との差を最小化するように、カメラパラメータが算出される。それゆえ、第２の視差が小さい場合であっても、カメラパラメータをより精度よく算出することができる。

本発明の態様４に係るカメラ校正方法は、上記態様１〜３において、前記第１の視差および前記第２の視差のうち、小さい方の視差を増大させるように座標変換する座標変換ステップを備え、前記座標変換ステップで座標変換した前記ステレオ画像からカメラパラメータを算出してもよい。

上記の構成によれば、例えば、第１の方向および第２の方向の少なくとも一方を回転することによって、第１の視差および第２の視差のうち小さい方の視差が増大する。視差に基づく距離の計測方法では、通常、視差が大きいほど、視差の揺らぎ（誤差）が距離の計測結果に与える影響が小さくなる。そのため、上記の構成によれば、カメラパラメータをより精度よく算出することができる。

本発明の態様５に係るカメラ校正方法は、上記態様１〜４において、前記カメラパラメータは、前記ステレオカメラの外部パラメータあってよい。

上記の構成によれば、外部パラメータを算出することによって、カメラシステムによる距離の計測精度を向上させることができる。

本発明の態様６に係るカメラ校正方法は、上記態様１〜５において、前記ステレオ画像から、前記ステレオカメラのレンズ歪みが少ない特定画像領域を抽出する画像領域抽出ステップを備え、前記第１の視差および前記第２の視差は、前記画像領域抽出ステップで抽出した前記特定画像領域内の視差であってよい。

上記の構成によれば、第１の視差および第２の視差は、レンズの収差に基づく歪みのない画像領域内の視差である。そのため、画像の歪みを考慮せずに、第１の視差および第２の視差に基づいて、２点間の距離およびその計測誤差を算出することができる。

本発明の各態様に係るカメラ校正方法をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

〔本発明の別の側面〕
本発明の一様態は、ステレオ画像を撮像したステレオカメラの基線長が長い方向の視差に基づく３次元座標から前記ステレオ画像内の２点間距離を算出した計測距離と、前記２点間の実際の距離との差を最小化するとともに、基線長の短い方向の視差に基づく評価値を最小化するカメラパラメータを算出することを特徴とする。

本発明の他の様態は、前記基線長が短い方向の視差に基づく評価値は、前記基線長が短い方向の視差に基づく３次元座標から前記被写体の距離を算出した計測距離と、前記既知の距離との差であることを特徴とする。

本発明の他の様態は、前記基線長が短い方向の視差が大きくなるよう座標変換し、前記基線長が長い方向の座標変換後の視差に基づく３次元座標から前記被写体の距離を算出した計測距離と、前記既知の距離との差を最小化するとともに、前記基線長が短い方向の座標変換後の視差に基づく３次元座標から前記被写体の距離を算出した計測距離と、前記既知の距離との差を最小化するカメラパラメータを算出することを特徴とする。

本発明の他の様態は、前記基線長が短い方向の視差に基づく評価値は、前記基線長が長い方向の視差に基づいて算出した３次元座標に基づいて算出される前記基線長が短い方向の視差と、前記ステレオ画像から算出した前記基線長が短い方向の視差との差であることを特徴とする。

本発明の他の様態は、内部パラメータを独立に算出し、ステレオ画像を撮像したステレオカメラの基線長が長い方向の視差に基づく３次元座標から前記ステレオ画像内の２点間距離を算出した計測距離と、前記２点間の実際の距離との差を最小化するとともに、基線長の短い方向の視差に基づく評価値を最小化する外部パラメータを算出することを特徴とする。

本発明の他の様態は、内部パラメータを独立に算出し、前記基線長が短い方向の視差に基づく評価値は、前記基線長が短い方向の視差に基づく３次元座標から前記被写体の距離を算出した計測距離と、前記既知の距離との差であることを特徴とする。

本発明の他の様態は、内部パラメータを独立に算出し、前記基線長が短い方向の視差が大きくなるよう座標変換し、前記基線長が長い方向の座標変換後の視差に基づく３次元座標から前記被写体の距離を算出した計測距離と、前記既知の距離との差を最小化するとともに、前記基線長が短い方向の座標変換後の視差に基づく３次元座標から前記被写体の距離を算出した計測距離と、前記既知の距離との差を最小化するカメラパラメータを算出することを特徴とする。

本発明の他の様態は、内部パラメータを独立に算出し、前記基線長が短い方向の視差に基づく評価値は、前記基線長が長い方向の視差に基づいて算出した３次元座標に基づいて算出される前記基線長が短い方向の視差と、前記ステレオ画像から算出した前記基線長が短い方向の視差との差であることを特徴とする。

本発明の他の様態は、内部パラメータを独立に算出し、前記内部パラメータ算出時の歪み補正結果に基づき特徴点選択領域を限定し、前記特徴点選択領域内から選択した特徴点座標に基づいて他のパラメータを算出することを特徴とする。

本発明は、カメラパラメータの校正に利用することができる。

１ ステレオカメラシステム（カメラシステム）
２００ａ、２００ｂ 撮像装置（カメラ）
２０１ 校正器（被写体）

Claims (6)

1. ステレオカメラで被写体を撮像したステレオ画像から前記ステレオカメラのカメラパラメータを算出するカメラ校正方法であって、
   前記ステレオカメラの第１の方向における前記ステレオ画像間の視差である第１の視差に基づき算出される前記ステレオ画像上の２点に対応する前記被写体上の２点間の距離と、前記被写体上の２点間の実際の距離との差である第１の評価値を算出する第１評価ステップと、
   前記第１の方向とは異なる第２の方向における前記ステレオ画像間の視差である第２の視差に基づく第２の評価値を算出する第２評価ステップと、
   前記第１の評価値、および前記第２の評価値を最小化するように、前記カメラパラメータを算出する校正ステップと、を備えることを特徴とするカメラ校正方法。
2. 前記第２評価ステップは、前記第２の視差に基づき算出される前記画像上の２点に対応する前記被写体上の２点間の距離と、前記被写体上の２点間の実際の距離との差を、前記第２の評価値として算出することを特徴とする請求項１に記載のカメラ校正方法。
3. 前記第２評価ステップは、前記第２の視差と、前記第１の視差に基づき算出される前記第２の視差の推定値との差を、前記第２の評価値として算出することを特徴とする請求項１に記載のカメラ校正方法。
4. 前記第１の視差および前記第２の視差のうち、小さい方の視差を増大させるように座標変換する座標変換ステップを備え、
   前記座標変換ステップで座標変換した前記ステレオ画像からカメラパラメータを算出すること特徴とする請求項１から３の何れか一項に記載のカメラ校正方法。
5. 前記カメラパラメータは、前記ステレオカメラの外部パラメータであることを特徴とする請求項１から４の何れか一項に記載のカメラ校正方法。
6. 前記ステレオ画像から、前記ステレオカメラのレンズ歪みが少ない特定画像領域を抽出する画像領域抽出ステップを備え、
   前記第１の視差および前記第２の視差は、前記画像領域抽出ステップで抽出した前記特定画像領域内の視差であることを特徴とする請求項１から５の何れか一項に記載のカメラ校正方法。

Images