JP2007192832A - 魚眼カメラの校正方法。 - Google Patents

Abstract

【課題】一対の球面画像を利用して被写体までの距離を容易に算出することができる距離算出装置、距離算出方法、構造解析装置、及び構造解析方法に対して好適に適用できる魚眼カメラの校正方法を提供する。
【解決手段】 魚眼レンズ特性を有する魚眼カメラ１２ｒの校正方法では、校正部材を被写体として撮像し、校正部材の被写体像を基に内部パラメータの初期値を算出し、その初期値を基に被写体像の球面画像を形成し、世界座標系での校正部材上の物点と球面画像上の像点との間に成立する変換式群を元に外部パラメータの初期値を算出し、変換式群に基づいた第１の目的関数を元に内部及び外部パラメータの第１推定値を算出し、被写体像の像点と、内部及び外部パラメータの第１推定値を基に算出される上記物点の画像平面への投影点との間の二乗距離の合計を示す第２の目的関数を最小化することによって、内部及び外部パラメータの校正用の値を算出する。
【選択図】図１

Description

本発明は、魚眼カメラの校正方法に関するものであり、特に、移動ロボット等に好適に利用される距離算出装置、距離算出方法、構造解析装置及び構造解析方法に対して好適に適用できる魚眼カメラの校正方法に関するものである。

移動ロボットや車両等の移動体をナビゲーションするためには、移動体周囲の詳細な３次元情報が必要である。この３次元情報を得るため、一対のカメラによって取得されたステレオ画像が利用されている（非特許文献１参照）。より具体的には、ピンホールカメラモデルに基づいてステレオ画像を構成する一対の画像の対応点間の視差を算出し、その視差を利用して移動体と周囲の情景内の構造物までの距離を算出する。
R. Yang and M. Pollefeys , "Multi-Resolution Real-Time Stereo onCommodity Graphics Hardware," 2003 Conference on Computer Vision and PatternRecognition (CVPR ’03) ,Volume 1, pp211-217, ,2003

ところで、近年、周囲の視覚監視には、より広い（例えば、半球以上の）視野を持つ魚眼レンズを利用した視覚センサーが用いられてきている。このような視覚センサーでは、魚眼レンズを利用して被写体像を取得しているため、半球以上の視野内の情景が一度に取得される。そして、魚眼レンズによって取得された被写体像を画像空間での球面上に投影することで球面画像を形成することができる。

しかしながら、ステレオ画像から距離を算出する従来の手法は、前述したようにピンホールカメラモデルに基づいたものであるため、一対の魚眼レンズを利用して取得された一対の球面画像を利用して距離を求めることは困難であった。

そこで、本発明は、一対の球面画像を利用して被写体までの距離を容易に算出することができる距離算出装置、距離算出方法、構造解析装置、及び構造解析方法に対して好適に適用できる魚眼カメラの校正方法を提供することを目的とする。

本発明に係る魚眼カメラの校正方法は、魚眼レンズ特性を有する魚眼カメラの校正方法であって、魚眼カメラにより校正部材を被写体として撮像する撮像工程と、撮像された校正部材の被写体像を基に内部パラメータの初期値を算出する第１の初期値算出工程と、算出された内部パラメータの初期値を基に、魚眼カメラの画像平面での被写体像上の各像点の座標を極座標変換することで、魚眼カメラのカメラ座標系で表される被写体像の球面画像を形成する球面画像形成工程と、世界座標系における校正部材上の各物点と各物点に対応する球面画像上の像点との間で内部パラメータ及び魚眼カメラの外部パラメータを含んで表される変換式群において、内部パラメータの初期値を変換式群に代入して線形推定することによって外部パラメータの初期値を算出する第２の初期値算出工程と、変換式群を基に決定される第１の目的関数に、外部パラメータの初期値を代入して第１の目的関数を最小化することによって外部パラメータの第１推定値を算出すると共に、算出された外部パラメータの推定値を第１の目的関数に代入して最小化することによって内部パラメータの第１推定値を算出する推定値算出工程と、画像平面における被写体像の像点と、物点の画像平面への投影点との間の二乗距離の合計を示す第２の目的関数に、内部パラメータ及び外部パラメータの第１推定値を代入し、最小化することによって、内部パラメータ及び外部パラメータの校正用の値としての校正用パラメータ値を算出するカメラパラメータ算出工程と、を備え、内部パラメータは、画像平面の原点と、被写体像の視界領域のアスペクト比と、被写体像上の像点の原点に対する放射歪みを表す放射歪みパラメータとを含んでおり、放射歪みパラメータは、魚眼カメラの射影方式を示す式としての射影方程式を入射角を中心にテーラー展開した場合の各項の係数であり、第１の初期値算出工程では、楕円を示す式で校正部材の被写体像をフィッティングすることで、楕円の中心を原点の初期値とし、楕円のアスペクト比を視界領域のアスペクト比の初期値とし、テーラー展開された射影方程式を基に放射歪みパラメータの初期値を算出することを特徴とする。

上記校正方法によれば、放射歪みを含めて内部パラメータや外部パラメータが校正されているので、放射歪みを有する撮像画像に対してもより正確な球面画像が形成され、被写体までのより正確な距離が算出される。そのため、球面画像を利用して被写体までの距離を算出する距離算出装置および構造解析装置に対して好適に適用することができる。

また、上記作用を好適に奏する射影方程式および第１の初期値算出工程は、具体的には、以下の方式が挙げられる。すなわち、魚眼カメラにおいて射影方式に基づいた画像平面における像点と原点との距離をｒとし、入射角をθとし、Ｎを０以上の整数としたとき、テーラー展開された射影方程式は、

により表され、式（１）における各項の係数としてのｋ_２ｊ＋１が放射歪みパラメータであり、第１の初期値算出工程では、楕円を示す式を、

として式（２）で被写体像をフィッティングして得られる（ｘ_０，ｙ_０）を原点の初期値とし、ｄ／ｃを視界領域のアスペクト比の初期値とし、魚眼カメラの最大視野角θ_ｍａｘの半分を入射角θとした場合に成立する

を基に取得される式（３）における各項の係数をそれぞれ放射歪みパラメータの初期値とする。

また、上記作用を好適に奏する変換式群および第１の目的関数としては、具体的には、以下の式が挙げられる。すなわち、 外部パラメータは、世界座標系をカメラ座標系に変換するための回転行列Ｒ及び並進ベクトルＴを含んでおり、回転行列Rを［ｒ_１，ｒ_２，ｒ_３］とし、並進ベクトルＴを［ｔ_ｘ，ｔ_ｙ，ｔ_ｚ］とし、世界座標系における校正部材上の各物点の位置ベクトルをＭ_ｗｉとし、各物点に対応しており内部パラメータを利用して表される球面画像上の像点の位置ベクトルｍ_ｉを［ｕ_ｉ，ｖ_ｉ，ｓ_ｉ］としたとき、変換式群は、

であり、第１の目的関数η２は、

である。

本発明に係る魚眼カメラの校正方法は、内部パラメータが、被写体像の像点の接線歪みを表す接線歪みパラメータを更に含んでおり、第１の初期値算出工程では、接線歪みパラメータを０として、画像平面の原点、視界領域のアスペクト比及び放射歪みパラメータの初期値を算出し、推定値算出工程では、接線歪みパラメータを０とした場合の第１の目的関数を基に内部パラメータ及び外部パラメータの第１推定値を算出し、カメラパラメータ算出工程は、接線歪みパラメータを０とした場合の第２の目的関数を基に内部パラメータのうち原点、アスペクト比及び放射歪みパラメータ並びに外部パラメータの校正用パラメータ値を算出する工程と、接線歪みパラメータを含んでおり、算出された原点、アスペクト比及び放射歪みパラメータ及び外部パラメータの校正用パラメータ値を代入して得られる第２の目的関数を最小化することによって接線パラメータの校正用パラメータ値を算出する工程と、を有することを特徴としてもよい。

上記校正方法によれば、接線歪みも含めて内部パラメータや外部パラメータが校正されているので、接線歪みを有する撮像画像に対しても正確な球面画像が形成され、被写体までのより正確な距離が算出される。そのため、球面画像を利用して被写体までの距離を算出する距離算出装置および構造解析装置に対して好適に適用することができる。

また、上記作用を好適に奏する校正部材としては、具体的には、市松模様のボックスパターンが挙げられる。

本発明の魚眼カメラの校正方法によれば、魚眼カメラの内部パラメータ及び外部パラメータをより正確に求められるので、被写体までの距離をより正確に算出できる。そのため、一対の球面画像を利用して被写体までの距離を容易に算出することができる距離算出装置、距離算出方法、構造解析装置、及び構造解析方法に対して好適に適用することが可能である。

（第１の実施形態）

図１は、本発明に係る構造解析装置の一実施形態を適用したナビゲーションシステムのの構成を示すブロック図である。ナビゲーションシステム１は、車両や移動ロボットなどの移動体に適用される。ナビゲーションシステム１は、移動体周囲の情景（シーン）を被写体として撮影し、撮影によって取得された被写体の画像を利用して被写体の３次元構造を抽出する構造解析装置１００を備える。また、ナビゲーションシステム１は、構造解析装置１００で抽出された被写体の３次元構造を表示する表示部２００と、操作者が各種指示を入力するための入力部３００とを有する。

表示部２００は、例えばディスプレイであって、構造解析装置１００で抽出した被写体の３次元構造を表示して操作者に示す。また、入力部３００は、例えば、表示部２００に設けられたタッチパネルやボタンなどであって、操作者が指示コマンドを入力するためのものである。入力部３００は、入力された指示を構造解析装置１００に入力する。

構造解析装置１００は、車両や移動ロボット等の移動体において周囲の情景を取得できる位置（例えば、自動車等の車両ではボンネット上）に取り付けられているステレオカメラ部１０を有する。ステレオカメラ部１０は、カメラ（第１のカメラ部）１１ｌ及びカメラ（第２のカメラ部）１１ｒを含んで構成されている。

カメラ１１ｌは、魚眼レンズ（第１の魚眼レンズ）１２ｌと、魚眼レンズ１２ｌの結像面（画像平面）に配置されたＣＣＤカメラ（第１の撮像部）１３ｌとを有し、魚眼レンズ１２ｌで結像された像をＣＣＤカメラ１３ｌで撮像する。カメラ１１ｒも同様に、魚眼レンズ（第２の魚眼レンズ）１２ｒと、ＣＣＤカメラ（第２の撮像部）１３ｒとを有し、魚眼レンズ１２ｒで結像された像をＣＣＤカメラ１３ｒで撮像する。カメラ１１ｌ，１１ｒは、魚眼レンズ１２ｌ，１２ｒの光軸が互いに略平行になるように配置されている。魚眼レンズ１２ｌ，１２ｒの画角は例えば約１８５°であり、その射影方式は等距離射影方式である。魚眼レンズ１２ｌ，１２ｒは必ずしも１枚のレンズを意味するものではなく、魚眼レンズ特性を有するレンズ系も含む意味である。

図２（ａ）は、カメラ１１ｌで取得される被写体像（第１の被写体像）２ｌの一例を示す模式図であり、図２（ｂ）は、カメラ１１ｒで取得される被写体像（第２の被写体像）２ｒの一例を示す模式図である。図２に示すように、カメラ１１ｌ，１１ｒは、魚眼レンズ特性を有するので、取得された画像の視野範囲は略円形になる。また、魚眼レンズ１２ｌ，１２ｒを利用していることから、カメラ１１ｌ，１１ｒ周囲のより広い視野内の環境情報を一度に取得できる。

構造解析装置１００は、被写体像２ｌに対応する球面画像（第１の球面画像）及び被写体像２ｒに対応する球面画像（第２の球面画像）を利用して各カメラ１１ｌ，１１ｒから点Ｐまでの距離ρ_ｌ，ρ_ｒを算出する。点Ｐは、被写体のうちカメラ１１ｌ，１１ｒの視野の重なり領域に位置する実空間上の点である。カメラ１１ｌ，１１ｒから点Ｐまでの距離とは、魚眼レンズ１２ｌ，１２ｒの焦点から点Ｐまでの距離の意味であり、図１では模式的に示している。

構造解析装置１００において利用する球面画像について説明する。図３は、球面画像の斜視図である。

図３に示すように、空間に半径ｆを有する球と、球の外側に点Ｐがあるとする。点Ｐと球の中心を結ぶ直線Ｒ１と球面３との交点をｐとしたとき、点ｐを点Ｐの球面３への投影点と呼ぶ。このように球の周りの点から球面３への投影によって得られる画像を球面画像とする。すなわち、球面画像とは焦点が球の中心にある球面３である。この場合、半径ｆは、点Ｐを結像するために用いられるレンズなどの結像手段の焦点距離に相当する。以下、球面３を球面画像３とも表記する。このような球面画像３は、全天周を表示することが可能である。なお、本明細書では、球面射影に従って得られた部分的な球面も球面画像とする。

図３に示すように、球の中心を原点Ｏ_ｃとしたカメラ座標系Ｓ_ｃをとり、点Ｐの球面３への投影線Ｒ１の天頂角をθとし、Ｘ_ｃ軸に対する方位角をφとし、点Ｐのカメラ座標系Ｓ_ｃにおける位置ベクトルＭ_ｃを、

とすると、実空間上の点Ｐの投影点ｐの位置ベクトルｍは、

と表される。ここで、スケールパラメータρを、

とし、λを（ｆ／ρ）とすると、式（６）と式（７）とから、

が成り立つ。これはスケールパラメータρを除けば、ｍとＭ_ｃとは等しいことを意味する。更に、ｆ＝１としたときの球面画像を正規球面画像とも称す。以下では、特に断らない限り、球面画像３は、正規球面画像で表されるものとする。

この球面画像を魚眼レンズによって結像された被写体像から形成する方法について説明する。図４（ａ）は、魚眼レンズの結像特性を示す図であり、図４（ｂ）は、図４（ａ）に示した魚眼レンズの画像平面の平面図である。魚眼レンズの光軸をＺ_ｃ軸とし、魚眼レンズの焦点を通りＺ_ｃ軸に直交する平面をＸ_ｃＹ_ｃ平面とする３次元座標系をカメラ座標系Ｓ_ｃとする。また、魚眼レンズの光軸と画像平面との交点である画像中心を原点としたｘｙ平面を画像座標系とする。画像座標系のｘ軸は、―Ｘ_ｃ軸方向に延びており、ｙ軸は、―Ｙ_ｃ軸方向に延びている。

実空間上の点Ｐは、魚眼レンズによってｘｙ平面上の点ｑ（ｒ，φ）で表される点ｑに投影される。この画像座標系の原点（画像中心）ｏからの距離ｒは、魚眼レンズの射影方式を等距離射影方式とすると、

と表される。ここで、天頂角θは、魚眼レンズに入射する入射光線と魚眼レンズの光軸とのなす角度である。なお、魚眼レンズに入射する入射光線は、図１における投影線Ｒ１に相当する。

式（１０）よりｒが分かれば天頂角θが算出できるので、式（７）に示すように、点ｐの位置ベクトルｍが算出されることになる。本明細書では、平面画像としての被写体像の画素位置としての点ｑ（ｒ，φ）を式（７）を利用して変換することを球面画像に変換すると称す。

ところで、画像平面とカメラ座標系Ｓ_ｃのＸ_ｃＹ_ｃ平面とは、互いに平行であって焦点距離ｆだけ離れている。そのため、球面画像では、画像中心を原点ｏとした３次元座標系としての画像座標系で表した点ｐの座標と、カメラ座標系Ｓ_ｃで表した点ｐの座標とは一致する。よって、以下では、特に断らない限り、焦点を原点としたカメラ座標系Ｓ_ｃで説明する。

図１に示すように、構造解析装置１００は、球面画像及びステレオ法を利用して距離ρ_ｌ，ρ_ｒを算出する解析装置２０を有する。解析装置２０は、例えば、パーソナルコンピュータであり、球面画像形成部２１と、メモリ部２２と、パラメータ算出部２３と、校正部２４と、経緯度画像形成部２５と、対応点探索部２６と、距離算出手段２７と構造解析部２８とを有する。また、解析装置２０は、入力部３００に接続されており、入力部３００によって入力された操作者からの指示に応じて球面画像形成部２１、パラメータ算出部２３、校正部２４、経緯度画像形成部２５、対応点探索部２６、距離算出手段２７及びＣＣＤカメラ１３ｌ，１３ｒを制御する制御部２９を有する。メモリ部２２は、例えば、不揮発性メモリである。

球面画像形成部２１は、メモリ部２２に記憶された第１のテーブルを参照して、被写体像２ｌに対応する球面画像（第１の球面画像）３ｌ、及び、被写体像２ｒに対応する球面画像（第２の球面画像）３ｒを形成する（図８参照）。第１のテーブルには、各被写体像２ｌ，２ｒの画素位置としての点ｑの座標と、球面画像３ｌ，３ｒ上の画素位置としての点ｐの座標との対応関係が登録されている。各球面画像３ｌ，３ｒは、メモリ部２２に記憶されており魚眼レンズ１２ｌ，１２ｒの焦点を原点Ｏ_ｌ，Ｏ_ｒとし各魚眼レンズ１２ｌ，１２ｒの光軸をＺ_ｌ軸、Ｚ_ｒ軸とするカメラ座標系Ｓ_ｌ，Ｓ_ｒで表示される。

メモリ部２２に記録されているカメラ座標系Ｓ_ｌ，Ｓ_ｒの情報としては、カメラ１１ｌ，１１ｒの内部パラメータの一部を構成する焦点距離ｆ及び焦点Ｏ_ｌ，Ｏ_ｒ（又は各魚眼レンズの画像中心）の他、外部パラメータとして、所定の世界座標系Ｓ_ｗに対する各カメラ座標系Ｓ_ｌ，Ｓ_ｒの姿勢を示す回転行列Ｒ_ｌ，Ｒ_ｒ及び並進ベクトルＴ_ｌ，Ｔ_ｒが例示される。カメラ１１ｌ，１１ｒの内部パラメータ及び外部パラメータは、初期値として構造解析装置１００の設計時のものが記録されているが、パラメータ算出部２３によって校正される。

パラメータ算出部２３は、カメラ１１ｌ，１１ｒの内部パラメータ及び外部パラメータを算出した後にメモリ部２２に入力する。これによってメモリ部２２内の内部パラメータ及び外部パラメータが校正されることになる。

パラメータ算出部２３は、例えば、図５に示すようなストライプを含む校正パターン４Ａがカメラ１１ｌ，１１ｒによって撮影されると、魚眼レンズ１２ｌ，１２ｒによって結像された被写体像２ｌ，２ｒに現れる消失点対の交点として魚眼レンズ１２ｌ，１２ｒの焦点を算出し、各被写体像２ｌ，２ｒに現れる一対の消失点間の距離をπで除することで魚眼レンズ１２ｌ，１２ｒの焦点距離ｆを算出する。ここでは、校正パターン４Ａを利用して内部パラメータを算出するとしたが、例えば、被写体に含まれる任意の平行線群の消失点対を利用してもよい。

また、パラメータ算出部２３は、回転行列Ｒ_ｌ，Ｒ_ｒ及び並進ベクトルＴ_ｌ，Ｔ_ｒを次の方法によって算出する。カメラ座標系Ｓ_ｌ，Ｓ_ｒを「カメラ座標系Ｓ_ｃ」と表し、回転行列Ｒ_ｌ，Ｒ_ｒ及び並進ベクトルＴ_ｌ，Ｔ_ｒを「回転行列Ｒ及び並進ベクトルＴ」、カメラ１１ｌ，１１ｒを「カメラ１１」と表して説明する。以下、カメラ１１ｌ，１１ｒをまとめて説明するときには同様とする。

図６に示すように、空間内の一点Ｐに対する世界座標系Ｓ_ｗでの位置ベクトルＭ_ｗを、

とする。

点Ｐに対するカメラ座標系Ｓ_ｃでの位置ベクトルＭ_ｃは、式（６）と同様である。

世界座標系Ｓ_ｗは、ベクトルｒ_１，ｒ_２，ｒ_３を含む回転行列Ｒ＝[ｒ_１，ｒ_２，ｒ_３]と、並進ベクトルＴ＝[ｔ_ｘ，ｔ_ｙ，ｔ_ｚ]とでカメラ座標系Ｓ_ｃに変換できるので、

が成り立つ。そして、式（９）より

となる。ただし、

である。

ここで、カメラ１１が図７に示すような市松模様（又はチェスパターン）を有する校正パターン４Ｂを撮影すると、校正パターン４Ｂ上の格子点（コーナー点）Ｐ（Ｘ_ｗ，Ｙ_ｗ）と、点Ｐの球面画像３上への投影点ｐ（ｕ，ｖ，ｓ）に対して、

が成り立つ。式（１５）では、校正パターン４Ｂを含む平面をＸ_ｗＹ_ｗ平面とし、校正パターン４Ｂに直交する方向をＺ_ｗ軸方向とする世界座標系（所定の世界座標系）Ｓ_ｗを設定している。

従って、空間上の複数の点Ｐ_ｉ（ｉは、任意の整数）に対して、

を得る。

そして、次の目的関数η１

を最小化することで、外部パラメータを算出する。

パラメータ算出部２３は、カメラ１１ｌ，１１ｒによって校正パターン４Ｂが撮像されると、校正パターン４Ｂの画像に含まれる複数の格子点Ｐ_ｉを抽出した後、式（１７）によって外部パラメータの初期値を推定する。その後、式（１８）を利用して微調整を行い、外部パラメータを算出する。なお、球面画像座標、すなわち、ｕ，ｖ，ｓをカメラ１１ｌ，１１ｒの内部パラメータで表していれば、内部パラメータと外部パラメータとを同時に算出することも可能である。

構造解析装置１００は、球面画像形成部２１で形成された球面画像を利用して点Ｐに対応する各球面画像３ｌ，３ｒ上の対応点間の視差を算出し、更にその視差を利用して距離ρ_ｌ，ρ_ｒを算出する。ここで、球面画像３ｌ，３ｒにおける視差について説明する。

図８に示すように、実空間上の点Ｐに対する球面画像３ｌでの対応点（第１の対応点）をｐ_ｌとし、点Ｐに対する球面画像３ｒでの対応点（第２の対応点）をｐ_ｒとする。カメラ座標系Ｓ_ｌ，Ｓ_ｒの原点Ｏ_ｌ，Ｏ_ｒ及び対応点ｐ_ｌ，ｐ_ｒを含むエピポーラ平面５と、球面画像３ｌ，３ｒとの交線がエピポーラ線である。そのため、球面画像３ｌ，３ｒではエピポーラ線は大円となる。従って、点Ｐに対する視差は、エピポーラ線上におけるＸ_ｌ軸から対応点ｐ_ｌまでの円弧Ｃ_ｌ（図中、エピポールｅ_１ｌから点ｐ_ｌまでの円弧）の長さと、エピポーラ線上におけるＸ_ｒ軸から対応点ｐ_ｒまでの円弧Ｃ_ｒ（図中、エピポールｅ_１ｒから点ｐ_ｒまでの円弧）の長さの差と定義する。これは、点ｐ_ｌを第２のカメラ座標系Ｓ_ｒで表した点ｐ_ｍと、点ｐ_ｒとの間の円弧の長さに相当する。

図１に示すように、解析装置２０は、上記視差を利用して距離ρ_ｌ，ρ_ｒを算出するために、校正部２４と、経緯度画像形成部２５と、対応点探索部２６と、距離算出手段２７とを有する。

校正部２４は、球面画像３ｌ，３ｒを校正する。球面画像３ｌ，３ｒの校正とは、図８に示すように、カメラ座標系Ｓ_ｌのＸ_ｌ軸（Ｘ軸）とカメラ座標系Ｓ_ｒのＸ_ｒ軸（Ｘ軸）とが同一直線上であって、カメラ座標系Ｓ_ｌのＺ_ｌ軸とカメラ座標系Ｓ_ｒのＺ_ｒ軸とが平行且つカメラ座標系Ｓ_ｌのＹ_ｌ軸とカメラ座標系Ｓ_ｒのＹ_ｒ軸とが平行になるようにカメラ座標系Ｓ_ｌ及びカメラ座標系Ｓ_ｒを変換し、その変換されたカメラ座標系Ｓ_ｌ，Ｓ_ｒで球面画像３ｌ，３ｒを表すことである。

なお、この校正部２４で校正されたカメラ座標系Ｓ_ｌ，Ｓ_ｒでは、カメラ座標系Ｓ_ｒをＸ_ｒ方向に平行移動させることでカメラ座標系Ｓ_ｒはカメラ座標系Ｓ_ｌに重なることになる。そこで、校正部２４でのカメラ座標系Ｓ_ｌ，Ｓ_ｒの変換をカメラ座標系の平行化とも称す。

ここで、校正部２４でのカメラ座標系Ｓ_ｌ，Ｓ_ｒの変換について説明する。式（１３）より、カメラ座標系Ｓ_ｌ，Ｓ_ｒの焦点（原点）Ｏ_ｌ，Ｏ_ｒの世界座標系Ｓ_ｗでの座標は、次式により算出される。

式（１３）及び式（１９）より、点Ｐの球面画像３ｌ，３ｒへの投影点ｐ_ｌ，ｐ_ｒは、それらの位置ベクトルをｍ_ｌ，ｍ_ｒとすると、

となる。

校正部２４でのカメラ座標系Ｓ_ｌ，Ｓ_ｒの変換では、カメラ座標系Ｓ_ｌ，Ｓ_ｒが互いに平行であってＸ_ｌ軸、Ｘ_ｒ軸が球面画像３ｌ，３ｒの中心（原点Ｏ_ｌ，Ｏ_ｒ）を通るように新しい回転行列Ｒ_ａを決定する。この回転行列Ｒ_ａによって校正後の空間の点Ｐと投影点ｐ_ｌ，ｐ_ｒとの関係は、

と表される。この回転行列Ｒ_ａは次のようにして決定される。回転行列Ｒ_ａを

とする。校正後のＸ_ｌ軸及びＸ_ｒ軸は２つの原点Ｏ_ｌ，Ｏ_ｒを通る直線Ｒ２と平行であることから、次式が成り立つ。

また、Ｙ_ｌ（Ｙ_ｒ）軸がＸ_ｌ（Ｘ_ｒ）軸と直交することから、校正前のカメラ座標系Ｓ_ｌのＺ_ｌ軸の単位ベクトルをｋとしたとき、次式が成り立つ、

更に、ｒ_ａ１〜ｒ_ａ３の間には次式が成り立つ。

式（２３）〜式（２５）によってｒ_ａ１〜ｒ_ａ３が算出され、回転行列Ｒ_ａが決定される。

次に、校正前の球面画像３ｌ（３ｒ）上の点と、校正後の球面画像３ｌ（３ｒ）上の点との対応関係について説明する。

実空間の点Ｐに対応する校正前の球面画像３ｌ上の対応点をｐ_ｌｏとし、校正後の球面画像３ｌ上の対応点をｐ_ｌｎとし、それらの位置ベクトルをｍ_ｌｏ，ｍ_ｌｎとすると、

となる。また、点Ｐと点ｐ_ｌｏとを通る直線の方程式及び点Ｐと点ｐ_ｌｎを通る直線の方程式は、次のように表される。

校正前後において原点位置及び半径は変わらないことから、λｏとλｎは等しい。ここでは、球面画像３ｌについて説明しているが、球面画像３ｒについても同様であり、

が成り立つ。式（２７）及び式（２８）より、

が成り立つ。

校正部２４は、メモリ部２２に記録されている校正前の球面画像３ｌ，３ｒの点ｐの座標を式（２９）で変換することで球面画像３ｌ（３ｒ）を校正する。以下の説明では、校正前後において球面画像３ｌ（３ｒ）を区別する場合には、校正前の球面画像３ｌ（３ｒ）上の点をｐ_ｏ（ｕ_ｏ，ｖ_ｏ，ｓ_ｏ）とし、校正後の球面画像３ｌ（３ｒ）上の点をｐ_ｎ（ｕ_ｎ，ｖ_ｎ，ｓ_ｎ）とも表す。

経緯度画像形成部２５は、図９に示すように、メモリ部２２に記録されている第２のテーブルを参照して被写体像２ｌに対応する経緯度画像（第１の経緯度画像）６ｌ及び被写体像２ｒに対応する経緯度画像（第２の経緯度画像）６ｒを形成する。経緯度画像６ｌ（６ｒ）とは、球面画像３ｌ（３ｒ）を、それらに含まれるエピポールｅ_１ｌ（ｅ_１ｒ）及びエピポールｅ_２ｌ（ｅ_２ｒ）を両極として球面画像３ｌ（３ｒ）での経度及び緯度が直交するように展開した図である。経緯度画像６ｌ（６ｒ）では、図９に示すように、経緯度画像６ｌ（６ｒ）に含まれる複数のエピポーラ線７ｌ（７ｒ）は互いに平行になる。

メモリ部２２に記録されている第２のテーブルには、被写体像２ｌ（２ｒ）の点ｑの座標と、校正された球面画像３ｌ（３ｒ）に対応する経緯度画像の点ｐ_ｎの座標との対応関係が示されている。より具体的に説明する。

図９に示したように、経緯度画像６ｌ（６ｒ）を含む平面をｘ_ｅｙ_ｅ平面とし、経緯度画像６ｌ（６ｒ）に含まれておりエピポーラ線７ｌ（７ｒ）上に位置する点をＬ（ｉ，ｊ）（ｉ＝０，１，・・・Ｍ_０；ｊ＝０，１，・・・Ｎ_０）としたとき、校正された正規球面画像における点Ｌに対応する点ｐ_ｎ（ｕ_ｎ，ｖ_ｎ，ｓ_ｎ）の座標は、

式（３０）では、説明の便宜のため、経緯度画像６ｌ又は経緯度画像６ｒに含まれる点をまとめて点Ｌで表している。以下では、各経緯度画像６ｌに含まれる点Ｌに対応する点ｐの各座標には「ｌ」を付し、各経緯度画像６ｒに含まれる点Ｌに対応する点ｐの各座標には「ｒ」を付して表す。

式（７）、式（１０）、式（２９）、式（３０）等により、経緯度画像の点Ｌ(ｉ，ｊ)と、被写体像２ｌ，２ｒの点ｑ（ｘ，ｙ）とは、

で対応づけられており、第２のテーブルには点ｑの座標と点Ｌの座標との対応関係が示されている。これによって、経緯度画像形成部２５では、校正部２４で校正された球面画像３ｌ（３ｒ）を展開した経緯度画像６ｌ（６ｒ）が形成されることになる。従って、経緯度画像６ｌに含まれるエピポーラ線７ｌと経緯度画像６ｒに含まれるエピポーラ線７ｒとが平行になっている。

なお、経緯度画像形成部２５は、上記第２のテーブルを形成する機能も有し、例えば、構造解析装置２０の組立時に第２のテーブルを作成しメモリ部２２に記録せしめる。

対応点探索部２６は、経緯度画像形成部２５で形成された一対の経緯度画像６ｌ，６ｒに対して相関法を適用することによって対応点ｐ_ｌ，ｐ_ｒを特定する。前述したように、エピポーラ線７ｌとそれに対応するエピポーラ線７ｒとが平行になっていることから、対応点ｐ_ｌ，ｐ_ｒの探索が容易である。

図１に示すように、距離算出手段２７は、視差算出部２７Ａと距離算出部２７Ｂとを有する。視差算出部２７Ａは、２つの球面画像３ｌ，３ｒに含まれる対応点ｐ_ｌ，ｐ_ｒ間の視差を算出する。図１０に示すように、エピポーラ平面５における円弧Ｃ_ｌと円弧Ｃ_ｒとの差が視差ｄである。点ｐ_ｌと原点Ｏ_ｌとを通る直線（投影線）Ｒ１_ｌと原点Ｏ_ｌ，Ｏ_ｒを通る直線Ｒ２とのなす第１の角度をθ_ｌとし、点ｐ_ｒと原点Ｏ_ｒとを通る直線（投影線）Ｒ１_ｒと直線Ｒ２とのなす第２の角度をθ_ｒとして、距離算出手段２７は、

に基づいて視差ｄを算出する。

式（３２）におけるθ_ｌ及びθ_ｒは、対応点ｐ_ｌ，ｐ_ｒの座標をｐ_ｌ（ｕ_ｌ，ｖ_ｌ，ｓ_ｌ）、ｐ_ｒ（ｕ_ｒ，ｖ_ｒ，ｓ_ｒ）としたときに、

である。

また、視差算出部２７Ａは、被写体像２ｌ，２ｒに対して（又は経緯度画像６ｌ，６ｒに対して）視差ｄをマッピングすることで視差図を作成し、視差に応じて濃淡を付けて表示部２００に表示させることも好適である。表示部２００で表示される画像の濃淡でカメラ１１ｌ，１１ｒに対する被写体の配置関係が分かる。

距離算出部２７Ｂは、カメラ１１ｌ，１１ｒから実空間上の点Ｐまでの距離ρ_ｌ，ρ_ｒを視差算出部２７Ａで算出された視差ｄを利用して算出する。距離算出部２７Ｂは、距離ρ_ｌ，ρ_ｒを、

に基づいて算出する。ここで、ｂ_ｓは、カメラ部間距離であり、校正されたカメラ座標系Ｓ_ｌ，Ｓ_ｒの原点Ｏ_ｌ，Ｏ_ｒ間の距離である。

構造解析部２８は、距離算出手段２７によって算出された距離ρ_ｌ，ρ_ｒを利用して情景内の３次元形状を復元する。また、カメラ１１ｌ，１１ｒで取得された被写体像２ｌ，３ｒ（又は球面画像３ｌ，３ｒ）を利用して各点Ｐに対応する対応点ｐ_ｌ，ｐ_ｒでの色情報や領域分割、パターン認識などの画像情報と、復元された３次元形状とにより３次元構造を抽出する。構造解析部２８は、抽出した３次元構造の情報を制御部２９に入力する。

制御部２９は、入力部３００から入力された指示に基づいてＣＣＤカメラ１３ｌ，１３ｒ及び解析装置２０を制御する。

例えば、被写体像２ｌ，２ｒを取得する旨の指示が入力部３００を通して入力されると、制御部２９は、ＣＣＤカメラ１３ｌ，１３ｒを駆動して被写体像２ｌ，２ｒを球面画像形成部２１に入力せしめる。また、制御部２９は、被写体像２ｌ，２ｒの取得を停止する（又はナビゲーションを停止する）旨の指示が入力されると、ＣＣＤカメラ１３ｌ，１３ｒから球面画像形成部２１への被写体像２ｌ，２ｒの画像データの入力を停止せしめる。

更に、制御部２９は、内部パラメータ及び外部パラメータを算出する旨の指示が入力されると、パラメータ算出部２３によって内部パラメータ及び外部パラメータを算出し、メモリ部２２に入力せしめる。また、制御部２９は、球面画像３ｌ，３ｒを校正する旨の指示が入力されると、校正部２４によって球面画像３ｌ，３ｒを校正する。

また、制御部２９は、構造解析部２８で抽出した３次元構造及び距離算出手段２７に基づいて、カメラ１１ｌ，１１ｒの周囲の３次元構造までの距離ρ_ｌ，ρ_ｒが所定の距離よりも短くなれば、ナビゲーションシステム１が搭載される移動体のブレーキなどを作動させる制御信号を移動体の制御装置（不図示）に向けて発信する。制御信号としては、前述のようにブレーキなどを作動させるものでもよいし、アラーム信号を発するものなども有効である。

上述した解析装置２０は、パーソナルコンピュータとしたが、ＣＣＤカメラ１３ｌ，１３ｒから入力される画像データ等を一時記憶するＲＡＭ（Random Access Memory）、上記球面画像形成部２１、パラメータ算出部２３、校正部２４、経緯度画像形成部２５、対応点探索部２６、距離算出手段２７、構造解析部２８及び制御部２９で実施される各処理のためのプログラムやデータが格納されたＲＯＭ（Read Only Memory）、このＲＯＭに格納されたプログラムを実行することにより、ＲＯＭおよびＲＡＭに記憶されたデータに基づいて各種の演算処理を行うＣＰＵ（Central Processing Unit）などのハードウェアを備えていればよい。

次に、図１１及び図１２を利用して上記ナビゲーションシステムの動作について説明する。図１１は、ナビゲーションシステムの動作のフローチャートを示す図である。

先ず、Ｓ１０において、前処理１としてカメラ１１ｌ，１１ｒの内部パラメータ及び外部パラメータを校正する。この内部パラメータ及び外部パラメータの校正方法を、図１２を利用して具体的に説明する。図１２は、内部パラメータ及び外部パラメータの校正方法のフローチャートを示す図である。

先ず、Ｓ１０Ａにおいて、操作者は、図５に示した校正パターン４Ａをカメラ１１ｌ，１１ｒの視野内に配置する。その後、操作者によって入力部３００を介して制御部２９に撮影を指示する指示が入力されると、制御部２９は、ＣＣＤカメラ１３ｌ，１３ｒを制御して、被写体としての校正パターン４Ａの像（すなわち、被写体像）を取得する。

Ｓ１０Ｂにおいて、パラメータ算出部２３は、ＣＣＤカメラ１３ｌ，１３ｒからの画像データを受けると、被写体像２ｌ，２ｒに含まれる消失点対を算出後、それらの消失点から焦点位置（画像中心位置）を算出する。また、一対の消失点間の距離をπで除することによって焦点距離ｆを算出する。パラメータ算出部２３は、算出した焦点距離ｆ及び焦点（画像中心）をメモリ部２２に入力することによって内部パラメータを校正する。

更に、Ｓ１０Ｃにおいて操作者は、Ｓ１０Ａと同様にして図７に示した校正パターン４Ｂをカメラ１１ｌ，１１ｒで撮影する。そして、Ｓ１０Ｄにおいて、球面画像形成部２１は、ＣＣＤカメラ１３ｌ，１３ｒからの画像データを受けると、撮影して取得された被写体像２ｌ，２ｒを球面画像３ｌ，３ｒに変換する。次いで、Ｓ１０Ｅにおいて、パラメータ算出部２３は、式（１６）〜式（１８）によってカメラ１１ｌ，１１ｒの外部パラメータＲ_ｌ，Ｒ_ｒ，Ｔ_ｌ，Ｔ_ｒを算出し、メモリ部２２に入力することによってカメラ１１ｌ，１１ｒの外部パラメータを校正する。

図１１に示すように、Ｓ１０での内部パラメータ及び外部パラメータの算出後、Ｓ１１の処理を実行する。すなわち、前処理２として、カメラ１１ｌ，１１ｒで取得された各被写体像２ｌ，２ｒから形成された一対の球面画像３ｌ，３ｒを校正する。より具体的には、校正部２４は、式（２３）〜式（２５）により回転行列R_ａを算出し、式（２９）を利用して第１のテーブルを校正する。そして、経度画像形成部２５は、校正された球面画像３ｌ，３ｒを経緯度画像６ｌ，６ｒに展開して、第２のテーブルを作成し、メモリ部２２に記録せしめる。

これにより、以降の工程において、経緯度画像形成部２５が経緯度画像を形成する場合には、校正された球面画像３ｌ，３ｒに対応する経緯度画像６ｌ，６ｒが形成されることになる。

次に、Ｓ１２において、カメラ１１ｌ，１１ｒを駆動してステレオカメラ部１０の周囲の情景を被写体として撮影せしめる。Ｓ１３において、経緯度画像形成部２５は、メモリ部２２に記録されている第２のテーブルを参照して、取得された被写体像２ｌ，２ｒから経緯度画像６ｌ，６ｒを形成する。続いて、Ｓ１４において、対応点探索部２６は、経緯度画像６ｌ，６ｒに相関法を適用することで、ステレオカメラ部１０の周囲の情景内の点Ｐ（実空間上の点Ｐ）に対応する対応点ｐ_ｌ，ｐ_ｒを特定する。Ｓ１５において、距離算出手段２７は、対応点ｐ_ｌ，ｐ_ｒ間の視差ｄを式（３２）によって算出し、更に、式（３４）及び式（３５）によって距離ρ_ｌ，ρ_ｒを算出する。

このように距離ρ_ｌ，ρ_ｒが算出された後、Ｓ１６において、構造解析部２８は、原画像である被写体像２ｌ，２ｒと距離ρ_ｌ，ρ_ｒとに基づいてステレオカメラ部１０の周囲の情景の３次元形状を復元し、被写体像２ｌ，２ｒが有する画像情報に基づいて被写体の３次元構造を抽出する。Ｓ１７において、表示部２００は、構造解析部２８で解析された３次元構造を操作者に表示し、Ｓ１８において、制御部２９は、構造解析部２８によって抽出されたステレオカメラ部１０の周囲の３次元構造及び距離ρ_ｌ，ρ_ｒに基づいてナビゲーションシステム１が搭載されている車両などの移動体を制御する。移動体の制御の例としては、例えば、ステレオカメラ部１０の周囲の３次元構造物までの距離ρ_ｌ，ρ_ｒが予め設定してある所定の距離よりも短い場合には、移動体の移動を停止せしめる制御信号（例えば、ブレーキを作動させる信号）を発信する。

次に、Ｓ１９において、制御部２９は、入力部３００から撮影を停止する旨（言い換えれば、ナビゲーションを停止する旨）の指示が入力されたか否かを判断する。停止する旨の指示に対応する停止コマンドが入力されていない場合には（Ｓ１９で「Ｎｏ」）、Ｓ１２に戻る。また、停止コマンドが入力された場合には（Ｓ１９で「Ｙｅｓ」）、ナビゲーションを終了する。

なお、上記方法では、カメラ１１ｌ，１１ｒの内部パラメータ、外部パラメータ及び球面画像３ｌ，３ｒの校正や、第２のテーブルの作成を実施しているが、これらは、例えば、構造解析装置１００を組み立てた際に一度実施しておけばよく、次にステレオカメラ部１０の周囲の３次元構造を抽出する場合には、Ｓ１２から実施すればよい。

上記構造解析装置１００を備えたナビゲーションシステム１では、被写体の撮影に画角の大きい魚眼レンズ１２ｌ，１２ｒを利用していることから、より広い視野内の情景を一度に取得することができる。また、カメラ１１ｌ，１１ｒで取得された被写体像２ｌ，２ｒを球面画像３ｌ，３ｒに変換することで、投影点を一様に表現できている。更に、球面画像３ｌ，３ｒを利用していることから、従来の平面画像に対してステレオ法を適用するときのように奥行きで表現せずに、実空間上の点Ｐからカメラ１１ｌ，１１ｒまでの距離ρ_ｌ，ρ_ｒで表現される。これにより、カメラ１１ｌ，１１ｒと、カメラ１１ｌ，１１ｒが取り付けられている車体や移動ロボットとの相対位置が分かれば、車両や移動ロボットからの距離を計算でき、衝突の予測などに利用できる。

更にまた、経緯度画像６ｌ，６ｒを利用して対応点ｐ_ｌ，ｐ_ｒを特定しているので、球面画像３ｌ，３ｒ上のエピポーラ線を利用して対応点探索を実施する場合よりも早く且つ容易に対応点ｐ_ｌ，ｐ_ｒを特定可能である。よって、車両や移動ロボットなどの移動体に好適に適用可能である。

上記ナビゲーションシステム１は、構造解析装置１００を備えるとしたが、図１３に示すように、距離算出装置１１０を備えたナビゲーションシステム８としても良い。図１３に示した距離算出装置１１０は、解析装置１２０が構造解析部を備えていない点で、構造解析装置１００の構成と相違する。

この場合、制御部２９は、距離算出手段２７で算出された距離ρ_ｌ，ρ_ｒが所定の距離より短くなった場合に、例えば、車両などの移動体を停止するように制御すればよい。この距離算出装置１１０が有するカメラ１１ｌ，１１ｒの内部パラメータ及び外部パラメータの算出方法は、構造解析装置１００の場合と同様である。

更に、距離算出装置１１０を備えたナビゲーションシステム８の動作は、図１１に示したＳ１０〜Ｓ１７の工程と同様の工程を実施した後に、Ｓ１８において、制御部２９が、距離算出手段２７で算出された距離ρ_ｌ，ρ_ｒに基づいて移動体を制御する。次いで、Ｓ１９において停止コマンドが入力されたか否かを構造解析装置１００の場合と同様に判断し、停止する旨の指示コマンドである停止コマンドが入力されていない場合には（Ｓ１９で「Ｎｏ」）、Ｓ１２に戻る。また、停止コマンドが入力された場合には（Ｓ１９で「Ｙｅｓ」）、ナビゲーションを終了する。

（第２の実施形態）

次に、パラメータ算出部２３が、カメラ１１ｌ，１１ｒが有する他のパラメータを更に校正する場合の実施形態について説明する。カメラ１１ｌの校正方法とカメラ１１ｒの校正方法とは同じであるので、カメラ１１ｌ，１１ｒを区別する符合「ｌ」、「ｒ」は付さずに説明する。

魚眼レンズ１２には、式（１０）で示す射影方式の他に

で示される射影方式がある。魚眼レンズ１２の製造誤差などを考慮すると、式（１０）、及び、式（３６）〜式（３８）は、

として表されるが、パラメータ算出部２３では、近似式として

を利用する。ｋ_１、ｋ_３、ｋ_５は、焦点距離ｆに依存しており、画像平面の原点である画像中心に対する結像点の径方向の歪みを表す放射歪み（radial distortion）パラメータである。

図１４は、校正された画像座標系で表された画像平面の平面図である。原点Ｃは、画像中心を表しており、点ｑは、魚眼レンズ１２による実空間上の点Ｐの結像点である。校正前の画像座標系において、点Ｃの座標を（ｘ_０，ｙ_０）とし、点ｑの座標を（ｘ_ｑ，ｙ_ｑ）とし、αをｘ方向及びｙ方向の単位距離あたりの画素数の比とする。この場合、校正後の画像座標系での点ｑのｘ座標及びｙ座標は、

によって算出され、校正後の画像座標系での点ｑと原点Cとの距離ｒ_ｑ、及び、ｘ軸からの方位角φ_ｑは、

となる。

ところで、魚眼レンズ１２の光軸が画像平面（結像平面）に対して垂直になっていない場合、decentering distortionとして知られる歪みが生じる。この歪みは、点ｑにおける接線方向の歪みとして表れる。以下、このdecentering distortionとして知られる歪みを接線歪みと称す。

画像平面上の点ｑにおけるｘ方向及びｙ方向の接線歪みの成分は、

となる（例えば、A. Conrady, “Decentering lens system”, Monthly Notices of the RoyalAstronomical Soc. Vol. 79, pp.384-390, 1919、R. Swaminathan, et. al., “Nonmetric calibrationof wide-angle lenses and polycameras”, IEEE. PAMI, vol.22, No.10, 2000参照）。式（４３）及び式（４４）を極座標で表示すると、

となる。

従って、放射歪み及び接線歪みを含めた場合、校正前の画像座標系での点ｑの原点からの距離ｒ及び方位角φは、

であり、校正すべきカメラ１１の内部パラメータは（ｘ_０，ｙ_０，α，ｋ_１，ｋ_３，ｋ_５，Ｊ_１，Ｊ_２）である。

式（４１）、式（４２）、式（７）等を利用することで、次に示すように画像平面上の結像点ｑ（ｘ_ｑ，ｙ_ｑ）から球面画像３上の点ｐ（実空間上の点Ｐの対応点）の座標を得ることができる。

この場合、実空間上の点Ｐに対応する球面画像３上の対応点ｐの座標は、前述したカメラ１１の内部パラメータを利用して表されることになる。

パラメータ算出部２３を利用して内部パラメータ及び外部パラメータを校正するときには、図１５に示すような校正用部材としてのボックスパターン９を利用する。ボックスパターン９は、市松模様（又はチェスパターン）を有する３つの校正パターン９Ａ，９Ｂ，９Ｃからなり、互いに直交する２つの校正パターン９Ａ，９Ｂを他の１つの校正パターン９Ｃ上に設けたものである。

上記ボックスパターン９を利用してカメラ１１の内部パラメータ及び外部パラメータを校正する場合、（１）内部パラメータの初期化を行ったのち、（２）カメラ１１の姿勢を表す外部パラメータ（Ｒ，Ｔ）の初期推定を行う。更に（３）内部パラメータの微調整を実施してから、（４）投影誤差の最小化を図る。そして、最後に、（５）接線歪みを含んだ目的関数の最小化を実施することによって、内部パラメータ及び外部パラメータを校正する。以下、順に説明する。

先ず、前述したように、（１）内部パラメータの初期化をする。図１６は、図１５に示したボックスパターン９をカメラ１１で撮影して取得された被写体像の図である。撮影には、ソニー製のビデオカメラ（ＤＣＲ−ＨＣ３０）にオリンパス製の魚眼レンズ（ＦＣＯＮ−０２）を取り付けたものをカメラ１１として利用している。この被写体像の視野領域を、楕円でフィッティングする。楕円は、次式

で表されるので、フィッティングによって得られた楕円の中心を画像中心（ｘ_０，ｙ_０）の初期値とし、

で表される被写体像のアスペクト比をαの初期値とする。

また、立体射影を表す式（３７）では、テイラー近似式は、

となる。魚眼レンズ１２の最大視野角をθ_maxとすると、

が成り立つ。

そこで、接線歪みを０として、式（５２）及び式（５３）より放射歪みの初期値を決める。すなわち、式（５３）より焦点距離ｆを算出し、式（５２）におけるθ、θ^３、θ^５の各係数をｋ_１，ｋ_３、ｋ_５の初期値とする。

次に、（２）カメラ１１の外部パラメータ（Ｒ，Ｔ）の初期推定を実施する。ここでは、世界座標系Ｓ_ｗを、図１５及び図１６に示すように、ボックスパターン９の角部を原点とした３次元座標系とする。ボックスパターン９での格子点Ｐ_ｗの位置ベクトルＭ_ｗと、その点Ｐ_ｗの球面画像３上の投影点ｐの位置ベクトルｍとの間には、式（９）が成り立っているので、

が得られる。１つの格子点Ｐから式（５４）及び式（５５）に示すように２つの式が得られることからＮ点を観測すると、２Ｎ個の方程式が得ることができる。内部パラメータを既知とすると、式（５４）及び式（５５）を利用してカメラ１１の外部パラメータ（Ｒ，Ｔ）を算出できる。パラメータ算出部２３は、６点以上の格子点Ｐを抽出し、式（５４）及び式（５５）を利用して線形推定でＲ，Ｔを算出する。

また、パラメータ算出部２３は、式（５４）及び式（５５）より以下の目的関数η２を設定する。

この式（５６）の最後の自乗の項は、式（５４）及び式（５５）の２式を差し引いて得られたものである。

そして、パラメータ算出部２３は、式（５４）及び式（５５）を利用して算出したＲ、Ｔを初期値として、式（５６）を利用してカメラ１１の初期姿勢を算出する。

続いて、（３）内部パラメータの微調整を実施する。ここでは、Ｒ、Ｔを既知として、式（５６）を利用して、ボックスパターン９に含まれる全ての格子点を利用してカメラ１１の内部パラメータの微調整を実施する。

更に、（４）投影誤差の最小化を行う。（３）によって算出されたカメラ１１の内部パラメータ及び外部パラメータを利用することで、次に示すように、実空間におけるボックスパターン９上の格子点を結像した被写体像２における点ｑの座標を得ることができる。

実際にＣＣＤカメラ１３で得られた被写体像２上の点ｑ_ｉの位置ベクトルｎ_ｉと、格子点の世界座標Ｓ_ｗの座標から算出された点ｑ_ｉの位置ベクトルｎ_ｑｉとの間の二乗距離ｄ（ｎ_ｉ，ｎ_ｑｉ）^２の合計を最小化し、内部パラメータ及び外部パラメータを調整する。すなわち、目的関数η３として、

を設定し、その最小化を実施することで、内部パラメータ及び外部パラメータを調整する。

最後に、（５）接線歪みを含んだ目的関数η２の最小化を実施する。ここでは、接線歪みを表すパラメータを含めた式（５８）の目的関数η３を設定し、（４）までで得られた内部パラメータ及び外部パラメータを利用して、目的関数η２を再計算し、接線歪みパラメータも校正する。本実施形態では、パラメータ算出部２３は、カメラ１１の内部パラメータ及び外部パラメータを算出するために、ボックスパターン９が撮影されると、上述した（１）〜（５）を実行することによって、内部パラメータ及び外部パラメータを算出し、メモリ部２２に入力する。

構造解析装置（又は距離算出装置）の動作は、パラメータ算出部２３によるカメラ１１ｌ，１１ｒの内部パラメータ及び外部パラメータの校正方法以外は、第１の実施形態の場合と同様である。この場合、放射歪みや接線歪みなども含めて内部パラメータ及び外部パラメータが校正されているので、カメラ１１ｌ，１１ｒからの距離ρ_ｌ，ρ_ｒをより正確に算出できる。なお、接線歪みパラメータの校正（すなわち、上記（５）の処理）は、必ずしも実施しなくてもよいが、接線歪みパラメータを校正することで更に距離ρ_ｌ，ρ_ｒが正確になる傾向にある。

以上の説明では、魚眼レンズ１２の射影方式を式（３７）で表される立体射影としているが、式（１０）、式（３６）及び式（３８）で表される各射影方式に対して本実施形態で示したカメラ１１の校正方法は適用できる。例えば、式（１０）で表される等距離射影方式を有する魚眼レンズに対しては、式（４０）の第１項以外を０とすると、

が成り立つ。これは立体射影を用いたときの式（５３）に対応する。従って、放射歪みの初期値値を次式から決定すればよい。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されない。例えば、カメラ１１ｌは、１つの魚眼レンズ１２ｌを有するとしたが、１つのカメラ１１ｌに対して２つの魚眼レンズ１２ｌ，１２ｌを有することは好適である。２つの魚眼レンズ１２ｌ，１２ｌを、光の入射面が互いに反対側を向くように配置することで、全天周の情景を一度に取得することができる。これは、カメラ１１ｒに対しても同様である。この場合、ステレオカメラ部１０の周囲の構造物までの距離をカメラ１１ｌ，１１ｒの方向を変えずに求めることが可能であり、周辺監視装置に好適に利用できる。

更に、前述したように校正部２４は、パラメータ算出部２３の一部としてもよい。更にまた、上記では、距離算出手段２７は、視差算出部２７Ａと距離算出部２７Ｂとを有するとしたが、この場合に限られない。式（３２）、式（３４）及び式（３５）より

が成り立つので、距離算出手段２７は、視差ｄを算出せずに、第１及び第２の角度θ_ｌ，θ_ｒ及び距離ｂ_ｓから式（６１）及び式（６２）を利用して距離ρ_ｌ，ρ_ｒを算出してもよい。

また、構造解析装置１００及び距離算出装置１１０では、例えば、メモリ部２２に予め校正された球面画像３ｌ，３ｒに対応した第１のテーブル及び第２のテーブルが記憶されている場合等には、パラメータ算出部２３、球面画像形成部２１及び校正部２４を必ずしも備えなくてもよい。更に、ステレオカメラ部１０は、２つのカメラ１１ｌ，１１ｒから構成されているとしたがこれに限定されない。魚眼レンズ特性を有する第１及び第２のカメラ部が１つの筐体内に収容されているものとしてもよい。

以下に、本発明に係る構造解析装置を、実施例に基づいてより具体的に説明する。なお、本発明は、以下の実施例に限定されるものではない。

図１７は試作した構造解析装置１００で利用したカメラ１１ｌ，１１ｒの図である。カメラ１１ｌ，１１ｒは、ソニー製のビデオカメラ（ＤＣＲ−ＨＣ３０）にオリンパス製の魚眼レンズ（ＦＣＯＮ−０２）を取り付けたものとし、三脚上に互いに平行に配置した。なお、カメラ１１ｌ，１１ｒは、その内部パラメータが校正されているものを用いた。

カメラ１１ｌ，１１ｒの外部パラメータを校正するために、図７に示した校正パターン４Ｂをカメラ１１ｌ，１１ｒで同時に撮影した。図１８（ａ），（ｂ）は、校正パターン４Ｂをカメラ１１ｌ，１１ｒで撮影したときの被写体像の図である。図１８（ａ）は、カメラ１１ｌで取得された被写体像の図を示しており、図１８（ｂ）は、カメラ１１ｒで取得された被写体像の図を示している。図１８（ａ），（ｂ）に示した被写体像の図に対して、ＬＫオペレータにより格子点Ｐを抽出した。図１８（ｃ）は、図１８（ａ）の被写体像の図から格子点Ｐを抽出した図である。図１８（ｃ）中、白丸で囲んでいる部分が抽出した点を示している。図１８（ｃ）に示すように校正パターン４Ｂの格子点Ｐが確実に抽出されていることが分かる。

このようにコーナ点Ｐを抽出した後に、パラメータ算出部２３によって外部パラメータを算出し、メモリ部２２に入力することでカメラ１１ｌ，１１ｒの外部パラメータを校正した。

このようにカメラ１１ｌ，１１ｒの内部パラメータ及び外部パラメータが校正された構造解析装置１００を利用して戸外で実際にカメラ１１ｌ，１１ｒ周囲の情景を撮影した。撮影対象のモデルとしてカメラ１１ｌ，１１ｒ側に頭を近づけている人物を撮影した。

図１９（ａ），（ｂ）は、図１７に示したカメラ１１ｌ，１１ｒを利用して戸外で撮影して取得された被写体像の図である。図１９（ａ）は、カメラ１１ｌで取得された被写体像の図であり、図１９（ｂ）は、カメラ１１ｒで取得された被写体像の図である。

図２０（ａ）は、被写体像をカメラ１１ｌによって取得した後に、Ｓ１３（図１１参照）の工程によって形成された経緯度画像の図である。また、図２０（ｂ）は、被写体像をカメラ１１ｒによって取得した後に、Ｓ１３の工程によって形成された経緯度画像の図である。図２０（ａ），（ｂ）中に示した水平線がエピポーラ線７ｌ，７ｒである。構造解析装置１００では、校正された球面画像３ｌ，３ｒに対応する経緯度画像６ｌ，６ｒが作成されるので、図２０（ａ），（ｂ）に示すように、経緯度画像６ｌでのエピポーラ線７ｌに対応する経緯度画像６ｒのエピポーラ線７ｒ上に同じ特徴が確かにのっている。

図２０（ａ），（ｂ）に示した経緯度画像６ｌ，６ｒに対して更にＳ１４（図１１参照）における対応点探索を実施し、特定された対応点間の視差ｄを算出した。

図２０（ｃ）は、視差ｄを図２０（ａ）に示した経緯度画像６ｌにマッピングして得られる視差図である。図２０（ｃ）において、明るい点が大きな視差を有する部分であり、図２０（ａ），（ｂ）に表示されていた人物の頭部の部分がより大きな視差を有していることがわかる。これにより、図２０（ａ），（ｂ）に表示されていた人物がカメラ１１ｌ，１１ｒ側に頭を近づけている状態が確かに表されていることが分かる。

なお、距離算出装置および構造解析装置の例としては、以下に示すものが挙げられる。

例えば、距離算出装置は、（１）魚眼レンズ特性を有する第１のカメラ部と、（２）魚眼レンズ特性を有しており第１のカメラ部とステレオカメラ部を構成する第２のカメラ部と、（３）第１のカメラ部から出力される第１の被写体像に対応する第１の球面画像内の一対のエピポールを両極として展開される平面画像としての第１の経緯度画像を第１の被写体像から形成すると共に、第２のカメラ部から出力される第２の被写体像に対応する第２の球面画像内の一対のエピポールを両極として展開される平面画像としての第２の経緯度画像を第２の被写体像から形成する経緯度画像形成部と、（３）第１及び第２のカメラ部の視野内に含まれる実空間上の点に対応する第１及び第２の経緯度画像内の対応点を特定する対応点探索部と、（４）第１の球面画像での上記対応点である第１の対応点及び第１の球面画像の中心を通る直線と第１及び第２の球面画像の中心を通る直線とのなす第１の角度、第２の球面画像での上記対応点である第２の対応点及び第２の球面画像の中心を通る直線と第１及び第２の球面画像の中心を通る直線とのなす第２の角度、及び、第１のカメラ部と第２のカメラ部との間のカメラ部間距離に基づいて前述した実空間上の点から第１及び第２のカメラ部までの距離を算出する距離算出手段と、
を備えることが考えられる。

上記構成によれば、魚眼レンズ特性を有する第１及び第２のカメラ部はステレオカメラ部を構成しており、第１の被写体像及び第２の被写体像を一度に取得する。第１及び第２の経緯度画像形成部は上記第１及び第２の被写体像から第１及び第２の経緯度画像を形成し、対応点探索部は実空間上の点に対応する第１及び第２の経緯度画像内での対応点を探索して特定する。距離算出手段が、第１及び第２の球面画像での上記対応点に対応する第１及び第２の対応点で決まる第１及び第２の角度、第１及び第２のカメラ部間のカメラ部間距離に基づいて上記実空間上の点から第１及び第２のカメラ部までの距離を算出する。

上記構成では、第１及び第２のカメラ部が魚眼レンズ特性を有することから、ステレオカメラ部周囲のより広い領域を被写体として撮像できる。また、エピポーラ線は、各第１及び第２の経緯度画像では互いに平行な直線であるので、例えば、エピポーラ線が大円となる第１及び第２の球面画像上で対応点を探索するより容易且つ早く対応点を探索し特定できる。その結果として、被写体に含まれる実空間上の点までの距離をより早く容易に算出することが可能である。

また、上記距離算出装置が有する距離算出手段は、第１のカメラ部の焦点距離、第２のカメラ部の焦点距離、第１の角度及び第２の角度を利用して第１及び第２の対応点間の視差を算出する視差算出部と、第１の角度、第２の角度、カメラ部間距離、及び、前述した視差に基づいて上記実空間上の点から第１及び第２のカメラ部までの距離を算出する距離算出部と、を有することが好ましい。

球面画像ではエピポーラ線は大円であるため、第１及び第２の対応点間の視差は次のように表される。すなわち、視差は、第１の球面画像でのエピポーラ線における第１の対応点とエピポールとの間の円弧の長さと、第２の球面画像でのエピポーラ線上における第２の対応点とエピポール間の円弧の長さの差として表される。この円弧の長さは、円弧が含まれる第１及び第２の球面画像の半径と円弧の中心角から求められる。上記構成では、第１及び第２の球面画像の半径は第１及び第２のカメラ部の焦点距離に対応し、円弧の中心角は第１及び第２の角度から得られる。そこで、視差算出部が、第１及び第２のカメラ部の焦点距離と第１及び第２の角度とによって第１及び第２の対応点間の視差を算出する。そして、距離算出部が、算出された視差とカメラ部間距離と第１及び第２の角度とに基づいて、対応点に対する実空間上の点から第１及び第２のカメラ部までの距離を算出する。このように一度視差を算出することによって、その視差を、例えば、第１の被写体像の図にマッピングすることで視差図を形成することが可能である。

更に、上記距離算出装置では、第１の被写体像から第１の球面画像を形成すると共に、第２の被写体像から第２の球面画像を形成する球面画像形成部と、球面画像形成部で形成される第１及び第２の球面画像を校正する校正部と、を更に備え、校正部は、第１の球面画像を表示する第１のカメラ座標系と第２の球面画像を表示する第２のカメラ座標系とを、互いのＺ軸が平行であり且つ互いのＹ軸が平行であって互いのＸ軸が同一直線上に位置するように変換することによって第１及び第２の球面画像を校正し、経緯度画像形成部は、校正部によって校正された第１及び第２の球面画像に対応する第１及び第２の経緯度画像を形成することが好適である。

この場合、球面画像形成部で形成された第１及び第２の球面画像を校正部によって校正することで、被写体に対する第１及び第２のカメラ座標系の姿勢が同じになる。そして、校正部によって校正された第１及び第２の球面画像に対応する第１及び第２の経緯度画像を経緯度画像形成部が形成する。これにより、第１の経緯度画像に含まれるエピポーラ線と第２の経緯度画像に含まれるエピポーラ線とが平行なるので、対応点の探索がより容易になる。

また、上記の構造解析装置は、（１）前述した距離算出装置と、（２）その距離算出装置で算出された上記距離と、第１及び第２の被写体像とからステレオカメラ部の周囲の３次元構造を抽出する構造解析部と、を備えることが考えられる。

この構造解析装置では、上記距離算出装置を備えているので、第１及び第２のカメラ部からその周囲の情景内の３次元構造物上の点までの距離を算出できる。従って、距離算出に利用した対応点の第１及び第２の被写体像上の点と算出された距離とから３次元構造を復元することが可能である。

そして、上記構造解析装置では、構造解析部で抽出されたステレオカメラ部の周囲の３次元構造を表示する表示部を更に備えることが好ましい。これにより、表示部にはステレオカメラ部周囲の３次元構造が表示されるので、例えば、それを見ながら車両の運転を実施することが可能である。

また、上記距離算出装置において適用される距離算出方法は、（１）ステレオカメラ部を構成しており魚眼レンズ特性を有する第１及び第２のカメラ部によって被写体像を取得する像取得工程と、（２）第１のカメラ部から出力される第１の被写体像に対応する第１の球面画像内の一対のエピポールを両極として展開される平面画像としての第１の経緯度画像を第１の被写体像から形成すると共に、第２のカメラ部から出力される第２の被写体像に対応する第２の球面画像内の一対のエピポールを両極として展開される平面画像としての第２の経緯度画像を第２の被写体像から形成する経緯度画像形成工程と、（３）第１及び第２のカメラ部の視野内に位置する実空間上の点に対応する第１及び第２の経緯度画像内の対応点を特定する対応点探索工程と、（４）第１の球面画像での対応点である第１の対応点及び第１の球面画像の中心を通る直線と第１及び第２の球面画像の中心を通る直線とのなす第１の角度をθ_ｌ、第２の球面画像での対応点である第２の対応点及び第２の球面画像の中心を通る直線と第１及び第２の球面画像の中心を通る直線とのなす第２の角度をθ_ｒ、第１のカメラ部と第２のカメラ部との間のカメラ部間距離をｂ_ｓとしたとき、前述した実空間上の点から第１のカメラ部までの距離ρ_ｌ及び第２のカメラ部までの距離ρ_ｒを、

によって算出する距離算出工程と、を備えることが考えられる。

この場合、ステレオカメラ部を構成する第１及び第２のカメラ部で第１及び第２の被写体像を一度に取得すると、それらから第１及び第２の経緯度画像が形成される。そして、第１及び第２の経緯度画像を利用して、実空間上の点に対応する対応点が特定された後、第１の角度、第２の角度及びカメラ部間距離に基づいて対応点に対する実空間上の点から第１及び第２のカメラ部までの距離ρ_ｌ，ρ_ｒが算出されることになる。

上記方法では、第１及び第２のカメラ部が魚眼レンズ特性を有することから、より広い視野内の情景を一度に撮影できる。また、第１及び第２の被写体像から形成される第１及び第２の球面画像では大円となるエピポーラ線は、各第１及び第２の経緯度画像では、互いに平行な直線であるので、例えば、第１及び第２の球面画像上で探索するより容易且つ早く対応点を探索し特定可能である。その結果として、被写体に含まれる実空間上の点までの距離を早く且つ容易に算出することが可能である。

更に、上記の距離算出工程は、第１及び第２のカメラ部の焦点距離をｆとしたとき、第１及び第２の対応点間の視差ｄを、

によって算出し、距離ρ_ｌ及び距離ρ_ｒを、

によって算出することが好ましい。

球面画像ではエピポーラ線は大円であるため、第１の球面画像でのエピポーラ線上における第１の対応点とエピポール間の円弧の長さと、第２の球面画像でのエピポーラ線上における第２の対応点とエピポール間の円弧の長さの差として表される。この円弧の長さは、円弧が含まれる第１及び第２の球面画像の半径と円弧の中心角から求められる。そして、第１及び第２の球面画像の半径は第１及び第２のカメラ部の焦点距離に対応し、円弧の中心角は第１及び第２の角度から得られる。

そこで、上記方法では、第１及び第２のカメラ部の焦点距離、第１及び第２の角度によって第１及び第２の対応点間の視差を算出し、その算出された視差、カメラ部距離、第１の角度及び第２の角度に基づいて、対応点に対する実空間上の点から第１及び第２のカメラ部までの距離を算出する。このように一度視差を算出することによって、その視差を、例えば、第１の被写体像の図にマッピングした視差図を形成することが可能である。

更にまた、上記の距離算出方法では、第１の被写体像から第１の球面画像を形成すると共に、第２の被写体像から第２の球面画像を形成する球面画像形成工程と、球面画像形成工程で形成される第１及び第２の球面画像を校正する校正工程と、を更に有し、第１の球面画像を表示する第１のカメラ座標系と第２の球面画像を表示する第２のカメラ座標系とを、互いのＺ軸が平行且つ互いのＹ軸が平行であって互いのＸ軸が同一直線上になるように変換することよって第１及び第２の球面画像を校正し、経緯度画像形成工程では、校正工程によって校正された第１及び第２の球面画像に対応する第１及び第２の経緯度画像を形成することが好適である。

この場合、球面画像形成工程で形成された第１及び第２の球面画像を校正工程によって校正することで、第１及び第２のカメラ座標系の被写体に対する姿勢が同じになる。そして、校正された第１及び第２のカメラ座標系で表される第１及び第２の球面画像に対応する第１及び第２の経緯度画像が経緯度画像形成工程で形成される。これにより、第１の経緯度画像に含まれるエピポーラ線と第２の経緯度画像に含まれるエピポーラ線とが平行になるので、対応点の探索がより容易になる。

また、上記の構造解析装置において適用される構造解析方法は、前述の距離算出方法によって算出された距離ρ_ｒ及び距離ρ_ｌと第１及び第２の被写体像とからステレオ部周囲の３次元構造を抽出する構造解析工程を備えることが考えられる。

この構造解析方法では、第１及び第２のカメラ部からそれらの周囲の情景を構成する３次元構造物上の点までの距離が算出できる。従って、距離算出に利用した対応点の第１及び第２の被写体像上の点と算出された距離とから３次元構造を復元することが可能である。

上記の距離算出装置、距離算出方法によれば、一対の球面画像を利用して被写体までの距離を容易に算出することができる。また、上記の構造解析装置及び構造解析方法によれば、一対の球面画像を利用して被写体までの距離を容易に算出できるので、被写体の３次元構造を抽出することが可能である。

本発明に係る校正方法を適用することによって、例えば、距離算出装置、距離算出方法、構造解析装置及び構造解析方法は、車両や移動ロボットなどのナビゲーションシステムや周辺監視システムに利用することが可能である。

本発明に係る魚眼カメラの校正方法を適用する構造解析装置を含むナビゲーションシステムの一実施形態の構成を示すブロック図である。 被写体像の一例を示す模式図である。 球面画像の斜視図である。 （ａ）は、魚眼レンズの結像特性を示す図である。（ｂ）は、図４（ａ）に示したｘｙ平面を示す図である。 内部パラメータの算出に利用する校正パターンの平面図である。 世界座標系からカメラ座標系への変換関係を示す図である。 外部パラメータの算出に利用する校正パターンの平面図である。 実空間上の点が投影された第１及び第２の球面画像を示す図である。 経緯度画像の平面図である。 第１及び第２の球面画像及びで決定されるエピポーラ平面の模式図である。 ナビゲーションシステムの動作を示すフローチャートである。 内部パラメータ及び外部パラメータの校正方法を示すフローチャートである。 本発明に係る魚眼カメラの校正方法を適用する距離算出装置の一実施形態を利用したナビゲーションシステムの構成を示すブロック図である。 校正された画像平面の平面図である。 校正用のボックスパターンの斜視図である。 図１５に示したボックスパターンの被写体像の図である。 実施例としての構造解析装置が有する一対のカメラを示す図である。 図７に示した校正パターンの被写体像を示す図である。 図１７に示した一対のカメラを利用して撮影して取得された被写体像の図である。 （ａ）は、図１９（ａ）に示した被写体像から形成された経緯度画像の図である。（ｂ）は、図１９（ｂ）に示した被写体像から形成された経緯度画像の図である。（ｃ）は、視差図である。

符号の説明

３ｌ…球面画像（第１の球面画像）、３ｒ…球面画像（第２の球面画像）、５…エピポーラ平面、６ｌ…経緯度画像（第１の経緯度画像）、６ｒ…経緯度画像（第２の経緯度画像）、７ｌ，７ｒ…エピポーラ線、１０…ステレオカメラ部、１１ｌ…カメラ（第１のカメラ部）、１１ｒ…カメラ（第２のカメラ部）、２１…球面画像形成部、２２…メモリ部、２３…パラメータ算出部、２４…校正部、２５…経緯度画像形成部、２６…対応点探索部、２７…距離算出手段、２７Ａ…視差算出部、２７Ｂ…距離算出部、２８…構造解析部、１００…構造解析装置、１１０…距離算出装置、Ｃ_ｌ…円弧、Ｃ_ｒ…円弧、ｄ…視差、ｅ_１ｌ，ｅ_２ｌ…第１の球面画像の一対のエピポール、ｅ_１ｒ，ｅ_２ｒ…第２の球面画像の一対のエピポール、ｆ…第１及び第２のカメラ部の焦点距離、Ｏ_ｌ…原点（第１のカメラ座標系の原点、第１の魚眼レンズの焦点、第１の球面画像の中心）、Ｏ_ｒ…原点（第２のカメラ座標系の原点、第２の魚眼レンズの焦点、第２の球面画像の中心）、ｐ_ｌ…対応点（第１の対応点）、ｐ_ｒ…対応点（第２の対応点）、Ｓ_ｃ…カメラ座標系（第１のカメラ座標系）、Ｓ_ｌ…カメラ座標系（第２のカメラ座標系）、Ｓ_ｗ…世界座標系（所定の世界座標系）、Ｒ１_ｌ…実空間上の点と第１の対応点を通る直線、Ｒ１_ｒ…実空間上の点と第２の対応点を通る直線、Ｒ２…第１及び第２の球面画像の中心を通る直線。

Claims (6)

1. 魚眼レンズ特性を有する魚眼カメラの校正方法であって、
   前記魚眼カメラにより校正部材を被写体として撮像する撮像工程と、
   撮像された前記校正部材の被写体像を基に内部パラメータの初期値を算出する第１の初期値算出工程と、
   算出された前記内部パラメータの初期値を基に、前記魚眼カメラの画像平面での前記被写体像上の各像点の座標を極座標変換することで、前記魚眼カメラのカメラ座標系で表される前記被写体像の球面画像を形成する球面画像形成工程と、
   世界座標系における前記校正部材上の各物点と各前記物点に対応する前記球面画像上の像点との間で前記内部パラメータ及び前記魚眼カメラの外部パラメータを含んで表される変換式群において、前記内部パラメータの前記初期値を前記変換式群に代入して線形推定することによって前記外部パラメータの初期値を算出する第２の初期値算出工程と、
   前記変換式群を基に決定される第１の目的関数に、前記外部パラメータの前記初期値を代入して前記第１の目的関数を最小化することによって前記外部パラメータの第１推定値を算出すると共に、算出された前記外部パラメータの推定値を前記第１の目的関数に代入して最小化することによって前記内部パラメータの第１推定値を算出する推定値算出工程と、
   前記画像平面における前記被写体像の像点と、前記物点の前記画像平面への投影点との間の二乗距離の合計を示す第２の目的関数に、前記内部パラメータ及び前記外部パラメータの前記第１推定値を代入し、最小化することによって、前記内部パラメータ及び前記外部パラメータの校正用の値としての校正用パラメータ値を算出するカメラパラメータ算出工程と、
   を備え、
   前記内部パラメータは、前記画像平面の原点と、前記被写体像の視界領域のアスペクト比と、前記被写体像上の像点の前記原点に対する放射歪みを表す放射歪みパラメータとを含んでおり、
   前記放射歪みパラメータは、前記魚眼カメラの射影方式を示す式としての射影方程式を入射角を中心にテーラー展開した場合の各項の係数であり、
   前記第１の初期値算出工程では、
   楕円を示す式で前記校正部材の前記被写体像をフィッティングすることで、前記楕円の中心を前記原点の初期値とし、前記楕円のアスペクト比を前記視界領域のアスペクト比の初期値とし、前記テーラー展開された前記射影方程式を基に前記放射歪みパラメータの初期値を算出することを特徴とする魚眼カメラの校正方法。
   
2. 前記魚眼カメラにおいて前記射影方式に基づいた画像平面における像点と原点との距離をｒとし、前記入射角をθとし、Ｎを０以上の整数としたとき、テーラー展開された前記射影方程式は、
   

   

   により表され、式（１）における各項の係数としてのｋ_２ｊ＋１が前記放射歪みパラメータであり、前記第１の初期値算出工程では、
   前記楕円を示す式を、
   

   

   として式（２）で前記被写体像をフィッティングして得られる（ｘ_０，ｙ_０）を前記原点の初期値とし、ｄ／ｃを前記視界領域のアスペクト比の初期値とし、
   前記魚眼カメラの最大視野角θ_ｍａｘの半分を前記入射角θとした場合に成立する
   

   

   を基に取得される式（３）における各項の係数をそれぞれ前記放射歪みパラメータの初期値とする請求項１に記載の魚眼カメラの校正方法。
   
3. 前記外部パラメータは、前記世界座標系を前記カメラ座標系に変換するための回転行列Ｒ及び並進ベクトルＴを含んでおり、
   前記回転行列Rを［ｒ_１，ｒ_２，ｒ_３］とし、
   前記並進ベクトルＴを［ｔ_ｘ，ｔ_ｙ，ｔ_ｚ］とし、
   前記世界座標系における前記校正部材上の各物点の位置ベクトルをＭ_ｗｉとし、
   各前記物点に対応しており前記内部パラメータを利用して表される前記球面画像上の像点の位置ベクトルｍ_ｉを［ｕ_ｉ，ｖ_ｉ，ｓ_ｉ］としたとき、
   前記変換式群は、
   

   

   であり、
   前記第１の目的関数η２は、
   

   

   であることを特徴とする請求項１又は２に記載の魚眼カメラの校正方法。
   
4. 前記内部パラメータは、前記被写体像の像点の接線歪みを表す接線歪みパラメータを更に含んでおり、
   前記第１の初期値算出工程では、前記接線歪みパラメータを０として、前記画像平面の原点、前記視界領域のアスペクト比及び放射歪みパラメータの初期値を算出し、
   前記推定値算出工程では、前記接線歪みパラメータを０とした場合の前記第１の目的関数を基に前記内部パラメータ及び前記外部パラメータの第１推定値を算出し、
   前記カメラパラメータ算出工程は、
   前記接線歪みパラメータを０とした場合の前記第２の目的関数を基に前記内部パラメータのうち前記原点、前記アスペクト比及び前記放射歪みパラメータ並びに前記外部パラメータの前記校正用パラメータ値を算出する工程と、
   前記接線歪みパラメータを含んでおり、算出された前記原点、前記アスペクト比及び前記放射歪みパラメータ及び外部パラメータの前記校正用パラメータ値を代入して得られる前記第２の目的関数を最小化することによって前記接線パラメータの校正用パラメータ値を算出する工程と、
   を有することを特徴とする請求項１に記載の魚眼カメラの校正方法。
   
5. 前記校正部材は、市松模様を有する校正パターンであり、
   前記物点は、前記校正パターンの格子点であることを特徴とする請求項１〜４の何れか一項に記載の魚眼カメラの校正方法。
   
6. 前記校正部材は、市松模様を有する３つの校正パターンを互いに略直交するように組み合わせてなるボックスパターンであり、
   前記物点は、前記ボックスパターンの格子点であり、
   前記世界座標系は、前記ボックスパターンの角部を原点としていることを特徴とする請求項１〜４の何れか一項に記載の魚眼カメラの校正方法。

Images