JP2007034964A - カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法、装置、カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定プログラム - Google Patents

Abstract

【課題】 カメラキャリブレーションのための特殊な装置や撮影ターゲットに関する既知な情報を不要とし、カメラ運動、３次元形状、並びにレンズ歪パラメータを容易に復元することができるようにする。
【解決手段】 時系列画像中の特徴点を追跡して観測した画像座標値に対して、暫定的なレンズ歪係数を用いて座標値（ｕ_ij，ｖ_ij）を要素とする漸近行列［Ｂ］を生成し、該［Ｂ］から、運動情報、３次元情報の各行列データ［Ｕ’］、［Ｖ’］と、カメラ運動を規定する設定条件を満たす変換行列［Ｑ］を求め、これらに基づいて各情報を復元し、それに基づいて、レンズ歪係数を推定し、それに基づく平面運動投影値の再投影誤差を許容値以下とするレンズ歪パラメータの安定化処理と、カメラ運動に基づく平面運動投影値の再投影誤差を許容値以下とするカメラ運動の安定化処理とを交互に切り替えて繰り返し実行する。
【選択図】 図５

Description

本発明は、画像入力装置（カメラ）を使って取得した車載画像、室内画像、歩行撮影画像、船上からの海上画像、空撮画像などの時系列画像全般に利用可能であり、カメラで取得した時系列画像から、カメラ視点の並進運動とカメラ座標軸周りの回転、並びに、時系列画像に写っている外界の３次元形状、すなわち、被写体（物体）の外観形状を構成する３次元情報を復元し、同時に、カメラ内部のレンズ歪パラメータを推定することに関係する。

コンピュータビジョン分野において、時系列画像から対象物の形状を計測または復元する手法には、ステレオ計測やエピポーラ面解析を用いた３次元解析手法がある。この手法によれば、物体が撮影されている複数の時系列画像から、外界の３次元空間を構成する３次元形状情報、並びに、カメラ視点に関する運動を復元することができる。しかし、カメラを動かしながら撮影した時系列画像にはランダム性の雑音が混入し、カメラ運動や物体形状を高精度に復元することが困難である。

これに対して、因子分解法はランダム性の雑音が混入するようなビデオ画像などの時系列画像において、ユークリッド空間でのカメラ運動と物体形状を、ロバスト且つ高精度に復元することができる。しかし、この手法では、カメラの内部パラメータ（レンズ歪、焦点距離など）を既知としており、事前にカメラキャリブレーションによりカメラ内部パラメータを校正しておく必要がある。

尚カメラキャリブレーションの手法としては、例えば下記非特許文献１に記載の手法がある。

またカメラ視点に関する運動を復元、並びに外界物体の空間情報を獲得、復元する方法および装置としては、例えば下記特許文献１に記載のものが提案されている。
Ｚ．Ｚｈａｎｇ；"Ａ Ｆｌｅｘｉｂｌｅ Ｎｅｗ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ"，ＩＥＥＥ Ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌ．＆ Ｍａｃｈ．Ｉｎｔｅｌｌ，Ｖｏｌ．２２，Ｎｏ．１１，ｐｐ．１３３０−１３３４，２０００． 特開２００３−２７１９２５号公報

ディジタル・スチルカメラやハンディタイプのビデオカメラなどの市販カメラの光学系は複数のレンズで構成されており、理想的なピンホールカメラモデルとは異なる光学系となっている。例えば、図８に示すように、矩形形状をカメラで撮影すると、得られる映像においてその矩形形状は樽型に歪む、この歪は主点を中心とし、主点から離れるほどその歪度合いは大きくなる。

このようなレンズ歪があると、画像計測では正確な計測が困難であり、コンピュータビジョンにおいても３次元形状復元に影響を及ぼす。

このレンズ歪を求めるには、例えば図９に示すように、三脚上にカメラを固定し、市松模様などの３次元形状のターゲットを奥行き方向に正確に移動させて、各奥行きでの３次元パターンを複数枚撮影し、得られた画像と既知の３次元座標値との対応関係からレンズ歪を数値解析的に求める手法が主流である。

これに対して、図１０では、プリンタで印刷した程度の簡易な２次元のパターンを複数枚撮影した画像から、画像と既知の２次元座標値との対応関係からレンズ歪を算出する手法も存在する（非特許文献１）。

これらは精度よくレンズ歪を求めることができるが、いずれも既知の空間中の３次元座標値を与える必要があり、特に、図９の場合はキャリブレーションするには特殊な装置と治具を必要とする。

前記のように、カメラの光学系においては、事前にレンズ歪パラメータを求めておき、処理の対象とする画像に対してレンズ歪の補正を行い、レンズ歪がない画像にしておく必要がある。あるいは、画像から直接観測した画像座標値に対してレンズ歪を補正するような幾何的変換を行うことでも同じことができる。

しかし、このようなカメラキャリブレーション作業は特殊な装置や撮影ターゲットに関する既知な情報を必要としており、ユーザが簡易に操作してレンズ歪のない画像を取得することは困難であった。

本発明は上記の点に鑑みてなされたものでその目的は、カメラキャリブレーションのための特殊な装置や撮影ターゲットに関する既知な情報を不要とし、カメラ運動、３次元形状、並びにレンズ歪パラメータを容易に復元することができる、カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法、装置、プログラムを提供することにある。

上記課題を解決するため、本発明は、画像入力手段で取得した時系列画像中において、時系列に関するカメラ視点の運動と外界の３次元空間または物体形状を構成する３次元情報を復元し、同時に、カメラのレンズ歪パラメータを推定する方法であって、前記取得した時系列画像上に設定した画像座標系において、各時系列画像中の特徴点を追跡して画像座標値を観測する画像座標値観測ステップと、前記画像座標値観測ステップで観測された特徴点の画像座標値を、暫定的なレンズ歪係数とカメラ視点の運動に関するパラメータと前記特徴点の３次元座標値を使って平面運動投影へ座標変換し、得られた座標値を要素とする行列（漸近行列）を生成する漸近行列生成ステップと、前記漸近行列生成ステップで生成された漸近行列を特異値分解し、雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報を表す行列データの行列要素において、カメラ運動を規定するために設定した条件を満足する変換行列を求め、前記運動情報を表す行列データに前記変換行列を作用させてカメラ視点に関する光軸周りの回転運動と光軸と垂直な平面上の並進運動を復元し、並びに、前記３次元情報を表す行列データに前記変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元する平面運動・３次元情報復元ステップと、平面運動投影への変換係数（安定化係数）と、前記平面運動・３次元情報復元ステップで復元された平面上の並進運動と３次元情報から算出される平面運動投影座標値を与えて、該座標値を関係付ける未校正投影モデルにおいてレンズ歪係数を未知数とした評価関数を設定し、その評価関数を最適にするレンズ歪係数を求めるレンズ歪パラメータ推定ステップと、前記画像座標値観測ステップで観測された画像座標値を、前記レンズ歪パラメータ推定ステップで得られたレンズ歪係数によって変換した座標値と、前記平面運動・３次元情報復元ステップで復元された平面上の並進運動および３次元情報から算出される平面運動投影座標値の間の座標誤差からカメラ運動を求めるカメラ運動復元ステップとを備え、前記レンズ歪パラメータ推定ステップを実行して得られたレンズ歪係数に基づく平面運動投影値と、該ステップ実行直前のレンズ歪係数に基づく平面運動投影値との誤差が設定評価値以下に収束しないときに、現時点でのレンズ歪の安定化係数およびカメラ運動の安定化係数によって前記漸近行列生成ステップの漸近行列を更新し、前記平面運動・３次元情報復元ステップおよびレンズ歪パラメータ推定ステップを実行してレンズ歪を補正する第１の安定化処理と、前記カメラ運動復元ステップを実行して得られたカメラ運動に基づく平面運動投影値と、該ステップ実行直前のカメラ運動に基づく平面運動投影値との誤差が設定評価値以下に収束しないときに、現時点でのレンズ歪の安定化係数およびカメラ運動の安定化係数によって前記漸近行列生成ステップの漸近行列を更新し、前記平面運動・３次元情報復元ステップおよびカメラ運動復元ステップを実行してカメラ運動を補正する第２の安定化処理とを、交互に切り替えて繰り返し実行することを特徴とするカメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法を手段とする。

すなわち、画像入力装置（カメラ）で取得した時系列画像中において、各画像で観測される特徴点の画像座標値から、時系列におけるカメラ視点の運動と外界の３次元空間または物体形状を構成する３次元情報を復元し、同時に、カメラの内部パラメータを推定する方法であって、時系列画像に設定した画像座標系において、各フレーム画像で観測される特徴点の画像座標値（ｘ_ij，ｙ_ij）に、暫定的なレンズ歪係数ｋ_lとカメラの外部パラメータ（回転運動，並進運動）と特徴点の３次元座標値（Ｘ_j，Ｙ_j，Ｚ_j）を使って座標変換した座標値（ｕ_ij，ｖ_ij）を要素とする行列［Ｂ］（漸近行列）を生成し（漸近行列生成ステップ）、
漸近行列［Ｂ］を特異値分解し、雑音除去を行って運動情報を表す行列データ［Ｕ’］と３次元情報を表す行列データ［Ｖ’］を得て、その運動情報を表す行列データ［Ｕ’］の行列要素において、カメラ運動を規定するために設定した条件を満足する変換行列［Ｑ］を求め、運動情報を表す行列データ［Ｕ’］にこの変換行列［Ｑ］を作用（［Ｕ’］［Ｑ］）させてカメラ視点に関する光軸周りの回転運動θ_iと光軸と垂直な平面上の並進運動（Ｔｘ_i，Ｔｙ_i）を復元し、並びに、３次元情報を表す行列データ［Ｖ’］にこの変換行列の逆行列［Ｑ］^-1を作用（［Ｑ］^-1［Ｖ’］）させて物体形状を構成する３次元情報（Ｘ_j，Ｙ_j，Ｚ_j）を復元し（平面運動・３次元情報復元ステップ）、
現時点での平面運動投影への再投影誤差（平面運動投影への漸近値を表す評価値）ΔＥを算出し、その誤差の収束性により処理モードを切り替えてレンズ歪パラメータを推定、またはカメラ運動を復元し（以降のレンズ歪パラメータ推定ステップまたはカメラ運動復元ステップにおける処理）、選択した処理モードにおいて、現時点での求めたカメラ運動と３次元情報とレンズ歪パラメータを使って平面運動投影への安定化処理を行い、その結果において得られる平面運動投影への再投影誤差が所定の許容値以下になるまで、漸近行列生成ステップ、平面運動・３次元情報復元ステップ、切り替えて選択するレンズ歪パラメータ推定ステップまたはカメラ運動復元ステップにおける処理を繰り返し（切り替え処理ステップ）、
切り替え処理ステップで処理モードがレンズ歪パラメータ推定と判定された場合は、平面運動投影への変換係数εｉｊ，δｉｊ，ζｉ，ηｉと、平面運動・３次元情報復元ステップで得た平面運動と３次元情報から算出される平面運動投影座標値（ｍ^T _iＳ_j，ｎ^T _iＳ_j）を与えて、その両座標値を関係付ける未校正投影モデルにおいてレンズ歪係数を未知数とした評価関数を設定し、その評価関数を最適にするレンズ歪係数を求め、そのレンズ歪係数を使ってレンズ歪を補正するような変換処理を行い、画像座標値を平面運動投影へ近づけ（レンズ歪パラメータ推定ステップ）、
切り替え処理ステップで処理モードがカメラ運動復元と判定された場合は、画像から観測された座標値（ｘ_ij，ｙ_ij）にレンズ歪パラメータ推定ステップで更新されたレンズ歪係数を使って変換した座標値（ｘ’_ij，ｙ’_ij）と、平面運動・３次元情報復元ステップで得た平面運動と３次元情報から算出される平面運動投影座標値（ｍ^T _iＳ_j，ｎ^T _iＳ_j）の間の座標誤差（Δｕ_ij，Δｖ_ij）から、カメラ光軸以外の回転軸周りの回転運動と光軸並進運動を求め、求めた回転運動と並進運動を補正するような変換処理を行い、画像座標値を平面運動投影へ近づけ（カメラ運動復元ステップ）切り替え処理ステップにて、評価値ΔＥが許容値以下となった時点でのカメラ運動、３次元情報、レンズ歪パラメータの復元処理を出力することを特徴としている。

あるいは、上記のカメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法であって、前記カメラ運動復元ステップは、前記座標誤差から、カメラ光軸以外の回転軸周りの回転運動を求めることを特徴とするカメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法を手段とする。

すなわち、切り替え処理ステップで処理モードがカメラ運動復元と判定された場合は、画像から観測された座標値（ｘ_ij，ｙ_ij）にレンズ歪パラメータ推定ステップで更新されたレンズ歪係数を使って変換した座標値と、平面運動・３次元情報復元ステップで得た平面運動と３次元情報から算出される再投影座標値（ｍ^T _iＳ_j，ｎ^T _iＳ_j）の間の座標誤差（△ｕ_ij，△ｖ_ij）から、カメラ光軸以外の回転軸周りの回転運動を求め、求めた回転運動を補正するような変換処理を行い、画像座標値を平面運動投影へ近づける、ことを特徴としている。

あるいは、画像入力手段で取得した時系列画像中において、時系列に関するカメラ視点の運動と外界の３次元空間または物体形状を構成する３次元情報を復元し、同時に、カメラのレンズ歪パラメータを推定する装置であって、
前記取得した時系列画像上に設定した画像座標系において、各時系列画像中の特徴点を追跡して画像座標値を観測する特徴点観測部と、
前記特徴点観測部で観測された特徴点の画像座標値に対して、暫定的なレンズ歪係数とカメラ視点の運動に関するパラメータと前記特徴点の３次元座標値を使って座標変換を行って得られた座標値を要素とする漸近行列を生成し、前記漸近行列を特異値分解し、雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報を表す行列データの行列要素において、カメラ運動を規定するために設定した条件を満足する変換行列を求め、該変換行列および前記運動情報を表す行列データに基づいて、カメラ視点に関する光軸周りの回転運動と光軸と垂直な平面上の並進運動を復元し、前記変換行列の逆行列と前記３次元情報を表す行列データに基づいて、物体形状を構成する３次元情報を復元する因子分解処理部と、
平面運動投影への変換係数（安定化係数）と前記因子分解処理部で復元された平面上の並進運動と３次元情報から算出される平面運動投影座標値を与えて、該座標値を関係付ける未校正投影モデルにおいてレンズ歪係数を未知数とした評価関数を設定し、その評価関数を最適にするレンズ歪係数を求めるパラメータ推定部と、
前記特徴点観測部で観測された画像座標値を、前記パラメータ推定部で得られたレンズ歪係数によって変換した座標値と、前記因子分解処理部で復元された平面上の並進運動および３次元情報から算出される平面運動投影座標値の間の座標誤差からカメラ運動を求めるカメラ運動復元部と、
前記パラメータ推定部により得られたレンズ歪係数に基づく平面運動投影値と、得られる直前のレンズ歪係数に基づく平面運動投影値との誤差が設定評価値以下に収束しないときに、現時点でのレンズ歪の安定化係数およびカメラ運動の安定化係数によって前記因子分解処理部の漸近行列を更新し、前記因子分解処理部およびパラメータ推定部の動作を行わせてレンズ歪を補正する第１の安定化処理と、
前記カメラ運動復元部により得られたカメラ運動に基づく平面運動投影値と、得られる直前のカメラ運動に基づく平面運動投影値との誤差が設定評価値以下に収束しないときに、現時点でのレンズ歪の安定化係数およびカメラ運動の安定化係数によって前記因子分解処理部の漸近行列を更新し、前記因子分解処理部およびカメラ運動復元部の動作を行わせてカメラ運動を補正する第２の安定化処理とを、
交互に切り替えて繰り返し実行する反復処理部とを備えたことを特徴とするカメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定装置を手段とする。

あるいは、上記のカメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定装置であって、前記カメラ運動復元部は、前記座標誤差から、カメラ光軸以外の回転軸周りの回転運動を求めることを特徴とするカメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定装置を手段とする。

あるいは、上記のカメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法をコンピュータに実行させるためのプログラムとしたことを特徴とするカメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定プログラムを手段とする。

（１）本発明によれば、市販のカメラを使って取得した時系列画像全般（移動手段を利用して撮影した車載画像、海上画像、空撮画像、屋内画像など）から、カメラ運動、３次元形状、並びに、レンズ歪パラメータを復元することができる。レンズ歪パラメータを推定することができるため、従来のように、予めカメラキャリブレーション作業によりレンズ歪を求めておく必要がない。なお、本発明で使用する計算は、大半が線形演算で構成されるため、コンピュータ言語での実装が容易である。また、レンズ歪パラメータを推定できることで、取得した画像に幾何的補正をおこなうことで、レンズ歪を低減した透視投影像が取得できる。
（２）また請求項２、４に記載の発明によれば、光軸並進運動を考慮せずにカメラ運動を求めているので、演算が簡略化される。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。本発明では、第ｉフレームの画像において観測される第ｊ番目の特徴点の画像座標値を（ｘ_ij，ｙ_ij）、そのときのＸＹＺ並進運動を（Ｔｘ_i，Ｔｙ_i，Ｔｚ_i）、ＸＹＺ軸周りの回転をそれぞれψ_i，ω_i，θ_iとする。また、画像座標値（ｘ_ij，ｙ_ij）は主点（ｐｒｉｎｃｉｐｌｅ ｐｏｉｎｔ）を中心とした画像面において観測された座標値であり、画像面の横縦のアスペクト比は１：１とする。

このとき、レンズ歪パラメータ（レンズ歪係数）、カメラ運動、並びに３次元形状を復元するための未校正投影モデルを、

と仮定し、この投影モデルに基づいてカメラ運動（Ｔｘ_i，Ｔｙ_i，Ｔｚ_i，ψ_i，ω_i，θ_i）、３次元形状（Ｘ_j，Ｙ_j，Ｚ_j）、レンズ歪係数ｋ_lを復元する。

式（１）を全フレーム（ｉ＝１，２，・・・，Ｆ）、全特徴点（ｊ＝１，２，・・・，Ｐ）に対して行列表記すると、

となる。式（８）は左辺の行列が右辺に示す行列に分解することを示しており、因子分解法を適用して右辺に示す行列に分解することが考えられる。しかしながら、式（８）左辺の行列要素（ｕ_ij，ｖ_ij）は、画像から得られる観測座標値（ｘ_ij，ｙ_ij）を式（２）〜式（６）に従って変換した座標値であり、カメラが理想的な平面運動を行ったときに観測するレンズ歪の無い画像座標値（本文では平面運動投影と称する）と等価になっている。

すなわち、式（８）を満たすには、カメラ運動を平面運動にし、レンズ歪を補正した（レンズ歪の無い）平面運動投影を求めることが必要になる。言い換えれば、式（２）に示す変換係数（安定化係数）δ_ij，ε_ij，ζ_i，η_i，κ_ijを得て、式（８）左辺の行列要素（ｕ_ij，ｖ_ij）を準備しなければならない。

そこで、本発明では、式（８）左辺の行列要素を段階的に得ながら、式（８）右辺に示す行列に分解できるように、反復的に平面運動投影型の因子分解法を使う。この反復において、カメラ運動と平面運動へ近づけるとともに、レンズ歪を補正するよう必要であるが、これらを同時に処理することは容易ではない。このため、カメラ運動とレンズ歪パラメータを復元する処理に分けて、この問題に対処する。

仮に、カメラ運動と３次元形状が与えられたとすると、式（８）は以下のように考えることができる。

式（９）と観測座標値（ｘ_ij，ｙ_ij）との誤差（Δｘ_ij，Δｙ_ij）は、

となる。式（１０）を、計算上、以下に示すように変形する。

したがって、レンズ歪パラメータを求める問題は、観測座標値（ｘ_ij，ｙ_ij）と式（１０）で計算される誤差（Δｘ_ij，Δｙ_ij）が与えられたときに、式（１１）を満たすように、レンズ歪パラメータｋ_lを求める問題に帰着させることができる。

この場合、全フレーム（ｉ＝１，２，・・・，Ｆ）、全特徴点（ｊ＝１，２，・・・，Ｐ）に対して、最小二乗法などを使ってパラメータを当てはめる。求めたレンズ歪パラメータ値を式（３）に代入することで、式（２）に示す平面運動投影（ｕ_ij，ｖ_ij）が得られる。これにより、式（８）左辺の行列要素をもつ行列（漸近行列）を得て、平面運動投影に基づく因子分解法を使って、式（８）右辺の行列分解を行う。カメラ運動を固定した状態で反復的に繰り返すことで、レンズ歪パラメータを安定化（補正）することができる。

一方、レンズ歪パラメータと平面運動と３次元形状が与えられると、画像座標値（ｘ_ij，ｙ_ij）はレンズ歪を補正することができる。この座標値を（ｘ’_ij，ｙ’_ij）とし、（ｘ’_ij，ｙ’_ij）と平面運動投影（ｍ^T _iＳ_j，ｎ^T _iＳ_j）との誤差（Δｕ_ij，Δｖ_ij）は、

となる。式（１２）をψ_i，ω_i，Ｔｚ_iを未知数として、上記を全特徴点（ｊ＝１，２，・・・，Ｐ）に対して行列表記すると、

となる。式（１３）は未知数ψ_i，ω_i，Ｔｚ_iを含む非線形連立方程式になっている。この解法は式（１３）左辺左側の２ｐ×５サイズの行列の一般化逆行列を式（１３）の両辺の左側から作用させることでψ_i，ω_i，Ｔｚ_iを求めることができる。仮に、式（１３）からψ_i，ω_i，Ｔｚ_iが得られたとすると、すべてのカメラ運動（カメラ軸周りの回転：姿勢、カメラ座標系での並進運動：位置）が得られることになり、それらの値を式（４）、式（５）、並びに式（６）に代入することで、式（２）に示す平面運動投影（ｕ_ij，ｖ_ij）が得られる。

式（８）左辺に示すように、この（ｕ_ij，ｖ_ij）を行列要素とする漸近行列を得て、平面運動投影に基づく因子分解法を使って、式（８）右辺の行列分解を行う。レンズ歪パラメータを固定した状態で反復的に繰り返すことで、カメラ運動を平面運動へ安定化することができる。

以上、レンズ歪パラメータの安定化とカメラ運動の安定化処理を交互に実行し、徐々に、レンズ歪の無い平面運動投影へ近づける。この反復的安定化において、平面運動投影への漸近を示す評価値として、漸近行列の要素と平面運動での再投影座標値の間の誤差を使う。

この漸近値の度合いによりカメラ運動を復元するか、レンズ歪パラメータを推定するかを決定し、安定化処理を切り替えながら漸近値を段階的に最小値へ近づける。この漸近が完了することで、カメラ運動を復元し、レンズ歪パラメータを推定し、同時に、カメラ運動と３次元形状を復元することができる。

上記は、請求項１、３に係る実施形態であり、カメラ運動、３次元形状、並びに、レンズ歪パラメータの双方を求める方法である。これに対して、請求項２、４に係る実施形態は、光軸並進運動が無いカメラ運動の場合であり、前記式（４）、式（５）において、

とすることで、前記請求項１、３に係る実施形態で述べた方法と同様に扱うことができる。ここではカメラ運動の安定化を行うときの計算が簡略化できる。つまり、前記式（１３）においてＴｚ_i＝０とおくと、

となる。これは未知数ψ_i，ω_iの線形連立一次方程式となり、一般化逆行列を使ってψ_i，ω_iを求めることができる。

図１はカメラと対象物の位置関係を表している。運動の中心は視点としており、視点を原点としたカメラ座標系ＸＹＺ，Ｏを原点とした世界座標系ＸｗＹｗＺｗを設定する。この座標系において、カメラ運動として、Ｔ_i（Ｔｘ_i，Ｔｙ_i，Ｔｚ_i）の並進運動、カメラ軸周りの回転ψ_i，ω_i，θ_iとする。対象物の点Ｐ_j（Ｘ_j，Ｙ_j，Ｚ_j）はカメラにより画像面において投影中心（主点）を原点とした画像面へ投影され、画像座標値（ｘ_ij，ｙ_ij）として観測されるとする。

なお、説明の都合上、初期フレームでの視点とＯは一致しているとし、光軸はＺｗ軸と平行関係にあり、θ_iはＸとＸｗ軸との成す角とするが、一般性を損なわない。

図２は請求項３の発明に関する基本構成図であり、本実施例を図２にそって説明する。本発明は、時系列画像を蓄積した時系列画像データベース１１、各画像における特徴点の座標値を観測する特徴点観測部１２、画像座標値からなる行列データからカメラ運動と３次元形状を復元する因子分解処理部１３、レンズ歪パラメータを推定するパラメータ推定部１４、カメラ運動を復元するカメラ運動復元部１５、カメラ運動と３次元形状、並びに、レンズ歪パラメータが得られるまで処理を繰り返すための反復処理部１６から構成される。

この構成において、時系列画像データベース１１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。

さらに、図３は画像入力部２１からの画像をリアルタイムで処理する場合の処理構成図であり、本発明は必ずしも各データベース部などの記憶装置を必要としない。

まず、図２の特徴点観測部１２において、対象物を撮影した時系列画像として時系列画像データベース１１からフレーム数Ｆの画像系列を取り出す。この取り出した画像系列において特徴点追跡を行う。特徴点は従来から用いられているような以下の手順により抽出する。

図４に示すように画像１の領域１において（１）各画素に対する２×２のヘッセ行列を求める。次に、（２）各点の３×３近傍領域において極大点かどうか判定し、極大点以外の点を削除する（ｎｏｎ−ｍａｘｉｍａ ｓｕｐｐｒｅｓｓｉｏｎ）。さらに、（３）得られた各点のヘッセ行列の固有値σ_l，σ_s（σ_s≦σ_l）を求め、σ_sが所定のσ_p以上となる点を抽出する。最後に、（４）抽出した点のσ_sの大きさの順にソートし、上位の点から順番にその点（ｐ_l）より上位の点（ｐ_h）が所定のσ_d画素以内の距離に存在するかどうかを判定し、もし、存在する場合は下位の点ｐ_lを削除する。さらに、抽出した特徴点（ｊ＝１，２，・・・，Ｐ）をＫＬＴ法（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ）により画像ｉ（ｉ＝１，２，・・・，Ｆ）にわたって追跡し、画像座標値（ｘ_ij，ｙ_ij）を観測する。

このようにして得られた特徴の画像座標値を式（１７）に示す配列に並べた２Ｆ×Ｐの行列データ（行列データ［Ａ］）を用意する。

次に、特徴点観測部１２、因子分解処理部１３、パラメータ推定部１４、カメラ運動復元部１５、並びに、反復処理部１６の処理内容について、図５の処理フロー図にそって説明する。ステップＳ１では、前述した観測座標値を入力する。そして、レンズ歪の安定化係数κ_ijとカメラ運動の安定化係数ε_ij（ζ_i，η_i），δ_ijを式（１８）に示すように初期化する。

ステップＳ２の漸近行列の生成では、保持しておいた式（１７）の２Ｆ×Ｐの行列データ［Ａ］の行列要素（ｘ_ij，ｙ_ij）から、式（２）にしたがって（ｕ_ij，ｖ_ij）を得る。これらの値を式（１９）に示す配列に並べた２Ｆ×Ｐの行列を漸近行列［Ｂ］として保持しておく。

ここで、初期状態として、処理モードを“パラメータ推定”にしておく。次に漸近行列［Ｂ］を入力データとして、ステップＳ３の特異値分解により式（２０）に示す３つの行列［Ｕ］，［Ｗ］，［Ｖ］に行列分解する。

ここで、［Ｕ］は２Ｆ×Ｐサイズの行列、［Ｗ］はＰ×Ｐサイズの対角行列、［Ｖ］はＰ×Ｐサイズの行列である。

次にステップＳ４の雑音除去では、式（２１）の第二項に示すランク４以降の各行列の成分を削除する。

この削除のときは、行列［Ｕ］を取り出し、この行列の要素において第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｗ］を取り出し、この行列の要素において第４から第Ｐ行目並びに第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｖ］を取り出し、この行列の要素において第４から第Ｐ行目までを削除し、残りの成分からなる行列をそれぞれ保持し、式（２２）とする。

次に、第４から第Ｐ行目並びに第４から第Ｐ列目までを削除した行列［Ｗ］の対角要素の平方をとった行列から、式（２３），（２４）に示す行列［Ｕ’］と行列［Ｖ’］を得る。

次にステップＳ５の変換行列算出では、保持してある行列［Ｕ’］を取り出し、式（２５）〜（２７）に示す連立する条件式における、式（２８）に示す対称行列［Ｃ］の各要素にかかる係数を計算する。

これらの係数計算は、行列演算により容易に得られるものであり、この条件式を全フレームに対して計算する。次に、全フレームの式（２５）〜（２７）に示す連立する条件式に対して、最小二乗法などの数値計算を利用して３×３サイズの行列［Ｃ］（式（２８））の各要素を決定する。

さらに、求めた行列［Ｃ］を式（２９）に示すように固有値分解する。

ここで、固有値行列の平方と固有値行列から、式（３０）の行列［Ｃ’］を生成し、この行列要素を成分にもつ行列［Ｑ］を式（３１）に従って算出する。

次にステップＳ６の平面運動復元では、前記式（３１）で求めた行列［Ｑ］と、保持しておいた前記式（２３）の行列［Ｕ’］から、式（３２）の行列演算により行列［Ｍ’］を計算する。

そしてこの行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（ｍ_ix，ｎ_ix）または（ｍ_iy，ｎ_iy）を取り出し、式（３３）を使って、ヨー回転θ_iを復元する。

次に、式（３２）の行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（Ｔ_iu，Ｔ_iv）を取り出し、この（Ｔ_iu，Ｔ_iv）から、式（３４）を使って第ｉフレームにおけるユークリッド空間でのＸＹ並進運動（Ｔｘ_i，Ｔｙ_i）を計算する。

次にステップＳ７の３次元情報復元では、先に保持しておいた式（２４）の行列［Ｖ’］と、ステップＳ５の変換行列算出で得られた式（３１）の行列［Ｑ］から、式（３５）に示す行列演算を行い、行列［Ｓ’］を求める。

次に、行列［Ｓ’］の要素に対して、式（３６）に示す変換を行い、これを要素とする行列を［Ｐ］とする。

行列［Ｐ］の列ベクトルは、それぞれ第ｊ番目の特徴点のユークリッド空間での３次元座標値（Ｘ_j，Ｙ_j，Ｚ_j）になっている。

次にステップＳ８において、処理モードがパラメータ推定モードであるか否かが判定される。初期状態では処理モードが“パラメータ推定”に選択されているため、ステップＳ９においてレンズ歪パラメータ推定の処理を実行する。

パラメータ推定部１４は、画像での観測座標値（ｘ_ij，ｙ_ij）と式（１０）で計算される誤差（Δｘ_ij，Δｙ_ij）を求め、式（１１）を満たすように、レンズ歪パラメータｋ_lを、全フレーム（ｉ＝１，２，・・・，Ｆ）、全特徴点（ｊ＝１，２，・・・，Ｐ）に対して、最小二乗法などを使ってパラメータを当てはめる。求めたレンズ歪パラメータ値を式（３）に代入し、式（２）に示す平面運動投影（ｕ_ij，ｖ_ij）を得る。

次に反復処理部１６はステップＳ１０〜Ｓ１３の処理を行う。すなわちステップＳ９でレンズ歪パラメータを求めたことにより得られた平面運動投影値と、レンズ歪を推定する１つ前の段階での平面運動投影値との二乗平均誤差を算出し（ステップＳ１０）、この差ΔＥと許容値を比較し（ステップＳ１１）、ΔＥが、許容値以下に収束していない場合は、現時点で保有しているレンズ歪の安定化係数κ_ijとカメラ運動の安定化係数ε_ij，（ζ_i，η_i），δ_ijを使って式（２）に示す座標値（ｕ_ij，ｖ_ij）を更新する。

この係数更新に伴い、前記ステップＳ２の漸近行列の生成における式（１９）により漸近行列［Ｂ］を更新する。この更新された漸近行列［Ｂ］を新たな入力データとして、ステップＳ３の特異値分解からの一連の処理（ステップＳ２〜ステップＳ７）を繰り返す。

図６はパラメータ推定処理（本発明の第１の安定化処理）モード時のフローチャートを示している。図６の各繰り返しにおいて、差ΔＥが許容値以下に収束した場合は、パラメータ推定の処理を終了し、図５のステップＳ１２の処理モード切り替え回数がＮ回以上ではないことを条件に、ステップＳ１３において処理モードを“カメラ運動復元”に切り替える。

なお、本実施例では放射型のレンズ歪を対象としているが、その他のレンズ歪モデルにも応用ができ、上記と同様に他のレンズ歪モデルにおいても本実施例を利用することができる。

次に、処理モードを“カメラ運動復元”に切り替えた場合、図５のステップＳ８の処理モード選択以降では、“カメラ運動復元”の処理（ステップＳ１４）を実行する。この処理ではレンズ歪パラメータ、平面運動、３次元形状が与えられたとして図２のカメラ運動復元部１５においてカメラ運動（Ｘ軸回りの回転ψ_iとＹ軸回りの回転ω_i、光軸並進運動Ｔｚ_i）を復元する。

まず、現時点で保有しているレンズ歪安定化係数κ_ijにより、画像から観測した座標値（ｘ_ij，ｙ_ij）を式（３７）によりレンズ歪を補正した座標値（ｘ’_ij，ｙ’_ij）を得て、平面運動投影値（ｍ^T _iＳ_j，ｎ^T _iＳ_j）を使って式（１２）の誤差（Δｕ_ij，Δｖ_ij）を求める。

これらを式（１３）に代入し、一般化逆行列を利用して、ψ_i，ω_i，Ｔｚ_iを求める。

あるいは、Ｎｅｗｔｏｎ法、Ｐｏｗｅｌｌ法、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法に代表される最適化アルゴリズムを使って、式（１３）においてψ_i，ω_i，Ｔｚ_iを同時に求めることも可能である。さらに、ニューラルネットワークや遺伝的アルゴリズムなどの応用も可能である。

次に反復処理部１６はステップＳ１０〜Ｓ１３の処理を行う。すなわちステップＳ１４でカメラ運動を求めたことにより得られた平面運動投影値と、１つ前の段階での平面運動投影値との二乗平均誤差ΔＥを算出し（ステップＳ１０）、誤差ΔＥと許容値を比較し（ステップＳ１１）、ΔＥが許容値以下に収束していない場合は、先の計算で求めたカメラ運動を使って式（４）〜式（６）に従ってカメラ運動の安定化係数ε_ij，（ζ_i，η_i），δ_ijを更新する。

この係数更新に伴い、前記ステップＳ２の漸近行列の生成における式（１９）により漸近行列［Ｂ］を更新する。この更新された［Ｂ］を新たな入力データとしてステップＳ３の特異値分解以降の一連の処理（ステップＳ２〜Ｓ７）を繰り返す。

図７はカメラ運動復元処理（本発明の第２の安定化処理）モード時のフローチャートを示している。図７の各繰り返しにおいて、誤差ΔＥが許容値以下に収束した場合は、カメラ運動復元の処理を終了し、図５のステップＳ１２の処理モード切り替え回数がＮ回以上ではないことを条件に、ステップＳ１３において処理モードを“パラメータ推定”に切り替える。

本実施例において、パラメータ推定とカメラ運動復元間の処理モード切り替えの際、切り替え回数がＮ回を超えた時点で全ての処理を停止し、その時点でのレンズ歪パラメータとカメラ運動を出力する。以上の本発明の実施例により、時系列画像の特徴点の画像座標値から、カメラ視点の運動：ＸＹＺ軸周りの回転とＸＹＺ軸方向の並進運動、並びに、物体形状を構成する３次元情報を復元し、同時に、レンズ歪パラメータを推定することができる。

尚、上記実施例において、特徴点観測部１２、因子分解処理部１３、パラメータ推定部１４、カメラ運動復元部１５、反復処理部１６は、例えばコンピュータ装置が有するＣＰＵによって実現され、各処理をプログラムとして搭載することができる。

また前記各部（１２〜１６）で演算された行列、誤差等の演算結果、処理結果は、内部メモリや外部記憶装置等に書き込み・読み出しができるようにしても良い。

本実施例は請求項１の発明に関する基本構成である図２、図３、図５〜図７と同じ形態をとるが、カメラ運動復元部１５での処理が異なるだけであるため、以下では、この部分と関連する処理についてのみ説明する。本実施例２では光軸並進運動を考慮しないため、実施例１においてδ_ij＝１とした処理によって、カメラ運動、３次元形状、レンズ歪パラメータを求める。

処理モードを“カメラ運動復元”に切り替えた場合、図５の処理モードの選択（ステップＳ８）以降ではステップＳ１４の“カメラ運動復元”の処理を開始する。この処理ではレンズ歪パラメータ、平面運動、３次元形状が与えられたとしてカメラ運動（Ｘ軸回りの回転ψ_iとＹ軸回りの回転ω_i）の復元を行う。まず、現時点で保有しているレンズ歪安定化係数κ_ijにより、画像から観測した座標値（ｘ_ij，ｙ_ij）を前記式（３７）によりレンズ歪を補正した座標値（ｘ’_ij，ｙ’_ij）を得て、平面運動投影値（ｍ^T _iＳ_j，ｎ^T _iＳ_j）を使って式（１２）の誤差（Δｕ_ij，Δｖ_ij）を求める。

光軸並進運動Ｔｚ_i＝０，δ_ij＝１とおき、ψ_iとω_iを未知数として全特徴点（ｊ＝１，２，・・・，Ｐ）について行列標記すると、前記式（１６）に示す線形連立一次方程式となる。そして式（１６）左辺左側の行列の一般化逆行列を使って、Ｘ軸回りの回転ψ_iとＹ軸回りの回転ω_iを求めることができる。

図２の反復処理部１６では、カメラ運動を求めたことにより得られた平面運動投影値と、１つ前の段階での平面運動投影値との二乗平均誤差を算出し、この誤差ΔＥが許容値以下に収束していない場合は、先の計算で求めたカメラ運動を使ってカメラ運動の安定化係数ε_ij，（ζ_i，η_i）を更新する。

この係数更新に伴い、図５のステップＳ２の漸近行列の生成では式（１９）の漸近行列［Ｂ］を更新する。この更新された［Ｂ］を新たな入力データとしてステップＳ３の特異値分解以降の一連の処理（ステップＳ２〜Ｓ７）を繰り返す。

各繰り返しにおいて、誤差ΔＥが許容値以下に収束した場合は、カメラ運動復元の処理を終了し、処理モードを“パラメータ推定”に切り替える。それ以降の処理の流れは実施例１と同様となる。以上、実施例２により、時系列画像の特徴点の画像座標値から、カメラ視点の運動：ＸＹＺ軸周りの回転とＸＹ軸方向の並進運動、並びに、物体形状を構成する３次元情報を復元し、同時に、レンズ歪パラメータを推定することができる。

尚、上記実施例において、特徴点観測部１２、因子分解処理部１３、パラメータ推定部１４、カメラ運動復元部１５、反復処理部１６は、例えばコンピュータ装置が有するＣＰＵによって実現され、各処理をプログラムとして搭載することができる。

また前記各部（１２〜１６）で演算された行列、誤差等の演算結果、処理結果は、内部メモリや外部記憶装置等に書き込み・読み出しができるようにしても良い。

以上のように実施例１、２によれば、市販のカメラを使って取得した時系列画像全般（移動手段を利用して撮影した車載画像、海上画像、空撮画像、屋内画像など）から、カメラ運動、３次元形状、並びに、レンズ歪パラメータを復元することができる。レンズ歪パラメータを推定することができるため、従来のように、予めカメラキャリブレーション作業によりレンズ歪を求めておく必要がない。

なお、本実施例で使用する計算は、大半が線形演算で構成されるため、コンピュータ言語での実装が容易である。また、レンズ歪パラメータを推定できることで、取得した画像に幾何的補正をおこなうことで、レンズ歪を低減した透視投影像が取得できる。

すなわち、レンズ歪パラメータを使って各画素の座標値（ｘ_ij，ｙ_ij）を式（２）に示す座標値（κ_ijｘ_ij，κ_ijｙ_ij）に変換し、その座標値に画素を埋め込む（画像を幾何的に補正する）ことにより、レンズ歪を補正した透視投影での画像を取得することができるようになる。

カメラ視点と３次元位置、並びに、本発明の説明で使用する座標系を示す説明図である。 本発明の一実施形態例の画像蓄積型の基本構成図である。 本発明の他の実施形態例のリアルタイム処理型の基本構成図である。 時系列画像での特徴点の観測を示す説明図である。 本発明の実施形態例における因子分解処理部、特徴点観測部、パラメータ推定部、カメラ運動復元部、反復処理部に関する処理の流れを示すフローチャートである。 本発明の実施形態例におけるパラメータ推定の処理を反復するときのフローチャートである。 本発明の実施形態例におけるカメラ運動復元の処理を反復するときのフローチャートである。 カメラ撮影においてレンズ歪により樽型に歪むことを表す説明図である。 ３次元ターゲットを被写体としてレンズ歪を測定する例を示す説明図である。 ２次元ターゲットを被写体としてレンズ歪を測定する例を示す説明図である。

符号の説明

１１…時系列画像データベース
１２…特徴点観測部
１３…因子分解処理部
１４…パラメータ推定部
１５…カメラ運動復元部
１６…反復処理部
２１…画像入力部

Claims (5)

1. 画像入力手段で取得した時系列画像中において、時系列に関するカメラ視点の運動と外界の３次元空間または物体形状を構成する３次元情報を復元し、同時に、カメラのレンズ歪パラメータを推定する方法であって、
   前記取得した時系列画像上に設定した画像座標系において、各時系列画像中の特徴点を追跡して画像座標値を観測する画像座標値観測ステップと、
   前記画像座標値観測ステップで観測された特徴点の画像座標値を、暫定的なレンズ歪係数とカメラ視点の運動に関するパラメータと前記特徴点の３次元座標値を使って平面運動投影へ座標変換し、得られた座標値を要素とする行列（漸近行列）を生成する漸近行列生成ステップと、
   前記漸近行列生成ステップで生成された漸近行列を特異値分解し、雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報を表す行列データの行列要素において、カメラ運動を規定するために設定した条件を満足する変換行列を求め、前記運動情報を表す行列データに前記変換行列を作用させてカメラ視点に関する光軸周りの回転運動と光軸と垂直な平面上の並進運動を復元し、並びに、前記３次元情報を表す行列データに前記変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元する平面運動・３次元情報復元ステップと、
   平面運動投影への変換係数（安定化係数）と、前記平面運動・３次元情報復元ステップで復元された平面上の並進運動と３次元情報から算出される平面運動投影座標値を与えて、該座標値を関係付ける未校正投影モデルにおいてレンズ歪係数を未知数とした評価関数を設定し、その評価関数を最適にするレンズ歪係数を求めるレンズ歪パラメータ推定ステップと、
   前記画像座標値観測ステップで観測された画像座標値を、前記レンズ歪パラメータ推定ステップで得られたレンズ歪係数によって変換した座標値と、前記平面運動・３次元情報復元ステップで復元された平面上の並進運動および３次元情報から算出される平面運動投影座標値の間の座標誤差からカメラ運動を求めるカメラ運動復元ステップとを備え、
   前記レンズ歪パラメータ推定ステップを実行して得られたレンズ歪係数に基づく平面運動投影値と、該ステップ実行直前のレンズ歪係数に基づく平面運動投影値との誤差が設定評価値以下に収束しないときに、現時点でのレンズ歪の安定化係数およびカメラ運動の安定化係数によって前記漸近行列生成ステップの漸近行列を更新し、前記平面運動・３次元情報復元ステップおよびレンズ歪パラメータ推定ステップを実行してレンズ歪を補正する第１の安定化処理と、
   前記カメラ運動復元ステップを実行して得られたカメラ運動に基づく平面運動投影値と、該ステップ実行直前のカメラ運動に基づく平面運動投影値との誤差が設定評価値以下に収束しないときに、現時点でのレンズ歪の安定化係数およびカメラ運動の安定化係数によって前記漸近行列生成ステップの漸近行列を更新し、前記平面運動・３次元情報復元ステップおよびカメラ運動復元ステップを実行してカメラ運動を補正する第２の安定化処理とを、交互に切り替えて繰り返し実行することを特徴とするカメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法。
2. 請求項１に記載のカメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法であって、前記カメラ運動復元ステップは、前記座標誤差から、カメラ光軸以外の回転軸周りの回転運動を求めることを特徴とするカメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法。
3. 画像入力手段で取得した時系列画像中において、時系列に関するカメラ視点の運動と外界の３次元空間または物体形状を構成する３次元情報を復元し、同時に、カメラのレンズ歪パラメータを推定する装置であって、
   前記取得した時系列画像上に設定した画像座標系において、各時系列画像中の特徴点を追跡して画像座標値を観測する特徴点観測部と、
   前記特徴点観測部で観測された特徴点の画像座標値を、暫定的なレンズ歪係数とカメラ視点の運動に関するパラメータと前記特徴点の３次元座標値を使って平面運動投影へ座標変換し、得られた座標値を要素とする行列（漸近行列）を生成し、前記漸近行列を特異値分解し、雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報を表す行列データの行列要素において、カメラ運動を規定するために設定した条件を満足する変換行列を求め、該変換行列および前記運動情報を表す行列データに基づいて、カメラ視点に関する光軸周りの回転運動と光軸と垂直な平面上の並進運動を復元し、前記変換行列の逆行列と前記３次元情報を表す行列データに基づいて、物体形状を構成する３次元情報を復元する因子分解処理部と、
   平面運動投影への変換係数（安定化係数）と前記因子分解処理部で復元された平面上の並進運動と３次元情報から算出される平面運動投影座標値を与えて、該座標値を関係付ける未校正投影モデルにおいてレンズ歪係数を未知数とした評価関数を設定し、その評価関数を最適にするレンズ歪係数を求めるパラメータ推定部と、
   前記特徴点観測部で観測された画像座標値を、前記パラメータ推定部で得られたレンズ歪係数によって変換した座標値と、前記因子分解処理部で復元された平面上の並進運動および３次元情報から算出される平面運動投影座標値の間の座標誤差からカメラ運動を求めるカメラ運動復元部と、
   前記パラメータ推定部により得られたレンズ歪係数に基づく平面運動投影値と、得られる直前のレンズ歪係数に基づく平面運動投影値との誤差が設定評価値以下に収束しないときに、現時点でのレンズ歪の安定化係数およびカメラ運動の安定化係数によって前記因子分解処理部の漸近行列を更新し、前記因子分解処理部およびパラメータ推定部の動作を行わせてレンズ歪を補正する第１の安定化処理と、
   前記カメラ運動復元部により得られたカメラ運動に基づく平面運動投影値と、得られる直前のカメラ運動に基づく平面運動投影値との誤差が設定評価値以下に収束しないときに、現時点でのレンズ歪の安定化係数およびカメラ運動の安定化係数によって前記因子分解処理部の漸近行列を更新し、前記因子分解処理部およびカメラ運動復元部の動作を行わせてカメラ運動を補正する第２の安定化処理とを、
   交互に切り替えて繰り返し実行する反復処理部とを備えたことを特徴とするカメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定装置。
4. 請求項３に記載のカメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定装置であって、前記カメラ運動復元部は、前記座標誤差から、カメラ光軸以外の回転軸周りの回転運動を求めることを特徴とするカメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定装置。
5. 請求項１又は請求項２のいずれか１項記載のカメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法をコンピュータに実行させるためのプログラムとしたことを特徴とするカメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定プログラム。
   

Images