JP2006106929A - パラメータ推定装置、パラメータ推定方法、及び、パラメータ推定プログラム - Google Patents

Abstract

【課題】 ビデオカメラ等を使って手動操作により撮影した画像から外界の物体の空間情報を獲得、復元するときに、それぞれ焦点距離が変化するため、従来の因子分解法を利用することができず、ピント調整のために変化する焦点距離を同時に復元しなければならないという問題を解決する。
【解決手段】 因子分解処理部６３で、各画像の特徴点の時間的変化量を示す画像座標値から行列データを作成し、作成した行列データを特異値分解し雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データとを得て、運動情報の成分において運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させてカメラ視点運動を復元し、３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元し、焦点距離推定部６４で焦点距離を推定する。
【選択図】 図６

Description

本発明は、画像入力装置（例えば、カメラ等）を使って取得した車載画像、室内画像、歩行撮影画像、船上からの海上画像、空撮画像などの時系列画像全般に利用可能で、カメラで取得した時系列画像から、カメラ視点の並進運動と光軸周りの回転（ヨー回転）、及び、時系列画像に映っている外界の３次元形状、すなわち、被写体（物体）の外観形状を構成する３次元情報を復元し、同時に、カメラ内部パラメータの焦点距離を推定する技術に関する。

コンピュータビジョン分野では、時系列画像データから対象物の形状を計測または獲得する手法には、ステレオ計測やエピポーラ面解析を用いた３次元解析手法がある。この手法によれば、物体が撮影されている複数の時系列画像から、空間形状または空間構造に関する３次元位置情報、及び、カメラ視点に関する運動を復元することができる。

しかし、カメラを動かしながら撮影した時系列画像にはランダム性の雑音が混入し、カメラ運動や物体形状を高精度に復元することが困難である。

これに対して、因子分解法はランダム性の雑音が混入するようなビデオ画像などの時系列画像において、ユークリッド空間でのカメラ運動と物体形状をロバスト、かつ、高精度に復元する技術が開示されている(例えば、特許文献１参照。)。

しかし、この手法では、カメラの内部パラメータ（焦点距離など）を既知としており、事前にカメラキャリブレーションによりカメラ内部パラメータを校正しておく必要がある。

一方、ディジタル・スチルカメラやハンディカメラなどにはオートフォーカス機能が搭載されており、被写体との距離に合わせてピント調節を行い、ピントの合った画像の取得が可能である。これにより、オートフォーカスで撮影された画像は各画像において焦点距離が微妙に調整される。従来の因子分解法ではカメラの内部パラメータが固定（画像において焦点距離が変わらず一定）であることを前提としてカメラ運動と３次元形状を復元するため、オートフォーカスで撮影された画像には応用することができなかった。

これに対して、簡易な撮影ターゲット（紙に印刷した白黒の市松模様パターン）をハンドフリーで撮影した画像から、カメラの内部パラメータを推定する技術も開示されている(例えば、非特許文献１参照。)。しかし、時間的に変化する内部パラメータに対しては、この技術は適用できなかった。
特開２００３−２７１９２５号公報 Ｚ．Ｚｈａｎｇ，「Ａ Ｆｌｅｘｉｂｌｅ Ｎｅｗ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ」，ＩＥＥＥ Ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌ．＆ Ｍａｃｈ．Ｉｎｔｅｌｌ，Ｖｏｌ．２２，Ｎｏ．１１，ｐｐ．１３３０−１３３４，２０００．

ステレオ視の原理を応用した計測方法により、ディジタル・スチルカメラやハンディタイプのビデオカメラを使って手動操作により撮影した画像から外界の物体の空間情報を獲得、復元するとき、各画像でのピント合わせが必要であり、被写体との距離に応じてフォーカスを調整するというオートフォーカス機能により、画像ごとにピントが調整された画像が得られる。しかし、それぞれ焦点距離が変化するため、従来の因子分解法を利用することができず、ピント調整のために変化する焦点距離を同時に復元しなければならないという問題がある。

本発明は、かかる事情に鑑みてなされたもので、その目的は上記課題を解決したカメラパラメータ推定技術を提供することにある。

本発明では、焦点距離を推定するための投影モデルを

と仮定し、この投影モデルに基づいてカメラ運動、３次元形状、焦点距離を復元する。式１では、第ｉフレームの画像において観測される第ｊ番目の特徴点の画像座標値を（ｘ_ij，ｙ_ij）、そのときの焦点距離をｆ_i，ＸＹ並進運動を（Ｔｘ_i，Ｔｙ_i）、光軸周りの回転をθ_iとする。また、画像座標値（ｘ_ij，ｙ_ij）は主点（ｐｒｉｎｃｉｐｌｅ ｐｏｉｎｔ）を原点としており、主点は既知とし、画像面の横縦のアスペクト比は１：１とする。

上記を全フレーム（ｉ＝１，２，・・・，Ｆ）、全特徴点（ｊ＝１，２，・・・，Ｐ）に対して行列表記すると、

となる。ここで、ｆ_i＝１（ｉ＝１，２，・・・，Ｆ）とした場合は、式２の右辺はカメラ運動を平面運動と仮定し、因子分解法を利用することでカメラ運動と３次元形状を復元することができる。ところが、焦点距離ｆ_iはオートフォーカス機能等により変化してフレームごとに異なっているため、式２の左辺のｆ_iを同時に推定しなければならない。そこで、式２の左辺に示す焦点距離でスケール倍した画像座標値（ｘ_ij／ｆ_i，ｙ_ji／ｆ_i）から平面運動と３次元形状を復元する。

因子分解法により復元した平面運動と３次元形状から再投影座標値（Δｕ_ij，Δｖ_ij）は、

と表される。これを全特徴点に対して展開すると、

となるため、

という計算により、各フレーム（ｉ＝１，２，・・・，Ｆ）での焦点距離ｆ_iが得られる。

また、画像面の横縦スケールファクタ比が１：βのときは、

で与え、各フレームでの焦点距離ｆ_iとして、α_i＝ｆ_i，β_i＝βｆ_iとする。全フレーム、全特徴点で連立すると、

となり、この場合も、上記と同様に考えて、

で求めることができる。

本発明では、平面運動で撮像した時系列画像からカメラ運動と３次元形状を復元し、カメラ内部パラメータのスケールファクタ比と焦点距離を推定するため、図１に示すようにカメラ１１を平面レール１２の上を平行移動させ、または、図２に示すように平面板２１上で光軸と平行な支柱２２で支えられたカメラ２３を移動させて撮像することにより、平面運動での時系列画像を取得でき、その時系列画像中の特徴点の画像座標値（ｘ_ij，ｙ_ij）を観測することで、式２、式８の投影モデルに基づいて、オートフォーカスによる焦点距離の変化を考慮した式４、式５、式６、式９の計算により焦点距離、画像横縦のスケールファクタ比１：βを求めることができる。

本発明により、カメラ等を使って取得した時系列画像全般（移動手段を利用して撮影した車載画像、海上画像、空撮画像、屋内画像など）から、オートフォーカス機能が働いた状況でも、カメラ運動と３次元形状とを同時に復元し、オートフォーカス機能により変化した焦点距離を推定することができる。

本発明はカメラが平面運動する状況に適用可能であり、図３、図４の撮像手段とすることで特徴点観測手段での特徴点の画像座標値を高精度に観測することに効果がある。これにより、カメラ運動と３次元形状、カメラ内部パラメータをより高精度に復元、推定することができる。なお、本発明で使用する計算は、大半が線形演算で構成されるため、コンピュータ言語での実装が容易である。

以下、本発明の実施形態を図面を用いて説明する。

(実施形態１)
図３はカメラを平行移動させて時系列画像を取得するシステムであり、回転式ハンドル３１の操作により平面レール３２上のワイヤ３３に固定したカメラ３４を平行移動させながら撮像を行うものである。

図４はカメラを回転移動させて時系列画像を取得するシステムであり、平面板４１のカメラを移動させる円４２に光軸と平行な支柱４３により固定されたカメラ４４を半径Ｒの円周上を平面運動させながら撮像を行うものである。

図５は図３、図４に記載のシステムにより時系列画像を取得したときのカメラと対象物との位置関係を表す図である。運動の中心は視点としており、視点を原点としたカメラ座標系ＸＹＺ，原点Ｏとした世界座標系ＸｗＹｗＺｗを設定する。この座標系において、カメラ運動として、Ｔi（Ｔｘ_i，Ｔｙ_i）の並進運動と光軸（Ｚ軸）周りのヨー回転θ_iとする。対象物の点Ｐ_j（Ｘ_j，Ｙ_j，Ｚ_j）はカメラにより画像面において投影中心（主点）を原点とした画像座標値（ｘ_ij，ｙ_ij）へ投影されるとする。なお、説明の都合上、初期フレームでの視点とＯは一致しているものとし、光軸はＺｗ軸と平行関係にあり、θ_iはＸとＸｗ軸との成す角とするが、このことは一般性を損なうものではない。

図６は本発明のパラメータ推定装置の基本構成図である。図６に示すようにパラメータ推定装置は、時系列画像を蓄積した時系列画像データベース６１、各画像における特徴点の座標値を観測する特徴点観測部６２、画像座標値からなる行列データからカメラ運動と３次元形状を復元する因子分解処理部６３、カメラ内部パラメータの焦点距離を推定する焦点距離推定部６４、カメラ運動と３次元形状、焦点距離が得られるまで処理を繰り返すための反復処理部６５から構成される。

この構成において、時系列画像データベース６１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちらでも構わない。

さらに、図７はリアルタイムで処理する場合のパラメータ推定装置の構成図である。図７に示すように本構成では時系列画像データベース６１を有しておらず、画像入力部７１から入力された画像を特徴点観測部７２が処理を行う構成になっている。このように、本発明は必ずしも各データベース部などの記憶装置を必要としない。

図６に示すパラメータ推定装置では、まず、特徴点観測部６２において、対象物を撮影した時系列画像を時系列画像データベース６１からフレームＦ分の画像系列を取り出す。この取り出した画像系列において特徴点追跡を行う。特徴点は従来から用いられているような以下の手順により抽出する。

図８に示すように画像１の領域１において、
（１）各画素に対する２×２のヘッセ行列を求める。次に、
（２）各点の３×３近傍領域において極大点かどうか判定し、極大点以外の点を削除する（ｎｏｎ−ｍａｘｉｍａ ｓｕｐｐｒｅｓｓｉｏｎ）。さらに、
（３）得られた各点のヘッセ行列の固定値σ_l，σs（σ_s≦σ_l）を求め、σ_sがσ_p以上となる点を抽出する。最後に、
（４）抽出した点のσ_sの大きさの順にソートし、上位の点から順番にその点（ｐ_l）より上位の点（ｐ_h）がσ_d画素以内の距離に存在するかどうかを判定し、もし、存在する場合は下位の点ｐ_lを削除する。さらに、抽出した特徴点（ｊ＝１，２，・・・，Ｐ）をＫＬＴ法（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ）により画像ｉ（ｉ＝２，・・・，Ｆ）にわたって追跡し、画像座標値（ｘ_ij，Ｙ_ij）を観測する。このようにして得られた特徴の画像座標値を

に示す配列に並べた２Ｆ×Ｐの行列データ（行列データ［Ａ］）を用意する。

次に、因子分解処理部６３、焦点距離推定部６４、及び、反復処理部６５の処理内容について、図９の処理フロー図を用いて説明する。

まず、因子分解処理部６３が行列データの入力を行う(Ｓ１)。

次に、因子分解処理部６３が行列分解データの生成を行う(Ｓ２)。すなわち、係数δ_ijを

のように初期化し、保持しておいた式８の２Ｆ×Ｐの行列データ［Ａ］から

に示すデータを求めておき、これを行列分解データ［Ｂ］として保持しておく。

次に、因子分解処理部６３が特異値分解を行う(Ｓ３)。すなわち、行列分解データ［Ｂ］を入力データとして特異値分解により

に示す３つの行列［Ｕ］，［Ｗ］，［Ｖ］に行列分解する。ここで、［Ｕ］は２Ｆ×Ｐサイズの行列、［Ｗ］はＰ×Ｐサイズの対角行列、［Ｖ］はＰ×Ｐサイズの行列である。

次に、因子分解処理部６３が雑音除去を行う(Ｓ４)。すなわち、

の第二項に示すように、ランク４以降の各行列の成分を削除する。この削除のときは、行列［Ｕ］を取り出し、この行列の要素において第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｗ］を取り出し、この行列の要素において第４から第Ｐ行目並びに第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｖ］を取り出し、この行列の要素において第４から第Ｐ行目までを削除し、残りの成分からなる行列をそれぞれ保持する。

次に、第４から第Ｐ行目並びに第４から第Ｐ列目までを削除した行列［Ｗ］の対角要素の平方をとった行列から、

に示す行列［Ｕ’］と行列［Ｖ’］を得る。

次に、因子分解処理部６３が変換行列算出を行う(Ｓ５)。すなわち、保持してある行列［Ｕ’］を取り出し、

に示す連立する条件式における対称行列［Ｃ］の各要素にかかる係数を計算する。なお、対称行列［Ｃ］は

に表されている。

これらの係数計算は、行列演算により容易に得られるものであり、この条件式を全フレームに対して計算する。次に、全フレームの式１８〜式２０に示す連立する条件式に対して、最小二乗法などの数値計算を利用して３×３サイズの行列［Ｃ］の各要素を決定する。求めた行列［Ｃ］を

に示すように固有値分解する。ここで、固有値行列の平方と固有値行列から、

の行列［Ｃ’］を生成し、この行列要素を成分にもつ行列［Ｑ］を

に従って算出する。

次に因子分解処理部６３が平面運動復元を行う(Ｓ６)。すなわち、求めた行列［Ｑ］と、保持しておいた行列［Ｕ’］から、

の行列演算により行列［Ｍ’］を計算する。行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（ｍ_ix，ｎ_ix）または（ｍ_iy，ｎ_iy）を取り出し、

を使って、ヨー回転θiを復元する。次に、行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（Ｔ_iu，Ｔ_iv）を取り出す。この（Ｔ_iu，Ｔ_iv）から、

を使って第ｉフレームにおけるユークリッド空間でのＸＹ並進運動（Ｔｘ_i，Ｔｙ_i）を計算する。

次に、因子分解処理部６３が３次元情報復元を行う(Ｓ７)。すなわち、先に保持しておいた行列［Ｖ’］と、変換行列算出で得られた行列［Ｑ］から、

に示す行列演算を行い、行列［Ｓ’］を求める。次に、行列［Ｓ’］の要素に対して、

に示す変換を行い、これを要素とする行列を［Ｐ］とする。行列［Ｐ］の列ベクトルは、それぞれ第ｊ番目の特徴点のユークリッド空間での３次元座標値（Ｘ_j，Ｙ_j，Ｚ_j）になっている。

次に、焦点距離推定部６４が焦点距離推定を行う(Ｓ８)。すなわち、平面運動復元と３次元情報復元で復元したカメラ運動と３次元形状から

に示す（Δｕ_ij，Δｖ_ij）を得て、各フレームでの画像座標値（ｘ_ij，ｙ_ij）から、式６の演算により焦点距離ｆ_iを求める。

次に、反復処理部６５が、

に示す誤差△Ｅを算出する(Ｓ９)。この誤差がある一定値以下に収束しているかを判断し(Ｓ１０)、ある一定値以下に収束している場合は処理を終了する。もし、そうでない場合は、

に従って係数δ_ijを更新する(Ｓ１１)。さらに、この係数更新に伴い式１２により行列分解データ［Ｂ］を更新する。これを誤差△Ｅが一定値以下に収束するまで反復を繰り返す。

以上、実施形態１により、時系列画像の特徴点の画像座標値から、カメラ視点の運動：光軸周りの回転とＸＹ軸方向の並進運動、及び、物体形状を構成する３次元情報を復元し、同時に、カメラ内部パラメータの焦点距離を推定することができる。

(実施形態２)
図１０は本発明のパラメータ推定装置の基本構成図である。図１０に示すようにパラメータ推定装置は、時系列画像を蓄積した時系列画像データベース１０１、各画像における特徴点の座標値を観測する特徴点観測部１０２、画像座標値からなる行列データからカメラ運動と３次元形状を復元する因子分解処理部１０３、カメラ内部パラメータの焦点距離を推定する焦点距離推定部１０４、カメラ運動と３次元形状、焦点距離が得られるまで処理を繰り返すための反復処理部１０５、カメラ内部パラメータの画像の横縦のスケールファクタ比を求めるスケールファクタ比算出部１０６から構成される。

この構成において、時系列画像データベース１０１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちらでも構わない。

さらに、図１１はリアルタイムで処理する場合の処理構成図である。図１１に示すように本構成では時系列画像データベース１０１を有しておらず、画像入力部１１１から入力された画像を特徴点観測部１１２が処理を行う構成になっている。このように、本発明は必ずしも各データベース部などの記憶装置を必要としない。

本実施形態は、実施形態１と比べると、焦点距離推定部１０４、１１４、スケールファクタ比算出部１０６、１１６の処理が異なっているため、以下の説明では、この部分についてだけ記載する。

図１２は図１０に示すパラメータ推定装置における因子分解処理部１０３、焦点距離推定部１０４、反復処理部１０５、スケールファクタ比算出部１０６、の処理フローである。Ｓ１〜Ｓ７については、実施形態１の図３の説明と同一であるので省略する。

焦点距離推定部１０４での処理は、式３０に示す（Δｕ_ij，Δｖ_ij）を得て、各フレームでの画像座標値（ｘ_ij，ｙ_ij）から、式９の演算によりα_i，β_iを求める(Ｓ２１)。このとき、焦点距離はα_iで得られる。

反復処理部１０５では、式３１に示す誤差△Ｅを算出する(Ｓ２２)。この誤差がある一定値以下に収束しているかを判断し(Ｓ２３)、ある一定値以下に収束している場合は処理を終了する。もし、そうでない場合は、

により行列分解データ［Ｂ］を更新する(Ｓ２４)。これを誤差△Ｅが一定値以下に収束するまで反復を繰り返す。

反復処理が終了したとき、スケールファクタ比算出部１０６が、β_i／α_iの平均値を求めて画像の横縦のスケールファクタ比１：βを得る(Ｓ２５)。

以上、実施形態２により、時系列画像の特徴点の画像座標値から、カメラ視点の運動：光軸周りの回転とＸＹ軸方向の並進運動、及び、物体形状を構成する３次元情報を復元し、同時に、カメラ内部パラメータの焦点距離、画像横縦のスケールファクタ比を推定することができる。

なお、実施形態１及び２に記載のパラメータ推定装置は、例えば、パラメータ推定装置を構成するコンピュータ装置が有するＣＰＵによって実現され、必要とする特徴点観測、因子分解処理、焦点距離推定、反復処理、スケールファクタ比算出などをアプリケーションプログラムとして搭載することができる。

また、コンピュータ装置には上記説明した特徴点観測、因子分解処理、焦点距離推定、反復処理、スケールファクタ比算出など行った処理結果や計算結果等のデータを内部メモリや外部記憶装置等に書き込み・読み出しができるようにしてもよい。

また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ(ＭＰＵ)が記録媒体に格納されたプログラムコードを読み出し実行することによっても実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ、等は本発明を構成する。

カメラが平面レールの上で移動する場合を示す図。 カメラが平面板の上で移動する場合を示す図。 平面レールの上で移動させる仕組みにおいて、回転式ハンドルによりカメラを移動させて撮像する例。 カメラが平面板の上で半径Ｒの回転をさせて撮像する例。 カメラ視点と３次元位置、及び、本発明の説明で使用する座標系を示す図、 パラメータ推定装置の基本構成図。 パラメータ推定装置の基本構成図。 時系列画像での特徴点の観測を示す図。 因子分解処理部、焦点距離推定部、及び、反復処理部に関する処理フロー図。 パラメータ推定装置の基本構成図。 パラメータ推定装置の基本構成図。 因子分解処理部、焦点距離推定部、反復処理部、及び、スケールファクタ比算出部に関する処理フロー図。

符号の説明

１１…カメラ
１２…平面レール
２１…平面板
２２…支柱
２３…カメラ
３１…回転式ハンドル
３２…平面レール
３３…ワイヤ
３４…カメラ
４１…平面板
４２…カメラを移動させる円
４３…支柱
４４…カメラ
６１…時系列画像データベース
６２…特徴点観測部
６３…因子分解処理部
６４…焦点距離推定部
６５…反復処理部
７１…画像入力部
７２…特徴点観測部
７３…因子分解処理部
７４…焦点距離推定部
７５…反復処理部
１０１…時系列画像データベース
１０２…特徴点観測部
１０３…因子分解処理部
１０４…焦点距離推定部
１０５…反復処理部
１０６…スケールファクタ比算出部
１１１…画像入力部
１１２…特徴点観測部
１１３…因子分解処理部
１１４…焦点距離推定部
１１５…反復処理部
１１６…スケールファクタ比算出部

Claims (7)

1. カメラ手段によって取得した対象物の時系列画像に設定した画像座標系において、各画像の特徴点の時間的変化量を示す画像座標値を観測する特徴点観測手段と、
   前記画像座標値から行列データを作成し、当該行列データから前記カメラ手段のカメラ視点運動と前記対象物の外観形状を構成する3次元形状とを復元する因子分解処理手段と、
   前記復元したカメラ視点運動と3次元形状とから各特徴点に関する画像座標系でのカメラ視点運動の再投影誤差である再投影座標値を求め、当該再投影座標値と前記観測した画像座標値とから前記カメラ手段の焦点距離を推定する焦点距離推定手段と、
   前記再投影誤差と前記観測した画像座標値に焦点距離のスケール倍した値との間の誤差が規定値以下に収束しているかを判断し、収束していない場合には焦点距離でスケール倍した各特徴点の画像座標値を新たな行列要素として行列データを作成して前記因子分解処理手段からの処理を反復させる反復処理手段と、を備えることを特徴とするパラメータ推定装置。
2. 前記焦点距離推定手段では、カメラ視点運動と3次元形状とから各特徴点に関する画像座標系でのカメラ視点運動の再投影誤差である再投影座標値を求め、当該再投影座標値と観測した画像座標値とから、スケールファクタ比と焦点距離とを推定し、
   前記反復処理手段では、前記再投影誤差と観測した画像座標値にスケールファクタ比を掛けた焦点距離のスケール倍した値との間の誤差が規定値以下に収束しているかを判断し、収束していない場合にはスケールファクタ比を掛けた焦点距離でスケール倍した各特徴点の画像座標値を新たな行列要素として行列データを作成して前記因子分解処理手段からの処理を反復させ、誤差が前記規定値以下に収束するまで当該反復処理を行い、
   前記反復処理が終了した時に、前記推定した焦点距離およびスケールファクタ比を用いてスケールファクタ比を算出するスケールファクタ比算出手段を備える、ことを特徴とする請求項１に記載のパラメータ推定装置。
3. 前記因子分解処理手段では、
   前記作成した行列データを特異値分解し雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データとを得て、
   前記運動情報の成分において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させてカメラ視点運動を復元し、
   前記３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元することを特徴とする請求項１または２に記載のパラメータ推定装置。
4. 特徴点観測手段がカメラ手段によって取得した対象物の時系列画像に設定した画像座標系において、各画像の特徴点の時間的変化量を示す画像座標値を観測する特徴点観測ステップと、
   因子分解処理手段が前記画像座標値から行列データを作成し、当該行列データから前記カメラ手段のカメラ視点運動と前記対象物の外観形状を構成する3次元形状とを復元する因子分解処理ステップと、
   焦点距離推定手段が前記復元したカメラ視点運動と3次元形状とから各特徴点に関する画像座標系でのカメラ視点運動の再投影誤差である再投影座標値を求め、当該再投影座標値と前記観測した画像座標値とから前記カメラ手段の焦点距離を推定する焦点距離推定ステップと、
   反復処理手段が前記再投影誤差と前記観測した画像座標値に焦点距離のスケール倍した値との間の誤差が規定値以下に収束しているかを判断し、収束していない場合には焦点距離でスケール倍した各特徴点の画像座標値を新たな行列要素として行列データを作成して前記因子分解処理手段からの処理を反復させる反復処理ステップと、を備えることを特徴とするパラメータ推定方法。
5. 前記焦点距離推定ステップでは、カメラ視点運動と3次元形状とから各特徴点に関する画像座標系でのカメラ視点運動の再投影誤差である再投影座標値を求め、当該再投影座標値と観測した画像座標値とから、スケールファクタ比と焦点距離とを推定し、
   前記反復処理ステップでは、前記再投影誤差と観測した画像座標値にスケールファクタ比を掛けた焦点距離のスケール倍した値との間の誤差が規定値以下に収束しているかを判断し、収束していない場合にはスケールファクタ比を掛けた焦点距離でスケール倍した各特徴点の画像座標値を新たな行列要素として行列データを作成して前記因子分解処理ステップからの処理を反復させ、誤差が前記規定値以下に収束するまで当該反復処理を行い、
   前記反復処理が終了した時に、スケールファクタ比算出手段が前記推定した焦点距離およびスケールファクタ比を用いてスケールファクタ比を算出するスケールファクタ比算出ステップを備える、ことを特徴とする請求項４に記載のパラメータ推定方法。
6. 前記因子分解処理ステップでは、
   前記作成した行列データを特異値分解し雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データとを得て、
   前記運動情報の成分において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させてカメラ視点運動を復元し、
   前記３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元することを特徴とする請求項４または５に記載のパラメータ推定方法。
7. 上記の請求項１〜６のいずれか１項に記載のパラメータ推定装置またはパラメータ推定方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするパラメータ推定プログラム。
   

Images