JP2000003447A

JP2000003447A - 物体形状及びカメラ・パラメータの推定方法、三次元データ入力装置、並びに、記録媒体

Info

Publication number: JP2000003447A
Application number: JP10167352A
Authority: JP
Inventors: Hirofumi Nishida; 広文西田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1998-06-15
Filing date: 1998-06-15
Publication date: 2000-01-07

Abstract

(57)【要約】【課題】特徴点の遮蔽が起きる場合でも、画像系列か
ら効率的な処理により物体形状及びカメラ・パラメータ
を高精度に推定する。【解決手段】画像系列の各フレーム上での各特徴点の
座標値を特徴点抽出・追跡部１０３で求め、それら座標
値に対し、その信頼度に応じた重みを重み設定部１０４
で設定する。反復推定演算部１０５において、アフィン
・カメラモデルを仮定し、特徴点の座標値及びその重み
を用いて、物体形状を固定した条件下でカメラ・パラメ
ータを最小二乗法で推定し、次に、カメラ・パラメータ
を固定した条件下で物体形状を最小二乗法で推定する２
段階からなる反復推定処理を、物体形状及びカメラ・パ
ラメータが収束するまで繰り返す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルビデオカ
メラなどによって撮影された時系列画像から、対象物体
の三次元形状とカメラ・パラメータを推定する技術分野
に関する。

【０００２】

【従来の技術】デジタルスチルカメラやデジタルビデオ
カメラのようなデジタルメディアによって取り込んだ動
画像からの対象物体の三次元形状の推定が、コンピュー
タヴィジョンの研究分野において重要な課題となってお
り、その応用分野、例えばロボットヴィジョン、自動走
行車、ビデオカメラを使った三次元形状入力、画像符号
化、三次元モデリングなどでも大きな関心が持たれてい
る。

【０００３】時系列の二次元動画像からの三次元情報の
抽出問題において、物体形状とカメラ運動を同時に計算
する方法として、TomasiとKanadeにより提案された「因
子分解法(factorization)」がある（ C.Tomasi and T.K
anade, "Shape and motionfrom image stream under or
thography: A factorization method,"International J
ournal of Computer Vision,vol.9,1992,pp.137-15
4）。この方法は、正射影モデルに基づいて線形定式化
を行い、数値計算的に安定な行列の特異値分解を用いる
ため、反復計算を使わずに解を求めることができ、か
つ、他の手法に比べて解が極めて安定である。また、定
式化の線形性を保ちながら、実際のカメラモデルである
中心射影により近い擬似中心射影(paraperspective)モ
デルを利用する因子分解法が、PoelmanとKanadeにより
提案された（ C.J.Poelmanand T.Kanade, "A parapersp
ective factorization method for shape andmotion re
covery," IEEE Transaction on Pattern Analysis and
MachineIntelligence, vol.19，no.3，pp．206-218）。

【０００４】

【発明が解決しようとする課題】因子分解法において
は、選ばれたすべての特徴点が、動画像のすべての画像
フレームにわたって追跡できることを前提としている。
すなわち、最初の画像フレームで見えている特徴点が途
中で隠れて見えなくなったり、途中の画像フレームで新
しい特徴点が導入されたりしないことを仮定している。
しかしながら、カメラが物体の周りを一回りするような
状況では、最初の画像フレームで見えている特徴点の一
部は途中で物体に遮蔽されてしまうので、そのような仮
定は、長時間にわたって撮影された動画像には適用でき
ない。

【０００５】この問題への対処として、前述のTomasiと
Kanadeは、特定の画像フレーム上で隠れて見えないよう
な特徴点について、その画像面での投影位置、すなわ
ち、物体が透明な場合に、その特徴点が画像面上で観測
されるべき位置を推定する方法を提案している。この方
法では、推定対象の近傍の画像フレームの部分集合と特
徴点の部分集合に因子分解法を適用し、それにより得ら
れた画像フレームと特徴点の位置情報の部分推定を使っ
て、隠れて見えない特徴点の画像面での投影位置を最小
二乗近似によって求める。しかし、この方法で得られる
推定値は、本来の投影条件である中心射影によるもので
はなく、因子分解法で仮定する投影モデル（正射影や擬
似中心射影）により投影されたものになってしまう。そ
のため、推定値が実際のカメラモデルである中心投影に
よる投影位置から大きくずれて誤差が大きくなることが
ある。このような誤差が大きい推定値を使うことは、全
体の形状と運動の復元精度に悪影響を及ぼす。

【０００６】さらに、三次元空間内の点の画像フレーム
上への投影を考えると、画像フレームの中心から離れる
ほど、擬似中心射影による投影位置と実際のカメラモデ
ルの中心射影による投影位置との誤差が大きくなること
が解析的に示される。したがって、擬似中心射影モデル
を用いて形状復元をする場合には、各画像フレームにお
いて、中心に近い特徴点ほど信頼性が高く、遠い特徴点
ほど信頼性が低いことになる。

【０００７】本発明は、上に述べた２つの問題点に鑑み
てなされたもので、一連の時系列画像中に隠れて見えな
いような特徴点がある場合にも、より効率的な処理によ
って、より高い精度で、物体の形状とカメラ・パラメー
タを推定できるようにすることを目的とする。

【０００８】

【課題を解決するための手段】本発明においては、画像
系列に対し特徴点の追跡を行い、その結果として得られ
た各画像フレーム上の各特徴点の座標値に対し、その信
頼度に応じた重みを設定する。具体的には、特徴点の重
みを、特徴点の画像フレームの中心からの距離の単調減
少関数として定義すればよく、遮蔽されて見えなくなっ
た特徴点については、信頼度が０であるので、その重み
を０に設定すればよい。アフィン・カメラモデルを仮定
し、特徴点の座標値に基づいて物体形状とカメラ・パラ
メータを推定するが、その際に、各特徴点の座標値を、
設定された重みを用いて重みづけする。推定には反復法
を用いる。まず、物体形状を固定した条件下でカメラ・
パラメータを最小二乗法で推定し、次に、カメラ・パラ
メータを固定した条件下で物体形状を最小二乗法で推定
するという２段階からなる反復処理を、物体形状及びカ
メラ・パラメータが収束するまで繰り返す。

【０００９】

【発明の実施の形態】本発明においては、カメラ・モデ
ルとして、擬似中心射影モデルを含むアフィン・カメラ
モデルを仮定する。まず、このアフィン・カメラモデル
に関して図１を参照して説明する。

【００１０】図１において、１はカメラ中心、２はカメ
ラ中心１から焦点_p距離だけ離れた画像面である。Ｃ
は、カメラにより撮影された物体の特徴点（その一部が
■マークで代表して表されている）の集合の重心（物体
の重心）である。３は重心Ｃを通り画像面２に平行な仮
想画像面である。ワールド座標系の原点を重心Ｃに採
り、特徴点ｐのワールド座標系での三次元座標をｓ_p＝
(ｓ_px,ｓ_py,ｓ_pz)^T∈Ｒ³とする。

【００１１】時系列画像中のある画像フレームｆに関
し、カメラ中心１の座標をｔ_f、画像面２の二次元ロー
カル座標系の基底ベクトルをｉ_f，ｊ_f∈Ｒ³（ただし、
‖ｉ_f‖＝‖ｊ_f‖＝１,ｉ_f×ｊ_f＝０）、カメラの光軸
方向をｋ_f＝ｉ_f×ｊ_f∈Ｒ³とする。画像フレームｆにお
いて、画像面２と、ベクトルｋ_fの交点Ｏ_fを原点に採
り、単位直交ベクトルの組（ｉ_f,ｊ_f）により、二次元
ローカル座標系Σ_f＝（Ｏ_f；ｉ_f,ｊ_f）を定義する。特
徴点ｐの画像面２への投影点のΣ_f＝（Ｏ_f；ｉ_f,ｊ_f）
での座標を（ｕ_fp,ｖ_fp）とする。ただし、カメラの焦
点距離を１とする。

【００１２】アフィン・カメラモデルでは、（ｕ_fp,ｖ
_fp）は、次のように表現される。ただし、ｍ_f＝(ｍ_fx,
ｍ_fy,ｍ_fz)，ｎ_f＝(ｎ_fx,ｎ_fy,ｎ_fz)、ｘ_f，ｙ_fはカメ
ラ・パラメータである。

【００１３】

【数１】

【００１４】特に、擬似中心射影モデルでは、図１のよ
うに、ワールド座標系の原点を特徴点集合の重心Ｃに採
ったとき、

【００１５】

【数２】

【００１６】となる。ここで、ｚ_fはカメラ中心１から
仮想画像面３までの距離である。擬似中心射影モデル
は、｜ｓ_p｜²／ｚ_f ²≒０の仮定のもとで中心射影を近似
したものである。

【００１７】擬似中心射影モデルを含むアフィン・カメ
ラモデルにおいては、画像面２の中心から離れるほど、
中心射影の投影位置との誤差が大きくなる。特に、擬似
中心射影モデルでは、画像フレームｆでの二次元ローカ
ル座標系Σ_f＝(Ｏ_f;ｉ_f,ｊ_f)における、投影点座標の推
定値の誤差(Δｕ，Δｖ）は

【００１８】

【数３】

【００１９】となる。ただし、図１に示すように、Ｄは
推定される点ｓ_p∈Ｒ³から仮想画像面３までのワールド
座標系での符号付き距離であり、特徴点ｓ_pが仮想画像
面３に対して、カメラ中心１と同じ側にあるときに負、
反対側にあるときに正の符号をとる。（ｕ，ｖ）は、Σ
_f＝（Ｏ_f;ｉ_f，ｊ_f）での点ｓpの画像面２へ正射影した
投影点の座標である。（ｕ_c,ｖ_c）は、Σ_f＝（Ｏ_f;
ｉ_f，ｊ_f）での特徴点集合の重心Ｃの画像面２へ正射影
した投影点の座標である。もしカメラの光軸がＣを通れ
ば、（ｕ_c，ｖ_c）＝０となる。

【００２０】以下、本発明の方法及び装置の一実施形態
として、デジタルビデオカメラなどによって撮影された
Ｆ枚の画像フレームからなる画像系列を取り込み、対象
物体の形状とカメラ・パラメータを推定する三次元デー
タ入力システムについて説明する。図２は、この三次元
データ入力システムの機能的ブロック構成を示すブロッ
ク図である。図３乃至図５は、この三次元データ入力シ
ステムにおける処理内容を説明するためのフローチャー
トである。

【００２１】図２において、１００は画像系列を入力す
る画像入力部である。この画像入力部１００は、例え
ば、物体の撮影に使用されたデジタルビデオカメラその
ものであったり、デジタルビデオカメラなどで予め撮影
された画像データを格納している記憶媒体から画像デー
タを読み込むものであったり、あるいは、外部の機器か
ら通信回線を通じて画像データを取り込むものである。
１０１は、画像入力部１００から入力された一連の画像
フレームの全部、又は、少なくとも相前後した２枚の画
像フレームを一時的に記憶するためのフレームメモリで
ある。

【００２２】１０２は、フレームメモリ１０１内の画像
フレームから特徴点を抽出して、それを全フレームにわ
たって追跡する特徴点抽出・追跡部である。この特徴点
の抽出・追跡の結果として、各画像フレームｆ（ｆ＝1,
2,...,F）における各特徴点ｐ（ｐ＝1,2,...,P）の画像
面への投影点の座標（ｕ_fp,ｖ_fp）が例えば図６に示す
ような形でワークメモリ１０３に記憶される。特徴点と
しては、例えば、物体のエッジや模様のような輝度変化
の激しい点が抽出される。このような特徴点の追跡（フ
レーム間での特徴点の対応付け）は、例えば、相前後す
るフレーム間でのブロックマッチングによって行われ
る。前述のように特徴点の遮蔽、あるいは撮影時の照明
の変動などによって、ある特徴点が、ある画像フレーム
では抽出されない場合があり、そのような特徴点の座標
値は欠測値となる。

【００２３】１０４は、ワークメモリ１０３上に得られ
た特徴点の座標値（ｕ_fp,ｖ_fp）に対し、その信頼度に
応じた重みｗ_fp（０≦ｗ_fp≦１）を設定する重み設定部
である。設定された重みｗ_fpは、例えば図６のような形
式でワークメモリ１０３に記憶される。１０５は、ワー
クメモリ１０３上の座標値と重みを参照し、反復推定演
算処理を行うことにより対象物体の形状とカメラ・パラ
メータを推定する反復推定演算部である。推定結果はワ
ークメモリ１０３に記憶される。１０６は、ワークメモ
リ１０３より推定結果を外部の記憶媒体や出力機器へ出
力する出力部である。

【００２４】このような三次元データ入力システムにお
ける処理内容について、図３乃至図５のフローチャート
に示す処理の流れに沿って詳細に説明する。

【００２５】画像入力部１００によって画像系列を入力
し、それに対する特徴点の抽出・追跡を特徴点抽出・追
跡部１０２で行う（処理ブロック２００，２０１）。な
お、フレームメモリ１０１に例えば２フレームだけを一
時的に記憶する場合には、最終の第Ｆフレームまで、２
フレーム単位で処理ブロック２００，２０１の処理が繰
り返される。

【００２６】このようにしてワークメモリ１０３上に得
られた座標値に対する重みが重み設定部１０４によって
設定される（処理ブロック２０２）。画像フレームｆに
おける特徴点ｐの欠測値でない座標値（ｕ_fp,ｖ_fp）の
重みｗ_fpは次のようにして決定される。画像フレームｆ
の中心Ｏ_fから特徴点ｐの投影点（ｕ_fp,ｖ_fp）までの距
離をｄ_fpとする。重みｗ_fpは、ｄ_fp＝０のときに１をと
るような、ｄ_fpの単調減少関数として定義する。例え
ば、画像フレームｆの中心Ｏ_fから最も遠くにある投影
点までの距離をＤ_f、ａを０＜ａ≦１のような定数とす
るとき、

【００２７】

【数４】

【００２８】又は

【００２９】

【数５】

【００３０】のような関数を使うことができる。ただ
し、欠測値に対しては、その信頼度は０であるから、そ
の重みを０とする。

【００３１】このような重み設定が終了すると、反復推
定演算部１０５によって、対象物体の形状とカメラ・パ
ラメータの推定が行われる（処理ブロック２０３）。ワ
ークメモリ１０３上に得られた推定結果は、出力部１０
６によって出力され（処理ブロック２０４）、本システ
ムの処理が終了する。

【００３２】次に、処理ブロック２０３における処理内
容を詳細に説明する。ここでは、ワークメモリ１０３上
に得られたデータ｛(ｕ_fp,ｖ_fp;ｗ_fp)：ｆ＝1,...,F；
ｐ＝1,...,P｝に対して、

【００３３】

【数６】

【００３４】

【数７】

【００３５】としたときに、

【００３６】

【数８】

【００３７】のεを最小にするような物体形状｛ｓ_p＝
(ｓ_px,ｓ_py,ｓ_pz):p=1,...,P｝、カメラ・パラメータ
｛ｍ_f＝(ｍ_fx,ｍ_fy,ｍ_fz):f=1,...,F｝，｛ｎ_f＝(ｎ_fx,
ｎ_fy,ｎ_fz）:f=1,...,F｝、及び｛(ｘ_f,ｙ_f):f=1,...,
F｝を反復法で求める。その具体的なアルゴリズムを次
に説明する。図４は、そのフローチャートである。

【００３８】まず、各ｆ＝1,...,Fについて、ｓ_p，
ｍ_f，ｎ_f，ｘ_f，ｙ_f の初期値ｓ_p ⁽⁰⁾，ｍ_f ⁽⁰⁾，
ｎ_f ⁽⁰⁾，ｘ_f ⁽⁰⁾，ｙ_f ⁽⁰⁾を設定する（ステップ３０
０）。その設定方法については後述する。

【００３９】反復回数ｋを１にセットする(ステップ３
０１)。ｓ_pをｓ_p ^(k-1)に固定し（したがって、最初はｓ
_pをその初期値ｓ_p ⁽⁰⁾に固定）、各ｆ＝1,...,Fについ
て、

【００４０】

【数９】

【００４１】を最小にするｍ_f ^(k)，ｘ_f ^(k)を最小二乗法
により求める（ステップ３０２）。

【００４２】同様に、ｓ_pをｓ_p ^(k-1)に固定し、各ｆ＝
1,...,Fについて、

【００４３】

【数１０】

【００４４】を最小にするｎ_f ^(k)，ｙ_f ^(k)を最小二乗法
により求める（ステップ３０３）。

【００４５】つぎに、ｍ_f，ｘ_f，ｎ_f，ｙ_fをそれぞれｍ
_f ^(k)，ｘ_f ^(k)，ｎ_f ^(k)，ｙ_f ^(k)に固定して、各ｐ＝
1,...,Pについて

【００４６】

【数１１】

【００４７】を最小にするｓ_p ^(k)を最小二乗法で求める
（ステップ３０４）。

【００４８】そして、ｓ_p ^(k)，ｍ_f ^(k)，ｘ_f ^(k)，
ｎ_f ^(k)，ｙ_f ^(k)の収束又は反復回数オーバーの判定を行
う（ステップ３０５）。すなわち、予め定めた収束パラ
メータｅに対し、各ｐ＝1,...,Pについて ‖ｓ_p ^(k)−ｓ_p ^(k-1)‖＜ｅ各ｆ＝1,...,Fについて ‖ｍ_f ^(k)−ｍ_f ^(k-1)‖＜ｅ，‖ｎ_f ^(k)−ｎ_f ^(k-1)‖＜ｅ ‖(ｘ_f ^(k)，ｙ_f ^(k))−（ｘ_f ^(k-1)，ｙ_f ^(k-1))‖＜ｅの全ての条件が成立するときには収束したと判定する。
また、予め定めた最大反復回数Ｋに対し、ｋ≧Ｋならば
反復回数オーバーと判定する。

【００４９】収束したとは判定されず、かつ、反復回数
オーバーとも判定されない場合には、反復回数ｋを１だ
けインクリメントし（ステップ３０６）、ステップ３０
２に戻って物体形状とカメラ・パラメータの推定を繰り
返す。

【００５０】ステップ３０５において、収束したと反復
されるか、あるいは反復回数オーバーと判定されたとき
には、その段階における各ｐ＝1,...,Pに対するｓ_p ^(k)
と、各ｆ＝1,...,Fに対するｍ_f ^(k)，ｎ_f ^(k)，ｘ_f ^(k)，
ｙ_f ^(k)をｓ_p，ｍ_f，ｎ_f，ｘ_f,y_fの推定値として確定
し、ワークメモリ１０３に保存する（ステップ３０
７）。これで推定処理は終了する。

【００５１】このように、物体形状を固定してカメラ・
パラメータを最小二乗法で推定し、次にカメラ・パラメ
ータを固定して物体形状を最小二乗法で推定するという
２段階ならなる反復処理を、物体形状とカメラ・パラメ
ータが収束するまで繰り返す反復推定法であり、欠測値
の推定を行わないため、効率的な推定が可能である。そ
して、実際のカメラ投影モデルと近似モデルの誤差を考
慮して特徴点の座標値に重みを設定し、それを用いて推
定演算において特徴点の座標値に重み付けするため、カ
メラが大きく運動する場合や、長時間に渡って撮影され
た動画像において、隠れて見えなくなるような特徴点が
存在する場合でも、その特徴点の画像面上での投影位置
（欠測値）を推定しなくとも、高い精度で物体の形状を
推定可能である。

【００５２】次に、ステップ３００の初期値設定の好ま
しいアルゴリズムを説明する。図５は、そのフローチャ
ートである。

【００５３】まず、フレームの部分集合Σ_F⊆{1,...,F}
と特徴点の部分集合Σ_P⊆{1,...,P}を、そのすべてのフ
レームと特徴点の組（ｆ，ｐ）；ｆ∈Σ_F，ｐ∈Σ_P に
対して（ｕ_fp,ｖ_fp）が欠測値でないように選ぶ（ステ
ップ４００）。

【００５４】次に、初期値ｓ_p ⁽⁰⁾，ｍ_f ⁽⁰⁾，ｎ_f ⁽⁰⁾，ｘ
_f ⁽⁰⁾，ｙ_f ⁽⁰⁾をランダムに設定し（ステップ４０１）、
図４のステップ３０１〜ステップ３０７と同様の反復推
定処理によってｓ_p（ｐ∈Σ_P）、並びに、ｍ_f，ｎ_f，ｘ
_f，ｙ_f（ｆ∈Σ_F）を求める（ステップ４０２）。

【００５５】そして、Σ_F≠{1,...,F}ならば（ステップ
４０３，ＹＥＳ）、つまり、処理の対象とならなかった
フレームが残っているならば、ｆ∈{1,...,F}−ΣF、つ
まり未処理のフレームを適当に選ぶ（ステップ４０
４）。そして、選んだフレームｆについて

【００５６】

【数１２】

【００５７】

【数１３】

【００５８】をそれぞれ最小にするｍ_f，ｘ_f，ｎ_f，ｙ_f
を最小二乗法で求める（ステップ４０５）。そして、ス
テップ４０４で選んだフレームとΣ_Fとの和集合を、あ
らためてΣ_Fとする（ステップ４０６）。

【００５９】次に、Σ_P≠{1,...,P}ならば（ステップ４
０７，ＹＥＳ）、つまり、処理の対象とならなかった特
徴点が残っているならば、ｐ∈{1,...,P}−Σ_P、つまり
未処理の特徴点を適当に選ぶ（ステップ４０８）。そし
て、選んだ特徴点ｐについて

【００６０】

【数１４】

【００６１】を最小にするｓ_pを最小二乗法で求める
（ステップ４０９）。そして、ステップ４０８で選んだ
特徴点とΣ_Pとの和集合を、あらためてΣ_Pとする（ステ
ップ４１０）。

【００６２】次に、Σ_F≠｛1,...,F}であるか判定し
（ステップ４１１）、そうならばステップ４０４から処
理を続ける。そうでなければ、Σ_P≠{1,...,P}であるか
判定する（ステップ４１２）。そうならばステップ４０
８から処理を続ける。

【００６３】以上の処理が繰り返され、全てのフレーム
及び特徴点について処理がなされると、得られたｓ_p（p
=1,...,P)並びにｍ_f，ｎ_f，ｘ_f，ｙ_f（ｆ＝1,..,F)を初
期値として確定し（ステップ４１３）、処理を終了す
る。

【００６４】このようなアルゴリズムによれば、特徴点
の座標値の欠測値が存在する場合でも、実際の物体形状
及びカメラ・パラメータにかなり近い初期値を設定でき
るため、図４の反復推定処理における物体形状及びカメ
ラ・パラメータの収束を早め、推定処理時間の短縮が可
能である。

【００６５】図３乃至図５を参照して説明した処理は、
専用のハードウェアによって実現することも可能である
が、例えば図７に略示するようなＣＰＵ５００、メモリ
５０１、ハードディスクなどの補助記憶装置５０２、フ
ロッピーディスクなどの可搬記録媒体５０４の読み書き
のためのドライブ５０３、外部の入力機器との入力イン
ターフェイス５０５、外部の出力機器との出力インター
フェイス５０６、ディスプレイ装置５０７などをシステ
ムバス５０８によって接続したようなコンピュータを用
い、ソフトウエアによって実現することも可能である。
この場合、図３乃至図５に示す処理を実行させるための
プログラム５１０はメモリ５０１上に置かれてＣＰＵ５
００によって実行される。このプログラム５１０は、例
えば、それが記録されたフロッピーディスクなどの可搬
記録媒体５０４からドライブ５０３を介してメモり５０
１にロードされ、あるいは補助記憶装置５０２に一旦格
納され処理実行時にメモリ５０１にロードされる。処理
対象の画像系列は、例えば、デジタルビデオカメラなど
の画像入力機器から入力インターフェイス５０５を介し
てメモり５０１に書き込まれ、又は補助記憶装置５０２
に一旦格納され処理実行時にメモリ５０１に読み込まれ
る。フレームメモリ１０１及びワークメモリ１０３は、
メモリ５０１の特定の記憶域が割り当てられる。推定結
果は、例えば、メモリ５０１から直接、あるいは補助記
憶装置５０２に一旦記憶された後、出力インターフェイ
ス５０６を介して外部の機器もしくは処理システムへ出
力され、ドライブ５０３を介して可搬記録媒体５０４に
記録され、あるいは、メモリ５０１上の形状復元プログ
ラムに渡されることにより、ディスプレイ装置５０７に
復元された物体形状が表示される。

【００６６】

【発明の効果】以上の説明から明らかなように、本発明
によれば、デジタルビデオカメラなどで撮影された画像
系列から、物体形状とカメラ・パラメータを推定するこ
とができ、カメラが大きく運動する場合や、長時間に渡
って撮影された動画像において、隠れて見えなくなるよ
うな特徴点が存在し、その座標値が欠測値となる場合で
も、その推定を行うことなく、効率的な処理で物体形状
とカメラ・パラメータを推定でき、しかも、特徴点の座
標値に、その信頼度に応じた重みを設定し、それを用い
て推定演算において特徴点の座標値に重み付けするた
め、欠測値があっても高い精度で物体形状を推定可能で
ある、等々の効果を得られる。

【図面の簡単な説明】

【図１】アフィン・カメラモデルの説明のための図であ
る。

【図２】本発明による三次元データ入力システムのブロ
ック図である。

【図３】三次元データ入力システムの全体的処理フロー
を示すフローチャートである。

【図４】反復推定処理の内容を示すフローチャートであ
る。

【図５】初期値設定処理の内容を示すフローチャートで
ある。

【図６】特徴点追跡データと重みデータを説明するため
の図である。

【図７】本発明をソフトウエアにより実現するために用
いられるコンピュータの構成例を示すブロック図であ
る。

【符号の説明】

１００画像入力部１０１フレームメモリ１０２特徴点抽出・追跡部１０３ワークメモリ１０４重み設定部１０５反復推定演算部

Claims

【特許請求の範囲】

【請求項１】画像系列に対し特徴点の追跡を行うこと
により得られた各画像フレーム上での各特徴点の座標値
から、物体形状とカメラ・パラメータを推定する方法で
あって、各画像フレーム上での各特徴点の座標値に対し、その信
頼度に応じた重みを設定する第１のステップと、アフィ
ン・カメラモデルを仮定し、各画像フレーム上での各特
徴点の座標値及び該第１ステップで設定された重みを用
いて、物体形状を固定した条件下でカメラ・パラメータ
を最小二乗法で推定し、次に、カメラ・パラメータを固
定した条件下で物体形状を最小二乗法で推定する２段階
からなる反復推定処理を、物体形状及びカメラ・パラメ
ータが収束するまで繰り返す第２のステップとを含むこ
とを特徴とする物体形状及びカメラ・パラメータの推定
方法。
【請求項２】画像フレームの中心からの距離の単調減
少関数に従った重みが設定され、欠測値となった座標値
に対する重みは０に設定されることを特徴とする請求項
１記載の物体形状及びカメラ・パラメータの推定方法。
【請求項３】画像系列を入力する第１手段と、該第１
手段により入力された画像系列に対し特徴点の追跡を行
って各画像フレーム上の各特徴点の座標値を求める第２
手段と、該第２手段により求められた各座標値に対し、
その信頼度に応じた重みを設定する第３手段と、アフィ
ン・カメラモデルを仮定し、該第２手段により得られた
座標値及び該第３手段により設定された重みを用いて、
物体形状を固定した条件下でカメラ・パラメータを最小
二乗法で推定し、次に、カメラ・パラメータを固定した
条件下で物体形状を最小二乗法で推定する２段階からな
る反復推定処理を、物体形状及びカメラ・パラメータが
収束するまで繰り返す第４手段と、該第４手段により推
定された物体形状及びカメラ・パラメータを外部へ出力
する第５手段とを具備する三次元データ入力装置。
【請求項４】該第３手段は、欠測値でない座標値に対
しては画像フレームの中心からの距離の単調減少関数に
従った重みを設定し、欠測値となった座標値に対しては
重みを０に設定することを特徴とする請求項３記載の三
次元データ入力装置。
【請求項５】画像系列に対し特徴点の追跡を行うこと
により各画像フレーム上での各特徴点の座標値を得る第
１のステップ、該第１のステップで得られた座標値に対
し、その信頼度に応じた重みを設定する第２のステッ
プ、及び、アフィン・カメラモデルを仮定し、該第１の
ステップで得られた座標値及び該第２ステップで設定さ
れた重みを用いて、物体形状を固定した条件下でカメラ
・パラメータを最小二乗法で推定し、次に、カメラ・パ
ラメータを固定した条件下で物体形状を最小二乗法で推
定する２段階からなる反復推定処理を、物体形状及びカ
メラ・パラメータが収束するまで繰り返す第３のステッ
プをコンピュータに実行させるプログラムが記録された
ことを特徴とするコンピュータ読み取り可能な記録媒
体。
【請求項６】画像系列に対し特徴点の追跡を行うこと
により各画像フレーム上での各特徴点の座標値を得る第
１のステップ、該第１のステップで得られた座標値に対
し、画像フレームの中心点からの距離の単調減少関数に
従った重みを設定し、欠測値となった座標値に対しては
重みを０に設定する第２ステップ、及び、アフィン・カ
メラモデルを仮定し、該第１のステップで得られた座標
値及び該第２ステップで設定された重みを用いて、物体
形状を固定した条件下でカメラ・パラメータを最小二乗
法で推定し、次に、カメラ・パラメータを固定した条件
下で物体形状を最小二乗法で推定する２段階からなる反
復推定処理を、物体形状及びカメラ・パラメータが収束
するまで繰り返す第３のステップをコンピュータに実行
させるプログラムが記録されたことを特徴とするコンピ
ュータ読み取り可能な記録媒体。