JP2002008014A

JP2002008014A - ３次元形状抽出方法及び装置並びに記録媒体

Info

Publication number: JP2002008014A
Application number: JP2000185079A
Authority: JP
Inventors: Eiketsu Kou; 英傑黄
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2000-06-20
Filing date: 2000-06-20
Publication date: 2002-01-11

Abstract

(57)【要約】【課題】より少ない処理量で対象物体の全周形状を抽
出する。【解決手段】対象物体を、その周囲に配された複数の
マーカーと一緒に、例えば正面側と背面側からそれぞれ
撮影した２組の画像群を入力し、各画像群から対象物体
の特徴点及びマーカーの３次元座標を表す点群データを
生成し、２組の画像群間でマーカーの対応付けを行い、
対応付けられたマーカーの点群データに基づき、例え
ば、背面側の点群データを座標変換して正面側の点群デ
ータと統合する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルビデオカ
メラやデジタルスチルカメラなどによって対象物体を撮
影した画像から、対象物体の３次元形状を抽出する技術
に関する。

【０００２】

【従来の技術】デジタルビデオカメラやデジタルスチル
カメラのようなデジタルメディアによって取り込んだ動
画像や静止画像の系列から、対象物体の３次元形状を推
定する技術は、コンピュータヴィジョンの研究分野にお
ける重要な課題の一つである。また、その応用分野、例
えばロボットヴィジョン、自動走行車、ビデオカメラを
使った３次元形状入力、画像符号化、３次元モデリング
などでも大きな関心が持たれている。

【０００３】時系列の２次元動画像からの３次元情報の
抽出問題において、いわゆる「運動からの構造推定（St
ructure From Motion）」という方法では、運動(Motio
n)→距離(Depth)→形状(Shape)という手順にしたがっ
て、まずカメラの運動を求め、次に物体上の特徴点のカ
メラ中心からの距離を求めることにより、形状を推定す
るのが普通である。しかし、時系列動画像では、各フレ
ーム間での対応点の動きが小さいので、運動を平行運動
か回転運動かによって特定するのは不可能に近い。結
局、求められた奥行き(Depth)の解が不可能になり、形
状情報の復元が上手くいかない。逆に時系列のサンプリ
ング間隔を大きくとった場合、すなわち、各フレーム間
の対応点の動きが大きい場合には、特徴点の対応付けの
信頼性が低下してしまう。

【０００４】奥行きを計算せずに動きと形状を同時に計
算することによって解を安定させる方法として、Tomasi
とKanadeにより提案された「因子分解法(factorizatio
n)」がある（ C.Tomasi and T.Kanade,「Shape and mot
ion from image streamunder orthography: A factoriz
ation method」, International Journal ofComputer V
ision,vol.9,1992,pp.137−154）。この方法は、正射影
モデルに基づいて線形定式化を行い、数値計算的に安定
な行列の特異値分解を用いるため、他の手法に比べて、
解が極めて安定であることが特徴である。

【０００５】さらに、定式化の線形性を保ちながら実際
のカメラモデルである中心射影により近い擬似中心射影
(paraperspective)モデルを利用する因子分解法が、Poe
lmanとKanadeにより提案された（ C.J.Poelman and T.K
anade,「A paraperspectivefactorization method for
shape and motion recovery」, IEEE Transactionon Pa
ttern Analysis and Machine Intelligence,vol.19,no.
3,pp.206−218）。

【０００６】ここで、この擬似中心射影モデルと、それ
を利用する因子分解法について説明する。

【０００７】まず擬似中心射影モデルについて述べる。
このモデルは、中心射影のスケーリング効果（近くの物
体が遠くの物体より大きく見えること）と、位置効果
（画像の端に写っている物体が、投影中心の近くにある
物体と違った角度で見える）を考慮しながら、正射影モ
デルの持つ線形性を保持している。擬似中心射影モデル
による対象物体の画像面への投影は、次のようなステッ
プによって行われる。（１）物体の重心を通り、画像面に平行な平面（仮想平
面）を定義する。（２）カメラ中心と物体の重心を結ぶ直線の方向に沿っ
て、物体上の点を仮想平面に投影する。（３）中心射影によって、その仮想平面上の点を画像面
に投影する。

【０００８】この操作を図１０によって具体的に説明す
る。図１０において、１はカメラ中心、２はカメラ中心
１から焦点距離だけ離れた画像面である。Ｃは、カメラ
により撮影された対象物体の特徴点（その一部が黒四角
マークで表されている）の集合の重心（対象物体の重
心）である。３は重心Ｃを通り画像面２に平行な仮想平
面である。ワールド座標系の原点を重心Ｃに採り、特徴
点ｐのワールド座標系での３次元座標をｓ_p Ｒ³とす
る。

【０００９】時系列画像中のある画像フレームｆに関
し、ワールド座標系でのカメラ中心１の座標をｔ_f、画
像面２の２次元ローカル座標系の基底ベクトルをｉ_f，
ｊ_f Ｒ³（ただし、‖ｉ_f‖＝‖ｊ_f‖＝１，ｉ_f×ｊ_f＝
０）、カメラの光軸方向をｋ_f＝ｉ_f×ｊ_f Ｒ³とする。
画像フレームｆにおいて、画像面２と、ベクトルｋ_fの
交点Ｏ_fを原点に採り、単位直交ベクトルの組（ｉ_f，ｊ
_f）により、２次元ローカル座標系Σ_f＝（Ｏ_f；ｉ_f，ｊ
_f）を定義する。

【００１０】擬似中心射影では、前述のように、特徴点
ｐの画像面２への投影は次の２ステップで行われる。第
１のステップで、特徴点ｐを仮想平面３に投影するが、
この投影はカメラ中心１から重心Ｃに向かう直線と平行
に行う。そして第２のステップで、仮想平面３に投影さ
れた点を画像面２に中心射影する。特徴点ｐの画像面２
への投影点のΣ_f＝（Ｏ_f；ｉ_f，ｊ_f）での座標を
（ｕ_fp，ｖ_fp）とする。ただし、カメラの焦点距離は１
とする。この（ｕ_fp，ｖ_fp）は、次のように表現され
る。

【００１１】

【数１】

【００１２】ただし、

【数２】ここで、ｚ_fはカメラ中心１から仮想平面３までの距
離、（ｘ_f，ｙ_f）は対象物体の重心Ｃ（ワールド座標系
の原点）の中心射影による画像面２への投影である。ま
た、（Ｕ_fp，Ｖ_fp）は特徴点ｐを画像面２へ中心射影し
たときの投影点の座標であり、次式により表される。

【００１３】

【数３】この（Ｕ_fp，Ｖ_fp）をｚ_fの周りでテーラー展開するこ
とにより、擬似中心射影モデルは、中心射影を

【００１４】

【数４】の仮定のもとで近似（一次近似）したものであることが
分かる。

【００１５】次に、因子分解法について説明する。因子
分解法においては、Ｆ枚の画像フレームにわたってＰ個
の特徴点を追跡し、その結果として、投影点の画像面Σ
_f＝（Ｏ_f；ｉ_f，ｊ_f）上での２次元ローカル座標
（ｕ_fp，ｖ_fp），ｆ＝1,2,...,F；ｐ＝1,2,...,Pを
（５）式のよう並べた２Ｆ×Ｐの行列Ｗ（「追跡行列」
と呼ぶ）を定義する。

【００１６】

【数５】この追跡行列の上半分は特徴点のｘ座標値ｕ_fpを表し、
下半分は特徴点のｙ座標値ｖ_fpを表す。追跡行列の各列
は一つの特徴点に対する追跡結果、各行は単一フレーム
内の全特徴点のｘ座標値又はｙ座標値に対応する。

【００１７】次に、各フレーム毎に全特徴点のｘ座標値
の平均値ｘ_fとｙ座標値の平均値ｙ_f

【数６】を求める。そして、追跡行列の各要素からｘ_f，ｙ_fを差
し引いた行列Ｗ^*（「計測行列」と呼ぶ）を作る。

【００１８】

【数７】この計測行列は、フレーム数Ｆと特徴点数Ｐをいくら増
やしても階数が高々３であるので、次のように分解でき
る。

【００１９】

【数８】これを前記（１）式と照らし合わせると、２Ｆ×３の行
列Ｒはカメラの姿勢ベクトル｛（ｍ_f，ｎ_f）：ｆ＝1,
2,...,F｝を、３×Ｐの行列Ｓは特徴点の位置ベクトル
｛ｓ_p：ｐ＝1,2,...,P｝を、それぞれ並べた行列である
ことがわかる。

【００２０】一般的には、計測行列にノイズが含まれる
ため、行列の階数が３であるとは限らないが、その場合
でも、特異値分解を用いて大きな３つの特異値だけを保
つように分解すると、二乗誤差の最小化の意味での最適
分解が得られる。擬似中心射影モデルの場合も同様に、
計測行列をカメラ姿勢行列と特徴点形状行列とに分解で
きる。このような計測行列に対する分解法を「因子分解
法」と呼ぶ。

【００２１】計測行列に対する因子分解の基本アルゴリ
ズムについて説明する。計測行列の因子分解には、行列
の特異値分解の手法が用いられる。すなわち、特異値分
解を用いて、計測行列は次のように３つの行列の積に分
解できる。

【００２２】

【数９】ただし、Ｕは２Ｆ×Ｐの直交行列、Σは計測行列の特異
値（σ₁,σ₂,...,σ_P）からなるＰ×Ｐの対角行列、Ｖ
はＰ×Ｐの直交行列である。もし、計測行列の階数が３
であれば、σ₄以降の特異値は０に近い、小さな値にな
る。ここで、σ₄以降を０であるとして計測行列を分解
すると、

【００２３】

【数１０】となる。そこで、

【００２４】

【数１１】とおけば、一つの分解

【００２５】

【数１２】が得られる。しかし、（１２）式の分解は一意ではな
い。実際、任意の正則行列Ｑにより、

【００２６】

【数１３】のように、無数の解が存在する。そこで、次のような拘
束条件を導入し、この拘束条件を満たすＱを求める。

【００２７】

【数１４】

【数１５】

【数１６】そして、このＱを使って

【００２８】

【数１７】とおけば、

【００２９】

【数１８】に一意に分解できる。Ｒは２Ｆ×３の行列でカメラの姿
勢を示す。Ｓは３×Ｐの行列で各特徴点の３次元座標値
を示す。詳細は前述のPoelmanとKanadeの文献に譲る
が、行列Ｒすなわち｛（ｍ_f,ｎ_f）：ｆ＝1,2,...,F｝
と、（６）式で計算される（ｘ_f，ｙ_f）とから、カメラ
方向｛（ｉ_f,ｊ_f,ｋ_f）：ｆ＝1,2,...,F｝を求めること
ができる。次に、（１４）式からｚ_fを、（２）式から
カメラの位置ｔ_fを計算できる。

【００３０】

【発明が解決しようとする課題】正射影モデル、擬似中
心射影モデルのいずれを利用するにしても、因子分解法
においては、選ばれたすべての特徴点が、一連の画像フ
レームにわたって追跡できることを前提としている。す
なわち、最初の画像フレームで見えている特徴点が途中
で隠れて見えなくなったり、途中の画像フレームで新し
い特徴点が導入されたりしないことを仮定している。

【００３１】しかしながら、カメラで対象物体の周りを
一回りするように撮影した画像群を用いて対象物体の全
周の３次元形状を抽出するような場合、最初の画像フレ
ームで見えている特徴点の一部は途中で対象物体により
隠蔽されてしまうので、そのような仮定は、長時間にわ
たって撮影された動画像などでは当てはまらない。追跡
行列がかなり大きくなる上に、かなりの数の欠測値がで
きてしまうため、欠測値の推定のための処理量が多くな
り、また、推定精度も悪化しやすい。さらに、欠測値の
推定によって得られる計測行列が大きくなると、点群デ
ータを生成するための演算量が極端に増加する。

【００３２】よって、本発明の１つの目的は、対象物体
の全周の３次元形状を表す点群データを、より少ない処
理量で生成できるようにすることである。

【００３３】本発明においては、処理量を削減するため
に、例えば、対象物体の正面側を撮影した画像群から対
象物体の正面側の３次元形状を表す点群データを生成
し、また、対象物体の背面側を撮影した画像群から対象
物体の背面側の３次元形状を表す点群データを別々に生
成し、しかる後に、それら２組の点群データを統合する
ことにより対象物体の全周形状を表す点群データを生成
する。もちろん、３組以上の画像群から対象物体の部分
形状を表す３組以上の点群データを別々に生成し、それ
らを統合してもよい。このような点群データの統合のた
めには、画像群間に共通点群を確保し、それらの対応付
けをする必要がある。しかし、撮影方向が大きく異なる
画像群間で、必要な個数の共通点群を検出して対応付け
する処理を自動的に行うことは容易でない。しばしば、
人手によって共通点群の指定と対応付けを行う必要があ
るが、作業者の負担も大きく、対応付けの誤りも起きや
すい。

【００３４】よって、本発明のもう１つの目的は、その
ような複数の画像群の間の共通点群の検出と対応付けの
処理を容易に自動化できるようにすることである。ま
た、本発明のもう１つの目的は、複数の画像群間の共通
点群の対応付けに人手を介入させる場合に、作業者の負
担を軽減することである。

【００３５】

【課題を解決するための手段】本発明における処理内容
をやや具体的に説明する。図１は処理の流れを模式的に
示す図である。

【００３６】例えば、図１に示すように、対象物体をそ
の正面側から、周囲に配された複数のマーカーと一緒に
撮影した画像群と、対象物体を背面側から周囲のマーカ
ーと一緒に撮影した画像群を入力する。ただし、３組以
上の画像群に分けて撮影し、それを入力するようにして
もよい。例えば、正面側、背面側、右側面側、左側面側
から撮影した４組の画像群を入力してもよい。また、撮
影方法は、例えば対象物体を固定し、その周囲でカメラ
（デジタルスチルカメラやデジタルビデオカメラなど）
を移動させる方法でもよいし、マーカーを配した回転台
上に対象物体を固定し、回転台を移動させながら、固定
したカメラで撮影する方法でもよい。

【００３７】そして、入力された各画像群から対象物の
特徴点とマーカーの３次元座標を表す点群データを生成
する。より具体的には、各画像群毎に、対象物体の特徴
点及びマーカーを追跡して追跡行列を作成し、この追跡
行列の欠測値を推定することにより計測行列を作成し、
この計測行列から対象物体の特徴点及びマーカーの３次
元座標を表す点群データを生成する。１組の画像群は対
象物体の一部の面だけをカバーするから、対象物体の全
周をカバーする画像群を一括して処理する場合に比べ、
追跡行列及び計測行列のサイズをかなり小さくすること
ができ、また、対象物体による特徴点の隠蔽が生じにく
いため、追跡行列の作成や欠測値の推定のための処理量
は相当に少なくなり、特に、計測行列から点群データを
生成するための演算量は大幅に少なくなる。なお、欠測
値推定前の追跡行列が所定の条件（後述）を満たす場合
には、欠測値推定処理を省略することも可能である。

【００３８】また、２組の画像群の共通点群として、両
画像群に共通に含まれるマーカー群を用い、その対応付
けを行う。マーカーは人為的に作成されるものであるた
め、それぞれを識別するための固有の特徴、例えば形状
や色彩を持たせることにより、画像群間のマーカーの対
応付けを容易に自動化することができる。また、例え
ば、ディスプレイに各組の画像群中の画像を表示し、マ
ウスなどを使用して人手作業によりディスプレイ上でマ
ーカーの対応付けを行うにしても、その作業は容易であ
り、作業者の負担も少なく、また、誤りも起きにくい。

【００３９】このようにして対応付けられたマーカーの
点群データに基づき、２組の画像群から生成された点群
データを座標変換して統合する。より具体的には、対応
付けられたマーカーの点群データから、例えば背面側の
画像群間の点群データを正面側の画像群の点群データに
座標変換（回転変換）するための行列を作成し、この座
標変換行列を用いて背面側の画像群の点群データに座標
変換を施す。２組の画像群で対象物体の全周がカバーさ
れているならば、統合された点群データにより対象物体
の全周形状を復元することができる。

【００４０】以上に述べた本発明の特徴及びその他の特
徴について、本発明の実施の形態に関連して詳細に説明
する。

【００４１】

【発明の実施の形態】以下、添付図面を参照し、本発明
の実施の形態を説明する。なお、カメラモデルとして前
述の擬似中心射影モデルを用いるものとして説明する。

【００４２】図２は本発明の一実施形態である３次元形
状抽出装置の一例の構成図である。図２において、１０
４は前述のような方法で対象物体をマーカーと一緒に撮
影するためのカメラ（デジタルビデオカメラやデジタル
スチルカメラ）である。このカメラ１０４で撮影された
複数組の画像群（ここでは、図１に関連して説明したよ
うに対象物体の正面側と背面側から撮影した２組の画像
群とする）から対象物体の３次元形状を抽出するための
処理系は、画像入力部１００、２次元演算部１０１、３
次元演算部１０２及びパソコンやワークステーションな
どのコンピュータ１０３から構成される。

【００４３】画像入力部１００は、カメラ１０４から画
像群を取り込み、必要に応じて処理に適したデータ形式
に変換してからコンピュータ１０３のメモリに書き込
む。

【００４４】なお、入力される各画像群は少なくとも３
枚以上の画像を含む必要がある。各画像群中の全ての画
像に少なくとも４点以上のマーカーが写っていなければ
ならない。正面側の画像群と背面側の画像群に少なくと
も共通のマーカーが４点以上写っていなければならな
い。

【００４５】図３に、２組の画像群がコンピュータ１０
３に入力された後の概略処理フローを示し、以下参照す
る。

【００４６】２次元演算部１０１は、コンピュータ１０
３のメモリ上の画像群を基に、因子分解のための計測行
列を構築するための処理を行い、処理結果をコンピュー
タ１０３のメモリに書き込む（ステップ２００）。次
に、３次元演算部１０２は、各画像群から生成された計
測行列から対象物体の３次元形状を抽出するための処理
を行い、その結果をコンピュータ１０３のメモリに書き
込む。

【００４７】次に、画像群間のマーカーの対応付け処理
（ステップ２０２）、対応付けられたマーカーの点群デ
ータから、例えば背面側の画像群から得られた特徴点群
の点群データを正面側の画像群から得られた特徴点群の
点群データへ座標変換（回転）するための座標変換行列
を作成する処理（ステップ２０３）、この座標変換行列
を用いて背面側の画像群から得られた特徴点群の点群デ
ータの座標変換を行って、２組の画像群から得られた対
象物体の特徴点群の点群データを統合する処理（ステッ
プ２０４）が順に行われる。これらの処理は、例えば、
コンピュータ１０３上でソフトウェアにより行われる。

【００４８】好ましくは、コンピュータ１０３におい
て、処理結果の確認のため、抽出された対象物体の３次
元形状が復元されてディスプレイに表示される。２組の
画像群間のマーカーの対応付け（ステップ２０２）は、
ステップ２００で取得されるマーカーの識別情報（後
述）を利用しソフトウェア処理で容易に行うことができ
るが、コンピュータ１０３のユーザインターフェースを
利用し人手作業によってマーカーの対応付けを行うこと
も可能である。例えば、コンピュータ１０３のディスプ
レイに前面側から撮影された画像と背面側から撮影され
た画像を表示させ、マウス操作によって画面上でマーカ
ーを対応付けることができる。

【００４９】この３次元形状抽出装置における３次元形
状抽出手順を、一般的なパソコンなどのコンピュータ上
でソフトウェアにより実現することも容易である。その
ためのプログラムは、例えば、同プログラムが記録され
た磁気ディスク、光ディスク、光磁気ディスク、半導体
記憶素子などの記録媒体からコンピュータに取り込まれ
るが、このようなプログラムが記録された記録媒体も本
発明に包含されるものである。

【００５０】次に、ステップ２００の処理内容を、図４
に示すフローチャートを参照して説明する。図４に示す
処理は、各画像群毎に実行される。

【００５１】２次元演算部１１２において、まず、コン
ピュータ１０３のメモリ上に撮影順に時系列に配置され
た画像群中の各画像（以下、１枚１枚の画像をフレーム
と呼ぶ）を取り込み、対象物体の特徴点とマーカーを抽
出する（ステップ３００）。対象物体の特徴点として
は、例えば、濃度変化の激しい小画像領域を抽出する。
この際、好ましくは、濃度変化の激しさにより特徴点に
ランク付けをする。すなわち、濃度変化が激しい特徴点
ほど高いランクを付ける。マーカーの抽出においては、
個々のマーカーに固有の形状や色彩の知識を利用し、マ
ーカーの識別も行う。マーカーの識別情報はコンピュー
タ１０３のメモリに保存される。

【００５２】次に、２次元演算部１１２において、相前
後するフレーム間で特徴点及びマーカーの対応付け、す
なわち追跡を行う（ステップ３０１）。前ステップで特
徴点のランク付けが行われた場合には、ランクの高い特
徴点から優先して一定個数の特徴点を選んで追跡を行
う。特徴点の追跡では、現フレーム上の特徴点と次フレ
ーム上の特徴点との間でパターン・マッチングを行い、
パターンが一致すると判断される特徴点を対応付けるこ
とになるが、類似したパターンが多数存在する場合は、
特徴点の対応付け、すなわち追跡を誤る可能性がある。
このような追跡誤りを減らすため、好ましくは、対象物
体の周囲に配されたマーカーを利用するとよい。すなわ
ち、特徴点の位置座標を（ｘ，ｙ）とし（ただし、ｘは
水平方向、ｙは垂直方向の座標）、現フレームと次フレ
ームにおいて、対応付けた特徴点のｙ座標と一番近いｙ
座標を持つマーカーを対応マーカーとして選ぶ。そし
て、対応付けた特徴点の運動ベクトルの方向が対応マー
カーの運動ベクトルの方向と逆であるか、又は、特徴点
の運動ベクトルの大きさと対応マークの運動ベクトルの
大きさとの差が所定の閾値を越えた場合は、追跡が失敗
したと判断し、その追跡結果を捨てる。マーカーについ
ては、前ステップ３００で識別情報が得られているの
で、そのマーカーの識別情報に基づいてフレーム間のマ
ーカーの対応付け、すなわち追跡が行われる。ただし、
対象物体の特徴点と同様に、フレーム間のパターンマッ
チングによってマーカーを追跡してもよい。

【００５３】次に、２次元演算部１１２において、前ス
テップの追跡結果に基づき、図５に略図したような追跡
行列を作成する（ステップ３０２）。なお、１組の画像
群中のフレーム数をＦとすると、追跡行列の行数は２Ｆ
となるが、図５では、ｘ座標のＦ行とｙ座標のＦ行とを
まとめて示してある。Ｐは追跡される対象物体の特徴点
数、Ｍは追跡されるマーカー数である。なお、ここで作
成される追跡行列は、図５に見られるように、前記
（５）式に示した追跡行列にマーカーの追跡結果（Ｍ列
分）を追加した形となる。この追跡行列はコンピュータ
１０３のメモリに書き込まれる。また、ステップ３００
で得られたマークの識別情報もコンピュータ１０３のメ
モリに保存される。

【００５４】前述のように、対象物体それ自体による特
徴点の隠蔽、あるいは撮影時の照明の変動や追跡の失敗
などによって、追跡行列には欠測値が含まれているのが
一般的である。そこで、２次元演算部１１２において、
次に、追跡行列中の欠測値を推定し、推定値によって欠
測値を置き換える処理を行う（ステップ３０３）。そし
て、欠測値が推定値で置き換えられた追跡行列に基づい
て前記（７）式に示した計測行列を作成する（ステップ
３０４）。得られた計測行列はコンピュータ１０３のメ
モリに保存される。

【００５５】なお、欠測値推定後の追跡行列で、少なく
とも４個以上のマーカーについては最初のフレームから
最後のフレームまで連続して位置座標が得られなければ
ならない。これはステップ２０３（図３）で座標変換行
列を作成するための条件である。欠測値推定後の追跡行
列で、最初のフレームから最後のフレームまで連続して
位置座標が得られた特徴点の個数は４以上で、かつフレ
ーム数は３以上でなければならない。これは点群データ
の計算方法すなわち因子分解法によって決まる条件であ
る。また、欠測値推定前の追跡行列で、特徴点の追跡失
敗がある場合には、フレーム数は４以上で、最初のフレ
ームから最後のフレームまで追跡が成功した特徴点の個
数は５以上でなければならない。これは欠測値推定のた
めの条件である。また、欠測値推定前に、この３条件が
全て満足される場合には欠測値推定処理（ステップ３０
３）を省略することも可能である。

【００５６】次に、ステップ３０３の欠測値推定処理に
ついて説明する。具体的な処理内容の説明に先立ち、欠
測値推定の基本的な考え方を説明する。

【００５７】図６は、特徴点１〜７をフレーム１〜８に
わたって追跡した結果の一例を示している。図中、
「・」印は特徴点の追跡を成功し、その位置座標が得ら
れていることを示し、「？」印は特徴点の追跡を失敗し
その位置座標が欠測値となっていることを示す。欠測値
の推定には、その欠測値の周りの既知の位置座標を利用
する。まず、推定対象の欠測値を１つ選択する。そし
て、選択した欠測値を含む、追跡行列の部分行列（推定
行列と呼ぶ）を作成する。この推定行列では、推定対象
の要素以外の要素は全て既知である（位置座標が得られ
ている）ことが必要である。

【００５８】例えば、図６において、特徴点６のフレー
ム５の欠測値を推定対象として選択したとする。この場
合、例えば図６に示した枠の内部に対応した推定行列を
作成する。この推定行列から欠測値を推定し、その推定
値で追跡行列の該当欠測値を書き換える。次に、例え
ば、図６中の特徴点６のフレーム６の欠測値を推定対象
に選び、その推定のための推定行列を作成する。例え
ば、特徴点１〜６、フレーム１〜６に対応する推定行列
を作成し、その欠測値を推定し、追跡行列の当該欠測値
を推定値で書き換える。次に、例えば図６中の特徴点７
のフレーム２の欠測値を推定対象に選択し、例えば、特
徴点１〜７、フレーム２〜６に対応する推定行列を作成
し、当該欠測値を推定する。このようにして、欠測値を
１つずつ順次推定し、最終的に追跡行列中の全ての欠測
値を推定値で置き換える。

【００５９】ここで、推定行列から欠測値を推定する方
法として、「行拡張」と呼ばれる方法と、「列拡張」と
呼ばれる方法を説明する。次式に示すような推定行列を
考える。ただし、ｕ_fp，ｖ_fpが推定対象の欠測値であ
る。

【００６０】

【数１９】まず、行拡張法について説明する。（１９）式の推定行
列の欠測値所在の行を抜いた部分行列を作る。そして、
この部分行列を次のように分解する。

【００６１】

【数２０】Ｍ_2mx3は２ｍ枚のフレームにおけるカメラの姿勢を表す
行列、Ｓ_3x(n+1)は（n+1）個の特徴点における３次元座
標を表す行列である。第（m+1)フレームの第(n+1)特徴
点（ｕ_fp，ｖ_fp）は、次の方程式組を満たすことが分か
る。

【００６２】

【数２１】（２１）式と（２２）式には、それぞれ４つの未知数
（ｕ_fp，ｍ_f ^T）と（ｖ_fp，ｎ_f ^T）があるので、これらの
未知数を解くために、既知特徴点の数（＝n+1)は最低
４、すなわちｎは３以上であることが分かる。しかし、
ノイズなどの影響を考慮し、既知特徴点の数を４以上に
して、言い換えれば、（２１）式と（２２）式を優決定
系（over constrained）の最小二乗解で解くのが適当で
ある。

【００６３】まず、（２１）式を次のように展開する。

【００６４】

【数２２】（22.n+1）式以外の式を次のように整理する。

【００６５】

【数２３】（２３）式から、ｍ_fが求められる。そして（22.n+1）
式に代入し、

【００６６】

【数２４】のように、座標値ｕ_fpを求める。同じように、ｕ_fp が
求められる。

【００６７】

【数２５】次に、列拡張法について説明する。行拡張法とは逆に、
（１９）式の推定行列から欠測値所在の列を抜いた部分
行列を作り、次のように分解する。

【００６８】

【数２６】Ｍ_2(m+1)x3は２(m+1)のフレームにおけるカメラの姿勢
を表す行列、Ｓ'_3xnはｎ個の特徴点における３次元座標
を表す行列である。第(m+1)フレームにおける第(n+1)特
徴点（ｕ_fp，ｖ_fp）は次の２式を満たすことが分かる。

【００６９】

【数２７】（２６）式はｎ個までの特徴点に対し成立するが（２
７）式と（２８）式は(n+1)個までの特徴点に対し成立
する。すなわち、Ｓ₁'＋Ｓ₂'＋...＋Ｓ_n'＝０に対し、
Ｓ₁＋Ｓ₂＋...＋Ｓ_n＋Ｓ_n+1＝０でなければならない。
ここで、Ｓ_n+1＝−ｎＣとすると、

【００７０】

【数２８】である。すなわち、

【００７１】

【数２９】なお、（２７）式と（２８）式のｘ_fとｙ_fは次のように
修正しなければならない。

【００７２】

【数３０】（３０）式と（３１）式を（２７）式と（２８）式に代
入すると

【００７３】

【数３１】が得られる。この（３２）式から、Ｓ_p、そしてｕ_fp，
ｖ_fpが求められる。

【００７４】さて、推定に用いる推定行列のサイズが大
きいほうが推定精度が上がるが、その反面、１つの欠測
値の推定のための計算コストが高くなってしまう。そこ
で、この実施の形態においては、適当なサイズの推定行
列を作り、欠測値の推定を行い、推定を失敗した場合に
は、推定行列のサイズをある大きさまで少しずつ増大さ
せながら、推定を繰り返す。また、推定行列のサイズを
少しずつ増大させながら推定演算を繰り返す処理をスム
ーズに進めることができるようにするため、この実施の
形態においては、推定処理の過程で追跡行列の「整形処
理」を行う。また、欠測値が残っていて、それ以上は推
定行列を構築できなくなった場合に、追跡行列を上下逆
さに反転させる処理を行って、推定処理を続行する。

【００７５】ここで、追跡行列の「整形処理」と「上下
反転」について説明する。特徴点の連続して存在する
（追跡できた）時間（フレーム）によって、特徴点を次
の４つのグループに分ける。Ａグループ：最初のフレームから最後のフレームまで連
続して存在する（全フレームにわたって追跡に成功し
た）特徴点、Ｂグループ：最初のフレームでは存在するが、途中のフ
レームから消えてしまう（途中で追跡に失敗した）特徴
点、Ｃグループ：途中のフレームで出現するが、しばらくた
って消える特徴点、Ｄグループ：途中のフレームで出現して、最後のフレー
ムまで連続して存在する特徴点。そして、追跡行列のＡグループからＤグループの特徴点
に対応した列を図７に示すような順番に並べ直す。これ
が整形処理である。図７において、網掛けした部分は位
置座標（計測値）が存在する要素であり、空白部分は位
置座標が存在しない（欠測値となっている）要素であ
る。

【００７６】このように整形した追跡行列を用いて、欠
測値に対する推定を行う。推定は１回で成功するとは限
らないので、推定が成功しない場合には、推定行列のサ
イズを、所定の最大サイズまで、少しずつ大きくしなが
ら推定を繰り返す。欠測値の推定を成功した場合には、
その欠測値を推定値で書き換え、それを初めから存在す
る位置座標として扱い、追跡行列の整形処理をやり直
す。

【００７７】要約すると、追跡行列の整形処理、推定行
列の構築、推定演算の手順を停止条件を満たすまで、推
定行列のサイズを少しずつ増加させながら繰り返す。こ
の停止条件とは、具体的には、全ての欠測値を推定でき
たこと、又は、推定できない欠測値が残っているが、そ
れ以上は推定行列を構築できないことである。そして、
このような推定手順が終わっても欠測値が残っている場
合は、追跡行列を上下反転させてから、同様の推定手順
を繰り返す。

【００７８】以上に説明した２次元演算部１０１におけ
る欠測値推定処理のフローの一例を図８に示し、説明す
る。コンピュータ１０３のメモリから取り込まれた追跡
行列に対し前述の整形処理を行う（ステップ４０２）。
そして、整形後の追跡行列において、１つ以上の欠測値
のための推定行列を構築可能であるか調べる（ステップ
４０４）。可能ならば、注目した欠測値に対する推定行
列を作成し（ステップ４０６）、推定演算を行い（ステ
ップ４０８）、推定の成否を調べる（ステップ４１
０）。成功した場合には、推定値で欠測値を書き換え
る。失敗した場合には推定行列のサイズを増加させ（ス
テップ４１２）、増加後の推定行列のサイズが予め決め
た最大サイズ以下であるか調べる（ステップ４１４）。
最大サイズ以下であるならば、その増加したサイズの推
定行列を作成して推定演算を再度行う（ステップ４０
８）。推定が成功するか、推定行列のサイズが最大サイ
ズを越えると、全ての欠測値の推定が完了したか調べる
（ステップ４１６）。欠測値が残っていなければ、処理
は終了する。欠測値が推定値で置き換えられた追跡行列
はコンピュータ１０３のメモリに保存される。

【００７９】推定値が残っている場合には、ステップ４
０２へ戻り次の欠測値に対する処理を続ける。

【００８０】欠測値が残っているが、推定行列の構築が
不可能になった場合、ステップ４０４よりステップ４１
８へ進み、追跡行列の上下反転を既に行ったか判定す
る。反転前ならば、追跡行列の上下反転を行い（ステッ
プ４２０）、ステップ４０２へ戻って処理を続ける。追
跡行列の上下反転後の処理でも欠測値が残っていて、推
定行列の構築が不可能となった場合、ステップ４０４か
らステップ４１８へ、さらにステップ４２２へ進み、追
跡行列を再び上下反転させて元の行順に戻し、処理を終
了する。追跡行列はコンピュータ１０３のメモリに保存
される。

【００８１】次に、３次元演算部１０２による処理ステ
ップ２０１（図３）の処理内容を説明する。図９は、そ
の概略フローチャートである。この処理は、各画像群に
より得られた計測行列毎に実行される。

【００８２】まず、コンピュータ１０３のメモリより２
次元演算部１０１によって各作成された計測行列を取り
込む（ステップ５００）。次に、この計測行列に対し前
述の因子分解法の演算を行い、対象物体の特徴点群及び
マーカー群の３次元座標を表す点群データ（形状デー
タ）と、特徴点群及びマーカー群とカメラとの相対的な
３次元運動（運動データ）を求める（ステップ５０
１）。

【００８３】因子分解は一意ではなく、二通りの解があ
り、形状の凹凸の区別がつかないという問題がある。そ
こで、形状の凹凸判断を行って必要な凹凸の修正を行う
（ステップ５０２）。この凹凸判断は、対象物体のカメ
ラに対する回転方向と、対象物体の特徴点の運動方向と
の一致を調べることによって行うことができる。例え
ば、図１に矢線で示すように、カメラに対し一定の方向
に対象物体が回転するように撮影する場合には、その回
転方向と特徴点の運動方向とを比較すればよい。そし
て、方向が一致した点群データはそのままにし、不一致
の点群データはｚ軸について反転させる（すなわち凹凸
を反転させる）。このようにして凹凸を修正した点群デ
ータは、コンピュータ１０３のメモリに書き込まれる
（ステップ５０３）。

【００８４】

【発明の効果】以上に詳細に説明したように、本発明に
よれば、対象物体を一周するように撮影した画像群を一
括して処理する場合に比べ、より少ない処理量で、対象
物体の全周形状を表す点群データを生成することができ
る。複数の画像群に共通に含まれるマーカー群を共通点
群として利用するため、その対応付けを容易に自動化す
ることができる。その対応付けに人手を介入させる場合
にも、作業者の負担を軽減でき、また、対応付けの誤り
も起きにくくなる等の効果を得られる。

【図面の簡単な説明】

【図１】本発明により処理の概要を説明するための模式
図である。

【図２】本発明による３次元形状抽出装置の一例の構成
図である。

【図３】画像群入力後の処理フローを示すフローチャー
トである。

【図４】２次元演算部の処理フローを示すフローチャー
トである。

【図５】追跡行列の説明図である。

【図６】追跡行列の欠測値の推定方法の説明のための図
である。

【図７】追跡行列の整形を説明するための図である。

【図８】欠測値推定処理のフローチャートである。

【図９】３次元演算部の処理フローを示すフローチャー
トである。

【図１０】擬似中心射影モデルの説明図である。

【符号の説明】

１００画像入力部１０１２次元演算部１０２３次元演算部１０３コンピュータ１０４カメラ

Claims

【特許請求の範囲】

【請求項１】対象物体を、その周囲に配された複数の
マーカーと一緒に異なった方向から撮影した複数の画像
群を入力し、前記各画像群から対象物体の特徴点及びマーカーの３次
元座標を表す点群データを生成し、前記複数の画像群の間でマーカーの対応付けを行い、対
応付けられたマーカーの点群データに基づき、前記複数
の画像群の特徴点の点群データを座標変換して統合する
ことを特徴とする３次元形状抽出方法。
【請求項２】各画像群から対象物体の特徴点及びマー
カーを追跡して追跡行列を作成し、この追跡行列の欠測
値を推定することにより計測行列を作成し、この計測行
列から対象物体の特徴点及びマーカーの点群データを生
成することを特徴とする請求項１記載の３次元形状抽出
方法。
【請求項３】複数のマーカーのそれぞれに識別可能な
特徴を持たせ、マーカーの特徴を利用して複数の画像群
の間のマーカーの対応付けを行うことを特徴とする請求
項１又は２記載の３次元形状抽出方法。
【請求項４】対象物体を、その周囲に配された複数の
マーカーと一緒に異なった方向から撮影した複数の画像
群を入力する手段、前記各画像群から対象物体の特徴点及びマーカーの３次
元座標を表す点群データを生成する手段、前記複数の画像群の間でマーカーの対応付けを行う手
段、対応付けられたマーカーの点群データから座標変換行列
を生成する手段、生成された座標変換行列を用いて、前記複数の画像群か
ら生成された特徴点の点群データを座標変換して統合す
る手段を具備することを特徴とする３次元形状抽出装
置。
【請求項５】点群データを生成する手段は、各画像群
から対象物体の特徴点及びマーカーを追跡して追跡行列
を作成し、この追跡行列の欠測値を推定することにより
計測行列を作成し、この計測行列から対象物体の特徴点
及びマーカーの点群データを生成することを特徴とする
請求項４記載の３次元形状抽出装置。
【請求項６】マーカーの対応付けを人手により行うた
めの手段をさらに具備することを特徴とする請求項４又
は５記載の３次元形状抽出装置。
【請求項７】対象物体を、その周囲に配された複数の
マーカーと一緒に異なった方向から撮影した複数の画像
群を入力するステップ、前記各画像群から対象物体の特徴点及びマーカーを追跡
して追跡行列を作成し、この追跡行列の欠測値を推定す
ることにより計測行列を作成するステップ、前記各画像群の計測行列から対象物体の特徴点及びマー
カーの３次元座標を表す点群データを生成するステッ
プ、前記複数の画像群の間でマーカーの対応付けを行うステ
ップ、対応付けられたマーカーの点群データから座標変換行列
を生成するステップ、生成された座標変換行列を用い
て、前記複数の画像群から生成された対象物体の特徴点
の点群データを座標変換して統合するステップを含む３
次元形状抽出処理をコンピュータに実行させるためのプ
ログラムが記録されたことを特徴とするコンピュータ読
み取り可能な記録媒体。