JP2001141425A

JP2001141425A - ３次元形状計測装置

Info

Publication number: JP2001141425A
Application number: JP32324599A
Authority: JP
Inventors: Kunimitsu Sakakibara; 邦光榊原; Masahiko Yanaida; 正彦谷内田
Original assignee: LAB OF IMAGE INFORMATION SCIEN; Laboratories of Image Information Science and Tech
Current assignee: LAB OF IMAGE INFORMATION SCIEN; Laboratories of Image Information Science and Tech
Priority date: 1999-11-12
Filing date: 1999-11-12
Publication date: 2001-05-25

Abstract

(57)【要約】【構成】３次元形状計測装置１０は、パソコン程度の
処理能力を有する１台のコンピュータである。コンピュ
ータは、時系列的に取得した画像データに基づいて、連
続する２フレーム間の移動ベクトルを抽出する。抽出し
た移動ベクトルに基づいて、ステップＳ１５からＳ２５
に示す処理に従って画像の全領域を剛体領域と非剛体領
域とに分離する。続くステップＳ２７で、剛体領域の移
動ベクトルに基づいて、その剛体領域の３次元形状およ
び３次元相対運動を復元（計測）する。そして、ステッ
プＳ２９で、剛体領域の３次元相対運動および非剛体領
域の移動ベクトルに基づいて、非剛体領域の３次元形状
を計測して処理を終了する。【効果】非剛体であっても３次元形状を計測すること
ができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は３次元形状計測装置に
関し、特にたとえば人間の顔のような特徴点が少なく、
かつ時系列的に変化する画像の３次元形状を計測する、
３次元形状計測装置に関する。

【０００２】

【従来の技術】従来のこの種の３次元形状計測装置は、
人間の顔の３次元形状を計測する装置に適用され、計測
された人間の顔の３次元形状は例えばコンピュータグラ
フィックス（ＣＧ）、ゲームおよびバーチャルリアリテ
ィなどのマルチメディアコンテンツとして用いられる。
また、３次元形状計測装置は、個人識別や表情認識を利
用するセキュリティシステムなどに適用され、さらに顔
画像の圧縮通信などにも適用されていた。

【０００３】

【発明が解決しようとする課題】しかし、この従来技術
では、カメラと被写体との相対的な３次元相対運動と被
写体の３次元形状とを分離する手法（因子分解法）を用
いるため、３次元形状の計測の精度はオプティカルフロ
ーの精度に依存する。このため、人間の顔のようにテク
スチャが単調であり、かつ滑らかな曲面が大部分を占め
るような被写体では、オプティカルフローの精度が低く
なり、したがって３次元形状の計測の精度も低くなって
いた。また、口元や目尻などのコーナ特徴が高く、オプ
ティカルフローの精度が高い点においても、姿勢変化に
よって生じる影の影響を受け易く、かえって３次元形状
の計測に悪影響を及ぼしていた。

【０００４】また、因子分解法は被写体が剛体である場
合に適用でき、したがって顔の表情変化のように時系列
的な変化を伴う被写体では３次元形状を計測することが
できなかった。

【０００５】それゆえに、この発明の主たる目的は、非
剛体であっても３次元形状を計測できる、３次元形状計
測装置を提供することである。

【０００６】

【課題を解決するための手段】第１の発明は、被写体像
を時系列的に取得する取得手段、被写体像に対応する画
像の連続するフレーム間での各点の２次元的な移動ベク
トルを抽出する第１抽出手段、移動ベクトルに基づいて
画像の全領域を剛体領域と非剛体領域とに分離する分離
手段、剛体領域の移動ベクトルに基づいて剛体領域の３
次元座標および３次元相対運動を算出する第１算出手
段、および３次元相対運動と非剛体領域の移動ベクトル
に基づいて非剛体領域の３次元座標を算出する第２算出
手段を備える、３次元形状計測装置である。

【０００７】第２の発明は、被写体像を時系列的に取得
する取得手段、被写体像に対応する画像の連続するフレ
ーム間での各点の２次元的な移動ベクトルを抽出する第
１抽出手段、移動ベクトルに基づいてフィードバック誤
差を算出する第１算出手段、フィードバック誤差に応じ
て信頼度を抽出する第２抽出手段、信頼度を重みとして
移動ベクトルをフィルタリングするフィルタリング手
段、フィルタリング手段でフィルタリングされた移動ベ
クトルに基づいて各点の３次元座標および３次元相対運
動を算出する第２算出手段、３次元形状計測装置であ
る。

【０００８】

【作用】第１の発明の３次元形状計測装置は、たとえば
コンピュータで構成されていて、すべての手段がコンピ
ュータで実現される。そして、コンピュータは、時系列
的に取得した被写体像に対応する画像の連続するフレー
ム間での各点の２次元的な移動ベクトルを抽出する。こ
の移動ベクトルに基づいて、画像の全領域を剛体領域と
非剛体領域とに分離する。そして、剛体領域の移動ベク
トルに基づいて、剛体領域の３次元座標（３次元形状）
および３次元相対運動を算出する。続いて、剛体領域の
３次元相対運動と非剛体領域の移動ベクトルとに基づい
て、非剛体領域の３次元形状を算出する。

【０００９】たとえば、各点を様々なパターンを有する
領域に分割し、分割した領域の３次元形状および３次元
相対運動が算出される。この３次元形状および３次元相
対運動に基づいて領域の平均再投影誤差が算出される。
選択手段は、平均再投影誤差に基づいて全領域から剛体
領域を決定する。このようにして、剛体領域と非剛体領
域とを分離することができる。

【００１０】つまり、検出手段が平均再投影誤差の評価
値が小さい領域を検出するので、決定手段は検出された
領域を剛体領域に決定する。したがって、それ以外の領
域が非剛体領域に決定される。

【００１１】また、決定された剛体領域の移動ベクトル
に基づいて、その剛体領域の３次元形状および３次元相
対運動の少なくとも一方を再度算出するので、正確に計
測することができる。

【００１２】さらに、移動ベクトルに基づいて算出した
フィードバック誤差から移動ベクトルの信頼度を抽出
し、抽出した信頼度を重みづけして移動ベクトルのフィ
ルタリング処理を実行するので、信頼度の高い移動ベク
トルを生成することができる。

【００１３】さらにまた、第１算出手段は、信頼度の高
い移動ベクトルを用いて３次元形状および３次元相対運
動を算出するので、オクルージョンが発生する領域であ
っても正確に算出することができる。

【００１４】第２の発明の３次元形状計測装置もまた、
たとえばコンピュータで構成されていて、すべての手段
がコンピュータで実現される。そして、コンピュータ
は、時系列的に取得した被写体像に対応する画像の連続
するフレーム間での各点の２次元的な移動ベクトルを抽
出する。ここで、移動ベクトルに基づいて算出したフィ
ードバック誤差から移動ベクトルの信頼度を抽出し、抽
出した信頼度を重みづけして移動ベクトルのフィルタリ
ング処理を実行する。つまり、移動ベクトルの信頼度が
高くされる。この信頼度が高い移動ベクトルに基づい
て、各点の３次元座標および３次元相対運動を算出す
る。

【００１５】

【発明の効果】この発明によれば、剛体領域と非剛体領
域とを分離し、剛体領域の３次元相対運動を用いて非剛
体領域の３次元形状を計測するので、非剛体であっても
３次元形状を計測することができる。

【００１６】他の発明によれば、信頼度が高い移動ベク
トルに基づいて３次元座標および３次元相対運動を算出
するので、計測の精度を向上させることができる。

【００１７】この発明の上述の目的，その他の目的，特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。

【００１８】

【実施例】この実施例の３次元形状計測装置は、図示は
省略するが、パソコン程度の処理能力を有する１台のコ
ンピュータである。たとえば、ビデオカメラで撮影され
た被写体の画像データが、インターフェイスを介してコ
ンピュータに入力される。なお、被写体の画像データを
リアルタイムに入力してもよく、また画像データをオフ
ラインで入力するようにしてもよい。

【００１９】コンピュータは、入力された時系列的な画
像データに基づいてオプティカルフローを生成する。つ
まり、２次元的な画像上の点および物体の動きベクトル
（各点の移動ベクトル）を抽出する。具体的には、数１
の上式で示すように、移動ベクトル（前向きのオプティ
カルフロー）ｕ／_mn（／はベクトルを意味する。）はフ
レームｍの点がフレームｎにおいて移動した場合の画像
座標の差で表される。また、フレームｎからフレームｍ
への逆向きのオプティカルフローｕ／_nmが数１の下式で
示される。なお、数式においてはベクトルは太字で示し
てある。

【００２０】

【数１】

【００２１】このような、オプティカルフローを生成す
る手法としては、様々な手法が提案されているが、この
実施例では勾配法を適用する。なお、他の手法によって
オプティカルフローを生成してもよいことはもちろんで
ある。勾配法では、画像の時空間的連続性を仮定し、数
２に従って計算することにより、オプティカルフローが
得られる。なお、数２では、未知数が２つであるのに対
して式が１つであるため、ある注目画素のオプティカル
フローを得る場合には、時空間的連続性を仮定し、つま
り注目画素の周辺の画素とｕ，ｖとの変化量が一定であ
ると仮定し、連立して算出することができる。

【００２２】

【数２】

【００２３】ただし、ｕ；オプティカルフローのｘ方向成分ｖ；オプティカルフローのｙ方向成分Ｉ；画像の輝度値また、コンピュータは、図１および図２に示すような一
連の処理を実行する。上述のように、時系列的な画像デ
ータが入力されると、コンピュータは処理を開始し、ス
テップＳ１で隣接（連続）する２つのフレーム間の前向
きのオプティカルフロー（前向きフロー）ｕ／_mnおよび
後ろ向きのオプティカルフロー（後ろ向きフロー）ｕ／
_nmを数１に従って算出する。続くステップＳ３では、オ
プティカルフローの信頼度ｄを算出する。具体的には、
ステップＳ１で算出した前向きフローｕ／_mnおよび後ろ
向きフローｕ／_nmを合成し、合成したオプティカルフロ
ー（合成フロー）ｕ／_mnmを得る。つまり、フレームｍ
とフレームｎとの間におけるフィードバック誤差が算出
される。具体的には、合成フローｕ／_mnmは、数３に示
すような線形補間により得ることができる。

【００２４】

【数３】

【００２５】数３で得られた合成フローｕ／_mnmの大き
さの逆数が、フレームｍからフレームｎへのオプティカ
ルフロー（前向きフローｕ／_mn）の信頼度ｄに定義され
る。つまり、信頼度ｄは数４のように示される。

【００２６】

【数４】

【００２７】そして、ステップＳ５では、コンピュータ
は、数４で得られた（抽出された）信頼度ｄで重みづけ
をして、数５に示すようなフィルタリング処理を実行す
る。

【００２８】

【数５】

【００２９】このように、注目する画素とその近傍の画
素（この実施例では、５画素×５画素の近傍領域）と
を、信頼度ｄで重みづけしてフィルタリングすることに
より、精度が向上されたオプティカルフローが得られ
る。なお、信頼度ｄで重みづけしてフィルタリングする
場合に、さらにラプラシアンフィルタのような平滑フィ
ルタを係数に重畳すれば、さらに精度が向上される。

【００３０】ここで、一般的にオプティカルフローは、
テクスチャ（模様）特徴の小さい部分ではノイズの影響
を受け易く、精度が低くなる。また、被写体の移動によ
りオクルージョンが発生する領域では、大きく誤ったオ
プティカルフローが得られる。したがって、後述する３
次元復元処理で復元精度を高くするため、コンピュータ
は、さらに信頼度に基づいて３次元復元処理に使用する
オプティカルフローを選択する。

【００３１】まず、ステップＳ７では、Ｍ枚のフレーム
の画像に対して、１番目のフレームを基準フレーム（第
１フレーム）とした場合における、基準フレームから各
フレーム（第２フレーム，第３フレーム，…，第Ｍフレ
ーム）への前向きフロー（ｕ／₁₂，ｕ／₁₃，ｕ／
_14,…，ｕ／_1M）および後ろ向きフロー（ｕ／_21,ｕ／
_31,ｕ／_41,…，ｕ／_M1）を数１に従って算出する。

【００３２】次に、ステップＳ９でオプティカルフロー
の信頼度ｄを上述と同様にして算出する。そして、ステ
ップＳ１１でフィルタリング処理を実行する。つまり、
数３に従って合成フローｕ／_mnmを算出し、数４に従っ
て信頼度ｄを算出してから、信頼度ｄを重みづけして数
５に従ってフィルタリング処理を実行する。

【００３３】ステップＳ１３では、信頼度の高いオプテ
ィカルフローを選択する。具体的には、コンピュータは
時系列全体に関する信頼度（全体信頼度）に基づいて、
信頼度の高いオプティカルフローを選択する。まず、コ
ンピュータは、基準フレームの任意の点がフレーム２，
フレーム３，…，フレームＭに時系列的に変化するに従
って移動する際の、全体信頼度Ｄを数６に従って算出す
る。

【００３４】

【数６】

【００３５】次に、数６で得られる全体信頼度Ｄを所定
の閾値ＴＨ１と比較し、閾値ＴＨ１よりも全体信頼度Ｄ
が大きい場合のオプティカルフローが選択される。逆に
言えば、閾値ＴＨ１よりも全体信頼度Ｄが小さい場合の
オプティカルフローが、サンプリングから除外される。
このようにして、オプティカルフローが選択される。な
お、閾値ＴＨ１は、実験等により経験的に求めた値であ
る。

【００３６】ここで、被写体が剛体である場合について
の３次元復元処理について説明する。簡単に説明する
と、被写体とビデオカメラとが相対運動するため、その
相対運動からオプティカルフローを解析処理し、３次元
復元する。なお、相対運動は、被写体が運動しビデオカ
メラが静止している場合、被写体が静止しビデオカメラ
が運動している場合、および被写体およびビデオカメラ
が運動している場合が考えられる。しかし、これらはい
ずれも数学的には等価であるため、この実施例では、被
写体が静止しビデオカメラが運動している場合について
の座標系を用いて説明する。

【００３７】具体的には、選択されたオプティカルフロ
ーのＮ個の点（点群）に任意の順序で１からＮの添字を
付し、そのオプティカルフローの時系列を数７に従って
画像座標に変換する。

【００３８】

【数７】

【００３９】また、復元されるべき各点の３次元座標、
各フレーム時点でのビデオカメラの位置に対応する位置
ベクトル、およびビデオカメラの内部パラメータ行列の
関係は、数８で示される。なお、ビデオカメラの内部パ
ラメータ行列は、ビデオカメラの焦点距離や光軸の画像
座標上での位置に関するため、この実施例では、予めビ
デオカメラを校正することにより得られる。また、以下
の説明において、行列および座標を表す文字は、文章中
では通常の文字を用いて説明してあるが、数式において
は、ベクトルと同様に行列および座標を表す文字は太字
で示してある。

【００４０】

【数８】

【００４１】この数８を変換し、Ｍフレームに渡るＮ個
の点を１つの行列式で表現すると、数９のように示され
る。

【００４２】

【数９】

【００４３】この数９の左辺が計測行列であり、画像座
標からそれぞれの奥行きを算出することにより生成する
ことができる。また、この計測行列を因子分解法を用い
て数９の右辺のように変形するすると、ビデオカメラの
運動と被写体の３次元形状とを得ることができる。な
お、画像から奥行きを算出する方法は、金谷健一によっ
て１９９５「空間データの数理−３次元コンピューティ
ングに向けて−」に詳細に示されている。また、計測行
列を因子分解法により運動行列と形状行列とに分解する
方法は、１９９８「電子情報通信学会技術研究報告」に
おいて、金谷健一によって「因子分解を用いない因子分
解法：平行投影から透視変換へ」に詳細に示されてい
る。

【００４４】次に、人間の顔のように、その一部が時間
経過に伴って変形する被写体、つまり剛体領域および非
剛体領域を含む画像の３次元形状を復元する場合につい
て説明する。つまり、コンピュータは、図２に示す３次
元形状の復元処理を開始し、ステップＳ１５で、図１の
ステップＳ１３で選択したオプティカルフローに対応す
る点群を基準フレームにおける位置に基づいて様々な領
域に分割する。たとえば、図３（Ａ）に示すように、点
群をその位置関係によって１６個のブロック（この実施
例では、縦、横それぞれ４ブロック）に分割し、そのう
ち１２個のブロックに位置する点を１つの領域（図３に
おいて灰色に塗りつぶした領域）としてある。また、図
３（Ｂ）および（Ｃ）は、別のパターンの領域に分割し
た例を示してある。このように、様々なパターンに領域
を設定すると、ステップＳ１７で、コンピュータはそれ
ぞれの領域を因子分解し、３次元形状と３次元相対運動
（以下、単に「運動」という。）とを得る。つまり、そ
れぞれの領域が剛体であると仮定し、その領域の点群の
３次元形状および運動を上述したような因子分解法によ
り復元（計測）する。

【００４５】ステップＳ１９では、それぞれの領域の平
均再投影誤差Ｅ^aを算出する。つまり、因子分解法によ
り復元された３次元形状（３次元座標の斉次座標Ｍ）と
運動行列（射影行列Ｐ）とを用いて、３次元形状を画像
座標に再投影して、もとの画像座標との二乗誤差の平均
を算出する。この算出した二乗誤差の平均が、それぞれ
の領域の再投影誤差Ｅ^aと定義され、具体的には数１０
で示される。なお、再投影された画像座標ｍ′は、数８
において、ｍをｍ′とし、復元された３次元座標Ｍおよ
び射影座標Ｐを用いて算出される。

【００４６】

【数１０】

【００４７】ステップＳ２１では、コンピュータは設定
された領域から再投影誤差Ｅ^aが最小となる領域を選択
し、その領域から得られた射影行列Ｐを用いて領域に含
まれる全点を画像座標に再投影する。なお、全点の画像
座標の再投影座標ｍは、数８において、画像座標の斉次
座標（復元された画像座標）ｍおよび射影行列Ｐを既知
数として全点の３次元座標Ｍを計算した後、再び数８に
おいて、算出した３次元座標Ｍおよび既知数の射影行列
Ｐを用いて得られる。

【００４８】ステップＳ２３では、コンピュータは、ス
テップＳ２１で再投影した全点のそれぞれについて３次
元座標Ｍを算出し、再投影誤差Ｅ^bを得る。つまり、ス
テップＳ２１で求めた再投影座標ｍをｍ″として、各点
の再投影誤差Ｅ^bが数１１に従って算出される。

【００４９】

【数１１】

【００５０】ステップＳ２５では、この各点の再投影誤
差Ｅ^bを所定の閾値ＴＨ２と比較し、閾値ＴＨ２より小
さい領域（点群）を剛体領域に決定し、逆に大きい領域
を非剛体領域に決定する。つまり、再投影誤差Ｅ^bを閾
値ＴＨ２（評価値）で評価することにより、被写体に対
応する画像の全領域が剛体領域と非剛体領域とに分離さ
れる。なお、閾値ＴＨ２も、実験等により経験的に得ら
れた値である。

【００５１】続くステップＳ２７では、コンピュータは
剛体領域を因子分解し、３次元形状および運動を得る。
つまり、剛体領域の３次元形状の座標は、ステップＳ２
１で算出した３次元座標Ｍで決定される。また、剛体領
域の運動は、同様にステップＳ２１で算出した射影行列
Ｐをそのまま用いてもよいが、復元の精度を向上するた
め、再計算する。つまり、コンピュータは、数８におい
て、剛体領域の画像座標ｍと３次元座標Ｍを用いて射影
行列Ｐを計算する。

【００５２】そして、ステップＳ２９で、コンピュータ
は、ステップＳ２５で得た剛体領域の運動（射影行列
Ｐ）に基づいて、非剛体領域の各フレーム時点での（時
系列的な）３次元形状を得てから、処理を終了する。具
体的には、非剛体領域の各時点毎の３次元座標を算出す
る。ここで、非剛体領域の形状は時間とともに変化する
が、連続する２フレーム間ではその変化量は小さいた
め、剛体領域とみなすことができる。したがって、数８
において、連続する２フレームに対応するオプティカル
フローを変換した画像座標ｍと剛体領域の射影行列Ｐ
（運動）とを用いて、非剛体領域の３次元座標Ｍが得ら
れる。つまり、非剛体領域の３次元形状が計測される。
このような、計算が第１フレーム（基準フレーム）から
第Ｍフレームまでの連続する２フレーム毎に実行され
る。

【００５３】なお、この実施例では、連続する２フレー
ム毎に計算しているが、変形の度合いによって、連続す
る３フレーム以上毎に計算してもよい。

【００５４】また、上述のようにして得られた３次元形
状に時空間的な平滑フィルタで処理を施すことにより、
ノイズを抑制するようにしてもよい。

【００５５】この実施例によれば、剛体領域と非剛体領
域とに分離し、剛体領域に対する運動を用いて非剛体領
域の時系列的な３次元形状を算出するので、非剛体であ
っても３次元形状を計測することができる。

【図面の簡単な説明】

【図１】この発明の一実施例の処理を示すフロー図であ
る。

【図２】この発明の一実施例の処理を示すフロー図であ
る。

【図３】選択されたオプティカルフローの点群を様々な
パターンの領域に分割した場合の例を示す図解図であ
る。

───────────────────────────────────────────────────── フロントページの続き (72)発明者谷内田正彦大阪市住之江区南港北１丁目14−16 ＷＴＣビル21階メールボックス番号82 財団法人イメージ情報科学研究所内Ｆターム(参考） 2F065 AA03 AA04 AA45 BB05 CC16 DD00 FF04 JJ03 JJ16 JJ26 QQ33 QQ42 5B057 AA20 BA02 CA12 CA16 DA11 DB02 DC30

Claims

【特許請求の範囲】

【請求項１】被写体像を時系列的に取得する取得手段、前記被写体像に対応する画像の連続するフレーム間での
各点の２次元的な移動ベクトルを抽出する第１抽出手
段、前記移動ベクトルに基づいて前記画像の全領域を剛体領
域と非剛体領域とに分離する分離手段、前記剛体領域の前記移動ベクトルに基づいて前記剛体領
域の３次元座標および３次元相対運動を算出する第１算
出手段、および前記３次元相対運動と前記非剛体領域の
移動ベクトルに基づいて前記非剛体領域の３次元座標を
算出する第２算出手段を備える、３次元形状計測装置。
【請求項２】前記各点を様々な形状パターンを有する領
域に分割する分割手段、分割した領域の３次元座標およ
び３次元相対運動を算出する第３算出手段、前記第３算
出手段で算出した前記３次元座標および前記３次元相対
運動に基づいて前記領域の平均再投影誤差を算出する第
４算出手段、および前記平均再投影誤差に基づいて前記
領域から前記剛体領域を決定する決定手段をさらに備え
る、請求項１記載の３次元形状計測装置。
【請求項３】前記決定手段は前記平均再投影誤差の評価
値が小さい領域を検出する検出手段を含み、前記評価値が小さい領域を前記剛体領域に決定する、請
求項２記載の３次元形状計測装置。
【請求項４】前記決定手段で決定した前記剛体領域に含
まれる各点の移動ベクトルに基づいて、前記剛体領域の
３次元座標および３次元相対運動の少なくとも一方を再
度算出する再度算出手段をさらに備える、請求項２また
は３記載の３次元形状計測装置。
【請求項５】前記移動ベクトルに基づいてフィードバッ
ク誤差を算出する第５算出手段、前記フィードバック誤
差に応じて信頼度を抽出する第２抽出手段、および前記
信頼度を重みとして前記移動ベクトルをフィルタリング
するフィルタリング手段をさらに備える、請求項１ない
し４のいずれかに記載の３次元形状計測装置。
【請求項６】前記第１算出手段は前記信頼度が高い前記
移動ベクトルを用いて前記３次元座標を算出する、請求
項５記載の３次元形状計測装置。
【請求項７】被写体像を時系列的に取得する取得手段、前記被写体像に対応する画像の連続するフレーム間での
各点の２次元的な移動ベクトルを抽出する第１抽出手
段、前記移動ベクトルに基づいてフィードバック誤差を算出
する第１算出手段、前記フィードバック誤差に応じて信頼度を抽出する第２
抽出手段、前記信頼度を重みとして前記移動ベクトルをフィルタリ
ングするフィルタリング手段、および前記フィルタリン
グ手段でフィルタリングされた移動ベクトルに基づいて
前記各点の３次元座標および３次元相対運動を算出する
第２算出手段を備える、３次元形状計測装置。