JP2002319026A

JP2002319026A - 画像のシーケンスから非剛直３次元オブジェクトを直接モデル化する方法

Info

Publication number: JP2002319026A
Application number: JP2002041365A
Authority: JP
Inventors: Matthew Brand; マッシュー・ブランド
Original assignee: Mitsubishi Electric Research Laboratories Inc
Current assignee: Mitsubishi Electric Research Laboratories Inc
Priority date: 2001-02-22
Filing date: 2002-02-19
Publication date: 2002-10-31
Also published as: US7006683B2; US20030072482A1; EP1235183A2; EP1235183A3

Abstract

(57)【要約】（修正有）【課題】画像のシーケンスから非剛直３次元オブジェ
クトを直接モデル化する方法。【解決手段】オブジェクトの形状は３Ｄポイントの行列
として表現され、該オブジェクトのあり得る変形の基礎
は該３Ｄポイントの変位の行列として表現される。３Ｄ
ポイントと変位との行列は該オブジェクトのモデルを形
成する。各３Ｄポイントに近い局所領域における画像強
度からオプティカル・フローについての証拠が決定され
る。その証拠は、ビデオにおいて該オブジェクトをトラ
ッキングするために該モデルの３Ｄ回転、並進運動、及
び変形の係数に因数分解される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一般にコンピュー
タ・ビジョン、特に画像のシーケンスにおける変形可能
なオブジェクトの形状、運動及び屈曲をモデル化するた
めの方法に関する。

【０００２】

【従来の技術】発明の背景モデル化を目的とするオプテ
ィカル・フローにおける３次元(３Ｄ)剛体の形状とのポ
イントの対応関係は広く記述されている。例えば、バロ
ン他の“ノイズのある時間変化する画像速度情報からの
運動及び構造の実現可能性(Barron et al., "The feasi
bility of motion and structure from noisy time-var
ying imagevelocity information," IJCV, 5(3):239-27
0, December 1990)"、ハイデン他の“画像シーケンスか
らの投影構造及び運動のための反復因数分解方法(Heyde
net al. "An iterative factorization method for pro
jective structure and motion from image sequence
s," IVC, 17(13):981-991, November 1999)"、スタイン
他の“モデルに基づく輝度制約：構造及び運動の直接推
定での(Stein et al., "Model-based brightness const
raints: On direct estimation of structure and moti
on," PAMI, 22(9):992-1015, September 2000)"、スギ
ハラ他の“正射影的に投影されたオプティカル・フロー
からの剛構造の回収(Sugihara et al., "Recovery of r
igid structure from orthographically projected opt
ical flow," CVGIP, 27(3):309-320, September 198
4)"、及びワクスマン他の“画像フロー運動学からの表
面構造及び３次元運動(Waxman et al., "Surface struc
tureand three-dimensional motion from image flow k
inematics," IJRR, 4(3):72-94, 1985)"を参照された
い。

【０００３】画像シーケンス(例えばビデオ)から３Ｄ情
報を抽出するための最新の方法の殆どは、トマシ他によ
る“正射影下での画像ストリームからの形状及び運動：
因数分解方法("Shape and motion from image streams
under orthography: A factorization method," Intern
ational Journal of Computer Vision, 9(2): 137-154,
1992)"に記載されているトマシ＆カナデ(Tomasi & Kan
ade)の“ランク定理”に基づいている。正射影的に投影
される剛体運動に用いられる行列はランク３を有する。
即ち、該行列は、３つの一次独立ベクトルとして表現さ
れることができる。薄単一値分解(a thin single value
decomposition (SVD))により該行列を形状及び射影に
因数分解することができるということは良く知られてい
る。ブレグラー他(Bregler et al.)は、“画像ストリー
ムからの非剛直３Ｄ形状の回収(Recovering non-rigid
3D shape from image streams, Proc. VCPR, 2000)"に
おいてランク３ｋダブルＳＶＤによるｋモード非剛直運
動への拡張を記載している。現在まで、そのような全て
の因数分解方法は、入力として好結果のポイント・トラ
ッキング・データを必要としている。

【０００４】オブジェクトマッチング或いはトラッキン
グのための非剛直２次元(２Ｄ)モデル化方法も知られて
いる。それらは、形状の可変性の固有空間表示に基づい
ているか(ブラック及びヤコブの“固有トラッキング：
光景に基づく表示を使用する連結されたオブジェクトの
強健なマッチング及びトラッキング(Black and Yacoob,
"Eigentracking: Robust matching and tracking of a
rticulated objects using a view-based representati
on," IJCV, pages 63-84, 1998)"、クーツ他の“アクテ
ィブ外観モデル(Cootes et al., "Active appearance m
odels," Proc.ECCV, volume 2, pages 484-498, 199
8)"、及びコブェルの“固有ポイント：主成分分析を使
用する制御ポイント位置(Covell, "Eigen-points: Cont
rol-pointlocation using principal component analys
is," Proc. 2nd IWAFGR, 1996)"を参照されたい)、或い
は可変性のパラメトリック表示に基づいている(ブラッ
ク及びジェプソンの“画像運動の局所パラメトリック・
モデルを使用する剛直な顔面運動及び非剛直顔面運動の
トラッキング及び認識(Black and Jepson "Trackingand
recognizing rigid and non-rigid facial motions us
ing local parametric models of image motion," Pro
c. ICCV, 1995)"及びスクラロフ他の“アクティブな小
斑点(Sclaroff et al., "Active blobs," Proc. ICCV,
1998)を参照されたい)。

【０００５】これらの方法の多くは、モデルを訓練する
ために多数の手でマークされた画像を必要とする。コブ
ェルの固有点トラッカー(eigenpoint tracker)は、個々
の顔の造作のアフィン歪曲された画像を、それらの造作
の手で示された信託点に関連づけるために固有基礎を採
用している。ブラック及びヤコブは、剛直でない顔の造
作についてのフローのパラメトリック２Ｄモデルを記述
しており、ブラック及びジェプソンも剛直でないオブジ
ェクトの２Ｄトラッキングについて光景の固有基礎を使
用する。クーツ他は、ポーズ及びアイデンティティーに
よる顔の像の変化を処理するために２Ｄ形状の統計モデ
ルを使用するが、表現を使用しない。これらのアプロー
チの多くは、外れ値を捨てるために強化方法を必要とす
る。明らかに、本質的に３Ｄの変化性である物の２Ｄモ
デルを使用するためには支払うべき代償がある。

【０００６】バスクル他(Bascle et al.)は、“顔面ト
ラッキング及びアニメーションにおけるポーズ及び表現
の分離性("Separability of pose and expression in f
acial tracking and animation," Proc. ICCV, 1998)"
において、トラッキングされている外形の運動をＳＶＤ
を介して屈曲及び２Ｄのパララックスを伴うアフィン・
ワープに因数分解することによる２Ｄ及び３Ｄトラッキ
ングの興味ある妥協を記述している。

【０００７】

【発明が解決しようとする課題】従来技術は、いずれ
も、ビデオにおける非剛直３Ｄオブジェクトをトラッキ
ングしてその３Ｄ運動及び屈曲パラメータを回収し、あ
るいはそのようなパラメータをピクセル強度の変化から
直接回収するという問題に取り組んでいない。画像のシ
ーケンスからモデルとその運動とを獲得するための改良
された方法を提供することが望まれている。その方法
は、中間結果を決定する間に情報を失うことなく画像の
強度から３Ｄ運動及び屈曲を直接決定する。その方法は
不確実性を最小にするべきであり、前の確立は信頼性を
示す手段(measures)を提供すべきである。

【０００８】

【課題を解決するための手段】発明の概要本発明は、線形変形可能なモデルとスケーリングされる
正射影法の関係において画像のシーケンスから非剛直３
Ｄモデルに基づくフロー及びモデルの獲得を提供する。
本発明の方法は、画像強度勾配に直接作用する最大尤度
及びその後の最大３Ｄ運動及び屈曲推定量を得る。その
方法は、行列演算における情報喪失を最小限にすると共
に、各画像の最も情報を与える部分からの証拠により計
算が最も影響を受けることとなるように最小二乗法演算
のエラー・ノルムを操作する。本発明は、モデルの詳細
及び正確さを向上させ、非常に一般的なモデルを非常に
詳細なモデルに洗練させることを可能にするモデルを洗
練させることを提供する。情報喪失が最小限となるの
で、ノイズ及びその他の劣化があっても記述される全て
の決定は、迅速で、正確で、強固である。

【０００９】より具体的には、本発明は、画像のシーケ
ンスから非剛直３次元オブジェクトを直接モデル化する
方法を提供する。オブジェクトの形状は３Ｄポイントの
行列として表され、オブジェクトの可能な変形の基礎は
３Ｄポイントの変位の行列として表される。３Ｄポイン
ト及び変位の行列はオブジェクトのモデルを形成する。
オプティカル・フローについての証拠が各３Ｄポイント
の近くの局部領域における画像強度から決定される。そ
の証拠は、ビデオにおいて該オブジェクトをトラッキン
グするために該モデルの３Ｄ回転、並進、及び変形係数
に因数分解される。

【００１０】

【発明の実施の形態】好ましい実施の形態の詳細な説明序論本明は、線形の、モデルに基づくオブジェクトトラッキ
ング方法を提供する。その方法は、画像のシーケンスに
おいて剛直でない３次元(非剛直３Ｄ)オブジェクトをト
ラッキングする。画像シーケンスは、例えばビデオなど
の２Ｄデータ、或いは例えばボリューム・データ・セッ
トなどの３Ｄ体積測定データから構成されることができ
る。この方法は、情報を失う中間結果無しで画像の強度
値から３Ｄ運動及び屈曲、即ち変形係数、を決定する。
ベイズのフレームワークは、不確実性を処理し、前の確
率に配慮して確実性の程度を与える。

【００１１】本発明は、割り算、内積などの非可逆行列
演算と割り算などの最小２乗法計算とからの情報喪失を
最小限にすることにより正確で強固な閉鎖形運動推定量
を提供する。これらの行列演算は、削除されるか、或い
は避けがたい場合には、なるべく長く遅らされてから適
当なエラー・ノルムで実行される。モデル獲得のため
に、本発明の方法は、一般的モデルを洗練して非剛直３
Ｄオブジェクトを画像のシーケンスに適合させる(填め
込む)。利点として、モデル獲得、モデル・トラッキン
グ、及びモデル洗練のための記述される方法は画像の低
品質、低分解能シーケンスに適用されることができる。

【００１２】大要非剛直３Ｄオブジェクトの３Ｄ形状及び変形についての
知識は、画像のシーケンスにおいてオブジェクトをトラ
ッキングする際の価値のある制約条件である。控えめの
数の画像のシーケンスは、そのようなモデルを取り戻す
ために充分な情報を含んでいるべきである。ここでは、
画像の低分解能シーケンスにおいて観察される非剛直３
Ｄオブジェクトのモデルのトラッキング及び洗練は、ス
ケーリングされた正射影カメラの関係で記述される。

【００１３】モデルに基づくオプティカル・フロー図１，２及び６に示されているように、本発明は２Ｄま
たは３Ｄの画像のシーケンスにおいて３Ｄ屈曲制約され
るオプティカル・フローを決定するための線形方法を提
供する。図１は基本的な“ポイント群(cloud-of-point
s)”１０２モデル１００を示しており、図２はモデル１
００の射影２００を示しており、図６は該モデルの運動
推定６００と洗練６０１のステップとを示している。こ
の方法は実時間単眼３Ｄトラッキング及びモデル洗練を
可能にする。例えば顔などの、非剛直３Ｄオブジェクト
のモデルは、平均３Ｄ形状２０２とその変形のモード２
０３−２０５とを記述する３Ｄのポイント群１００の形
で表現される。変形２０３−２０５は、各ポイントにつ
いての独特の３Ｄ変位を定義する。運動洗練ループ６０
１のステップ６０６により決定される屈曲２０７は、変
形の大きさを記述する。例えば、顔のモデルの唇を動か
す変形が存在することがある。その変形は、正に或いは
負に曲げられて口を開いたり閉じたりすることができ
る。各々異なる量だけ曲げられた数個の変形を結合させ
ることによって多様な形状変化をモデル化することがで
きる。

【００１４】この記述されている方法は、各画像におけ
るオブジェクトの並進２０６，回転２０１及び屈曲２０
７を直接求める。屈曲は、後述するようにスケール情報
も担っている。それは、後確率６０４の形の確実性を示
す手段を与える。最大公算及びベイジアン帰納的最大後
(ＭＡＰ:maximum a posterior)運動(６５２)及び屈曲
(６５４)が、情報を喪失する中間結果無しで、即ちオプ
ティカル・フローを推定することなく、強度勾配から直
接決定される。換言すると、この好ましい方法は、実際
のオプティカル・フロー証拠を使用し、オプティカル・
フロー推定量は使用しない。この方法は運動前確率(プ
ライアー(priors))６１４に配慮し、多画像及び多光景
制約条件を利用することができる。

【００１５】情報状態を最大にする本発明は、計算における情報状態を最大にするために行
列変換を使用する。掛け算、割り算、及び薄ＳＶＤ(thi
n SVD)などの非可逆行列演算が情報状態を減少させ、そ
の結果としてエラーを増大させることは良く知られてい
る。例えば、掛け算の内積は、２つのベクトルが単一の
値に変えられるので、情報状態を減少させる。ベクトル
が或る程度の付随する不確実性を伴う測定値を表すなら
ば、既存の内積は実際に悪い値を生じさせることがあ
る。割り算及びＳＶＤは、これらの行列演算により得ら
れる結果が最小２乗法の意味でのみ正しいので、特に厄
介である。このことは、球形エラー・ノルムを意味し、
それは多くのコンピュータ・ビジョン問題についての悪
いエラー・ノルムであるということが知られている。

【００１６】従って、本発明は、情報状態が減少するの
ではなくて増大するように行列演算のシーケンスを配列
する。このことは、主として、例えば行列掛け算をクロ
ネッカー積で置換することにより内積を除去するなどの
可逆アナログの賢明な置換により行われる。このこと
は、情報状態が最終的に形状、運動、及び屈曲を与える
ように減少させられなければならなくなるまで本発明が
最小２乗演算を無くするか、或いは少なくとも最大限に
遅らせることを可能にする。これを実行するために、幾
つかの有益なアイデンティティーについて以下で記述す
る。それらのエンティティーは、本方法が任意の楕円形
マハロノビス(Mahalonobis)エラー・ノルムのもとで拡
張されているアレイの外で情報を因数分解することを可
能にする。

【００１７】造作無しでの強固なトラッキング “画像不確実性”は、例えば画像中の“陸標(landmar
k)”の位置などの、測定値の正確な値に関する不確実性
を指す。不確実性の原因は、ぼやけ、センサー・ノイ
ズ、限られたダイナミックレンジ及び撮像センサーのサ
ンプリングレートである。数量化できるときには、画像
不確実性は測定値自体と同じ量の情報を運ぶことができ
る。ビデオ画像のシーケンス中の非剛直３Ｄオブジェク
トをトラッキングしている間、本発明の方法はグローバ
ル幾何学不変量との相互作用を介して不確実性を解明で
きるようになるまで射影モデルを通して画像不確実性を
逆に伝える。その結果としてのトラッカーは、画像領域
の任意のサンプリングに利用できるあらゆる情報を使用
し、それらの領域の殆どが例えば無テクスチャーであっ
たり自己閉塞であったりするなどで低品質であるときで
も正確な運動を与える。

【００１８】モデル・ジオメトリーを獲得するこの記述されている方法は、画像のシーケンス中の非剛
直オブジェクトについて３Ｄの線形に変形可能なモデル
を推定するための新しい解決策を提供する。モデル洗練
６２６は、あまり適当ではないモデルをそのトラッキン
グ残差と結合させて、増大された細部を伴うより正確な
モデルを生じさせる、即ち“群”の中の“ポイント”の
数を増大させる。

【００１９】概要始めに、オブジェクトトラッカーは、３Ｄ運動及び屈曲
についてのジオメトリーに基づくモデルを画像シーケン
ス中の２Ｄオプティカル・フローの強度に基づく記述に
適用する。オプティカル・フローは除去され、運動パラ
メータがオプティカル・フロー強度から直接得られる。
全ての決定は３Ｄ運動及び屈曲の部分空間内で行われ、
強固な３Ｄトラッカーを生じさせる。画像不確実性情報
が該決定の全体にわたって伝えられる。これは、精度を
高め、当然にベイズの公式化に帰着する。最後に、該モ
デルのジオメトリーについての解が記述される。

【００２０】行列演算についての次の表記法がこの記述
において使用される。ゴルブ他の“行列計算”(Golub e
t al., Matrix Computations," Johns Hopkins U. Pres
s, 1996)及びマグヌス他の“統計及び計量経済学におけ
る応用を伴う行列微分学”(Magnus et al., "Matrix di
fferential calculus with applications in statistic
s and econometrics," Wiley, 1999)を参照されたい。

【００２１】

【数４】

【００２２】屈曲及びフローオブジェクト屈曲図１及び２に示されているように、本発明は画像シーケ
ンス中の非剛直３Ｄオブジェクト１０１のモデル１００
の基礎形状２０２を３Ｄポイント１０２の行列により表
現する。モデル化されているオブジェクトの例は顔であ
る。ポイントの群は３次元に置かれ得ることに注意する
べきである。

【００２３】図２に示されているように、モデル１００
の形状及び運動、即ち画像シーケンスの各画像への射影
或いはポーズＰ２００は

【００２４】

【数５】

【００２５】により表現されることができ、ここでＲ２
０１は正射影回転行列であり、ｄは次元の数であり、Ｂ
２０２は３Ｄポイント１０２の行列であり、Ｃ２０７は
屈曲のベクトル即ち変形係数であり、Ｉは単位行列であ
り、Ｄ２０５はモデルのｋ個の線形に分離可能な変形の
ベクトルであり、Ｔ２０６は２Ｄ並進運動行列である。
変形２０３−２０５には屈曲係数２０７により重みが付
けられる。もし回転行列Ｒが深さ次元を落としているな
らば、射影は正射影であり、もし変形の基底セットが基
礎形状を含んでいるならば、正射影はスケーリングされ
る。

【００２６】オプティカル・フロー前述したように、運動及び屈曲は画像における強度勾配
から決定される。図３に示されているように、画像３２
０のシーケンスの２つの連続する画像Ｉ３１１及びＪ３
１２におけるオブジェクトの小さな局部領域(ｒ)３１０
の２Ｄまたは３Ｄのオプティカル・フロー証拠((ベクト
ル)Ｆ←Ｙ／Ｘ)３００は、画像Ｉ及びＪにおける強度の

【００２７】

【数６】

【００２８】を考慮する画像強度値により１次に決定さ
れることができる(フロー計算)６５６。ルーカス他の
“ステレオ・ビジョンへの応用を伴う反復画像登録技
術”(Lucaset al. "An Iterative Image Registration
Technique with an Application to Stereo Vsion," In
ternational Joint Conference on Artificial Intelli
gence, pages 674-679, 1981)を参照されたい。ベクト
ルＦ及びＹを拡張し、行列Ｘを対角的に積み重ねること
により、多数(ｎ)の領域ｒ３１０を同時にトラッキング
することができる。

【００２９】しかし、小さな局部領域ｒ３１０における
オプティカル・フロー３００は、相互に依存し合うｎ個
の同時推定を行うためには何らかの全体的制約条件無し
では実際の物理的運動についての信頼し得ない指標であ
ることが良く知られている。

【００３０】運動推定従って、図４に示されているように、本発明の方法は、
許される変形及び３Ｄ運動の部分空間内にあるように画
像ＩからＪへのオプティカル・フローを制約する(４０
０)。一般性を失うことなく、モデル１００の全てのポ
イント１０２の平均運動がオブジェクト１０１の形状の
２Ｄまたは３Ｄの変位を与えるように形状及び変形をゼ
ロ平均にすることができる。これは、該方法が並進運動
Ｔ２０６を決定することを可能にする(６２０)。並進運
動は、その後２つの連続する画像Ｉ及びＪを変えて整列
させることにより、除去される(６６０)。その２つの画
像３１１−３１２の整列している領域から新しい時間変
化Ｙ’４０１を決定することができる(６２２)。

【００３１】もしポイント１０２の行列Ｂ２０２が画像
Ｉ３１１におけるオブジェクト１０１の基礎形状を表
し、行列Ｄが変形を表し、行列Ｃ２０７が画像Ｉから画
像Ｊへの未知の屈曲(変形係数)を表し、行列Ｏが２Ｄ正
射影を表し、従って

【００３２】

【数７】

【００３３】ならば、オプティカル・フローＦ３００
を：

【００３４】

【数８】

【００３５】として、即ち連続する画像３１１−３１２
における射影の差として、表現することができる。

【００３６】式(２)は、

【００３７】

【数９】

【００３８】として、より単純な形に書き直されること
ができる。vec及び

【００３９】

【数１０】

【００４０】の使用は、この式の左辺を積の形に表現す
ることを可能にし、このことは単一の割り算でどの未知
数の値を求めることをも可能にする。

【００４１】図５に示されているように、本発明の方法
は、画像３２０のシーケンスにおける非剛直オブジェク
ト１０１の形状、運動、及び屈曲をモデル化するために
使用されるいろいろな変数(Ｔ,Ｃ,Ｒ)５０１−５０３の
値を、単独で及びいろいろな組み合わせで、求める。利
点として、本発明は、以下で詳しく記述するように、情
報状態を最大にすると共に不確実性(エラー・ノルムＱ
５０４)を最小にするために最小限の数の内積と最小２
乗法演算とを使用する。

【００４２】素朴な解始めに、回転と屈曲とが：

【００４３】

【数１１】

【００４４】により分離される。前述したように、割り
算の数を減らすことが望まれる。以下で、割り算の最少
化を説明する。回転と屈曲とを抽出するために、式(４)
の左辺はランク１行列

【００４５】

【数１２】

【００４６】を形成するように整えられる。もし行列Ｍ
にノイズがなければ、値vec(ハット)Ｒ^Tは行列Ｍの第１
列であり、

【００４７】

【数１３】

【００４８】である。

【００４９】正規直交分解ノイズのある行列は次のように因数分解されることがで
きる。(vec(ハット)Ｒ ^T)(ハット)Ｃ’←Ｍの因数分解、
即ちベクトル化された正規直交行列かける変形係数行列
は、普通は薄ＳＶＤＵＳＶ^T←(SVD₁)←Ｍの次に(vec
₃U)^Tの正規直交化を行って(ハット)Ｒをもたらし、次に
訂正再割り算

【００５０】

【数１４】

【００５１】により実行される。これはＭを最も良く割
るベクトルに最も近い回転を見出すが、それは一般には
Ｍから利用できる最良の回転ではない。Ｍは小さいの
で、ＳＶＤはノイズ、特に独立していなくて全く同じに
分布されている(ｉ.ｉ.ｄ.)ガウシアン・ランダム変
数、を抑圧するのではなくて該ノイズを組み入れること
がある。

【００５２】その代わりに、好ましい方法は、標準的な
ＳＶＤに基づく方法より正確に且つ経済的に回転Ｒ２０
１を直接回収する正規直交分解６５０を使用する。幾何
学的には、行列Ｒは、(ハット)Ｃ’によりスケーリング
されたＯ^Tの軸を行列Ｍの上半分及び下半分(Ｍ↑,Ｍ↓)
の列と整列させる回転である。

【００５３】これは絶対配向(an absolute orientatio
n)として表現されることができる。ホーン他の“正規直
交行列を使用する絶対配向の閉鎖形の解”(Horn et a
l., "Closed form solution of absolute orientation
using orthonormal matrices,"J. of the Optical Soci
ety A, 5(7):1127-1135, 1988)を参照されたい。

【００５４】

【数１５】

【００５５】とする。すると、２Ｄ固有分解(2D eigen-
decomposition)

【００５６】

【数１６】

【００５７】を使用して

【００５８】

【数１７】

【００５９】となる。従って、Ｏ(ｋ³)ＳＶＤはＯ(1)固
有問題と置換される。

【００６０】これは、例えば

【００６１】

【数１８】

【００６２】などの、変形係数の初期決定を必要とし、

【００６３】

【数１９】

【００６４】をもたらす。最終の値は、その値に割合に
鈍感であり、例えば、(ハット)Ｃ’＝１を用いるとうま
くゆく。

【００６５】本発明により実行されるこの直接因数分解
は、ノイズのある行列Ｍの最良適合因数に最も近い回転
ではなくて最良適合回転を与え、従って、特に、ノイズ
が増えるとき、標準的なＳＶＤプラス正規直交プロセス
より優れている。高ノイズ・レベルでは、正規直交分解
は、実質的に、ランダム回転、ｋ個の係数、及びノイズ
源で生成された２Ｄ射影の行列についての、ｐ＜０．０
１レベルの統計的有意性を伴う実質的に正しい回転であ
る。

【００６６】運動洗練オプティカル・フローの公式化の一次性により、大きな
運動については、オプティカル・フローが対称的である
とき式(２)で暗示されるオプティカル・フローＦにより
相殺される画像領域から時間変化(Ｙ’)と空間変化Ｘと
を再計算することが望ましいことがある。この再計算は
オプティカル・フロー決定ステップ６２８で行われる。

【００６７】次に、置換

【００６８】

【数２０】

【００６９】によって行列Ｒ及びＣを洗練することがで
きる(６５２，６５４)。これを実行すると同時に、恒等
式

【００７０】

【数２１】

【００７１】を用いて

【００７２】

【数２２】

【００７３】により(ハット)Ｒ及び(ハット)Ｃを相互か
ら決定することができる。

【００７４】式(６)は、例えば行列Ｃ２０７により表現
される屈曲など、適当な部分空間において配向されるべ
き画像のシーケンスのオプティカル・フローを制約する
推定量の第１の例である。

【００７５】形を治して乗法相殺を行うことにより、式
(３)の標準的実行に使用される３つの別々の割り算が式
(５−６)において積により単一の割り算に変換されてお
り、最後に最小２乗法演算を節約し、それにより情報状
態のエラーを最小限にする。

【００７６】そのように構成されている推定量の被除数
及び除数は“証拠行列”と呼ばれる。それについて、不
確実性情報を組み込むこと、単一の割り算と式(４)及び
(５)の部分空間制約されたバージョンとを展開すること
に関して以下で詳しく記述する。

【００７７】スケーリングされた正射影上の式(４)及び
下の式(７)はスケーリングされた正射影であり、行列Ｃ
２０７の第１要素はスケールの変化を与える。式(６)
は、置換ｋ→ｋ＋１，Ｄ→Ｄ’を介してスケーリングさ
れた正射影にされることができる。

【００７８】斜めの領域及び閉じられた領域イメージ毎
に、モデルに対する表面法線に関する情報を加えること
により背面領域及び輪郭端領域を無視することができ
る。Ｘ及びＹに対する各フロー・ウィンドウの寄与をma
x(0, z)により測ることができ、ここでzは、それに付随
する単位法線の深さ成分である。閉じられたポイントに
ついて、並進運動ベクトル(ハット)Ｔも洗練されなけれ
ばならない。

【００７９】画像不確実性を伝える画像にガウシアン・ノイズを仮定すると、制約されない
オプティカル・フロー(Ｆ＝Ｙ／Ｘ)の不確実性は、後の
逆共分散Σ^-1＝Ｘを伴う全共分散２Ｄ正規確率分布間数
により記述される。上で述べたように、割り算Ｙ／Ｘ
は、この不確実性情報を捨てる。対照的に、本発明の方
法は、モデルの情報状態が最後の形状、運動、及び屈曲
を与えるように最終的に還元されるまで該情報が既知の
不変量と相互作用することができるように、この不確実
性情報を前に伝える。

【００８０】楕円形エラー・ノルムでの割り算一般に、Ｅ＝ＪＫ・Ｌ＝０の形の問題を解くときには、
含蓄的な球形エラー・ノルムtr(E^TE)の代わりに、対称
的共分散Σを有する楕円形エラー・ノルム(vecＥ)^TΣ^-1
(vecＥ)を用いる。このvecEは、全ての変数間の任意の
共分散制約条件を、該変数がEの異なる列の中にあると
きでも、可能にする。行列Eの導関数をゼロにセットす
ると、解は０=(vec(ＪＫ-Ｌ))^TＱを満たさなければなら
ず、ここでＱ５０４，即ちΣ^-1の因数、は解が最小にす
るエラー・ノルムを決定する、即ち、Ｑ＝Ｉ⇒球形エラ
ー・ノルムである。

【００８１】不確実性情報は楕円形エラー・ノルム、Ｑ
＝√(Σ^-1)を特定するので、即ちＱ５０４の列はΣ^-1の
スケーリングされた固有ベクトルであり、

【００８２】

【数２３】

【００８３】である。楕円形エラー・ノルムＱ５０４は
問題の最大の不確実性と最小の不確実性との方向を回転
させて軸整列させ、その確実性に比例させて各軸をスケ
ーリングする。恒等式

【００８４】

【数２４】

【００８５】は解

【００８６】

【数２５】

【００８７】を生じさせる。

【００８８】確実性重み付き推定量 Σ^-1Ｘは２×２ブロック・ダイアゴナルであるので、Q
５０４をステップ６１２で決定することができる。不確
実性変換６５８により確実性重み付きデータ空間に歪め
られている画像情報の時間勾配は

【００８９】

【数２６】

【００９０】(共分散重み付きフロー統計)として計算さ
れる。包括的並進運動６６０を除去すると、重みが付け
られ中心点が決定されている統計６２２が得られる。ス
テップ６５０，６４２，６５４で決定される制約式(４
−６)の不確実性伝播形は、それぞれ、

【００９１】

【数２７】

【００９２】である。

【００９３】その結果として、意図されているように、
全てのオプティカル・フロー決定は今は回転及び屈曲の
部分空間で実行される。同様の、より単純な形は並進運
動ベクトル(ハット)Ｔを与える。

【００９４】式(７−９)は、従来技術の推定量より遙か
に良好な性能を与え、数値的により良好にふるまう。数
値精度がどの１つの屈曲にも集中しないようにＤ’単位
長さにおける変形を生じさせることにより、それらの数
値的利点に更にテコ入れすることができる。

【００９５】高速近似確実性を誇張する危険を冒しても、Ｑ→Ｘの代用を行っ
て式(６)と

【００９６】

【数２８】

【００９７】とを得ることができる。

【００９８】ベイズの公式化残差及び可能性オプティカル・フロー

【００９９】

【数２９】

【０１００】が与えられると、不明の時間強度情報は

【０１０１】

【数３０】

【０１０２】強度レベルとピクセル長さとの積となる。
低レベルのオプティカル・フローのガウス不確実性モデ
ルから前進して、トラッキング残余６０４、或いはエラ
ー計算６０５の間に決定されるマハロノビス距離は、画
像当たりに

【０１０３】

【数３１】

【０１０４】強度レベルである。このことは、運動が与
えられると、オプティカル・フロー証拠の可能性(残差
及び確率)６０４が

【０１０５】

【数３２】

【０１０６】であることを暗示する。式(８−９)の各々
は最適のｐをその部分空間内に生じさせる。

【０１０７】前確率及び最大後確率 μc'の平均値及びΣc'の共分散で、スケーリング及び屈
曲についてのガウス前確率ｐc'(Ｃ’)を考察する。ログ
後確率はログ可能性をログ前確率に対して釣り合わせる
合計であるので、最大帰納的推定量

【０１０８】

【数３３】

【０１０９】は、次のアンダーラインの付されている項
を最大可能性の証拠行列：

【０１１０】

【数３４】

【０１１１】に連結することによって構成され、ここで
Ｑc’は、Ｑc', Ｑ^Tc'＝Σ^-1c'を満たすΣ^-1c’のスケ
ーリングされた固有ベクトルである。並進運動及び回転
についてＭＡＰ推定量を同様に構成することができる。

【０１１２】多画像／多光景制約条件多画像及び多光景制約条件は次のように決定される。前
に処理された画像のいずれかの集合を選択し、前述した
ように運動及び屈曲を用いてその処理されている画像を
歪めて画像Ｉのポーズとすることによって仮想画像を作
る。次に、各仮想画像を画像Ｊと比較しながら証拠行列
を連結することによって、次の画像Ｊについての多画像
運動／屈曲推定量が構築される。該行列には既にその確
実性により重みが付けられているので、結果は単なる平
均ではなくて適切な予想である。オプティカル・フロー
が流動する傾向がモデルの幾何学的制約条件により減少
されていても、多画像推定量は固有流動に抗してテクス
チャーを更に安定させることができる。同様の連結によ
り多数のカメラからの証拠を屈曲推定量において結合さ
せることができる。

【０１１３】モデル獲得モデル洗練多数の画像について回転(６５２)及び屈曲(６５４)が決
定されるとき、Ｂを含むモデルＤ’を、次のように画像
のシーケンス中のオブジェクトにより良好に適するよう
に洗練することができる。

【０１１４】

【数３５】

【０１１５】及び

【０１１６】

【数３６】

【０１１７】を画像０を画像ｔに変化させる回転及び屈
曲であるとし、

【０１１８】

【数３７】

【０１１９】であるとする。

【０１２０】

【数３８】

【０１２１】は画像ｔ−１を画像ｔに変化させるオプテ
ィカル・フローであり、

【０１２２】

【数３９】

【０１２３】は該オプティカル・フローの並進運動成分
であるとする。すると、式(２)は

【０１２４】

【数４０】

【０１２５】をもたらし、ここで

【０１２６】

【数４１】

【０１２７】は垂直積み重ねを意味する。

【０１２８】不確実性情報を用いてこの式を書き直す
と、運動についてのトラッキング残差を最小限にするモ
デルについての解：

【０１２９】

【数４２】

【０１３０】が得られ、ここでＱ及びΛは式(７−８)の
それである。このモデル洗練６２６は、１つのトラッキ
ング・ランの出力をとり、トラッキングのもう一つのラ
ンに適するより良好なモデルを生じさせる。

【０１３１】

【数４３】

【０１３２】の代わりに

【０１３３】

【数４４】

【０１３４】を用いることによりオプティカル・フロー
勾配から直接にオブジェクトの形状を決定することがで
きる。しかし、この形状は、例えば鏡面性などの輝度安
定度侵害に敏感である可能性がある。最初のモデルの
ｘ、ｙ座標を保つように式(１１)を制約し、重い重みが
付けられている行を積み重ねることによって正面のみの
回転で深さ及び変形を求めることが可能である。

【０１３５】細部を加えるモデル洗練６２６は、モデルの細部のレベルを高めるこ
とを可能にする。新しいポイントを補間し、補外し、ト
ラッキングし、洗練して、全てのポイントについて訂正
された深さ及び変形を得ることができる。

【０１３６】本発明は、特定の用語及び例を用いること
により記述されている。本発明の範囲内で他のいろいろ
な改造及び修正を行うことができることが理解されるべ
きである。従って、添付されている各請求項の目的は本
発明の真の範囲に属する全てのそのような変種及び修正
を包含することである。

【図面の簡単な説明】

【図１】モデルの形状及びポーズの変化のために置き
換えられ得る３Ｄポイントの行列によりモデル化される
オブジェクトの図である。

【図２】オブジェクトの屈曲及びポーズをモデル化す
る射影の図である。

【図３】オプティカル・フロー強度に関する画像シー
ケンスにおけるオプティカル・フローの図である。

【図４】モデルの屈曲及びポーズに等しくされるオプ
ティカル・フローの図である。

【図５】いろいろなモデル変数についての解の図であ
る。

【図６】本発明のデータ情報フローとプロセスとの流
れ図である。

【符号の説明】

１００モデル、１０１非剛直３Ｄオブジェクト、１
０２ポイント群。

───────────────────────────────────────────────────── フロントページの続き (72)発明者マッシュー・ブランドアメリカ合衆国、マサチューセッツ州、ニュートン、ローウェル・アベニュー 449、ナンバー 11 Ｆターム(参考） 5L096 FA31 HA04

Claims

【特許請求の範囲】

【請求項１】画像のシーケンスから非剛直３次元オブ
ジェクトを直接モデル化する方法であって、３Ｄポイントの行列としてオブジェクトの形状を表し、
該オブジェクトのあり得る変形の基礎を該３Ｄポイント
の変位の行列として表し、これらの３Ｄポイント及び変
位の行列が該オブジェクトのモデルを形成するステップ
と、各３Ｄポイントの近くの局所領域における画像強度から
オプティカル・フローについての証拠を決定するステッ
プと、ビデオにおいて該オブジェクトをトラッキングするため
に該証拠を該モデルの３Ｄ回転、並進運動、及び変形の
係数に因数分解するステップと、を備えたことを特徴とする方法。
【請求項２】該証拠は、シーケンスの各画像における
該局所領域の画像強度の局所空間変化、時間変化、及び
空間勾配を含むことを特徴とする請求項１に記載の方
法。
【請求項３】該ビデオにおける連続する画像Ｊ及びＩ
について、どのポイントＸにおける空間変化も【数１】であり、時間変化Ｙは【数２】であり、空間勾配ｇ(ｘ)は[∂_x(Ｉ＋Ｊ)，∂_y(Ｉ＋Ｊ)]
または[∂_x(Ｊ)、∂_y(Ｊ)]であることを特徴とする請求
項２に記載の方法。
【請求項４】該ビデオの各画像への該モデルの正射影
は【数３】により表され、ここでＲは回転行列であり、Ｂは形状行
列であり、Ｉは単位行列であり、Ｄは変形行列であり、
Ｃは全ての変形の屈曲であり、Ｔは並進運動行列である
ことを特徴とする請求項１に記載の方法。
【請求項５】変位の行列は形状の行列を含み該ビデオ
におけるオブジェクトのスケーリングを処理することを
特徴とする請求項４に記載の方法。
【請求項６】情報の喪失を最小限にするために回転、
並進運動、及び変形は最小限度の数の内積及び最小２乗
法演算で決定され、全ての最小２乗法計算は、該証拠か
ら導出された楕円形エラー・ノルムを利用することを特
徴とする請求項１に記載の方法。
【請求項７】画像のシーケンスにおける局所領域につ
いて該証拠から決定されるオプティカル・フローは全体
的に該モデルと矛盾しないように制約されることを特徴
とする請求項１に記載の方法。
【請求項８】該モデルは、一般的なモデルと、該証
拠、回転、並進運動、及び変形を用いてビデオのオブジ
ェクトをトラッキングするために該一般的モデルを用い
ることにより得られる残差とから直接導出されることを
特徴とする請求項１に記載の方法。