JP2001078228A - 画像生成装置及び方法 - Google Patents
画像生成装置及び方法Info
- Publication number
- JP2001078228A JP2001078228A JP25089399A JP25089399A JP2001078228A JP 2001078228 A JP2001078228 A JP 2001078228A JP 25089399 A JP25089399 A JP 25089399A JP 25089399 A JP25089399 A JP 25089399A JP 2001078228 A JP2001078228 A JP 2001078228A
- Authority
- JP
- Japan
- Prior art keywords
- imaging target
- image
- shape information
- measurement matrix
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 複数のカメラ装置で撮像した画像を用いて時
間的に変形する撮像対象物の３次元形状を求める。 【解決手段】 Ｎ台（１，２，・・・，Ｎ）のカメラ装
置が異なる位置に配設されてなり、各カメラ装置により
異なる視点で撮像対象物を撮像するカメラユニット２
と、同時に撮像したＮ枚の画像に含まれる撮像対象物に
特徴領域を設定し、特徴領域を用いて各カメラ装置の運
動情報成分と撮像対象物の形状情報成分とを含む計測行
列を作成する形状復元部４と、計測行列を因子分解して
撮像対象物の三次元形状情報を生成する形状合成部５と
を備える。
間的に変形する撮像対象物の３次元形状を求める。 【解決手段】 Ｎ台（１，２，・・・，Ｎ）のカメラ装
置が異なる位置に配設されてなり、各カメラ装置により
異なる視点で撮像対象物を撮像するカメラユニット２
と、同時に撮像したＮ枚の画像に含まれる撮像対象物に
特徴領域を設定し、特徴領域を用いて各カメラ装置の運
動情報成分と撮像対象物の形状情報成分とを含む計測行
列を作成する形状復元部４と、計測行列を因子分解して
撮像対象物の三次元形状情報を生成する形状合成部５と
を備える。
Description
【０００１】
【発明の属する技術分野】本発明は、複数のカメラ装置
を用いて、時間的に形状が変化する柔軟対象物の三次元
画像を生成する画像生成装置及び方法に関する。
を用いて、時間的に形状が変化する柔軟対象物の三次元
画像を生成する画像生成装置及び方法に関する。
【０００２】
【従来の技術】複数の画像を用いて、物体の３次元画像
を生成して３次元形状を求めることができる画像生成シ
ステムは、例えば、ユーザが野外で歩きながらカメラ装
置で景色や建築物等の撮像対象物を撮像した画像を用
い、撮像した撮像対象物の３次元形状を再構築すること
ができる。この画像生成システムは、３次元形状を再構
築するときには、ユーザが歩きながら撮像した複数枚の
時系列画像を用いて行う。このように、時系列画像を用
いることにより、撮像対象物に対するカメラ装置の相対
運動と、撮像対象物の３次元形状とを同時に求めること
ができる画像生成システムは、様々な応用分野に期待さ
れる重要なテーマとなっている。このような画像生成シ
ステムは、例えば文献「Ullman S.: The Interpretatio
n of VisualMotion,The MIT Press,Cambridge,MA,197
9.」に記載されている。
を生成して３次元形状を求めることができる画像生成シ
ステムは、例えば、ユーザが野外で歩きながらカメラ装
置で景色や建築物等の撮像対象物を撮像した画像を用
い、撮像した撮像対象物の３次元形状を再構築すること
ができる。この画像生成システムは、３次元形状を再構
築するときには、ユーザが歩きながら撮像した複数枚の
時系列画像を用いて行う。このように、時系列画像を用
いることにより、撮像対象物に対するカメラ装置の相対
運動と、撮像対象物の３次元形状とを同時に求めること
ができる画像生成システムは、様々な応用分野に期待さ
れる重要なテーマとなっている。このような画像生成シ
ステムは、例えば文献「Ullman S.: The Interpretatio
n of VisualMotion,The MIT Press,Cambridge,MA,197
9.」に記載されている。
【０００３】また、上述のような画像生成システムにお
いては、画像の時空間微分から求めたオプティカルフロ
ーを用いる運動と、撮像対象物の３次元形状を復元する
画像生成手法が提案されている。このような画像生成手
法は、例えば文献「Bruss A.R.and Horn B.K.P.: Passi
ve Navigation,Comput.Vis.Graph.Image Process.,Vol.
21,pp.3-20,1983.」、文献「Adjv G.:Determining Thre
e-Dimensional Motionand Structure from Optical Flo
w Generated by Several Moving Objects,IEEE Trans.P
attern Anal.Mach Intell.,Vol.7,No4.pp.384-401,198
5.」、文献「Waxman A.M.and Ullman S.: Surface Stru
cture and Three-Dimensional Motion from Image Flow
Kinematics,Int.,J.Robot.Res.,Vol.4,No.3,pp.72-94,
1985.」、文献「太田；信頼性情報を持ったオプティカ
ルフローからの形状復元とその移動物体検出への応用、
信学論(D-II)、Vol.J76-D-II,No.8,pp.1562-1571,199
3.」に記載されている。
いては、画像の時空間微分から求めたオプティカルフロ
ーを用いる運動と、撮像対象物の３次元形状を復元する
画像生成手法が提案されている。このような画像生成手
法は、例えば文献「Bruss A.R.and Horn B.K.P.: Passi
ve Navigation,Comput.Vis.Graph.Image Process.,Vol.
21,pp.3-20,1983.」、文献「Adjv G.:Determining Thre
e-Dimensional Motionand Structure from Optical Flo
w Generated by Several Moving Objects,IEEE Trans.P
attern Anal.Mach Intell.,Vol.7,No4.pp.384-401,198
5.」、文献「Waxman A.M.and Ullman S.: Surface Stru
cture and Three-Dimensional Motion from Image Flow
Kinematics,Int.,J.Robot.Res.,Vol.4,No.3,pp.72-94,
1985.」、文献「太田；信頼性情報を持ったオプティカ
ルフローからの形状復元とその移動物体検出への応用、
信学論(D-II)、Vol.J76-D-II,No.8,pp.1562-1571,199
3.」に記載されている。
【０００４】また、上述のような画像生成システムにお
いては、時間的に連続するフレーム画像間に亘る特徴点
の動きの対応関係を求め、各特徴点の座標値を用いた画
像生成手法等が多く提案されている。このような画像生
成手法は、文献「Roach J.W.and Aggarwal J.K.:Determ
ining the Movement of Objects a Sequence of Image,
IEEE Trans.PAMI,Vol.2,No.6,pp.544-562,1980.」、文
献「Trai R.Y. and Huang T.S.:Uniqueness and Estima
tion of Three-Dimensional Motion Parametersof Rigi
d Objects with Curved Surfaces,IEEE Trans.PAMI,Vo
l.6,No.1,pp.13-27,1984.」、文献「Spetsakis M.E.and
Aloimonos J.: Optimal Motion Estimation,Workshop
on Visual Motion,pp.229-237,1989.」、文献「Barron
J.L.,Jepson A.D. and Tsotsos J.K.: The Feasibility
of Motion and Structure from Noisy Time-Varying I
mage Velocity Infomation,Int.J.Comput.Vision,Vol.
5,No.3,pp.239-269,1990.」、文献「Broida T.J.,Chand
rashekhar S.and ChellappaR.: Recursive 3-D Motion
Estimation from a Monocular Image Sequence,IEEETra
ns.AES,Vol.26,No.4,pp.639-655,1990.」、文献「Matth
ies L.,Szeliski R.and Kanade T.:Kalman Filter-Base
d Algorithm for Estimating Depth from Image Sequen
ces,Int.J.Comput.Vision,Vol.3,No.3,pp.209-238,198
9.」に記載されている。
いては、時間的に連続するフレーム画像間に亘る特徴点
の動きの対応関係を求め、各特徴点の座標値を用いた画
像生成手法等が多く提案されている。このような画像生
成手法は、文献「Roach J.W.and Aggarwal J.K.:Determ
ining the Movement of Objects a Sequence of Image,
IEEE Trans.PAMI,Vol.2,No.6,pp.544-562,1980.」、文
献「Trai R.Y. and Huang T.S.:Uniqueness and Estima
tion of Three-Dimensional Motion Parametersof Rigi
d Objects with Curved Surfaces,IEEE Trans.PAMI,Vo
l.6,No.1,pp.13-27,1984.」、文献「Spetsakis M.E.and
Aloimonos J.: Optimal Motion Estimation,Workshop
on Visual Motion,pp.229-237,1989.」、文献「Barron
J.L.,Jepson A.D. and Tsotsos J.K.: The Feasibility
of Motion and Structure from Noisy Time-Varying I
mage Velocity Infomation,Int.J.Comput.Vision,Vol.
5,No.3,pp.239-269,1990.」、文献「Broida T.J.,Chand
rashekhar S.and ChellappaR.: Recursive 3-D Motion
Estimation from a Monocular Image Sequence,IEEETra
ns.AES,Vol.26,No.4,pp.639-655,1990.」、文献「Matth
ies L.,Szeliski R.and Kanade T.:Kalman Filter-Base
d Algorithm for Estimating Depth from Image Sequen
ces,Int.J.Comput.Vision,Vol.3,No.3,pp.209-238,198
9.」に記載されている。
【０００５】しかし、上述した画像生成手法では、各画
像に含まれるノイズに弱いために解の不安定さ等の問題
があり、実際に使用することができる確実な解析法が未
だに確立されていないというのが現状である。
像に含まれるノイズに弱いために解の不安定さ等の問題
があり、実際に使用することができる確実な解析法が未
だに確立されていないというのが現状である。
【０００６】そこで、上述した問題を解決し、安定性の
高い画像生成手法として、時系列画像における撮像対象
物の角部分やエッジ部分等の特徴点を抽出し追跡するこ
とによって、正射影モデルを仮定した因子分解（Factor
ization）を用い、カメラ運動及び撮像対象物の形状を
復元する手法が提案された。このような画像生成手法
は、文献「Tomasi C.and Kanade T.: Factoring Image
Sequences into Shape and Motion,Proc.IEEE Workshop
on Visual Motion,pp.21-28,NJ,Oct.7-9,1991.」に記
載されている。
高い画像生成手法として、時系列画像における撮像対象
物の角部分やエッジ部分等の特徴点を抽出し追跡するこ
とによって、正射影モデルを仮定した因子分解（Factor
ization）を用い、カメラ運動及び撮像対象物の形状を
復元する手法が提案された。このような画像生成手法
は、文献「Tomasi C.and Kanade T.: Factoring Image
Sequences into Shape and Motion,Proc.IEEE Workshop
on Visual Motion,pp.21-28,NJ,Oct.7-9,1991.」に記
載されている。
【０００７】また、画像生成手法は、撮像対象物のスケ
ール効果や位置効果を考慮し、中心射影により近い近似
モデルとして知られている （scaled orthographic
projection）と （paraperspective projection）モ
デルに拡張した。このような画像生成手法は、文献「金
出、Poelman C.J.、森田：因子分解法による物体形状と
カメラ運動の復元、電子情報通信学会論文誌(D-II)、Vo
l.J76-D-II,No.8,pp.1497-1505,1993.」に記載されてい
る。
ール効果や位置効果を考慮し、中心射影により近い近似
モデルとして知られている （scaled orthographic
projection）と （paraperspective projection）モ
デルに拡張した。このような画像生成手法は、文献「金
出、Poelman C.J.、森田：因子分解法による物体形状と
カメラ運動の復元、電子情報通信学会論文誌(D-II)、Vo
l.J76-D-II,No.8,pp.1497-1505,1993.」に記載されてい
る。
【０００８】更に、画像生成手法は、それぞれが異なる
動きの複数の撮像対象物の３次元形状を同時に復元する
手法や、連続的に撮像対象物の形状を推定する因子分解
法等も検討されてきた。前者の手法は文献「Costeira
J.Kanade T.: A Multi-body Factorization Method for
Motion Analysis ,ICCV'95,pp.1071-1076,Cambridge,M
A,June 19-23,1995.」に記載されており、後者の手法は
文献「Morita T.and Kanade T.:A Sequential Factoriz
ation Method for Recovering Shape and Motion from
Image Streams,Technical Report CMU-CS-94-158,199
4.」に記載されている。
動きの複数の撮像対象物の３次元形状を同時に復元する
手法や、連続的に撮像対象物の形状を推定する因子分解
法等も検討されてきた。前者の手法は文献「Costeira
J.Kanade T.: A Multi-body Factorization Method for
Motion Analysis ,ICCV'95,pp.1071-1076,Cambridge,M
A,June 19-23,1995.」に記載されており、後者の手法は
文献「Morita T.and Kanade T.:A Sequential Factoriz
ation Method for Recovering Shape and Motion from
Image Streams,Technical Report CMU-CS-94-158,199
4.」に記載されている。
【０００９】次に、上記正射影モデルを用いた因子分解
法によって、撮像対象物の３次元形状と、カメラ装置の
動きとを復元する一般的な画像生成手法について説明す
る。
法によって、撮像対象物の３次元形状と、カメラ装置の
動きとを復元する一般的な画像生成手法について説明す
る。
【００１０】先ず、この画像生成手法では、カメラ装置
を移動させながら撮像対象物を連続的に撮像することで
得たＦ枚の時系列画像を用いて、Ｐ個の特徴点を抽出し
て、各特徴点を追跡する処理を行う。
を移動させながら撮像対象物を連続的に撮像することで
得たＦ枚の時系列画像を用いて、Ｐ個の特徴点を抽出し
て、各特徴点を追跡する処理を行う。
【００１１】すなわち、画像生成手法によれば、時系列
画像の１フレーム目から撮像対象物の角（エッジ）部分
等の顕著な特徴を持つＰ画素点の座標位置｛（ｘ11、ｙ
11），・・・，（ｘ1P、ｙ1P）｝を抽出する。そして、
第１〜第Ｆフレームに亘って各特徴点の移動ベクトルを
順次追跡する。ここで、特徴点ｐの第ｆフレームの画像
上の座標位置を（ｘfp、ｙfp）とすると、下記式１に示
すような２Ｆ×Ｐの観測行列Ｗを作成することができ
る。
画像の１フレーム目から撮像対象物の角（エッジ）部分
等の顕著な特徴を持つＰ画素点の座標位置｛（ｘ11、ｙ
11），・・・，（ｘ1P、ｙ1P）｝を抽出する。そして、
第１〜第Ｆフレームに亘って各特徴点の移動ベクトルを
順次追跡する。ここで、特徴点ｐの第ｆフレームの画像
上の座標位置を（ｘfp、ｙfp）とすると、下記式１に示
すような２Ｆ×Ｐの観測行列Ｗを作成することができ
る。
【００１２】
【数１】
【００１３】そして、各フレームにおける特徴点の位置
を特徴点の重心に対する相対位置で表すと、下記式２に
示すような計測行列Ｗ’を作成することができる。
を特徴点の重心に対する相対位置で表すと、下記式２に
示すような計測行列Ｗ’を作成することができる。
【００１４】
【数２】
【００１５】ここで、上記式２及び式３に示すｘf、ｙf
は、各カメラ装置で撮像したフレーム内に設定した特徴
点の座標の平均値であり、各フレームにおける特徴点の
重心を示す。
は、各カメラ装置で撮像したフレーム内に設定した特徴
点の座標の平均値であり、各フレームにおける特徴点の
重心を示す。
【００１６】そして、画像の投影モデルとして、中心射
影ではなく、図８に示す正射影モデルを仮定すると、下
記の式４の関係式が成立する。ここで、図８に示す正射
影モデルは、カメラ装置１０１から撮像対象物を撮像し
たとき、撮像対象物上の特徴点１０２が第（ｆ−１）フ
レームから第ｆフレームに亘って３次元座標ｓpに移動
することにより、仮想平面に投影される投影位置がｗfp
に変化するモデルである。
影ではなく、図８に示す正射影モデルを仮定すると、下
記の式４の関係式が成立する。ここで、図８に示す正射
影モデルは、カメラ装置１０１から撮像対象物を撮像し
たとき、撮像対象物上の特徴点１０２が第（ｆ−１）フ
レームから第ｆフレームに亘って３次元座標ｓpに移動
することにより、仮想平面に投影される投影位置がｗfp
に変化するモデルである。
【００１７】
【数３】
【００１８】ここで、ｗfp＝（ｘfp，ｙfp）を第ｆフレ
ームに含まれるｐ番目の特徴点の撮像面での投影位置と
する。また、ｓpを特徴点の３次元座標とし、ｃfをその
フレームでの特徴点投影位置の重心とし、ｔfを第ｆフ
レームでのカメラ装置の中心位置とし、ｉf，ｊf，ｋf
をカメラ装置の姿勢により変化する撮像方向を表す単位
ベクトルとし、ワールド座標系の原点を特徴点ｓpの重
心ｇに取る。
ームに含まれるｐ番目の特徴点の撮像面での投影位置と
する。また、ｓpを特徴点の３次元座標とし、ｃfをその
フレームでの特徴点投影位置の重心とし、ｔfを第ｆフ
レームでのカメラ装置の中心位置とし、ｉf，ｊf，ｋf
をカメラ装置の姿勢により変化する撮像方向を表す単位
ベクトルとし、ワールド座標系の原点を特徴点ｓpの重
心ｇに取る。
【００１９】そして、上記式２及び式４より、計測行列
Ｗ’は、下記式５に示すように２つの行列積に分解して
表現される。
Ｗ’は、下記式５に示すように２つの行列積に分解して
表現される。
【００２０】
【数４】
【００２１】ここで、上記式５中のＭはカメラ装置１０
１の回転運動情報のみを含む行列であり、Ｓは撮像対象
物の形状情報のみを含む行列であるので、上記式５を用
いることによりカメラ装置１０１の姿勢と撮像対象物の
形状を求めることができる。
１の回転運動情報のみを含む行列であり、Ｓは撮像対象
物の形状情報のみを含む行列であるので、上記式５を用
いることによりカメラ装置１０１の姿勢と撮像対象物の
形状を求めることができる。
【００２２】具体的には、線形代数における特異値分解
の手法を用いて、以下の式６〜式８に示すようにカメラ
装置１０１の運動と撮像対象物の形状の分解結果を得る
ことができる。また、計測行列Ｗ’の階数が３であるこ
とも証明される。
の手法を用いて、以下の式６〜式８に示すようにカメラ
装置１０１の運動と撮像対象物の形状の分解結果を得る
ことができる。また、計測行列Ｗ’の階数が３であるこ
とも証明される。
【００２３】
【数５】
【００２４】ここで、カメラ装置１０１の運動と撮像対
象物の形状の分解結果は、上記式８に示すようになる。
象物の形状の分解結果は、上記式８に示すようになる。
【００２５】更に、行列Ｍの各行は各フレームごとのカ
メラ装置１０１の姿勢を示す単位ベクトルであるから、
下記の式９に示す拘束条件を満たす。
メラ装置１０１の姿勢を示す単位ベクトルであるから、
下記の式９に示す拘束条件を満たす。
【００２６】
【数６】
【００２７】これにより、回転運動情報を示す行列Ｍ及
び形状情報を示す行列Ｓの一意的な分解結果を得る。
び形状情報を示す行列Ｓの一意的な分解結果を得る。
【００２８】
【発明が解決しようとする課題】しかしながら、上述し
た画像生成手法は、撮像対象物が剛体であるという仮定
で行われており、撮像対象物が時間的に変形する柔軟物
体に対しては適用できないのが現状である。
た画像生成手法は、撮像対象物が剛体であるという仮定
で行われており、撮像対象物が時間的に変形する柔軟物
体に対しては適用できないのが現状である。
【００２９】そこで、本発明は、上述したような実情に
鑑みて提案されたものであり、複数のカメラ装置で撮像
した画像を用いて時間的に変形する撮像対象物の３次元
形状を求めることができる画像生成装置及び方法を提供
することを目的とする。
鑑みて提案されたものであり、複数のカメラ装置で撮像
した画像を用いて時間的に変形する撮像対象物の３次元
形状を求めることができる画像生成装置及び方法を提供
することを目的とする。
【００３０】
【課題を解決するための手段】上述の課題を解決する本
発明に係る画像生成装置は、Ｎ台（１，２，・・・，
Ｎ）のカメラ装置が異なる位置に配設されてなり、各カ
メラ装置により異なる視点で撮像対象物を撮像する撮像
手段と、上記撮像手段で同時に撮像したＮ枚の画像に含
まれる撮像対象物に特徴領域を設定する特徴領域設定手
段と、上記特徴領域設定手段で設定された特徴領域を用
いて、各カメラ装置の運動情報成分と撮像対象物の形状
情報成分とを含む計測行列を作成する計測行列作成手段
と、上記計測行列作成手段で作成した計測行列を因子分
解して撮像対象物の三次元形状情報を生成する形状情報
生成手段とを備えることを特徴とするものである。
発明に係る画像生成装置は、Ｎ台（１，２，・・・，
Ｎ）のカメラ装置が異なる位置に配設されてなり、各カ
メラ装置により異なる視点で撮像対象物を撮像する撮像
手段と、上記撮像手段で同時に撮像したＮ枚の画像に含
まれる撮像対象物に特徴領域を設定する特徴領域設定手
段と、上記特徴領域設定手段で設定された特徴領域を用
いて、各カメラ装置の運動情報成分と撮像対象物の形状
情報成分とを含む計測行列を作成する計測行列作成手段
と、上記計測行列作成手段で作成した計測行列を因子分
解して撮像対象物の三次元形状情報を生成する形状情報
生成手段とを備えることを特徴とするものである。
【００３１】また、本発明を適用した画像生成方法は、
異なる位置に配設されたＮ台（１，２，・・・，Ｎ）の
カメラ装置を用いて、異なる視点で撮像対象物を撮像
し、同時に撮像したＮ枚の画像に含まれる撮像対象物に
特徴領域を設定し、上記特徴領域を用いて、上記各カメ
ラ装置の運動情報成分と上記撮像対象物の形状情報成分
とを含む計測行列を作成し、上記計測行列を因子分解し
て上記撮像対象物の三次元形状情報を生成することを特
徴とする。
異なる位置に配設されたＮ台（１，２，・・・，Ｎ）の
カメラ装置を用いて、異なる視点で撮像対象物を撮像
し、同時に撮像したＮ枚の画像に含まれる撮像対象物に
特徴領域を設定し、上記特徴領域を用いて、上記各カメ
ラ装置の運動情報成分と上記撮像対象物の形状情報成分
とを含む計測行列を作成し、上記計測行列を因子分解し
て上記撮像対象物の三次元形状情報を生成することを特
徴とする。
【００３２】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。
て図面を参照しながら詳細に説明する。
【００３３】本発明は、例えば図１に示すように構成さ
れた画像生成装置１に適用される。
れた画像生成装置１に適用される。
【００３４】この画像生成装置１は、複数のカメラ装置
からなるカメラユニット２と、フレーム単位で画像を格
納するフレームメモリ３と、撮像対象物についての形状
情報を生成する形状復元部４と、撮像対象物についての
形状情報を時間軸上で合成する形状合成部５と、撮像対
象物を表示する表示処理部６とからなる。
からなるカメラユニット２と、フレーム単位で画像を格
納するフレームメモリ３と、撮像対象物についての形状
情報を生成する形状復元部４と、撮像対象物についての
形状情報を時間軸上で合成する形状合成部５と、撮像対
象物を表示する表示処理部６とからなる。
【００３５】カメラユニット２は、図２に示すように、
Ｎ台のカメラ装置（１，２，・・・，Ｎ）が異なる場所
に配置されてなり、撮像対象物を異なる視点から撮像す
る。このカメラユニット２は、複数のカメラ装置で撮像
して得た複数の画像を１フレームとしてフレームメモリ
３に出力する。このカメラユニット２は、各カメラ装置
で連続して撮像して得た画像を、複数フレームに亘って
フレームメモリ３に出力する。ここで、上記撮像対象物
は、本例では人であって、時間的にその形状が変化する
柔軟対象物である。
Ｎ台のカメラ装置（１，２，・・・，Ｎ）が異なる場所
に配置されてなり、撮像対象物を異なる視点から撮像す
る。このカメラユニット２は、複数のカメラ装置で撮像
して得た複数の画像を１フレームとしてフレームメモリ
３に出力する。このカメラユニット２は、各カメラ装置
で連続して撮像して得た画像を、複数フレームに亘って
フレームメモリ３に出力する。ここで、上記撮像対象物
は、本例では人であって、時間的にその形状が変化する
柔軟対象物である。
【００３６】フレームメモリ３には、カメラユニット２
で撮像した画像がフレーム単位で入力される。このフレ
ームメモリ３には、例えば図３に示すように、各時刻に
おいて、カメラユニット２を構成する各カメラ装置で撮
像したＮ枚の画像（１，２，・・・，Ｎ−１，Ｎ）が入
力される。このフレームメモリ３は、各時刻で撮像され
たＮ枚の画像を形状復元部４に出力する。
で撮像した画像がフレーム単位で入力される。このフレ
ームメモリ３には、例えば図３に示すように、各時刻に
おいて、カメラユニット２を構成する各カメラ装置で撮
像したＮ枚の画像（１，２，・・・，Ｎ−１，Ｎ）が入
力される。このフレームメモリ３は、各時刻で撮像され
たＮ枚の画像を形状復元部４に出力する。
【００３７】形状復元部４は、図４に示すように、各時
刻で撮像されたＮ枚の画像が入力される計測行列作成部
１１と、特異値分解部１２と、柔軟対象復元部１３とを
備え、時間的に連続して撮像対象物を異なる視点から撮
像した複数の画像に正射影モデルを用いた時空間因子分
解法（Spatiotemporal Factorization Method）を適用
する。
刻で撮像されたＮ枚の画像が入力される計測行列作成部
１１と、特異値分解部１２と、柔軟対象復元部１３とを
備え、時間的に連続して撮像対象物を異なる視点から撮
像した複数の画像に正射影モデルを用いた時空間因子分
解法（Spatiotemporal Factorization Method）を適用
する。
【００３８】計測行列作成部１１は、図５に示すよう
に、撮像対象物上に特徴点を設定する特徴設定処理を行
う。図５において、計測行列作成部１１により設定され
た特徴点を黒三角印で示す。このとき、計測行列作成部
１１は、例えば撮像対象物のエッジ部分を抽出して自動
的に特徴点を設定する処理を行っても良く、ユーザによ
り指定された撮像対象物上の点を特徴点として設定して
も良い。
に、撮像対象物上に特徴点を設定する特徴設定処理を行
う。図５において、計測行列作成部１１により設定され
た特徴点を黒三角印で示す。このとき、計測行列作成部
１１は、例えば撮像対象物のエッジ部分を抽出して自動
的に特徴点を設定する処理を行っても良く、ユーザによ
り指定された撮像対象物上の点を特徴点として設定して
も良い。
【００３９】この計測行列作成部１１は、例えば、文献
「Carlo Tomasi and Takeo Kanade:Shape and Motion f
rom Image Streams:a Factorization Method-Part3.Det
ection and Tracking of Point Features.CMU-CS-91-13
2,Apr.1991」に記載されている処理を実行することで特
徴点を抽出する。
「Carlo Tomasi and Takeo Kanade:Shape and Motion f
rom Image Streams:a Factorization Method-Part3.Det
ection and Tracking of Point Features.CMU-CS-91-13
2,Apr.1991」に記載されている処理を実行することで特
徴点を抽出する。
【００４０】具体的には、計測行列作成部１１は、フレ
ームメモリ３からの複数の二次元画像Ｉ（ｘ，ｙ）に対
し、各画像上のＸ方向、Ｙ方向の差分を用いて、所定の
画素数からなる領域内で下記式１０に示す行列Ｇを求め
る。そして、行列Ｇの２つの固有値λ１とλ２を計算
し、その小さい方が閾値λＴよりも大きい場合、その領
域を特徴点（特徴領域）とする。
ームメモリ３からの複数の二次元画像Ｉ（ｘ，ｙ）に対
し、各画像上のＸ方向、Ｙ方向の差分を用いて、所定の
画素数からなる領域内で下記式１０に示す行列Ｇを求め
る。そして、行列Ｇの２つの固有値λ１とλ２を計算
し、その小さい方が閾値λＴよりも大きい場合、その領
域を特徴点（特徴領域）とする。
【００４１】
【数７】
【００４２】計測行列作成部１１は、ある時刻ｆでカメ
ラユニット２を構成する１台のカメラ装置で撮像した１
枚の画像に対して上記式１０で設定した特徴点ｐ（１，
２，・・・，Ｐ）の座標を｛（ｘ11（ｆ）、ｙ
11（ｆ）），・・・，（ｘ1P（ｆ）、ｙ1P（ｆ））｝と
する。
ラユニット２を構成する１台のカメラ装置で撮像した１
枚の画像に対して上記式１０で設定した特徴点ｐ（１，
２，・・・，Ｐ）の座標を｛（ｘ11（ｆ）、ｙ
11（ｆ）），・・・，（ｘ1P（ｆ）、ｙ1P（ｆ））｝と
する。
【００４３】ここで、計測行列作成部１１は、各画像の
特徴を抽出するとき、点として抽出する場合のみなら
ず、線又は面として特徴を抽出しても良い。
特徴を抽出するとき、点として抽出する場合のみなら
ず、線又は面として特徴を抽出しても良い。
【００４４】また、計測行列作成部１１は、各時刻で撮
像した複数の画像間の特徴点ｐの追跡を行うことで、空
間的な特徴点の対応付けを行う。
像した複数の画像間の特徴点ｐの追跡を行うことで、空
間的な特徴点の対応付けを行う。
【００４５】具体的には、この計測行列作成部１１は、
上述の式１０で特徴点を抽出したときの特徴領域（Ｎ×
Ｎ画素）を用いて、例えば第１のカメラ装置で撮像した
第１の画像上の特徴点Ｍｉ（ｘ，ｙ）と、第２のカメラ
装置で撮像した第２の画像上の点との一致度ｒiを、下
記式１１に示すような正規化相関を用いる一致度評価関
数を用いて求める。
上述の式１０で特徴点を抽出したときの特徴領域（Ｎ×
Ｎ画素）を用いて、例えば第１のカメラ装置で撮像した
第１の画像上の特徴点Ｍｉ（ｘ，ｙ）と、第２のカメラ
装置で撮像した第２の画像上の点との一致度ｒiを、下
記式１１に示すような正規化相関を用いる一致度評価関
数を用いて求める。
【００４６】
【数８】
【００４７】このように、計測行列作成部１１は、特徴
領域を用いてパターン探索領域を決めて、上記式１１に
より一致度ｒiが予め設定した閾値よりも大きい場合、
特徴領域の中心座標と検出されたパターンの中心座標と
の差を求めることで、ある時刻における複数の画像に亘
る特徴点ｐの追跡を行う。
領域を用いてパターン探索領域を決めて、上記式１１に
より一致度ｒiが予め設定した閾値よりも大きい場合、
特徴領域の中心座標と検出されたパターンの中心座標と
の差を求めることで、ある時刻における複数の画像に亘
る特徴点ｐの追跡を行う。
【００４８】これにより、計測行列作成部１１は、第ｎ
フレームに含まれる画像上の特徴点ｐの座標を（ｘ
np（ｆ），ｙnp（ｆ））とすると、下記式１２に示す時
刻ｆでの２Ｎ×Ｐの観測行列Ｗ（ｆ）を作成することが
できる。
フレームに含まれる画像上の特徴点ｐの座標を（ｘ
np（ｆ），ｙnp（ｆ））とすると、下記式１２に示す時
刻ｆでの２Ｎ×Ｐの観測行列Ｗ（ｆ）を作成することが
できる。
【００４９】
【数９】
【００５０】そして、計測行列作成部１１は、第ｎフレ
ームに含まれる画像上の特徴点ｐの座標位置を、特徴点
の重心に対する相対位置で表現して、下記式１３に示す
ように時刻ｆにおける計測行列Ｗ’（ｆ）を作成する。
ームに含まれる画像上の特徴点ｐの座標位置を、特徴点
の重心に対する相対位置で表現して、下記式１３に示す
ように時刻ｆにおける計測行列Ｗ’（ｆ）を作成する。
【００５１】
【数１０】
【００５２】ここで、上記式１４、式１５に示すｘ
n（ｆ）、ｙn（ｆ）は、各カメラ装置で撮像した第ｎフ
レームにおける画像上の特徴点の座標の平均値であり、
第ｎフレームにおける特徴点の重心を示す。
n（ｆ）、ｙn（ｆ）は、各カメラ装置で撮像した第ｎフ
レームにおける画像上の特徴点の座標の平均値であり、
第ｎフレームにおける特徴点の重心を示す。
【００５３】特異値分解部１２は、計測行列作成部１１
で作成した上記式１３に示す計測行列Ｗ’（ｆ）を時刻
ごとに特異値に分解することで、下記式１６に示す３つ
の行列積に分解する。
で作成した上記式１３に示す計測行列Ｗ’（ｆ）を時刻
ごとに特異値に分解することで、下記式１６に示す３つ
の行列積に分解する。
【００５４】
【数１１】
【００５５】ここで、上記式１６において、Ｕ（ｆ）は
２Ｎ×Ｐの直交行列、Σ（ｆ）はＰ×Ｐの対角行列、Ｖ
（ｆ）はＰ×Ｐの直交行列であるが、計測行列Ｗ’
（ｆ）の階数が３であるため、Ｕ（ｆ）は２Ｎ×３の行
列Ｕ’（ｆ）、Σ（ｆ）は３×３の行列Σ’（ｆ）、Ｖ
（ｆ）は３×３の行列Ｖ’（ｆ）となる。これにより、
特異値分解部１２は、時刻ｆにおけるカメラ装置と撮像
対象物の相対運動を示す運動情報Ｍ（ｆ）を下記式１７
により得るとともに、撮像対象物の形状情報Ｓ（ｆ）を
下記式１８により得る。
２Ｎ×Ｐの直交行列、Σ（ｆ）はＰ×Ｐの対角行列、Ｖ
（ｆ）はＰ×Ｐの直交行列であるが、計測行列Ｗ’
（ｆ）の階数が３であるため、Ｕ（ｆ）は２Ｎ×３の行
列Ｕ’（ｆ）、Σ（ｆ）は３×３の行列Σ’（ｆ）、Ｖ
（ｆ）は３×３の行列Ｖ’（ｆ）となる。これにより、
特異値分解部１２は、時刻ｆにおけるカメラ装置と撮像
対象物の相対運動を示す運動情報Ｍ（ｆ）を下記式１７
により得るとともに、撮像対象物の形状情報Ｓ（ｆ）を
下記式１８により得る。
【００５６】
【数１２】
【００５７】ここで、特異値分解部１２は、各カメラ装
置の姿勢を表す単位ベクトルが直交しているという上記
式９の拘束条件から、式１７及び式１８の運動情報Ｍ
（ｆ）及び形状情報Ｓ（ｆ）の一意的な分解を得る。こ
れにより、特異値分解部１２は、時刻ｆでの撮像対象物
の形状情報Ｓ（ｆ）を得て、例えば図６に示すように時
刻ｆにおける三次元の撮像対象物を復元することができ
る。
置の姿勢を表す単位ベクトルが直交しているという上記
式９の拘束条件から、式１７及び式１８の運動情報Ｍ
（ｆ）及び形状情報Ｓ（ｆ）の一意的な分解を得る。こ
れにより、特異値分解部１２は、時刻ｆでの撮像対象物
の形状情報Ｓ（ｆ）を得て、例えば図６に示すように時
刻ｆにおける三次元の撮像対象物を復元することができ
る。
【００５８】柔軟対象復元部１３は、上記式１８を用い
て、各フレームごとの撮像対象物の形状情報Ｓを算出す
る。これにより、柔軟対象復元部１３は、各フレームご
との形状情報Ｓを形状合成部５に出力する。
て、各フレームごとの撮像対象物の形状情報Ｓを算出す
る。これにより、柔軟対象復元部１３は、各フレームご
との形状情報Ｓを形状合成部５に出力する。
【００５９】形状合成部５は、柔軟対象復元部１３から
のフレームごとの形状情報Ｓを時間軸上で合成する処理
を行う。このとき、形状復元部４は、下記式１９を用い
て時刻（１，２，・・・，ｆ，・・）に亘り時間的に連
続した各カメラ装置の運動情報Ｍを得るとともに、下記
式２０を用いて時刻（１，２，・・・，ｆ，・・）に亘
り時間的に連続した撮像対象物の形状情報Ｓを得て表示
処理部６に出力する。
のフレームごとの形状情報Ｓを時間軸上で合成する処理
を行う。このとき、形状復元部４は、下記式１９を用い
て時刻（１，２，・・・，ｆ，・・）に亘り時間的に連
続した各カメラ装置の運動情報Ｍを得るとともに、下記
式２０を用いて時刻（１，２，・・・，ｆ，・・）に亘
り時間的に連続した撮像対象物の形状情報Ｓを得て表示
処理部６に出力する。
【００６０】
【数１３】
【００６１】表示処理部６は、形状合成部５からの形状
情報に基づいたテキスチャマッピング処理を行うこと
で、三次元画像を表示する。この表示処理部６は、特徴
点からなる点群と、元画像のテキスチャとを用いてマッ
ピングすることで、視点の異なる各カメラ装置で撮像し
た各画像を張り合わせて三次元画像を生成して表示す
る。このとき、表示処理部６は、特徴点間を補間する処
理を行うことで、点群を生成してテキスチャマッピング
処理を行う。
情報に基づいたテキスチャマッピング処理を行うこと
で、三次元画像を表示する。この表示処理部６は、特徴
点からなる点群と、元画像のテキスチャとを用いてマッ
ピングすることで、視点の異なる各カメラ装置で撮像し
た各画像を張り合わせて三次元画像を生成して表示す
る。このとき、表示処理部６は、特徴点間を補間する処
理を行うことで、点群を生成してテキスチャマッピング
処理を行う。
【００６２】次に、このように構成された画像生成装置
１により撮像対象物の形状情報Ｓを生成するときの処理
手順について図７のフローチャートを参照して説明す
る。
１により撮像対象物の形状情報Ｓを生成するときの処理
手順について図７のフローチャートを参照して説明す
る。
【００６３】図７によれば、先ず、ステップＳＴ１にお
いて、画像生成装置１は、カメラユニット２で画像を撮
像する前提として任意の時刻ｆを設定する。
いて、画像生成装置１は、カメラユニット２で画像を撮
像する前提として任意の時刻ｆを設定する。
【００６４】次のステップＳＴ２において、カメラユニ
ット２は、Ｎ台の異なる位置に配置したカメラ装置によ
り撮像対象物を撮像する。これにより、カメラユニット
２は、設定された時刻で撮像したＮ枚の画像を生成し
て、フレームメモリ３に格納する。
ット２は、Ｎ台の異なる位置に配置したカメラ装置によ
り撮像対象物を撮像する。これにより、カメラユニット
２は、設定された時刻で撮像したＮ枚の画像を生成し
て、フレームメモリ３に格納する。
【００６５】次のステップＳＴ３において、形状復元部
４の計測行列作成部１１は、ステップＳＴ２で生成した
Ｎ枚の画像上に特徴点設定する処理を行う。ここで、計
測行列作成部１１は、例えば上記式７を用い、各画像に
含まれる撮像対象物のエッジ部分を特徴点として抽出す
る処理を行う。また、このステップＳＴ３において、計
測行列作成部１１は、例えば上記式８を用い、Ｎ枚の画
像に亘って特徴点の追跡を行うことで、Ｎ枚の各画像間
における特徴点の対応付けを行う。
４の計測行列作成部１１は、ステップＳＴ２で生成した
Ｎ枚の画像上に特徴点設定する処理を行う。ここで、計
測行列作成部１１は、例えば上記式７を用い、各画像に
含まれる撮像対象物のエッジ部分を特徴点として抽出す
る処理を行う。また、このステップＳＴ３において、計
測行列作成部１１は、例えば上記式８を用い、Ｎ枚の画
像に亘って特徴点の追跡を行うことで、Ｎ枚の各画像間
における特徴点の対応付けを行う。
【００６６】次のステップＳＴ４において、計測行列作
成部１１は、ステップＳＴ３で得たＮ枚の画像に含まれ
る特徴点ｐを用いて、上述の式１２に示す観測行列Ｗ
（ｆ）を作成し、続いて特徴点ｐの重心位置を算出する
ことで上記式１３に示す計測行列Ｗ’（ｆ）を作成す
る。
成部１１は、ステップＳＴ３で得たＮ枚の画像に含まれ
る特徴点ｐを用いて、上述の式１２に示す観測行列Ｗ
（ｆ）を作成し、続いて特徴点ｐの重心位置を算出する
ことで上記式１３に示す計測行列Ｗ’（ｆ）を作成す
る。
【００６７】次のステップＳＴ５において、特異値分解
部１２は、特異値分解により、ステップＳＴ４で作成し
た計測行列Ｗ’（ｆ）を３つの直交行列Ｕ’（ｆ）、対
角行列Σ’（ｆ）、直交行列Ｖ’Ｔ（ｆ）に分解する。
部１２は、特異値分解により、ステップＳＴ４で作成し
た計測行列Ｗ’（ｆ）を３つの直交行列Ｕ’（ｆ）、対
角行列Σ’（ｆ）、直交行列Ｖ’Ｔ（ｆ）に分解する。
【００６８】次のステップＳＴ６において、柔軟対象復
元部１３は、ステップＳＴ５で得た行列Ｕ’（ｆ）を用
いて運動情報Ｍ（ｆ）を得るとともに、行列Σ’（ｆ）
及び行列Ｖ’（ｆ）を用いて形状情報Ｓ（ｆ）を得る。
元部１３は、ステップＳＴ５で得た行列Ｕ’（ｆ）を用
いて運動情報Ｍ（ｆ）を得るとともに、行列Σ’（ｆ）
及び行列Ｖ’（ｆ）を用いて形状情報Ｓ（ｆ）を得る。
【００６９】次のステップＳＴ７において、表示処理部
６は、柔軟対象復元部１３からの形状情報Ｓ（ｆ）を用
いて、テキスチャマッピング処理を行い、設定した時刻
における三次元画像を生成する。
６は、柔軟対象復元部１３からの形状情報Ｓ（ｆ）を用
いて、テキスチャマッピング処理を行い、設定した時刻
における三次元画像を生成する。
【００７０】次のステップＳＴ８において、第ｆフレー
ムから時間的に後の第Ｆフレームまで上述のステップＳ
Ｔ２〜ステップＳＴ７までの処理を行ったか否かを判定
する。第ＦフレームまでステップＳＴ２〜ステップＳＴ
７までの処理を行っていないと判定したときにはステッ
プＳＴ９に進んで次のフレームについてステップＳＴ２
〜ステップＳＴ７までの処理を行い、ステップＳＴ２〜
ステップＳＴ７までの処理を第Ｆフレームまで行って形
状情報Ｓ（ｆ）〜Ｓ（Ｆ）を生成したと判定したときに
はステップＳＴ１０に進む。
ムから時間的に後の第Ｆフレームまで上述のステップＳ
Ｔ２〜ステップＳＴ７までの処理を行ったか否かを判定
する。第ＦフレームまでステップＳＴ２〜ステップＳＴ
７までの処理を行っていないと判定したときにはステッ
プＳＴ９に進んで次のフレームについてステップＳＴ２
〜ステップＳＴ７までの処理を行い、ステップＳＴ２〜
ステップＳＴ７までの処理を第Ｆフレームまで行って形
状情報Ｓ（ｆ）〜Ｓ（Ｆ）を生成したと判定したときに
はステップＳＴ１０に進む。
【００７１】ステップＳＴ１０において、表示処理部６
は、第ｆフレーム〜第Ｆフレームに含まれる撮像対象物
の形状情報Ｓ（ｆ）〜Ｓ（Ｆ）を用いて、三次元画像を
時間軸上で合成することで、時間的にその形状が変化す
る撮像対象物を含む三次元画像を第ｆ〜第Ｆフレームに
亘って表示する。
は、第ｆフレーム〜第Ｆフレームに含まれる撮像対象物
の形状情報Ｓ（ｆ）〜Ｓ（Ｆ）を用いて、三次元画像を
時間軸上で合成することで、時間的にその形状が変化す
る撮像対象物を含む三次元画像を第ｆ〜第Ｆフレームに
亘って表示する。
【００７２】このような画像生成装置１は、形状復元部
４で各時刻における撮像対象物の形状情報Ｓに基づく三
次元画像を空間的な因子分解法を用いて生成し、形状合
成部５で各時刻における撮像対象物を時間軸上で合成す
るので、時間に従ってその形状が変化する柔軟な撮像対
象物に対して、時間によって変化する運動情報Ｍ及び形
状情報Ｓを生成することができる。
４で各時刻における撮像対象物の形状情報Ｓに基づく三
次元画像を空間的な因子分解法を用いて生成し、形状合
成部５で各時刻における撮像対象物を時間軸上で合成す
るので、時間に従ってその形状が変化する柔軟な撮像対
象物に対して、時間によって変化する運動情報Ｍ及び形
状情報Ｓを生成することができる。
【００７３】したがって、この画像生成装置１によれ
ば、従来のように撮像対象物が剛体であるという仮定を
必要としないので、時間に従ってその形状が変化する柔
軟対象に対しても、運動情報Ｍ及び形状情報Ｓを生成す
ることができる。
ば、従来のように撮像対象物が剛体であるという仮定を
必要としないので、時間に従ってその形状が変化する柔
軟対象に対しても、運動情報Ｍ及び形状情報Ｓを生成す
ることができる。
【００７４】また、この画像生成装置１によれば、例え
ば、スポーツ選手等の運動姿勢を複数台のカメラ装置で
録画し、その三次元形状、姿勢を任意の視点から解析す
ることができ、運動機能を向上する知見を得ることがで
きる。
ば、スポーツ選手等の運動姿勢を複数台のカメラ装置で
録画し、その三次元形状、姿勢を任意の視点から解析す
ることができ、運動機能を向上する知見を得ることがで
きる。
【００７５】更に、この画像生成装置１によれば、例え
ば自宅でリハビリテーションの訓練状況を複数台のビデ
オカメラで撮影し、上述した処理を行うことで患者の三
次元画像を病院の医者に見てもらうことによって治療で
きるようなホームリハビリテーションの訓練システムに
も応用することができる。
ば自宅でリハビリテーションの訓練状況を複数台のビデ
オカメラで撮影し、上述した処理を行うことで患者の三
次元画像を病院の医者に見てもらうことによって治療で
きるようなホームリハビリテーションの訓練システムに
も応用することができる。
【００７６】更にまた、この画像生成装置１によれば、
野外や動物園等で動物の運動を複数台のカメラ装置で撮
像し、それらの時系列画像を用いて上述した処理を行う
ことで、動物の運動姿勢、三次元形状を復元することが
でき、仮想的な動物園を作ることができる。
野外や動物園等で動物の運動を複数台のカメラ装置で撮
像し、それらの時系列画像を用いて上述した処理を行う
ことで、動物の運動姿勢、三次元形状を復元することが
でき、仮想的な動物園を作ることができる。
【００７７】更にまた、この画像生成装置１によれば、
例えばスポーツ観戦において、複数台のカメラ装置で撮
像したものを自宅に持ち帰り、特定の選手を撮像対象物
として上述した処理を行うことで、任意の視点でその選
手のプレー等を見ることができる。
例えばスポーツ観戦において、複数台のカメラ装置で撮
像したものを自宅に持ち帰り、特定の選手を撮像対象物
として上述した処理を行うことで、任意の視点でその選
手のプレー等を見ることができる。
【００７８】
【発明の効果】以上詳細に説明したように、本発明によ
れば、異なる位置に配設されたＮ台のカメラ装置を用い
て異なる視点で撮像対象物を撮像し、同時に撮像したＮ
枚の画像に含まれる撮像対象物に特徴領域を設定し、特
徴領域を用いて各カメラ装置の運動情報成分と撮像対象
物の形状情報成分とを含む計測行列を作成し、計測行列
を因子分解して撮像対象物の三次元形状情報を生成する
ので、空間的に因子分解法を適用して各時刻で撮像した
撮像対象物の三次元形状を生成することができ、時間的
に撮像対象物が変形しても、３次元形状を復元すること
ができる。
れば、異なる位置に配設されたＮ台のカメラ装置を用い
て異なる視点で撮像対象物を撮像し、同時に撮像したＮ
枚の画像に含まれる撮像対象物に特徴領域を設定し、特
徴領域を用いて各カメラ装置の運動情報成分と撮像対象
物の形状情報成分とを含む計測行列を作成し、計測行列
を因子分解して撮像対象物の三次元形状情報を生成する
ので、空間的に因子分解法を適用して各時刻で撮像した
撮像対象物の三次元形状を生成することができ、時間的
に撮像対象物が変形しても、３次元形状を復元すること
ができる。
【図１】本発明を適用した画像生成装置の構成の一例を
示すブロック図である。
示すブロック図である。
【図２】本発明を適用した画像生成装置に備えられるカ
メラユニットの構成の一例を示す図である。
メラユニットの構成の一例を示す図である。
【図３】本発明を適用した画像生成装置に備えられるカ
メラユニットを構成する各カメラ装置で撮像した画像に
ついて説明するための図である。
メラユニットを構成する各カメラ装置で撮像した画像に
ついて説明するための図である。
【図４】本発明を適用した画像生成装置に備えられる形
状復元部の構成の一例について説明するための図であ
る。
状復元部の構成の一例について説明するための図であ
る。
【図５】撮像対象物の特徴点を設定することを説明する
ための図である。
ための図である。
【図６】形状情報を用いて復元される撮像対象物の一例
について説明するための図である。
について説明するための図である。
【図７】本発明を適用した画像生成装置により撮像対象
物の形状情報を生成して三次元画像を表示するときの処
理手順を示すフローチャートである。
物の形状情報を生成して三次元画像を表示するときの処
理手順を示すフローチャートである。
【図８】カメラ装置の正射影モデルについて説明するた
めの図である。
めの図である。
１ 画像生成装置、２ カメラユニット、４ 形状復元
部、５ 形状合成部
部、５ 形状合成部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ４１５ ５Ｃ０６１ Ｆターム(参考） 2F065 AA17 AA20 AA53 AA65 BB05 CC16 FF05 FF09 JJ03 JJ05 JJ19 JJ26 QQ00 QQ13 QQ21 QQ24 QQ25 QQ26 QQ27 QQ28 QQ32 QQ36 QQ38 QQ41 QQ42 2H059 AA10 AA18 AA35 CA10 5B057 BA11 CA12 CB13 CE20 DA08 DB02 DC05 5C023 AA10 AA11 BA11 CA01 DA08 5C054 CC02 CH02 FD01 FD02 HA05 5C061 AB04 AB08 AB24
Claims (6)
- 【請求項１】 Ｎ台（１，２，・・・，Ｎ）のカメラ装
置が異なる位置に配設されてなり、各カメラ装置により
異なる視点で撮像対象物を撮像する撮像手段と、 上記撮像手段で同時に撮像したＮ枚の画像に含まれる撮
像対象物に特徴領域を設定する特徴領域設定手段と、 上記特徴領域設定手段で設定された特徴領域を用いて、
各カメラ装置の運動情報成分と撮像対象物の形状情報成
分とを含む計測行列を作成する計測行列作成手段と、 上記計測行列作成手段で作成した計測行列を因子分解し
て撮像対象物の三次元形状情報を生成する形状情報生成
手段とを備えることを特徴とする画像生成装置。 - 【請求項２】 上記形状情報生成手段で生成した各時刻
での撮像対象物の形状情報を用いて、上記形状情報生成
手段で生成された各時刻での形状情報を時間的に連続す
る複数フレームに亘って合成して、時系列の三次元形状
情報を生成する合成手段を備えることを特徴とする請求
項１記載の画像生成装置。 - 【請求項３】 上記計測行列作成手段で作成した計測行
列を因子分解して撮像対象物を撮像する各カメラ装置と
撮像対象物の相対運動を示す運動情報を生成する上記運
動情報生成手段を備えることを特徴とする請求項１記載
の画像生成装置。 - 【請求項４】 異なる位置に配設されたＮ台（１，２，
・・・，Ｎ）のカメラ装置を用いて、異なる視点で撮像
対象物を撮像し、 同時に撮像したＮ枚の画像に含まれる撮像対象物に特徴
領域を設定し、 上記特徴領域を用いて、上記各カメラ装置の運動情報成
分と上記撮像対象物の形状情報成分とを含む計測行列を
作成し、 上記計測行列を因子分解して上記撮像対象物の三次元形
状情報を生成することを特徴とする画像生成方法。 - 【請求項５】 各時刻での撮像対象物の形状情報を用い
て、各時刻での上記三次元形状情報を時間的に連続する
複数フレームに亘って合成して、時系列の三次元形状情
報を生成することを特徴とする請求項４記載の画像生成
方法。 - 【請求項６】 上記計測行列を因子分解して上記撮像対
象物を撮像する各カメラ装置と撮像対象物の相対運動を
示す運動情報を生成することを特徴とする請求項４記載
の画像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25089399A JP2001078228A (ja) | 1999-09-03 | 1999-09-03 | 画像生成装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25089399A JP2001078228A (ja) | 1999-09-03 | 1999-09-03 | 画像生成装置及び方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001078228A true JP2001078228A (ja) | 2001-03-23 |
Family
ID=17214600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25089399A Withdrawn JP2001078228A (ja) | 1999-09-03 | 1999-09-03 | 画像生成装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001078228A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003016428A (ja) * | 2001-07-04 | 2003-01-17 | Kitakyushu Foundation For The Advancement Of Industry Science & Technology | ３次元物体復元方法とその装置 |
| JP2007183256A (ja) * | 2005-12-08 | 2007-07-19 | Topcon Corp | 画像処理装置及びその方法 |
| JP2008261662A (ja) * | 2007-04-10 | 2008-10-30 | Denso Corp | 三次元形状復元装置 |
| KR101428364B1 (ko) | 2013-02-18 | 2014-08-18 | 한양대학교 산학협력단 | 특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치 |
| JP2020108139A (ja) * | 2018-03-07 | 2020-07-09 | キヤノン株式会社 | 情報処理装置及び方法、情報処理システム、ならびにプログラム |
-
1999
- 1999-09-03 JP JP25089399A patent/JP2001078228A/ja not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003016428A (ja) * | 2001-07-04 | 2003-01-17 | Kitakyushu Foundation For The Advancement Of Industry Science & Technology | ３次元物体復元方法とその装置 |
| JP2007183256A (ja) * | 2005-12-08 | 2007-07-19 | Topcon Corp | 画像処理装置及びその方法 |
| JP2008261662A (ja) * | 2007-04-10 | 2008-10-30 | Denso Corp | 三次元形状復元装置 |
| KR101428364B1 (ko) | 2013-02-18 | 2014-08-18 | 한양대학교 산학협력단 | 특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치 |
| JP2020108139A (ja) * | 2018-03-07 | 2020-07-09 | キヤノン株式会社 | 情報処理装置及び方法、情報処理システム、ならびにプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Plankers et al. | Articulated soft objects for multiview shape and motion capture | |
| Theobalt et al. | Combining 2D feature tracking and volume reconstruction for online video-based human motion capture | |
| Shiratori et al. | Motion capture from body-mounted cameras | |
| KR101183000B1 (ko) | 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및방법 | |
| Bottino et al. | A silhouette based technique for the reconstruction of human movement | |
| Sundaresan et al. | Markerless motion capture using multiple cameras | |
| Ohashi et al. | Synergetic reconstruction from 2D pose and 3D motion for wide-space multi-person video motion capture in the wild | |
| Bregler et al. | Video motion capture | |
| Cheung et al. | Markerless human motion transfer | |
| Goffredo et al. | A markerless sub-pixel motion estimation technique to reconstruct kinematics and estimate the centre of mass in posturography | |
| de Aguiar et al. | M/sup 3: marker-free model reconstruction and motion tracking from 3D voxel data | |
| JP2001078228A (ja) | 画像生成装置及び方法 | |
| Perales | Human motion analysis and synthesis using computer vision and graphics techniques. State of art and applications | |
| Zhu et al. | Kinematic Motion Analysis with Volumetric Motion Capture | |
| Hilton | Towards model-based capture of a persons shape, appearance and motion | |
| Rosenhahn et al. | Automatic human model generation | |
| Bottino et al. | Experimenting with nonintrusive motion capture in a virtual environment | |
| Kim et al. | Tracking 3D human body using particle filter in moving monocular camera | |
| CN111767886A (zh) | 一种基于移动机器人的动捕跟踪方法 | |
| Harguess et al. | Full-motion recovery from multiple video cameras applied to face tracking and recognition | |
| Datta et al. | Linearized motion estimation for articulated planes | |
| Theobalt et al. | Multi-Layer Skeleton Fitting for Online Human Motion Capture. | |
| Ino et al. | BODY SHAPE AND CENTER OF MASS ESTIMATION USING MULTI-VIEW IMAGES | |
| JP2003014432A (ja) | ３次元物体復元方法とその装置 | |
| JP4822307B2 (ja) | ３次元物体復元方法とその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20061107 |