JP2003150977A

JP2003150977A - ３次元人物動画像生成システム

Info

Publication number: JP2003150977A
Application number: JP2001350370A
Authority: JP
Inventors: Junichi Hoshino; 准一星野
Original assignee: Japan Science and Technology Corp
Current assignee: Japan Science and Technology Agency
Priority date: 2001-11-15
Filing date: 2001-11-15
Publication date: 2003-05-23
Anticipated expiration: 2021-11-15
Also published as: JP4077622B2

Abstract

(57)【要約】【課題】ビデオ映像等から人物の３次元動作系列の推
定を安定に行うとともに、推定した３次元動作系列の動
作の加工や変形を容易にする。【解決手段】本システムは３次元モデルの関節角の時
系列信号を少数のパラメータで表現することができるも
のである。まず２次元動画像を取得し、取得した動画像
内の人物から、人体の関節駆動力とフレーム間での輝度
の誤差が最小化となる関節軌道を求め、人体の３次元モ
デルを構成する各オブジェクトの姿勢パラメータを得
る。この姿勢パラメータから独立成分分析を用いて動作
の独立成分を抽出し、動作の独立成分により３次元モデ
ルの動作を得て、２次元の動画像を生成する。上述の抽
出した動作の独立成分を利用することで動作の加工や変
形を容易にすることができる。さらに、輝度値と関節駆
動力を利用して最適な軌道を求めるため、動作推定の安
定性を大幅に高めることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、２次元のビデオ映
像から、人物の３次元動作を推定するシステムであり、
特にビデオ映像から生成した人物の動作の加工をするこ
とができる３次元人物動画像生成システムに関する。

【０００２】

【背景技術】ビデオ映像から人物の３次元動作を推定す
ることは、コンピュータ・グラフィクス（ＣＧ）で人物
アニメーションを生成するための動作情報を取得する手
段として期待されている。ところが、従来の動作推定法
では人体パーツの一部が他のパーツによって隠蔽された
ときに、動作推定の安定性が大幅に低下するという基本
的な問題点がある。そのため、実際のアニメーション制
作現場では、実用的な手段として利用されて来なかっ
た。また、ビデオ映像から得られた動作情報を加工する
手法としては、各関節の時系列信号を、固有空間に投影
してパラメータ数を減らす手法が提案されている。しか
し、固有空間に投影した場合は、２つ程度の固有ベクト
ルに動作成分が偏ってしまい、それ以外の固有ベクトル
にはノイズ成分しか分離されないため、動作を加工する
ための自由度が小さ過ぎるという問題がある。

【０００３】

【発明が解決しようとする課題】本発明の目的は、ビデ
オ映像等から人物の３次元動作系列の推定を安定に行う
とともに、推定した３次元動作系列の動作の加工や変形
を容易にすることである。

【０００４】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、３次元人物動画像生成システムであっ
て、２次元動画像を取得する動画像取得手段と、前記取
得した２次元動画像内の人物から、人体の３次元モデル
を構成する各オブジェクトの姿勢パラメータを得る動作
推定手段と、前記姿勢パラメータから動作の独立成分を
抽出する独立成分抽出手段と、抽出した動作の独立成分
による空間を利用して、３次元モデルの動作を得る３次
元モデル動作生成手段と、前記３次元モデルの動作か
ら、２次元の動画像を生成する画像生成手段とを備え
る。このため、３次元モデルの関節角の時系列信号を少
数の独立成分による時系列信号で表現することができ、
この独立成分を利用して動作の加工や変形を容易にする
ことができる。前記動作推定手段は、前記２次元動画像
のうち選択された画像のみを用い、時系列順に選択され
た画像間の補間を行って姿勢パラメータを得ることもで
きる。前記動作推定手段は、前記補間した姿勢パラメー
タを用いて、前記人体の３次元モデルの関節駆動力と前
記選択された画像の輝度値の２乗誤差とを最小にするこ
とで、さらに姿勢パラメータを推定することもできる。
これにより、人体の３次元モデルの運動エネルギーを最
小化すると共に、フレーム間での輝度の誤差が最小化と
なる関節軌道を求めることができる。そして、動作推定
の安定性を大幅に高めることができる。前記３次元モデ
ル動作生成手段は、複数の２次元画像から得た３次元モ
デルの姿勢に対して、動作の独立成分による空間内での
補間を行うことにより、複数の２次元画像から３次元モ
デルの動作を得ることができる。本３次元人物動画像生
成システムをコンピュータ・システムに構成させるコン
ピュータ・プログラムおよびコンピュータ・プログラム
を記録した記録媒体も本発明である。

【０００５】

【発明の実施の形態】＜本発明の概要＞本発明は、身体
の物理特性を考慮に入れることで、人体動作推定の安定
性を飛躍的に向上させ、従来技術の問題点を解決する。
例えば、ビデオ映像から人物の３次元動作を推定するシ
ステムにおいて、人体の運動エネルギーを最小化すると
共に、フレーム間での輝度の誤差が最小化となる関節軌
道を求めることや、人体関節角の時系列信号を少数のパ
ラメータで表現することで、動作推定の安定性を大幅に
高めることである。また、推定した人物の３次元動作系
列に、独立成分分析（ＩＣＡ）を適用して基本動作成分
を抽出することで、動作の加工や変形を容易にする。固
有分析を利用した場合と比較して、ＩＣＡではより細か
い動作の特徴を保存した信号分離が可能となる。以下
に、本発明の実施形態の一つである、３次元人物動画像
生成システムについて、図面を用いて詳細に説明をす
る。なお、本明細書では一部の数式を除く箇所の変数・
記号において、以下に示す点に注意されたい。行列・ベクトルの表記変数のうち、ベクトルもしくは行列であるにもかかわら
ず、それらの表記・表現をしていない。その場合は変数
の説明として、ベクトル・行列等の断り書きがある。規定された文字で示すことができない表記電子出願の仕様に規定された表記・表現を用いて記載で
きない表記・表現は代替表記をしている。以下の表にて
対応関係を示す。

【表１】

【０００６】＜構成＞図１は３次元人物動画像生成シス
テムの機能構成を示す図であり、テレビカメラ等から入
力した人物の動画像（ビデオ映像）を連続的に取得し、
動画像中の人物の動作の特徴となるフレームを出力する
画像取得部１０、前記のフレームから特徴となる人体の
動力学モデルと輝度情報を併用して各関節のパラメータ
を推定し、姿勢データを出力する動作推定部２０、前記
の姿勢データから独立成分分析を利用して、人体モデル
の基本動作成分の抽出と再構成を行い、この人体モデル
の動作から、視点等を設定して２次元の動画像を出力す
る画像生成部３０、そして、生成した結果（動画像）を
表示するためのディスプレイ等である表示部４０で構成
する。

【０００７】＜人体動力学モデルによる動作推定＞（動作推定の概要）従来の動作推定法では人体パーツの
一部が他のパーツによって隠蔽されたときに、動作推定
の安定性が大幅に低下するという基本的な問題点があ
る。そのため、本システムは人体の関節駆動力を最小化
する関節軌道を生成することで、部分的に輝度情報が得
られない場合でも自然な動作を生成する。また、各関節
の時系列信号を、スプラインなどのパラメータ曲線で近
似することで、フレーム間の連続性を保存する。パラメ
ータ曲線による動作曲線の近似は、最適化プロセスでの
探索パラメータを低減させる効果もある。本手法では、
次のステップで人物の３次元動作を推定する。１．動作区間の始点と終点など、動作の特徴となるフレ
ームにおける３次元姿勢を指定する。２．指定した３次元姿勢をスプラインなどの曲線で補間
して動作の初期推定値とする。３．補間曲線の制御点を編集し、関節駆動力とフレーム
間輝度値２乗誤差を最小にすることでビデオ映像中の人
物の３次元姿勢を推定する。以下では、それぞれの項目について詳しく説明する。

【０００８】（人体モデルのトルクの算出方法）図２は
本システムで用いる人体幾何モデル１００を示す図であ
る。この図２の人体幾何モデル１００は人体の関節回転
を円柱の中心軸周りの回転に置き換えたものであり、例
えば首１１０は左右に回転させる円柱１１２、左右に傾
ける円柱１１４、前後に傾ける円柱１１６で構成されて
いる。他にも、円柱１２１，１２２，１２３は左肩１２
０、円柱１２６，１２７，１２８は右肩１２５、円柱１
６２，１６４，１６６は胴体１６０、円柱１７１，１７
２，１７３は左股１７０、円柱１７６，１７７，１７８
は右股１７５、また、同様の円柱で左肘１４０、右肘１
４５、左膝１９０、右膝１９５で構成されている。この
人体幾何モデル１００に合わせて仮想人体動力学モデル
を構築する。このように、人体内部の幾何学的拘束条件
のみを考慮した場合、図２に合わせると上半身、下半身
ともに腰部をベースリンクとした木構造ロボットとみな
すことができる。ここで述べている木構造ロボットとは
途中で枝分かれをする構造を持つロボットのことであ
る。次に、これらの木構造ロボットの仮想人体動力学モ
デルを数式で表した運動方程式導出手法について述べ
る。

【０００９】（ニュートン・オイラー法による運動方程
式の導出）まず、上述の仮想人体動力学モデルを導出す
る。仮想人体動力学モデルを数式で表した運動方程式を
求めるため、運動方程式導出法としてニュートン・オイ
ラー法について述べる。ニュートン・オイラー法では、
ニュートンの物理法則

【数１】とオイラーの式

【数２】Ｎ＝Ｉω＋ω×（Ｉω）（２）を用いて力とモーメントの動的な釣り合いから運動方程
式を導出する。ここでＦはベース座標系を基準としたと
きのリンクに作用する外力ベクトル、ｍはリンクの質
量、^・ｖはリンクの質量中心の速度ベクトル、Ｎはリン
クに作用するモーメントベクトル、Ｉはリンクの質量中
心まわりの慣性テンソル、ωはリンクの角速度ベクトル
である。木構造ロボットとしてこの手法を扱うにはブラ
ンチと呼ばれる複数のシリアルリンクに分割する必要が
ある。以下にｓ個のブランチを持ち、それぞれのブラン
チｋがｎ_ｋ（ｋ＝１，…，ｓ）個のリンクを持つロボッ
トに対するニュートン・オイラー法の計算手順を示す。１）ブランチｋの第ｉリンクの加速度を^・ｖ^ｋ _ｉ、角速
度をω^ｋ _ｉ、角加速度を ^・ω^ｋ _ｉで表し、ブランチ１の
第０リンクの加速度、角速度、角加速度の初期値を以下
のように設定する。

【数３】２）ブランチ１に対して、ｉ＝１からｎ_１へ順に
ｖ^ｉ _１，ω^ｉ _１，^・ω^ｉ _１を求める。３）ブランチｋ（ｋ＝２，…，ｓ）の加速度、角速度、
角加速度の初期値をそれぞれ

【数４】として求める。ここで、Ｂ^ｋは親ブランチのリンク座標
系から子ブランチｋのリンク座標系を関連づける４×４
の同時変換行列であり、Ｂ^ｋ _ＲはＢ^ｋの左上３×３行
列、~Ｂ^ｋ _ｐは（Ｂ^ｋ）^−１の右上３×１小行列を表
す。また、cobはブランチｋを分岐するブランチ番号で
あり、colはブランチｋを分岐するリンク番号である。４）ブランチｋ（２，…，ｓ）に対してｉ＝１からｎ_ｋ
までｖ^ｋ _ｉ，ω^ｋ _ｉ，^・ω^ｋ _ｉを求める。５）ブランチｋ（ｓ，…，１）に対し、ｉ＝ｎ_ｋから１
まで力ｆ^ｋ _ｉとモーメントｎ^ｋ _ｉを求め関節駆動力τ^ｋ
_ｉを以下のように求める。関節ｉが回転関節のとき

【数５】関節ｉが直動関節のとき

【数６】以上の計算により以下の形の運動方程式を得る。

【数７】上式においてＭ（ｑ）は慣性行列と呼ばれる対称行列、
ｈ（ｑ，^・ｑ）は遠心力やコリオリ力に関連する項、ｇ
（ｑ）は重力項、ｑは木構造ロボットの関節変位であ
る。

【００１０】（関節駆動力の取得）（９）式の右辺にお
いて関節変位、角速度、角加速度以外は固定値なので関
節変位、角速度、角加速度を指定することで左辺の関節
駆動力を得ることができる。

【００１１】（動作推定法の概要）動作推定の手法とし
て、人体部分の輝度値を利用することが一般的である。
しかしながら、入力したビデオ映像上では輝度値を得る
目的の人物のある部分が障害物やその人物自身の他部分
によって隠され、適切な輝度値が得られないことがあ
る。以下では、適切な輝度値が得られない部分でも動作
推定を行う手法として、関節駆動力を利用した手法につ
いて述べる。ビデオ映像上における人体領域のフレーム
間輝度値２乗誤差がより小さければ目的の人物が移動し
た先を適切に推定できることと、人間は目的の動作を行
うとき関節駆動力がより小さくなるように動作している
ことの２点を考慮し、本システムでは、輝度値２乗誤差
に上述の式より求めた関節駆動力の値を加えたものを最
小化する関節軌道を生成する。部分的に輝度情報が得ら
れない場合でも関節駆動力の値の重みを大きくすること
で自然な動作を生成することができる。以下では具体的
な手法を述べる。

【００１２】１）曲線補間を用いた初期姿勢の推定画像取得部１０で取得したビデオ映像から得られる、映
像を単位時間で区切った複数の画像フレームの中で、た
とえばユーザが選択した、人物動作の特徴となるフレー
ムの関節変位をスプライン曲線で補間することでビデオ
映像全体の各フレームにおける関節変位を取得する。本
システムでは、動作の初期推定値を求めるために１例と
してスプライン曲線補間法を採用し、３次ベジェ・スプ
ライン曲線によるエルミート補間を用いることにする。
ベジェ・スプライン曲線を用いる利点は曲線の分割性に
より初期姿勢からさらに細かい動作への対応ができる
点、制御点の影響の局所性により制御点を編集した際の
影響を曲線の一部分に限定できる点、初期姿勢で指定さ
れた通過点の位置を変更せずに制御点のみを編集するこ
とで初期姿勢が適切に推定できている場合の重みを表現
できる点が挙げられる。エルミート補間とは通過点とそ
こでの接線が与えられた場合の補間を表す。本システム
は開始フレーム、最終フレーム、特徴となるフレームの
関節変位を指定した補間処理を行い全フレームの初期姿
勢を推定する。次に、初期姿勢を推定するための補間方
法について述べる。まず、特徴となるフレームの姿勢を
指定することで各リンクの関節変位を得る。その関節変
位の値を曲線の通過点とする。エルミート補間において
通過点のみが指定された場合、通過点における接線ベク
トルを求める必要がある。関節変位の値が指定されたｎ
＋１個の点をＱ_０，Ｑ_１，…，Ｑ_ｎとすると接線ベクト
ルを

【数８】として補間曲線｛ｐ（ｔ）｜０≦ｔ≦ｎ｝を求めること
ができる。求められた曲線Ｐ（ｔ）を関節変位の初期姿
勢とする。ここでｔはフレーム番号である。上述の特徴
フレームにおける関節変位の初期姿勢を求める手法には
いくつか考えられるが、利用者がマニュアルにより初期
姿勢を当てはめても良いし、本発明の発明者を含む著者
による論文「星野准一，斎藤啓史：“ビデオ映像とＣＧ
の合成によるヴァーチャルファッションの実現”，情報
処理学会論文誌，Vol.42，No.5，pp.1182-1193，2001」
及び「Jun'ichiro Hoshino, Hirofumi Saito:"A Match
Moving Technique for Human Body Sequences", Int. C
onf. on Acoustics and Signal Processing, ICASSSP20
01, Conference Proceedings CD-ROM, IMDSP-P3.1, 200
1」に記述した、２次元シルエット画像から３次元姿勢
を推定する手法を求めてもよい。

【００１３】２）角速度、角加速度の取得上述のように特徴フレームにおけるシルエット画像から
３次元姿勢を推定する手法を用いて初期姿勢を推定する
が、その時に、関節駆動力を得るための運動方程式を用
いる際に必要な関節変位の角速度、角加速度を求めてお
く。本システムではｆ番目フレームにおける速度
^・ｑ_ｆ，加速度^・・ｑ_ｆを

【数９】として擬似的な瞬間の速度、加速度を求めている。な
お、このとき各パラメータはＨ：フレーム間隔ｆ：フレーム番号ｑ_ｆ：ｆ番目フレームのリンク関節変位である。

【００１４】３）トルク値と輝度値の最小化による動作
推定人間の身体構造を、ベースリンクとなる腰部リンクを第
０階層リンク、第０階層リンクから派生するリンクを第
１階層リンク…第ｋ階層リンクから派生するリンクを第
ｋ＋１階層リンクというように定める。第ｋ階層リンク
Link_kにおけるベクトルのトルク合計値τ_ｋは、Link_k
のｆ番目フレームにおけるベクトルのトルク値Ｔ_ｆを用
いて

【数１０】ｆＭａｘ：ビデオ映像から取得したフレームの枚数と表される。ここでｆの値が１からｆＭａｘ−２である
のは式（１１），（１２）で得られる速度、加速度がこ
の範囲であり、それに基づいて導出されるＴ_ｆもこの範
囲でしか得られないからである。Link_kの輝度合計値Ｄ
_ｋはLink_kのｆ番目フレーム画像上における領域の輝度
合計値をｍ_ｆとすると

【数１１】と表される。フレーム画像から輝度値を得るとき、目的
のリンクが他のリンクに隠され適切な輝度値を得られな
くなることがある。その場合適切な輝度値を得ている領
域を判別しなければならない。適切な輝度値の領域は画
像上における人物の動作と同じ状態を表していると考え
られる人体の幾何モデルの持つ奥行き座標を用いて、ど
のリンクの領域が最も手前にあるかを調べることで求め
られる。式（１３），（１４）を用いると評価式は

【数１２】と表される。ここでα_ｋ，β_ｋは重み係数である。式
（１４）を満たす関節変位をスプライン曲線の制御点を
探索して求めることで動作推定を行う。注意点としてリ
ンクに評価式（１４）を当てはめる順番として第ｋ階層
リンクの誤差は第ｋ＋１階層リンクに影響することを考
慮に入れ昇順で最適化する必要がある。

【００１５】＜独立成分分析（ＩＣＡ）による動作信号
の分析と再構成＞上記の手法で求めた人物動作を、本シ
ステムで容易に加工するための手段の１つとして、独立
成分分析を利用した手法を述べる。（ＩＣＡにおける問題設定）時刻ｔにおける人物動作の
姿勢パラメータを

【数１３】θ（ｔ）＝［θ_１（ｔ），θ_２（ｔ），…，
θ_ｎ（ｔ）］^Ｔとする。ｎは姿勢パラメータの総数である。ＩＣＡの処
理において各成分の平均は０でなければならないため、
あらかじめ各姿勢パラメータからその平均を引いてお
く。人物動作の総フレーム数をＴとすると各姿勢パラメ
ータの平均は、

【数１４】と表される。各成分から平均値ｃ_ｉを引いた姿勢パラメ
ータをθ’（ｔ）とする。ここで人物動作の特徴を表す
パラメータをｓ（ｔ）＝［ｓ_１（ｔ），ｓ_２（ｔ），
…，ｓ_ｍ（ｔ）］^Ｔと仮定するとθ’（ｔ）は次のよう
に表される。

【数１５】θ’（ｔ）＝Ａｓ（ｔ）Ａはｎ×ｍの基底行列でＡ＝［ａ_１，ａ_２，…，ａ_ｍ］
である。またｓ（ｔ）はＩＣＡの問題設定においてｍ個
の各成分が相互に独立である。ｍは独立成分の数でｍ≦
ｎである。ＩＣＡの処理によりθ’（ｔ）から

【数１６】ｙ（ｔ）＝Ｂθ’（ｔ）となる独立成分ｙ（ｔ）と特徴抽出行列Ｂを求める。理
想的な値としてｙ（ｔ）＝ｓ（ｔ），Ｂ＝Ａ^−１が目標
となる。

【００１６】（姿勢パラメータの無相関化）ＩＣＡの前
処理として姿勢パラメータθ’（ｔ）の無相関化のため
に次のような変換を行う。

【数１７】ｘ（ｔ）＝Ｖθ’（ｔ）ｘ（ｔ）は無相関化された信号で、Ｖはｍ×ｎの無相関
化行列である。一般に無相関化は主成分分析によってな
される。主成分分析による固有ベクトルをＥ、固有値を
並べた対角行列をＤとすると、Ｖ＝Ｄ^−１／２Ｅ^Ｔとな
る。無相関化の処理を行った後の特徴抽出行列をＷ^Ｔと
すると

【数１８】Ｘ（ｔ）＝ＶＡｓ（ｔ）＝Ｗｓとなる。ここで

【数１９】ｘ（ｔ）ｘ^Ｔ（ｔ）＝Ｉより

【数２０】ｘ（ｔ）ｘ^Ｔ（ｔ）＝Ｗｓ（ｔ）ｓ^Ｔ（ｔ）
Ｗ^Ｔ＝ＷＷ^Ｔ＝Ｉとできる。従ってＷ＝ＶＡは直交行列となるため、フル
ランクの行列Ａを求める問題をｓ（ｔ）＝Ｗ^Ｔｘ（ｔ）
となる直交行列ｗを求める問題に簡単化することができ
る。

【００１７】（独立性の定義）独立性は非正規性を最大
化することで独立性を推定する。この非正規性を計る尺
度として、負のエントロピーを用いる。ｙの密度関数を
ｆ（ｙ）とするとエントロピーは、

【数２１】となる。エントロピーは正規分布のとき最大となる。負
のエントロピーＪ（ｙ）は正規分布のエントロピーを用
いて

【数２２】と定義される。負のエントロピーは非負の値をとり、最
小値は正規分布のときで０になる。従って負のエントロ
ピーを最大化、つまり非正規性を最大化することで独立
性を推定する。ここで密度関数ｆ（ｙ）を最大エントロ
ピー原理によって近似すると

【数２３】となる。Ｇは非２次の関数、ｃは定数である。ここで||
ｗ^Ｔｘ||＝１となるｗを用いてｙ_ｉ＝ｗ^Ｔｘとすると負
のエントロピーは

【数２４】と表せる。従って独立性を決定する問題は以下のように
なる。

【数２５】

【００１８】（不動点法による基底の算出）負のエント
ロピーを最大にするｗを求めるために、Hyvarinenの不
動点法に基づく反復解法を用いる。更新式は、

【数２６】である。ここで、ｇはＧの微分である。例えば、ｇ
_１（ｙ）＝ｔａｎｈ（ａ_１ｕ），ｇ_２（ｙ）＝ｙ^３など
とする。

【００１９】（動作の再構築）抽出した独立成分ｙ
（ｔ）と特徴抽出行列ｗにより動作の再構築を行う。基
底行列Ａの各基底ベクトル（列ベクトル）ａ_ｉは

【数２７】ａ_ｉ＝ＥＤ^１／２ｗ_ｉと表される。従って人物動作の姿勢パラメータは

【数２８】θ（ｔ）＝Ａｙ（ｔ）＋Ｃとして再構成される。ここでＣ＝［ｃ₁，ｃ_２，…，ｃ
_ｎ］^Ｔである。動作を加工する場合は、独立成分の動作
曲線を変形して、上記の再構成を適用する。

【００２０】

【実施例】次に、上記にて説明した動作の加工をした実
施例を示す。図３は人物が歩行している場合を例にとっ
て、各関節角の時系列データと、ＩＣＡにより独立成分
に分離した結果を示す図である。図３（ａ）は歩行して
いる人物の映像のフレームからフレーム５，１０，１
５，２０，２５を示したものである。図３（ｂ）は人物
の映像のフレームより各関節角の時系列データをグラフ
化して表している。同様に図３（ｃ）はＩＣＡにより独
立成分に分離した結果をグラフ化して表している。上述
のように、独立成分分析では一般的に入力変数の数以下
に分離できるという規定しかないが、あまり多くの独立
成分に分離しすぎるとノイズの影響が大きくなるという
問題がある。そこで、本手法では前処理で利用している
主成分分析の結果を利用して、合計で寄与率が約９０％
以上となる固有ベクトルの数を求め、独立成分分析を計
算するときの独立成分の数として利用する。図３（ｃ）
は、歩行データに主成分分析を施した結果、６個以上の
固有ベクトルは無視できる大きさであったため、５つの
独立成分を抽出した。なお、この適切な独立成分の数
は、サンプルとして入力する動作の複雑さなどによって
も変化する。

【００２１】図４は歩行動作にＩＣＡを適用した例を示
す図である。各動作成分と３次元動作の対応を表してい
る。この図４は各独立成分だけを分離して３次元動作を
復元したところを示す図である。この場合は、足を前後
に振る動作（図４（ａ））や、足踏みをする動作（図４
（ｂ））、上下にジャンプする動作（図４（ｃ））に分
離されている。このような特定の動作成分を加工したり
強調することで、極めて次元数の多い各関節の時系列デ
ータを直接加工するよりも、多様な動作のバリエーショ
ンを容易に生成することができる。

【００２２】仮想人物の動作を生成する際には、様々な
動作セグメントを滑らかにつなげたり、動作間の欠けて
いる部分を補うことが必要となることが多い。このよう
な処理を単純に関節角を補間することで行うと、実際に
はありえない軌道を通るなど不自然な動作になるという
問題が挙げられる。独立成分分析によって推定された基
底ベクトルは、実際のサンプル動作から抽出された動き
の特徴を表しているため、独立成分を組み合わせて補間
する方が自然な動作となる可能性が高いという利点があ
る。図５はバレエのアニメーション作成例を示す図であ
る。図５（ａ）はストーリーボードで指定した間欠的な
動作である。このような動作を補間する手段として、Ｉ
ＣＡの動作曲線を利用する。図５（ａ）（ｉ）〜（iv）
は、それぞれ補間し、図５（ｂ）（ｉ）〜（iv）のよう
に連続した滑らかな動作の動画像のフレームが作成され
る。この図５の独立成分による動作曲線を利用して、ス
トーリーボード間の間欠的な動作の補間を行った例を示
す。２次元姿勢から３次元姿勢を推定する手法は、利用
者がマニュアルで行ってもよいし、自動で行うならば、
例えば上述の論文「星野准一，斎藤啓史：“ビデオ映
像とＣＧの合成によるヴァーチャルファッションの実
現”，情報処理学会論文誌，Vol.42，No.5，pp.1182-11
93，2001」及び「Jun'ichiro Hoshino, Hirofumi Saito
: "A Match Moving Technique for Human Body Sequen
ces", Int. Conf. on Acoustics and Signal Processin
g, ICASSSP2001, Conference Proceedings CD-ROM, IMD
SP-P3.1, 2001」に掲載したシルエット画像から３次元
姿勢を推定する手法を利用する。次に、独立成分の空間
の中で、ストーリーボードで指定した各３次元姿勢の動
作成分の点を結んで動作曲線を求めることによって連続
した動作を生成する。この点を結ぶ手法は各点を直線で
結んだ後、その折れ線を独立成分の空間内の滑らかな曲
線としてもよい。独立成分の空間は、人物の動作から得
られる特徴空間であるので、直線で結んでもそんなに不
自然な動きとはならない。

【００２３】本手法のその他の応用例としては、人物の
動作の代わりに、顔の３次元的な表情の変化を入力し
て、表情の変化の分析と再構成を行うことも考えられ
る。人物の動作と同じように、表情の独立成分を抽出す
ることで、単純に複数の表情間を補間するよりも、自然
な動きを生成できると考えられる。また、本手法の評価
実験からは、異なる人物が同じ動作を行った結果を入力
した場合、個人差が少なく動作の基本的な構造を表す成
分と、個人差が主に表れる成分に分離できる傾向が見ら
れた。これは、少数の独立成分を制御するだけで、多様
な個性を持った動きを生成できることを表している。こ
のように、動作の基本構造の加工と、個人間のバリエー
ションの加工を分離して行うことができるなど、動作の
生成を階層的に行うことが可能となるのも、本手法の特
徴の一つである。なお、上述の画像取得部１０、動作推
定部２０、画像生成部３０、表示部４０のそれぞれの処
理は、計算機上で実行することもできる。また、その処
理を行うためにプログラムを格納した記録媒体から読み
出したり、通信回線を介して受信等をしたプログラムを
実行する等により、本発明の構成を実現することもでき
る。この記録媒体には、フレキシブル・ディスク、ＣＤ
−ＲＯＭ、ＤＶＤ、磁気テープ、ＲＯＭカセット等があ
る。また、通信回線としては、インターネット等があ
る。

【００２４】

【発明の効果】推定した人物の３次元動作系列に、独立
成分分析（ＩＣＡ）を適用して基本動作成分を抽出する
ことで、動作の加工や変形を容易にすることができる。
また、動作の独立成分は輝度情報と身体の物理特性を併
用しているため、不自然さがなく、安定な動作推定が可
能である。そのため、ビデオ映像によって俳優の演技を
撮影するだけで、簡単にＣＧ俳優の動作を付けることが
可能である。

【図面の簡単な説明】

【図１】３次元人物動画像生成システムの機能構成を
示す図である。

【図２】本システムで用いる人体幾何モデル１００を
示す図である。

【図３】人物が歩行している場合の例を各関節角の時
系列データと、ＩＣＡにより独立成分に分離した結果を
示す図である。

【図４】歩行動作にＩＣＡを適用した例を示す図であ
る。

【図５】バレエのアニメーション作成例を示す図であ
る。

【符号の説明】

１０画像取得部２０動作推定部３０画像生成部４０表示部１００人体幾何モデル１１０首１２０左肩１２５右肩１４０左肘１４５右肘１６０胴体１７０左股１７５右股１９０左膝１９５右膝

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B050 AA06 BA09 BA12 DA07 EA04 EA24 EA28 FA02 FA06 5B057 AA20 CA12 CB13 CD06 CD14 CH11 DA16 5C023 AA01 BA03 BA04 CA02 DA01 DA08 5L096 BA20 DA01 EA33 FA70 HA02

Claims

【特許請求の範囲】

【請求項１】３次元人物動画像生成システムであっ
て、２次元動画像を取得する動画像取得手段と、前記取得した２次元動画像内の人物から、人体の３次元
モデルを構成する各オブジェクトの姿勢パラメータを得
る動作推定手段と、前記姿勢パラメータから動作の独立成分を抽出する独立
成分抽出手段と、抽出した動作の独立成分による空間を利用して、３次元
モデルの動作を得る３次元モデル動作生成手段と、前記３次元モデルの動作から、２次元の動画像を生成す
る画像生成手段とを備えることを特徴とする３次元人物
動画像生成システム。
【請求項２】請求項１に記載の３次元人物動画像生成
システムにおいて、前記動作推定手段は、前記２次元動画像のうち選択され
た画像のみを用い、時系列順に選択された画像間の補間
を行って姿勢パラメータを得ることを特徴とする３次元
人物動画像生成システム。
【請求項３】請求項２に記載の３次元人物動画像生成
システムにおいて、前記動作推定手段は、前記補間した姿勢パラメータを用
いて、前記人体の３次元モデルの関節駆動力と前記選択
された画像の輝度値の２乗誤差とを最小にすることで、
さらに姿勢パラメータを推定することを特徴とする３次
元人物画像生成システム。
【請求項４】請求項１〜３のいずれかに記載の３次元
人物動画像生成システムにおいて、前記３次元モデル動作生成手段は、複数の２次元画像か
ら得た３次元モデルの姿勢に対して、動作の独立成分に
よる空間内での補間を行うことにより、複数の２次元画
像から３次元モデルの動作を得ることを特徴とする３次
元人物動画像生成システム。
【請求項５】請求項１〜４のいずれかに記載の３次元
人物動画像生成システムをコンピュータ・システムに構
成させるためのプログラム。
【請求項６】請求項１〜４のいずれかに記載の３次元
人物動画像生成システムをコンピュータ・システムに構
成させるためのプログラムを格納した記録媒体。