JP2002269580A

JP2002269580A - 動画像生成システム

Info

Publication number: JP2002269580A
Application number: JP2001063854A
Authority: JP
Inventors: Junichi Hoshino; 准一星野
Original assignee: Japan Science and Technology Corp
Current assignee: Japan Science and Technology Agency
Priority date: 2001-03-07
Filing date: 2001-03-07
Publication date: 2002-09-20
Anticipated expiration: 2021-03-07
Also published as: JP4695275B2

Abstract

(57)【要約】【課題】ビデオ画像より復元した人体の３次元モデル
を利用した動画像処理の適用により、リアルな人物ＣＧ
を容易に生成する。【解決手段】２次元動画像を取得し、その２次元動画
像の人物から、オブジェクトのテクスチャ・データの抽
出と、人体の３次元モデルを構成する各オブジェクトの
初期姿勢データおよび動作パラメータを得る。そのオブ
ジェクトのテクスチャ・データ、動作パラメータを用い
て３次元モデルを生成し、自由な視点位置から見た人物
画像を生成することができる。その際に３次元モデルの
オブジェクトに対するテクスチャ・データの不足する部
分を、抽出したテクスチャ・データより補間して得る。
また、２次元動画像より得た動作パラメータを変更する
ことで、取得した２次元動画像とは異なる動きの動画像
を生成したり、他のオブジェクトを合成して、別の衣服
や髪型の合成を行うこともできる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、２次元のビデオ映
像から、リアルな人物３次元ＣＧを容易に生成すること
ができるシステムであり、特にビデオ映像から生成した
人物の３次元モデルを用いて、リアルな動画像を生成で
きる人物動画像生成システムに関する。

【０００２】

【背景技術】今日、映画の特殊効果の生成や、ビデオゲ
ームの開発では、リアルな人物ＣＧの生成が重要な課題
である。ところが、人物のように複雑な被写体のＣＧを
生成する作業は、ほとんどがアニメーターの手作業で行
われていて、非常にコストが高いという問題がある。近
年では、実際に存在する俳優のＣＧが必要とされること
も多い。例えば、映画の制作現場では、危険なスタント
・シーンを撮影するときに、代役で撮影した映像を加工
して、主演している俳優が演技をしているように見せる
ことが必要となる。また、コマーシャル・フィルム（Ｃ
Ｍ）では、過去の有名な人物を登場させて、他の俳優と
競演する場面が増えている。ところが、従来手法では、
既に撮影したフィルムから手作業で映像を切り出してつ
なぎ合わせる程度しかできないため、制約が大きいだけ
でなく、作業に必要な労力も膨大である。また、ビデオ
編集においても、より自由度の高い人物画像の編集が望
まれている。例えば、既に撮影した映像中の人物を、異
なるカメラ・アングルから見た場合に変更したり、衣服
や髪型の変更、姿勢の変更を行うことができれば、ポス
ト・プロダクションの作業をより効果的に行うことがで
きる。

【０００３】これらのようにリアルな映像を容易に生成
する手法としては、ＣＧの分野でイメージ・ベース・レ
ンダリング手法が提案されている。この手法では、実写
画像に３次元モデルを当てはめることで、自由な視点位
置から見た映像を生成する。ところが、従来手法では、
屋外の建築物などの単純な形状を持つ物体や、顔のよう
に単一の物体を対象としている。そのため、人物のよう
な複雑な動作を行う被写体へ適用することができないと
いう問題がある。自由な視点位置から画像を生成する手
法については、コンピュータ・ビジョンの分野でも、Vi
rtualized Reality（仮想化された現実）とも呼ばれて
盛んに研究が行われている。これらの手法では、撮影環
境内に多数のカメラを設置して、ステレオ法などの手段
により３次元モデルを生成する。ところが、正確な３次
元モデルを推定するためには、多数のカメラが必要とな
り、コストが高くなるという問題がある。また、オクル
ージョンによって見えない部分については、３次元形状
を復元することができないという問題がある。

【０００４】

【発明が解決しようとする課題】本発明の目的は、ビデ
オ画像より復元した人体の３次元モデルを利用した動画
像生成処理の適用により、リアルな人物ＣＧを容易に生
成することである。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明は、動画像生成システムであって、２次元
動画像を取得する動画像取得手段と、前記取得した２次
元動画像内の人物から、人体の３次元モデルを構成する
各オブジェクトの動作パラメータを得る動作推定手段
と、前記２次元動画像内の人物よりオブジェクトのテク
スチャ・データを抽出するテクスチャ抽出手段と、前記
オブジェクトの動作パラメータを用いて、３次元モデル
を生成する３次元モデル生成手段と、前記３次元モデル
から、視点を設定して２次元の動画像を生成する画像生
成手段とを備える。これにより、生成した人体モデルと
テクスチャを利用して、新たな視点位置を設定すること
により別の視点位置から見た人物画像も生成することが
できる。

【０００６】前記動作推定手段は、前記取得した２次元
動画像内の人物から前記人体の３次元モデルを構成する
各オブジェクトの初期姿勢データを得る手段を有するこ
ともできる。前記３次元モデル生成手段は、前記動作推
定手段で得た動作パラメータを変更する動作変更手段を
さらに備え、取得した２次元動画像の人物とは異なる動
きの動画像を生成することもできる。その際に、前記画
像生成手段は、前記生成した新たな３次元モデルのオブ
ジェクトに対するテクスチャ・データの不足する部分
を、前記抽出したテクスチャ・データより補間して得る
こともできる。前記３次元モデル生成手段は、前記生成
した３次元モデルに他のオブジェクトを合成することに
より、取得した動画像の人物に、ＣＧによる別の衣服や
髪型の合成を行うこともできる。本動画像生成システム
をコンピュータ・システムに構成させるコンピュータ・
プログラムおよびコンピュータ・プログラムを記録した
記録媒体も本発明である。

【０００７】

【発明の実施の形態】＜本発明の概要＞本発明は人体の
３次元モデルを利用した動画像処理の適用により、リア
ルな人物ＣＧを容易に生成する人物画像生成システムで
ある。図１は本発明を用いた実施形態の一例である、モ
デルに基づく人物動画像生成システムの機能構成図を示
す。図１に示すように、本システムは、テレビカメラに
より人物の動画像を連続的に取得する画像取得部１０、
人物の各関節のパラメータを推定したり、顔や衣服など
の人物テクスチャを抽出する動作推定部２０、後述する
人体モデルを利用した隠蔽箇所の復元や、異なる視点位
置から見た画像の生成を行なったり、衣服ＣＧや髪型Ｃ
Ｇの合成や、姿勢の変更などを行う画像生成部４０、そ
して生成した結果を表示する画像表示部５０で構成して
いる。

【０００８】このような構成の本システムでは、画像取
得部１０で取得した人物動画像に、あらかじめシステム
に用意してある人体の３次元モデルを当てはめて、動作
推定部２０において、各関節の３次元動作を推定すると
共に、顔や衣服などの輝度情報を人体モデルのテクスチ
ャとして蓄積する。また、画像生成部４０において、撮
影した視点位置から見たときに隠蔽されている箇所を、
人体モデルを利用したＣＧの生成で補うことで、全身像
を復元する。このようにして得た画像を画像表示部５０
から表示している。図２〜図４は、本発明における処理
の概要を分かりやすく説明するために、ビデオ映像に上
述の処理を適用した例を示している。図２（ａ）は画像
取得部１０で取得した入力画像の例である。図２（ｂ）
は動作推定部２０で人体モデルの姿勢を推定した例であ
る。図３（ｃ）は、画像生成部４０で人体の３次元モデ
ルにテクスチャ・マッピングをした人体画像を、自由な
視点位置から見た例である。そしてこのとき、画像生成
部４０は撮影した視点位置から見たときに隠蔽されてい
る箇所を、人体モデルを利用したＣＧの生成で補ってい
る。図３（ｄ）は前述のＣＧの生成で補った画像の例を
示す図である。

【０００９】このように、本システムにおいては、生成
した人体モデルとテクスチャを利用して、自由な視点位
置から見た人物画像を生成したり、入力画像とは異なる
動作の人物画像を生成したり、人物のような複雑な被写
体に、ＣＧによる別の衣服や髪型の合成を行うことがで
きる。図４（ｅ）は衣服のＣＧを合成した例、図４
（ｆ）は異なる姿勢へ変更した例である。また、多様な
姿勢を持つ人物画像を、関節角の変更データを用いて生
成できるため、動画像圧縮の手段としても利用すること
ができる。以上のような処理を行うシステムを以下に詳
細に説明する。

【００１０】＜モデルに基づく人物動作の推定＞動作推
定部２０におけるモデルに基づく人物動作を、動画像を
構成する連続した画像（フレーム）間から推定する処理
を以下に詳細に説明する。（移動量の推定）動作推定部２０においては、人体の３
次元モデルを当てはめて、各関節の３次元動作を推定し
ている。図５に、動作推定部２０で用いている人体モデ
ル３００を示す。図５のように、人体モデル３００は、
各パーツをオブジェクトで表し、それらを接続すること
で全体を表している。この人体モデル３００は、頭部３
１０、胴体３１５、右上腕３２２、左上腕３２４、右前
腕３３２、左前腕３３４、右腿３４２、左腿３４４、右
膝下３５２、左膝下３５４の各パーツ（各オブジェク
ト）で構成している。動作推定部２０では、このような
人体モデル３００を利用してフレーム間の人物動作を推
定する。人体モデル３００の各パーツ（各オブジェク
ト）の接続関係は、胴体３１５を頂点として、腕や頭部
といった末端のパーツに向かって親子関係の接続として
定めることができる。親パーツが動くと、その子に当た
るパーツは親パーツの座標系で規定される接続関係で一
緒に動くことになる。この人体モデル３００を用いて、
以下で動作について説明を行う。なお、この人体モデル
は標準形をシステムで用意して、ユーザが対象となる人
物に会わせて調整することで得ることができる。図６
は、カメラ座標系およびワールド座標系と人体モデルの
関係を示す図である。この図において、動画像はカメラ
座標系で記述される画像面４１０に表示される。人体モ
デル３００上の任意の点を、ワールド座標系を用いて、

【数１】ｐ＝（ｘ，ｙ，ｚ）^Ｔとする（上式で括弧の肩に付けられているＴは転置行列
を表す）と、カメラ座標系に投影した画像面４１０上の
点（Ｘ，Ｙ）は、

【数２】Ｘ＝ｆｘ／ｚＹ＝ｆｙ／ｚ（ｆは画像面４１０を生成するカメラの焦点距離）となる。同様に、人体モデル３００上にある任意の点ｐ
に関する３次元速度ベクトルを、

【数３】とすると、このベクトルはフレーム間での点ｐの移動速
度を表している。画像面４１０上の速度ベクトル（Ｕ，
Ｖ）とすると、両者の関係は、

【数４】Ｕ＝（ｆｕ−Ｘｗ）／ｚＶ＝（ｆｖ−Ｙｗ）／ｚとなる。

【００１１】また、画像面４１０上の点（Ｘ，Ｙ）にお
ける時刻ｔでの輝度をＥ（Ｘ，Ｙ，ｔ）とする。そし
て、（Ｅｘ，Ｅｙ）を輝度微分、Ｅ_ｔを時間微分とする
と、画像面４１０上の速度ベクトル（Ｕ，Ｖ）は、次の
時空間勾配の拘束条件式を満たす。

【数５】Ｅ_ＸＵ＋Ｅ_ＹＶ＋Ｅ_ｔ＝０この式に上述のＵ，Ｖを代入すると、次式のように人体
モデル３００上の任意の点ｐと、画像面４１０上の点
（Ｘ，Ｙ）および輝度値Ｅ_ｔの関係を示すことができ
る。

【数６】

【００１２】次に、人体モデル３００の全関節角の位置
と姿勢を表すベクトルｓを

【数７】ｓ＝（ｓ_１，ｓ_２，……，ｓ_ｎ）として、ｓとｐの関係を便宜的に非線形関数ｇを用いて

【数８】ｐ＝ｇ（ｓ）で表す。関数ｇは非線形であるが、ｓの時間変化率と速
度ベクトルの関係は、ヤコビ行列Ｊ（ｓ）＝∂ｇ／∂ｓ
により、線形式で関係付けることができる。

【数９】よって、人体モデル３００の全関節ｓの時間変化率と、
画像面４１０上の点の輝度値の関係式を導くことができ
る。

【数１０】上述では姿勢パラメータｓと人体モデル上の任意の点ｐ
の関係をｐ＝ｇ（ｓ）で表した。この関係は人体の幾何
学構造から導出することができる。以下では、人体モデ
ルの幾何学的な関係を記述する際に、同次座標系を利用
する。同次座標系では、（ｘ，ｙ，ｚ，ｗ）の３次元空
間内の座標値は（ｘ／ｗ，ｙ／ｗ，ｚ／ｗ）となる。

【００１３】（胴体のヤコビ行列の導出）人体モデルの
運動は、物体座標系における剛体変換ε_ｉで表すことが
できる。３×３の回転行列をＣ、３次元の並行移動ベク
トルをＤとすると、剛体変換ε_ｉは、次式のように表す
ことができる。

【数１１】ただし、０^ｔはゼロの転置行列を表す。また、物体座標
の点

【数１２】ρ_ｏｉ＝（ｘ_ｏｉ，ｙ_ｏｉ，ｚ_ｏｉ，１）^Ｔに剛体変換ε_ｉを施す場合は、次式で表すことができ
る。

【数１３】ρ_ｏｉ’＝ε_ｉρ_ｏｉ

【００１４】ヤコビ行列を求めるためには、人体の各パ
ーツが運動したときに、カメラ座標系で見た人体モデル
上の点ρ_ｓが、どのように変化するかを求めることが必
要となる。この関係式は、次の３つのステップで求め
る。１）まず、カメラ座標系で見た胴体モデル上の点ρ
_ｓを、ワールド座標系に変換する操作を、剛体変換ε_ｓ
で表す。

【数１４】ρ_ｗ＝ε_ｓρ_ｓ２）次に、胴体の運動を適用すると、胴体モデル上の点
ρ_ｗがρ_ｗ’に移動する。ρ_ｗ’を求めるためには、ワ
ールド座標系の点ρ_ｗを物体座標系に変換して、胴体の
運動ε_ｉを適用した後に、ワールド座標系に戻す操作を
行う。この変換規則を

【数１５】Ｆ_ｉ＝ε_ｏｉε_ｉε_ｏｉ ^−１とおくと、胴体モデル上の点ρ_ｗ’は次式で求めること
ができる。

【数１６】ρ_ｗ’＝Ｆ_ｉρ_ｗ＝Ｆ_ｉε_ｓρ_ｓ３）最後に、ワールド座標系の点ρ_ｗ’をカメラ座標系
に変換する。

【数１７】 ρ_ｓ’＝ε_ｓ ^−１ρ_ｗ’＝ε_ｓ ^−１Ｆ_ｉε_ｓρ_ｓ上記のＰ_ｓ’を時間微分することで、下記のヤコビ行列
が得られる。

【数１８】

【００１５】（その他の関節のヤコビ行列の導出）上記
では胴体の運動を表すヤコビ行列を導出したが、他の人
体パーツの場合は胴体を親としているため、運動に依存
関係が生じる。以下では、依存関係が１段階の場合（上
脚，上腕，頭）と、依存関係が２段階の場合（下脚，下
腕）の場合について、関係式を導出する。１）上脚，上腕，頭の運動胴体だけを親とする、左右上脚、左右上腕、頭の５つの
物体に関して定式化を行う。まず、ρ_ｓをワールド座標
系に変換する。

【数１９】ρ_ｗ＝ε_ｓｊρ_ｓこの場合は、子の移動に伴う剛体変換と座標変換Ｆ_ｉを
適用する。そして、親（この場合は胴体（ｉ＝０））の
移動による変換Ｆ_ｉ＝［ε_ｏｉε_ｉε_ｏｉ ^−１］を適用
する。

【数２０】ρ_ｓｊ''＝ε_ｓｊ ^−１Ｆ_１Ｆ_ｉε_ｓｊρ_ｓそして胴体のヤコビ行列の導出と同様にρ_ｓ’を時間微
分することで、ヤコビ行列を求める。

【００１６】２）下脚，下腕の運動右左下脚、右左下腕の場合は、上脚、上腕を親に持ち、
更に胴体を親として持っている。この場合も、胴体だけ
を親とする、依存関係が１段階の場合（上脚，上腕，
頭）と同様な変換規則を適用することで次式が得られ
る。

【数２１】 ρ_ｓｊ'''＝ε_ｓｊ ^−１Ｆ_１Ｆ_ｉ１Ｆ_ｉε_ｓｊρ_ｓそしてこれまでのヤコビ行列の導出と同様にρ_ｓ’を時
間微分することで、ヤコビ行列を求める。

【００１７】３）Ｎ個の物体が接続された場合物体の数が増加した場合も，２）と同様の規則で求める
ことができる。

【数２２】以上のヤコビ行列を利用して、上述の画像面４１０上の
点の輝度値の関係式を人体モデル３００上の複数の点か
ら求めて、最小２乗法で解くことにより、人体の動作パ
ラメータｓを求める。そして以下で説明する初期姿勢
に、上記で求めた動作パラメータを加算することで、各
フレームの人体モデル３００の姿勢を得る。

【００１８】＜初期姿勢の推定＞上述の動作推定法では
フレーム間の動きしか推定することができないため、人
体モデル３００の初期姿勢を推定することが必要とな
る。以下では、拡張カルマン・フィルタにより、シルエ
ット画像から抽出した中心線と、人体モデルの体軸を一
致させる手法を述べる。ワールド座標系での人体モデル
３００の各パーツの姿勢ａを表した式を以下に示す。

【数２３】ａ＝［ｒ，ｄ］^Ｔｄはワールド座標の原点からの移動成分を表すベクトル
である。また、ｒはワールド座標の各座標軸である回転
軸に沿ったベクトルであり、ベクトルの大きさは回転角
に等しい。

【００１９】図７は、画面上の線分の関係と、それに対
応する人体モデル３００中のパーツとの関係を示した図
である。３次元（３Ｄ）線分Ｐの投影された画像面４１
０上の２次元（２Ｄ）予測線分がＱである。図７におけ
る２次元（２Ｄ）観測線分Ｑ’と２Ｄ予測線分Ｑを、２
次元画面上４１０での始点および終点を表わすワールド
座標系のベクトルｑ_１’，ｑ_２’，ｑ_１およびｑ_２で表
わした式を以下に示す。

【数２４】Ｑ’＝（ｑ_１’，ｑ_２’）Ｑ＝（ｑ_１，ｑ_２）また、３Ｄ線分Ｐをワールド座標系での線分の始点およ
び終点を表わすベクトルｐ_１およびｐ_２で表わした式を
以下に示す。

【数２５】Ｐ＝（ｐ_１，ｐ_２）そして、初期位置で観測された２Ｄ観測線分Ｑ’と３Ｄ
線分Ｐの組をｌとして、以下の式に示す。

【数２６】ｌ＝（Ｐ，Ｑ’）この３Ｄ線分Ｐと、それに対応する画像面４１０上での
２Ｄ観測線分Ｑ’の組ｌを求める手法を以下に説明す
る。図８は入力した動画像より人体モデルの初期位置を
推定するまでの処理の過程を示す図である。この図８を
参照しながら以下に説明をする。

【００２０】（中心線の推定）画像取得部１０より取得
した画像のシルエット画像から中心線を推定する際に
は、手や足などの部位が胴体に隠れた場合、姿勢を推定
できない。ところが、本発明のシステムでは、フレーム
間の移動量を推定する手法と組み合わせて利用するた
め、処理に適したフレームだけを選択できれば良い。以
下の手順で中心線の推定を行う。

【００２１】１）中心線が抽出しやすい姿勢のシルエッ
ト画像を予め選択してシステムに記憶しておく。このと
きに、シルエット画像に対応した人体モデルの姿勢パラ
メータも与えておく。姿勢パラメータは後述する手法に
より姿勢を微調整することができるので、大まかな値で
構わない。２）図８（ａ）（ｉ）および（ii）のような、画像取得
部１０より取得した低解像度の入力画像系列で、あらか
じめシステムに記憶してあるシルエット画像とのマッチ
ングを行い、姿勢が類似しているフレームを選択する。３）選択したシルエット画像では、人体モデルの大まか
な姿勢が分かっているため、画像面４１０上に各パーツ
の領域を投影することができる。それぞれの領域内のシ
ルエットを切り出して、主軸を求めて中心線とする。図
８（ｂ）（ｉ）および（ii）は入力画像に人体モデルを
当てはめ、各パーツの中心線を抽出し、表示した画像を
示す。

【００２２】上記の手法より、抽出した中心線を利用し
て、３Ｄ線分Ｐと、それに対応する画像面４１０上での
２Ｄ観測線分Ｑ’の組ｌを求めることができ、後述する
手法により人体モデルの正確な初期位置の推定を行うこ
とができる。

【００２３】（初期姿勢の調整）各パーツの姿勢ａが正
確な場合は、観測画像から得られた画像面４１０上の２
Ｄ観測線分Ｑ’とカメラの原点Ｏとが作る平面Ｍの上に
３Ｄ線分Ｐが含まれる。ところが各パーツの姿勢ａに誤
差がある場合は、図７（ａ）のように、画像面４１０上
に表示される線分Ｑ’とカメラの原点Ｏとが作る平面Ｍ
と３Ｄ線分Ｐの間に距離が生じる。この距離の最短距離
を、予測誤差ｈ（ａ，ｌ）とし、以下の式のように表
す。

【数２７】ｈ（ａ，ｌ）は２×１のベクトルである。Ｒはｒから導
出される３×３の回転行列である。また、ｎは面Ｍの単
位法線ベクトル

【数２８】である。ａに誤差がない場合は、ｈ（ａ，ｌ）＝０とな
り、図７（ｂ）のように画像面４１０上の２Ｄ予測線分
Ｑが２Ｄ観測線分Ｑ’と重なる。そして２Ｄ観測線分
Ｑ’とカメラの原点が作る平面の上に３Ｄ線分Ｐが含ま
れるようになる。このときの３Ｄ線分Ｐの姿勢ａが画像
面４１０上に表示されている２Ｄ観測線分Ｑ’に対応し
ているということになる。ｈ（ａ，ｌ）は非線形なの
で、観測値ｌ＝＾ｌ_ｉと推定値ａ＝＾ａ_ｉ−１のまわり
に１次テーラー展開をして線形近似する。

【数２９】ただし∂ｈ／∂ａ，∂ｈ／∂ｌは偏微分を表す。これら
の偏微分係数は、以下のカルマン・フィルタを適用して
人体モデルの各パーツの姿勢ａ＝［ｒ，ｄ］^Ｔの最適値
を求める際に利用する。

【００２４】対応付けがついた２Ｄ観測線分Ｑ’と３Ｄ
線分Ｐの誤差ｈ（ａ，ｌ）が最小になるように、人体姿
勢ａを補正し、位置の誤差分布σ_ｘｉを減少させる。直
前に示したｈ（ａ，ｌ_ｉ）の線形近似式をゼロとおいて
書き直すと、次のような観測方程式が得られる。

【数３０】ｚ_ｉ＝Ｈ_ｉａ＋ν_ｉただし、

【数３１】である。ここでν_ｉの分散Ｂ_ｉは次のように求める。

【数３２】

【００２５】以上の観測方程式より、人体パーツの姿勢
ｘ_ｉの２乗誤差を最小にする推定値は、カルマン・フィ
ルタで与えられる。

【数３３】人体姿勢ａ_ｉと誤差分布σ_ｉは、新しい線分の対応付け
が行われるたびに更新される。以上の姿勢推定を人体の
各部位に適用することで、人体モデルの初期姿勢を推定
する。本発明のシステムでは、胴体の姿勢を最初に求め
て、上腕、上脚、下腕、下脚と胴体に近い順番に中心線
とのマッチングを行い、姿勢の推定を行う。このように
して、図８（ａ）（ｉ）および（ii）の入力画像に初期
姿勢を推定し、図８（ｃ）（ｉ）および（ii）のように
人体モデルを重ね合わせた画像を得ることができる。

【００２６】（２Ｄ、３Ｄ線分の対応付け）上述の手法
では、シルエット画像のマッチングにより、抽出した中
心線を利用して、３Ｄ線分Ｐと対応する２Ｄ観測線分
Ｑ’の組ｌが求まったとして説明した。しかし、撮影環
境内に中心線として抽出可能な複数の線分がある場合、
１つの３Ｄ線分に対して複数の２Ｄ線分の候補があるこ
ととなる。そこで以下に示す２つの手法を併用して対応
付けを行う。まず２Ｄ画像面４１０上で見たときに、２
Ｄ観測線分Ｑ’に射影したときに射影像が２Ｄ観測線分
Ｑ’と重なる線分を候補として選択する。次に、推定値
の誤差分布と、２Ｄ、３Ｄ線分の誤差分布を考慮に入れ
て、統計的に一致すると判定できる線分を選択する。

【００２７】１）２次元画面上での対応付け図７を用いて２次元画像面４１０上で対応付けを行う手
法を示す。まず、図７（ａ）のように、３Ｄ線分Ｐを画
面上に投影して、２Ｄ予測線分Ｑ＝（ｑ_１，ｑ _２）を求
める。また、観測画像から２Ｄ観測線分Ｑ’＝
（ｑ_１’，ｑ_２’）を得る。２Ｄ観測線分Ｑ’に対して
射影した２Ｄ予測線分Ｑの射影像が重複領域をもつ場合
は、対応の候補として選択する。重複領域の判定方法と
しては、２Ｄ予測線分Ｑを２Ｄ観測線分Ｑ’に射影した
ときに、ｑ_１あるいはｑ_２のどちらかの点がＱ’の内部
にあれば、２Ｄ予測線分Ｑの射影像が２Ｄ観測線分Ｑ’
に重なっていると考えることができる。まず、ｑ_１を
Ｑ’に射影した場合の座標ｃは、Ｑ’に沿う単位方向ベ
クトルを

【数３４】ｍ＝Ｎ［ｑ_２’−ｑ_１’］（Ｎ［］はベク
トルの正規化を表わす）とすると、

【数３５】ｃ＝ｑ_１’＋ｍ・（ｑ_１−ｑ_１’）ｍである。そして、ｃがＱ’の内部に含まれる条件は、

【数３６】（ｃ−ｑ_１’）・（ｃ−ｑ_２’）＜０となる。この操作をｑ_１，ｑ_２，ｑ_１’，ｑ_２’に関し
て行い、上記の条件を満たさない線分は棄却する。

【００２８】２）誤差分布を考慮に入れた対応付け人体姿勢の誤差分布σ_ｘｉと、２Ｄ，３Ｄ線分の誤差分
布σ_ｌｉを使ってχ^２検定を行い、統計的に一致しない
と考えられる線分を棄却する。ここでは、２Ｄ−３Ｄ線
分が一致していると仮定して、仮説検定を行う。人体姿
勢ａ＝［ｒ，ｄ］^Ｔと観測値ｌ＝（Ｐ，Ｑ’）の誤差分
布を、正規分布σ_ａｉ〜Ｎ（０，Ｐ_０），σ_ｌｉ〜Ｎ
（０，Ｌ_０）と仮定する。ｈ（＾ａ_ｉ−ｌ，＾ｌ_ｉ）の
１次、２次統計量は、

【数３７】

【数３８】となる。これよりマハラノビス距離ｋを次のように求め
ることができる。

【数３９】ｈ（＾ａ_ｉ−１，＾ｌ_ｉ）の誤差分布はｈ（＾
ａ_ｉ−１，＾ｌ_ｉ）〜Ｎ（０，Ｚ _ｉ）であるため、ｋ
（＾ａ_ｉ−１，＾ｌ_ｉ）〜χ^２（ζ）となる（ただしζ
＝Ｒａｎｋ（Ｚ_ｉ））。χ^２（ζ）分布から、確率に基
づくしきい値を設置することができる。例えばｋ（＾ａ
_ｉ−１，＾ｌ_ｉ）＜９．２１は、Ｚ_ｉがランク２（ζ＝
２）のときに９９％の線分が受け付けられることを意味
している。しきい値以上の線分は、統計的に一致すると
考えられないため、棄却することができる。複数の線分
が候補として残った場合は、ｋ（＾ａ_ｉ−１，＾ｌ_ｉ）
の距離値が最小のものを選択する。以上の２つの手法を
併用して、２Ｄ予測線分Ｑが２Ｄ観測線分Ｑ’に一番近
い３Ｄ線分Ｐと画像面４１０上で対応する２Ｄ観測線分
Ｑ’の組ｌ＝（Ｐ，Ｑ’）を求めることができる。な
お、上述の人体モデルの初期姿勢は、ユーザーが人体モ
デルの姿勢を推定して画像面に投影し、入力画像に重ね
合わせて当てはめることによりで求めてもよい。

【００２９】＜隠蔽箇所の復元＞画像生成部４０で行っ
ている隠蔽箇所の復元処理を、以下に詳細に説明する。
図９は上述の手法で、人体モデルにテクスチャ・マッピ
ングを行い、撮影位置とは異なる視点位置から見た例を
示す図である。図９（ａ）の２次元の画像より、人物の
姿勢を推定することができると、この姿勢における人体
パーツの３次元モデル上の輝度分布を求めることができ
る。顔、皮膚、衣服等の輝度情報を、３次元モデル上の
テクスチャとして蓄積する。このように人物テクスチャ
をマッピングした３次元モデルから、従来のＣＧモデル
をレンダリングするのと同じ手法で、自由な視点位置か
ら見た画像を生成することができる。

【００３０】しかし、図９（ｂ）からも分かるように、
１台のテレビカメラで撮影した画像からでは、人物の全
身像の輝度情報を得ることができないという問題が起こ
る。例えば、図９（ａ）のようにカメラに対して前に向
いている人物を撮影した場合は、人物の背後が隠蔽され
ていて撮影できない。そのため、図９（ｂ）のように異
なる方向から見た場合に、全身像を表示することができ
ない。この問題を解決するため、画像生成部４０では、
人体モデルを利用した復元手法を用いている。隠蔽部分
を復元する手法としてはいくつかあるが、例として２つ
の手法を説明する。

【００３１】入力画像から得られた輝度情報の利用に
よる復元入力画像から得られた輝度情報を利用する方法として
は、様々なものがあるが、ここでは腕や足などの人体パ
ーツの対称性を利用した方法を述べる。図１０は、入力
された画像中の人体パーツの対称性から輝度情報を補間
する手法を説明するための図である。図１０に示すよう
に、体軸を垂直に切ってみたとき（図１０（ａ）参照）
に、画像から得られた輝度値で点対称の位置にある隠蔽
部分の輝度値を埋める（図１０（ｂ）参照）ことで補間
して全体の輝度値を得る（図１０（ｃ）参照）。このと
きに、点対称の補間では求まらず、隙間になっている箇
所や、部分的に空白になっているところは、近傍の輝度
値を参照して、スプライン補間などの手法で輝度値を補
間する。なお、より高度な手法として、入力画像から洋
服の模様（テクスチャ）を分析して、隠蔽部分に張り付
ける等の補間とすることもできる。

【００３２】ＣＧの生成による復元頭髪のように形状が予測できるものに関してはＣＧで補
間することができる。頭髪の色は、画像中の輝度値を参
照して決定する。図１１はＣＧで頭髪を生成した例を示
す図である。図１１（ａ）は、人体モデルに頭髪を張り
付けたところである。この頭髪に重力をかけるという計
算をすることで、図１１（ｂ）のように頭髪を頭部にフ
ィッティングすることができる。図１１（ｃ）は人物が
歩いた場合の頭髪の動的な変化をシミュレートした例を
示したものである。

【００３３】＜人物画像とＣＧ画像の合成＞画像生成部
４０で行っている、人物とＣＧ画像の合成処理につい
て、以下に詳細に説明する。画像生成部４０では、推定
した人物の３次元姿勢を利用してＣＧ画像を生成するこ
とができるため、入力画像とは異なる衣服ＣＧや頭髪Ｃ
Ｇを人物と合成することも可能である。図１２はＣＧに
よる衣服の例を示す図である。以下に、図１２に示すよ
うな衣服ＣＧを人物と合成する例で説明する。図１２
（ａ）は衣服を生成したところである。この衣服を人体
の３次元モデルに衣服モデルを着せる（重ね合わせ
る）。まず、モデルと衣服画像の衝突計算を行うこと
で、図１２（ａ）で示すような生成した衣服画像から、
人体モデルの形状に合わせた衣服画像を生成する。衣服
と人体モデルの衝突計算は、従来から提案されている手
法を利用する。その結果、図１２（ｂ）のように衣服画
像が人物の３次元形状にフィッティングする。次にフレ
ーム間の人体の動作に合わせて、衣服のダイナミックな
動きをシミュレートする。人体の動作情報は、上述の手
法で推定した値を利用する。また、衣服画像のシミュレ
ーション手法は、従来から提案されている手法を利用す
る。図１２（ｃ）は、歩行動作に合わせて衣服シミュレ
ーションを行った例である。このようにして得られた衣
服モデルと人体モデルを同時にレンダリングすること
で、合成した映像が得られる。図１３は衣服ＣＧを合成
した例を示す図である。図１３（ｂ）は、上記の処理を
行って図１３（ａ）のような入力画像の人物に衣服ＣＧ
を合成した画像を示す図である。

【００３４】＜モデルに基づく人物動画像の編集＞これ
まで説明したように、画像生成部４０では、人物の動作
推定と隠蔽箇所の復元をする手法により、人体の３次元
モデルと、顔、衣服などの人物テクスチャを得ることが
できる。その上、画像生成部４０では、人体モデルの各
関節の角度を変更するだけで、様々な姿勢を持った人物
画像を生成することができる。これについて、以下に詳
しく説明する。

【００３５】（異なる姿勢の生成）図１４は人体モデル
を動かして異なる姿勢に変更した例を示す図である。図
１４（ａ）は、立っている人物画像から得られる人体モ
デルである。このような入力画像から得られる人体モデ
ルの各関節の角度を変更することにより、例えば、左手
を前に突き出したようにした図１４（ｂ）や、左手をあ
げて膝をついているようにした図１４（ｃ）の画像を生
成することができる。図１５は入力画像から得られた人
物の人体モデルの姿勢を変形したものを示す図である。
図１５（ａ）のような人物画像を入力し、この画像から
得た人体モデルの関節の角度を変える。関節の角度を変
えた人体モデルにテクスチャをマッピングし、最終的に
図１５（ｂ）のように異なる姿勢の人物画像に変更でき
る。

【００３６】（動作の物理特性の変更）人体モデルに物
理特性を変更した動きを与えることで、入力画像とは異
なる動きをしている人物動画像を生成することができ
る。動作の物理特性の変更は、人体モデルの質量や慣性
モーメントを変更して、物理シミュレーションを行うこ
とで得られる。例えば、映像中の人物が歩行動作をして
いる場合、歩いている速さを変えたり、重い荷物を持っ
ているような動作に変更することに利用する。

【００３７】（異なる動き情報の当てはめ）人体モデル
の関節角を動かすときに、異なる人物の動きを計測した
結果を当てはめることもできる。例えば、あらかじめマ
リリン・モンローの歩き方を映画の中から計測してお
く。そして、その計測した歩き方を図１５に示すような
入力した女性の映像に対して適用することにより、例え
ばマリリン・モンローの歩き方で動かすことができる。

【００３８】（部分的な人物テクスチャの張り替え）本
手法では、顔、衣服などの人物テクスチャとの対応が取
れているため、顔だけを異なる人物に差し替えるなど
の、画像の構造を利用したビデオ編集を行うことができ
る。以上のように本システムでは、ビデオ映像から人物
画像を生成するため、人物ＣＧを生成するときに一般的
に必要となる複雑な作業を省略して、リアルな人物動画
像を容易に生成することができる。そして、実在する俳
優のビデオ映像から人物ＣＧを生成できるため、例え
ば、映画の制作現場において、危険なスタントシーンを
撮影するときに、主演している俳優が演技をしているよ
うに見せることができる。また、コマーシャルフィルム
（ＣＭ）の撮影において、過去の有名な人物を登場させ
て、他の俳優と競演させることができる。

【００３９】＜その他の実施形態＞（動画像データベース）図１６は本発明を動画像データ
ベースに応用した場合の機能構成を示す図である。図１
の構成と同様であるが、動作推定部２０で人物動画像を
人体の姿勢角と人物テクスチャに分解したデータを格納
しておく蓄積部３６と、蓄積部３６より与えられた条件
に一致するデータを検索して取出し、画像生成部４０に
データを渡す検索部３８を備えている。ビデオ編集にお
いては、より自由度の高い人物画像の編集が望まれてい
る。例えば、既に撮影した映像中の人物を、異なるカメ
ラアングルから見た場合に変更したり、衣服や髪型の変
更、姿勢の変更を行うことができれば、ポスト・プロダ
クションの作業をより効果的に行うことができる。そこ
で本発明を応用して、動画像データベースに映像素材を
蓄積しておき、簡便に検索することで映像素材を再利用
することができる。

【００４０】具体的な実現手段として、本システムの画
像取得部１０からとりこんだ映像を動作推定部２０によ
って動作パラメータと人物テクスチャを求め、それらを
蓄積部３６に蓄積する。一方、検索部３８は「人物が歩
いているシーン」「座っているシーン」等の人物の動作
を利用した検索条件を与え、検索を行い、検索条件に該
当する動作パラメータを取出すことができる。また、本
システムでは、人物テクスチャを分離して蓄積している
ため、「赤い洋服を着た人物が写っているシーン」のよ
うに、画像の構造を検索条件として利用した検索も可能
である。もちろん検索条件に該当する人物テクスチャも
取出すことができる。動画像データベースである蓄積部
３６から検索部３８が取出した動作パラメータと人物テ
クスチャは、画像生成部４０において、カメラアングル
を変更したり、衣服や髪型の変更、姿勢の変更を行うこ
とができる。

【００４１】上述のようにビデオ編集において、既に撮
影した映像中の人物を、異なる視点から見た場合に変更
したり、衣服や髪型の変更、姿勢の変更を行うことがで
きる。そのため、ポスト・プロダクションの作業をより
効果的に行うことができる。なお、これまでに述べたシ
ステムを実施するためのコンピュータ・プログラムを格
納した記録媒体から読み取ることにより、パソコンやワ
ークステーション、複数のコンピュータ・システム上に
本発明のシステムを実装することができる。また、プロ
グラムをインターネットのような通信回線を介して、取
得することにより、本システムをコンピュータ・システ
ムに実装することもできる。

【００４２】

【発明の効果】人体の３次元モデルを利用した動画像処
理の適用により、リアルな人物ＣＧを容易に生成するこ
とができ、ビデオ映像から人物の動作情報と輝度情報を
取得することで、リアルな人物ＣＧを容易に生成するこ
とができる。そのため、ビデオ映像中の人物画像に対し
て、自由な視点位置から見たり、異なる動作に変更する
などの高度な操作を行うことが可能になる。また、人物
のような複雑な被写体に対して、衣服や髪型などＣＧを
合成することができる。さらに、多様な姿勢を持つ人物
画像を、関節角の変更で生成できるため、動画像圧縮の
手段としても利用することができる。

【図面の簡単な説明】

【図１】モデルに基づく人物動画像生成システムの機
能構成を示す図である。

【図２】ビデオ映像に本発明の処理を適用した例を示
す図である。

【図３】ビデオ映像に本発明の処理を適用した例を示
す図である。

【図４】ビデオ映像に本発明の処理を適用した例を示
す図である。

【図５】人体モデルを示す図である。

【図６】カメラ座標系およびワールド座標系と人体モ
デルの関係を示す図である。

【図７】画面上の線分の関係と人体パーツとの関係を
示した図である。

【図８】人体モデルの初期位置を推定するまでの処理
の過程を示す図である。

【図９】撮影位置とは異なる視点位置から画像を見た
例を示す図である。

【図１０】入力された画像中の人体パーツから輝度情
報を補間する手法を示す図である。

【図１１】ＣＧで頭髪を生成した例を示す図である。

【図１２】ＣＧの衣服シミュレーションの例を示す図
である。

【図１３】衣服ＣＧを合成した実験例を示す図であ
る。

【図１４】人体モデルを動かして異なる姿勢に変更し
た例を示す図である。

【図１５】入力画像から得られた人物の人体モデルの
姿勢を変形したものを示す図である。

【図１６】本発明を動画像データベースに応用した場
合の機能構成を示す図である。

【符号の説明】

１０画像取得部２０動作推定部３６蓄積部３８検索部４０画像生成部５０画像表示部３００人体モデル３１０頭部３１５胴体３２２右上腕３２４左上腕３３２右前腕３３４左前腕３４２右腿３４４左腿３５２右膝下３５４左膝下４１０画像面

Claims

【特許請求の範囲】

【請求項１】動画像生成システムであって、２次元動画像を取得する動画像取得手段と、前記取得した２次元動画像内の人物から、人体の３次元
モデルを構成する各オブジェクトの動作パラメータを得
る動作推定手段と、前記２次元動画像内の人物よりオブジェクトのテクスチ
ャ・データを抽出するテクスチャ抽出手段と、前記オブジェクトの動作パラメータを用いて、３次元モ
デルを生成する３次元モデル生成手段と、前記３次元モデルから、視点を設定して２次元の動画像
を生成する画像生成手段とを備えることを特徴とする動
画像生成システム。
【請求項２】請求項１記載の動画像生成システムにおい
て、前記動作推定手段は、前記取得した２次元動画像内の人
物から前記人体の３次元モデルを構成する各オブジェク
トの初期姿勢データを得る手段を有することを特徴とす
る画像生成システム。
【請求項３】請求項１又は２に記載の動画像生成システ
ムにおいて、前記３次元モデル生成手段は、前記動作推定手段で得た
動作パラメータを変更する動作変更手段をさらに備え、
取得した２次元動画像の人物とは異なる動きの動画像を
生成することを特徴とする画像生成システム。
【請求項４】請求項１〜３のいずれかに記載の動画像
生成システムにおいて、前記画像生成手段は、前記生成した新たな３次元モデル
のオブジェクトに対するテクスチャ・データの不足する
部分を、前記抽出したテクスチャ・データより補間して
得ることを特徴とする動画像生成システム。
【請求項５】請求項１〜４のいずれかに記載の画像生
成システムにおいて、前記３次元モデル生成手段は、さらに、前記生成した３
次元モデルに、他のオブジェクトを合成することを特徴
とする動画像生成システム。
【請求項６】請求項１〜５のいずれかに記載の動画像生
成システムをコンピュータ・システムに構成させるコン
ピュータ・プログラム。
【請求項７】請求項６に記載のコンピュータ・プログラ
ムを記録した記録媒体。