JP2004246729A

JP2004246729A - 人物動画像生成システム

Info

Publication number: JP2004246729A
Application number: JP2003037381A
Authority: JP
Inventors: Junichi Hoshino; 准一星野
Original assignee: Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency
Priority date: 2003-02-14
Filing date: 2003-02-14
Publication date: 2004-09-02
Anticipated expiration: 2023-02-14
Also published as: JP4246516B2

Abstract

【課題】ビデオ映像等から生成した人物の３次元モデルを用いた人物動画像生成システムにおいて、ビデオリアリスティックな人物動画像を生成すること。
【解決手段】本発明の人物動画像生成システムでは、従来技術のように、ＣＧ衣服を作成してクロスシミュレーションを行なうのではなく、次のような手法を用いる。すなわち、ビデオ映像から様々な姿勢の衣服画像を切り出してデータベース化し、入力された人物動画像にデータベースの衣服画像を合成して、様々な服装の人物動画像を生成する。
また、本発明では、ヘアスタイルの合成についても同様の手法を用いる。すなわち、ビデオ映像から様々な姿勢のヘアスタイル画像を切り出してデータベース化し、入力された人物動画像にデータベースのヘアスタイル画像を合成して、様々なヘアスタイルの人物動画像を生成する。
【選択図】なし

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオ映像から生成した人物の３次元モデルを用いた、人物動画像生成システムに関する。
【０００２】
【技術的背景】
近年、実写映像とＣＧベースの仮想衣服を合成した映像を与える、仮想ファッションのシステムが提案されている（例えば、非特許文献１〜３）。
仮想衣服の生成方法として、さまざまな手法が提案されている。従来手法の例を図１に示す。図１において、（ｂ）に示すような衣服のＣＧデータを作成し、（ａ）に示す人物の実写映像の３次元動作（３次元姿勢）を推定（例えば、特許文献１の手法による）して、その動作にあわせて、クロスシミュレーションを行なっている。
従来手法により合成された結果の画像は、例えば図１（ｃ）のようになる。
しかし、これらの手法では、利用者の動作に連動した仮想衣服の生成に重点がおかれているため、合成結果がフォトリアル、ビデオリアルに見えるかどうかについてはあまり検討されていなかった。また、ＣＧベースの仮想衣服を生成するために多くの時間や手間を必要とする。そのため、複雑なしわの生成や、複雑な衣服の合成をすることができないという問題や、合成結果が不自然に見えるという問題があった。
また、近年のインターネットの普及と、パーソナルコンピュータの性能の向上により、利用者の体型に合わせた３次元モデルに実写の仮想衣服を着用させ、インターネット経由で商品イメージを提示するサービスなども見られるようになってきた（例えば、非特許文献４〜５）。しかし、一定の姿勢の３次元モデルに仮想衣服を合成するために、実際に利用者が着用した時のイメージがつかみにくいという問題がある。
【０００３】
【特許文献１】
特開２００２−２６９５８０号公報
【非特許文献１】
中野敦，星野准一：”利用者の動作と連動する仮想ファッション”，インタラクション２００２，ｐｐ．２０２−２０８
【非特許文献２】
中野敦，星野准一：”対話型仮想ファッションシステム”，第１７回ＮＩＣＯＧＲＡＰＨ論文集，ｐｐ．１５５−１６０，２００１
【非特許文献３】
星野准一，斉藤啓史：”ビデオ映像とＣＧの合成によるヴァーチャルファッションの実現”，情報処理学会論文誌，Ｖｏｌ．４２，Ｎｏ．５，ｐｐ．１１８２−１１９３，２００１
【非特許文献４】
日本ランズエンド（マイ・バーチャル・モデル）ｈｔｔｐ：／／ｗｗｗ．ｌａｎｄｓｅｎｄ．ｃｏ．ｊｐ／
【非特許文献５】
デジタルファッション株式会社（ＨＡＯＲＥＢＡ）ｈｔｔｐ：／／ｗｗｗ．ｄｒｅｓｓｉｎｇｓｉｍ．ｃｏｍ／
【０００４】
【発明が解決しようとする課題】
本発明は、上記の問題を解決するために、従来のようなＣＧベースの仮想衣服・ヘアスタイルを合成するのではなく、実写ベースの仮想衣服・ヘアスタイルを実写映像中の人物の動作に連動して合成し、リアルな映像を生成する手法を提案するものである。
【０００５】
【課題を解決するための手段】
上記の課題を解決するために、本発明は、人物動画像生成システムであって、衣服画像を３次元姿勢の姿勢パラメータとともに格納した仮想衣服データベースを有し、合成対象の映像中の人物の３次元姿勢を推定する３次元姿勢推定手段と、前記３次元姿勢推定手段により推定した３次元姿勢に対応する衣服画像を前記仮想衣服データベースから選択する衣服画像選択手段と、前記合成対象の映像中の人物に前記衣服画像選択手段により選択した衣服画像を合成する衣服画像合成手段とを備えることを特徴とする人物動画像生成システムである。
この人物動画像生成システムは、さらに、映像中の人物から衣服画像を抽出する衣服画像抽出手段と、前記衣服画像抽出手段により抽出した衣服画像を前記仮想衣服データベースに格納する仮想衣服データベース格納手段とを備え、前記衣服画像抽出手段は、前記映像中の人物の３次元姿勢を推定して人体部分を削除することにより衣服画像を抽出し、前記仮想衣服データベース格納手段は、衣服画像とともに、前記推定した３次元姿勢の姿勢パラメータを格納し、前記衣服画像選択手段は、前記３次元姿勢推定手段により推定した３次元姿勢と一致する姿勢パラメータをもつ衣服画像を選択し、一致する衣服画像がない場合には類似する姿勢パラメータをもつ衣服画像を選択することを特徴とする人物動画像生成システムであってもよい。
また、前記衣服画像合成手段は、前記衣服画像選択手段で類似する姿勢パラメータをもつ衣服画像を選択した場合に、選択した衣服画像を合成対象の映像中の人物の姿勢に合うように調整することを特徴としていてもよい。
前記衣服画像合成手段における前記調整は、衣服画像から衣服の境界を検出し、関節部分を中心に身体部位の回転軸を回転させることにより合成対象の映像中の人物の姿勢に合わせることを特徴としていてもよい。
【０００６】
上記の人物動画像生成システムは、さらに、ヘアスタイル画像を３次元姿勢の姿勢パラメータとともに格納したヘアスタイルデータベースと、合成対象の映像中の人物の頭部の３次元姿勢を推定する頭部３次元姿勢推定手段と、前記頭部３次元姿勢推定手段により推定した頭部の３次元姿勢に対応するヘアスタイル画像を前記ヘアスタイルデータベースから選択するヘアスタイル画像選択手段と、前記合成対象の映像中の人物に前記ヘアスタイル画像選択手段により選択したヘアスタイル画像を合成するヘアスタイル画像合成手段とを備えることを特徴とする人物動画像生成システムであってもよい。
この人物動画像生成システムは、さらに、映像中の人物からヘアスタイル画像を抽出するヘアスタイル画像抽出手段と、前記ヘアスタイル画像抽出手段により抽出したヘアスタイル画像を前記ヘアスタイルデータベースに格納するヘアスタイルデータベース格納手段とを備え、前記ヘアスタイル画像抽出手段は、前記頭部３次元姿勢推定手段を用いて前記映像中の人物の頭部の３次元姿勢を推定し、顔領域を削除することによりヘアスタイル画像を抽出し、前記ヘアスタイルデータベース格納手段は、ヘアスタイル画像とともに、前記推定した頭部の３次元姿勢の姿勢パラメータを格納し、前記ヘアスタイル画像選択手段は、前記頭部３次元姿勢推定手段により推定した３次元姿勢と一致する姿勢パラメータをもつヘアスタイル画像を選択し、一致する衣服画像がない場合には類似する姿勢パラメータをもつヘアスタイル画像を選択することを特徴とする人物動画像生成システムであってもよい。
また、前記頭部３次元姿勢推定手段は、映像中の人物の画像と、頭部の３次元モデルを２次元射影変換したテンプレート画像とをマッチングして顔領域を検出することにより、映像中の人物の頭部の３次元姿勢を推定することを特徴としていてもよい。
また、前記衣服画像合成手段および前記ヘアスタイル画像合成手段は、アルファブレンドにより衣服画像およびヘアスタイル画像の輪郭部分をぼかして自然な輪郭を得た後に合成を行なうことを特徴としていてもよい。
また、上記の人物動画像生成システムをコンピュータシステムに構成させるプログラムも、本発明である。
【０００７】
【発明の実施の形態】
本発明の人物動画像生成システムでは、上述した従来技術の問題点を解決するために、ＣＧ衣服を作成してクロスシミュレーションを行なうのではなく、次のような手法を用いる。すなわち、ビデオ映像から様々な姿勢の衣服画像を切り出してデータベース化し、入力された人物動画像にデータベースの衣服画像を合成して、様々な服装の人物動画像を生成する。
また、本発明の人物動画像生成システムでは、ヘアスタイルの合成についても同様の手法を用いる。すなわち、ビデオ映像から様々な姿勢のヘアスタイル画像を切り出してデータベース化し、入力された人物動画像にデータベースのヘアスタイル画像を合成して、様々なヘアスタイルの人物動画像を生成する。
【０００８】
以降で説明する本発明の実施形態においては、あらかじめテレビカメラにより撮影した人物の映像を入力映像として、人物の動作（各フレームにおける人物の姿勢）に連動した仮想衣服・ヘアスタイルを合成し、表示する人物動画像生成システムを構築する。これにより、映像中の人物の３次元動作（３次元姿勢）に連動して、仮想衣服・ヘアスタイルが動くことにより、合成結果がビデオリアリスティックに見えることを目的としている。
以降、図を参照しながら、本発明の人物動画像生成システムの実施形態を詳細に説明する。
まず、ビデオ映像から様々な姿勢の衣服画像を切り出してデータベース化する処理（仮想衣服データベースの作成）について説明し、次に、入力された人物動画像にデータベースの衣服画像を合成して、様々な服装の人物動画像を生成する（実写映像と衣服画像の合成）について説明する。
【０００９】
＜仮想衣服データベースの作成＞
仮想衣服データベースの作成は、以下に示す処理によって行なう。なお、この処理を図２に示す。各々の処理については後で詳しく説明する。
（１）入力された人物動画像（仮想衣服生成用映像）（Ｓ２０１）を用いて、人物の３次元姿勢を推定する（Ｓ２０２）。
（２）推定した３次元姿勢を利用して、画像中から人体部分を削除し、衣服部分を切り出す（Ｓ２０３）。
（３）映像の各フレームで上記（１）（２）を繰り返すことで様々な姿勢の衣服のデータを取得し、仮想衣服データベースを構築する（Ｓ２０４）。
これにより、入力された人物動画像の３次元姿勢に対応する衣服データを得ることができるようになる。
【００１０】
まず、上記（１）の３次元姿勢の推定について説明する。
実写映像中の人物動作に連動した合成映像を生成するためには、実写映像中の人物の３次元姿勢（３次元動作）を推定する必要がある。本実施形態では、人物の人体幾何モデルに合わせた動力学モデルから得られる関節駆動力を運動情報とし、ビデオ映像上における人体領域のフレーム間輝度値２乗誤差を併用することで、人物の３次元姿勢を推定する。
なお、上記の手法については、例えば上述の特許文献１（特開２００２−２６９５８０号公報）、「中野敦，星野准一：”動力学モデルに基づくビデオモーションキャプチャ”，ＴＶＲＳＪＶｏｌ．７，Ｎｏ．４．２００２」等を参照されたい。
【００１１】
次に、上記（２）の衣服部分を切り出す処理について説明する。
本実施形態では、求められた３次元人体モデルと姿勢パラメータを利用して、実写画像中から衣服部分を切り出し、仮想衣服データベースを作成する。
効率よく衣服画像部分を抽出するために、本実施形態では、例えば背景にブルースクリーンを用い、抽出する衣服以外は青色の布で隠し、背景差分処理を行なう。また、閾値処理には比較的輝度変化にロバストなＨＶＳ表色系のＨ（色相）とＳ（彩度）を利用する。
しかし、背景差分処理だけでは肌色領域や、頭部の領域を削除することができない。本実施形態では、頭部は３次元人体モデルの情報を利用し、首の部分より上部の人体領域を頭部と判断し、削除する。また、肌色領域は色相がほぼ一定であるため、ＨＶＳ基底のＨ（色相）を利用することによって削除する。ＲＧＢ基底からＨＶＳ基底への変換は以下の式を用いる。
【００１２】
【数１】

【数２】

【数３】

【００１３】
図４に、衣服画像の抽出結果を示す。図４において、（ａ）は入力画像であり、（ｂ）は（ａ）から上記の手法を用いて抽出した衣服画像である。
なお、上記の肌色領域の削除処理は従来技術を利用したものである。詳しくは、例えば「松橋聡，藤本研司，中村納，南敏，“顔領域抽出に有効な修正ＨＳＶ表色系の提案”，テレビジョン学会誌，ｖｏｌ．４９，ｎｏ．６，ｐｐ．７８７−７９７，１９９５」などを参照されたい。
【００１４】
最後に、上記（３）の仮想衣服データベースの構築について説明する。
上記の（１）（２）の処理を実写映像のフレームごとに行ない、画像中から衣服画像を抽出する。この衣服画像と、３次元人体モデルの姿勢パラメータとを対応付けて、仮想衣服データベースを構築する。
【００１５】
＜実写映像と衣服画像の合成＞
実写映像と衣服画像の合成は、以下に示す処理によって行なう。なお、この処理を図３に示す。各々の処理については後で詳しく説明する。
（１）入力された人物動画像（合成対象の人物の映像）（Ｓ３０１）を用いて、人物の３次元姿勢を推定する（Ｓ３０２）。
（２）推定した３次元姿勢を利用して、仮想衣服データベースから一致する姿勢、または類似する姿勢の衣服データを参照する（Ｓ３０３）。
（３）入力画像の人物の姿勢に一致する姿勢の衣服データがない場合、類似する姿勢の衣服データを、入力映像の姿勢に合うように調整する（Ｓ３０４）。
（４）調整した衣服画像と実写映像中の人物を合成し（Ｓ３０５）、生成した画像を出力する（Ｓ３０６）。
（５）入力映像の各フレームで上記（１）〜（４）を繰り返し行なうことで、実写映像と衣服画像の合成を行なう。
【００１６】
まず、上記（１）の３次元位置・姿勢の推定については、上述で説明した＜仮想衣服データベースの作成＞と同様の手法で推定を行なう。本実施形態ではこの手法により推定した３次元姿勢に合わせて、実写ベースの仮想衣服を合成する。
【００１７】
次に、上記（２）の衣服データの参照について説明する。
上述の＜仮想衣服データベースの作成＞で説明したように、画像中から抽出した衣服画像は、３次元人体モデルの姿勢パラメータと対応付けて、仮想衣服データベースに格納されている。このため、上記（１）で推定した３次元姿勢を利用して、仮想衣服データベースから一致する姿勢、または類似する姿勢の衣服データを参照することができる。
【００１８】
次に、上記（３）の衣服データの調整、および（４）の衣服画像と実写映像中の人物との合成について説明する。
本実施形態では、入力画像中の人物の姿勢と同じ姿勢の衣服データがない場合、類似した姿勢の衣服データを調整し、姿勢を一致させる必要がある。本実施形態では、次の手順で類似した姿勢の衣服データから袖部分を切り出し、２次元的に変形させることで、入力画像中の人物の姿勢と一致した衣服データを生成する。これは、次のような処理により行なわれる。
１．衣服の袖を切り出すために、袖の境界を求める。
２．入力画像中の人物の姿勢と一致するように、切り出した袖の部分を、腕の回転軸を中心に回転させる。
３．回転によって生じるオクルージョン領域の補間を行なう。
４．アルファマップを用いて境界部分をぼかし、合成する。
なお、本実施形態では袖（腕）の部分の調整を例として説明しているが、他の部分についても同様の手法で衣服データを調整することができる。この場合、腕以外の身体部位（例えば脚など）に対応する衣服の境界を検出し、上記の腕の回転と同様に、関節部分を中心に身体部位の関節回転軸を回転させることにより合成対象の映像中の人物の姿勢に合わせることができる。
【００１９】
（１．袖の境界の検出）
画像中から袖の領域を検出するためには、衣服のモデルを作成し対応する領域を求めることが考えられる。しかし、衣服の種類ごとにモデルを作成しなければならず、ＣＧの仮想衣服と同様に、複雑な形状のモデルを作ることが困難である。
代表的な領域分割手法には、クラスタリングによる手法、ヒストグラム解析を用いた閾値領域による手法、領域成長法などがある。しかし、本実施形態で扱う衣服画像の場合、境界が明確にわからない場合が多いため、推定した３次元姿勢（動作）の結果から得られたおおよその両腕の領域を考慮に入れ、袖の境界を検出する。
袖の境界は、多くの場合明度が低くなる傾向がある。得られた両腕の領域付近で、境界線の滑らかさを考慮に入れ、明度が低い（暗い）画素を探索する。探索には、従来技術であるＳｎａｋｅｓのアルゴリズムを取り入れ、下記の式によりエネルギーを計算し、最小になる画素を境界とする。
【数４】

【００２０】
ただし、３次元モデルから得られた対象領域（腕領域）をＳｎａｋｅｓの初期輪郭とする。また、Ｖは対象画素の明度を表し、ａｅｎｅ、ｂｅｎｅはそれぞれ連続する点の座標の１次グラディエントの２乗、２次グラディエントの２乗を表す。ｄｉｆは３次元モデルから得られた対象領域の輪郭からの距離とする。
上記の手法により袖の境界を検出した様子を図５に示す。図５において、（ａ）は入力画像、（ｂ）は検出した袖の境界を示す。５１０で示された線は３次元モデルから得られた境界、５２０で示された線は検出された境界（ＡｃｔｕａｌＢｏｕｎｄａｒｙ）である。
【００２１】
（２．袖の回転）
入力画像中の人物の姿勢と一致するように、切り出した袖の部分を腕の回転軸を中心に回転させ、姿勢を変化させる。回転軸の画像中の座標は、３次元モデルを使った３次元姿勢（動作）の推定により求められる座標を利用した。
本実施形態では類似した姿勢からのみ姿勢の変形を行なうことを前提とし、変換に関し奥行き情報は無視できるくらい小さいと仮定する。回転後の各画素のｘ，ｙ座標ｘ’，ｙ’を、逆アフィン変換を用いて以下の式により計算する
【数５】

ただし、ｘ_０，ｙ_０は回転の中心のｘ，ｙ座標、ｘ，ｙは変換前のｘ，ｙ座標、θは半時計回りの回転角とする。
【００２２】
（３．オクルージョン領域の補間）
袖の部分を切り出し、姿勢を変更すると、袖に隠れていた部分などのオクルージョン領域（隠蔽領域）の補間が必要となる場合がある。本実施形態では、衣服の３次元モデルがないため正確な補間領域を知ることはできない。また、画像中の隠蔽領域の補間方法としては様々な手法が提案されているが、あらかじめ画像の特徴をデータベース化するなど、前処理をする必要があるため、動画像に適用する場合には多くの処理時間を必要とする。
本実施形態ではできるだけ簡便で汎用的な手法が望ましいため、例えば、３次元人体モデルの輪郭と、隠蔽領域の近傍の画素を利用して補間を行なうものとする。画像中を水平方向に走査し、補間すべき画素を調べ、補間領域の両側に衣服領域が存在する場合は、以下の式で線形補間を行なう。
【数６】

ただし、［ｘ，ｙ］は補間する対象画素のＲＧＢ値、［ｘ_ｌ，ｙ］は補間領域の左端画素のＲＧＢ値、［ｘ_ｒ，ｙ］は補間領域の右端画素のＲＧＢ値、ｐは補間領域の水平方向の距離を１で正規化した時の、補間領域の左端からの距離とする。
また、片側のみに衣服領域が存在する場合は、補間領域の近傍の画素を、３次元人体モデルの輪郭に合わせるようにサイズ変換することで補間する。
【００２３】
（４．アルファマップの作成）
単純に袖部分を回転した画像を合成する場合、輪郭部分の色の変化に連続性がないため不自然に見える。そこで本実施形態ではアルファブレンドの手法を利用して、境界線を自然に見えるようにする。この手法では、袖の境界（ＡｃｔｕａｌＢｏｕｎｄａｒｙ）を境にアルファ値（透明度）を変化させたアルファマップを作成し、衣服から袖の部分を切り出して合成する。
アルファマップを図６に示す。図６において、線６１０はＡｃｔｕａｌＢｏｕｎｄａｒｙを、６２０は衣服領域を、６３０は衣服領域外を示している。衣服領域６２０はアルファ値を２５５（不透明）にし、衣服領域外６３０では、ＡｃｔｕａｌＢｏｕｎｄａｒｙ６１０から遠ざかるほど、アルファ値を０（透明）に近づける。
なお、アルファブレンドには以下の式を用いた。
【数７】

ただし、［ｘ’，ｙ’］はアルファブレンド後の対象画素のＲＢＧ値、［ｘ_１，ｙ_１］は重ねる画素のＲＢＧ値、［ｘ_０，ｙ_０］は元の画素のＲＢＧ値、αは対象画素のアルファ値とする。
上述した（１．袖の境界の検出）〜（４．アルファマップの作成）の手法により姿勢を調整した衣服画像を、図７に示す。図７において、（ａ）は入力画像を、（ｂ）は入力画像に類似する姿勢の衣服画像、（ｃ）は（ａ）の入力画像の人物に合わせて姿勢を調整した衣服画像である。
【００２４】
（５．３次元での仮想衣服の生成）
上述した２次元での仮想衣服の生成では、衣服の３次元モデルがないため、オクルージョン領域の正確な補間ができなかった。また、ｚ軸方向への姿勢の変化を考慮に入れた、仮想衣服の姿勢の微調整を行うことができなかった。以降、この問題を解決するために、簡単な衣服の３次元モデルを作り仮想衣服の姿勢を微調整する手法を説明する。
正確な衣服のモデルを作成するのは、多くの時間や手間がかかる。また、姿勢（動作）に連動した正確な衣服シミュレーションを行うことも非現実的である。本実施形態では、衣服領域を知ることを目的として、図８（ｂ）のような簡単な衣服の３次元モデルを手動で作成した。
本実施形態では以下の処理を行うことで、入力映像中の人物の姿勢に合った仮想衣服を生成する。
【００２５】
まず、次式で類似した仮想衣服画像の各点の３次元座標と入力画像の各点の３次元座標との対応をとる。
【数８】

ただし、
Ｐ_３Ｄ：入力画像中の人物の、身体部分の腰からの３次元ローカル座標
Ｍ：入力画像中の人物姿勢の腰からの変換行列
Ｒ：入力画像中の人物の、腰のグローバル座標
Ｐ’_３Ｄ：類似姿勢仮想衣服の、身体部分の腰からの３次元ローカル座標
Ｍ’：類似姿勢仮想衣服の腰からの変換行列
Ｒ’：類似姿勢仮想衣服の腰からのグローバル座標
とする。
【００２６】
次に、次式で各点の３次元座標を画面上の２次元座標に変換し、各画素の対応をとる。
【数９】

【数１０】

ただし、
Ｐ_２Ｄ：Ｐ_３Ｄを２次元の画像平面に射影した座標
Ｉ：３次元空間の座標を画像平面上の座標に変換するための行列
Ｐ’_２Ｄ：Ｐ’_３Ｄを２次元の画像平面に射影した座標
Ｉ’：３次元空間の座標を画像平面上の座標に変換するための行列
とする。
【００２７】
これにより、類似姿勢の仮想衣服の各画素と、入力映像中の各画素との対応がとれ、衣服の３次元モデル上の領域に仮想衣服の画素をコピーすることで、入力映像中の人物の姿勢にあわせることができる。
図８に、上記の手法による、３次元モデルを用いた仮想衣服の調整を示す。図８において、（ａ）は入力画像を、（ｂ）は衣服の３次元モデルを、（ｃ）は上記の手法により入力画像の人物と衣服モデルを重ね合わせた画像である。
【００２８】
次に、本実施形態におけるヘアスタイルの合成について説明する。
上述の従来技術による、３次元人体モデルを利用した動作推定の場合、正確な頭部の向きを得ることができない。そのため、ヘアスタイルを実写映像に正確に合成することが難しい。そこで、本実施形態では顔面の３次元モデルを用いて頭部の位置・姿勢を推定し、ヘアスタイルや帽子を合成する手法を提案する。
本実施形態では、例えばミノルタ（株）のレーザーレンジファインダ（非接触３次元デジタイザＶＩＶＩＤ３００）により距離計測を行い、人物の正面を向いた顔の３次元モデルを作成し、同時に顔のテクスチャ画像を得る。レーザーレンジファインダを用いて、顔の３次元距離を測定し、シェーディングを行った。また、３次元モデルの傾きの正規化を行うことで、ＸＹＺ軸回転の角度を複数３次元モデル間で統一して表現する。レーザーレンジファインダにより計測した顔の３次元モデルを、鼻の下の位置を用いてＸＹＺ軸周りの傾きを図９に示すように正規化した。
図９は顔の３次元モデルを示している。図９において、（ａ）は本実施形態で扱う座標系を示す。また、（ｂ）〜（ｄ）は、それぞれＸ軸、Ｙ軸、Ｚ軸周りの傾きを正規化した顔の３次元モデルである。
以降、この３次元モデルを２次元射影変換して生成した画像を「テンプレート画像」と呼ぶ。
【００２９】
上述したように、本実施形態におけるヘアスタイルの合成は、まず、ビデオ映像から様々な姿勢のヘアスタイル画像を切り出してデータベース化し（ヘアスタイルデータベースの作成）、入力された人物動画像にデータベースのヘアスタイル画像を合成して、様々なヘアスタイルの人物動画像を生成する（実写映像とヘアスタイル画像の合成）。以降、これらの処理を詳細に説明する。
【００３０】
＜ヘアスタイルデータベースの作成＞
ヘアスタイルデータベースの作成は、以下に示す処理によって行なう。なお、この処理を図１０に示す。各々の処理については後で詳しく説明する。
（１）入力された人物動画像（仮想ヘアスタイル作成用映像）（Ｓ１００１）を用いて、頭部の３次元位置・姿勢を推定する（Ｓ１００２）。
（２）推定した３次元姿勢を利用して、画像中から髪の部分を切り出す（Ｓ１００３）。
（３）映像の各フレームで上記（１）（２）を繰り返すことで様々な姿勢のヘアスタイルのデータを取得し、ヘアスタイルデータベースを構築する（Ｓ１００４）。
これにより、入力された人物動画像の頭部の３次元姿勢に対応するヘアスタイルデータを得ることができるようになる。
【００３１】
まず、上記（１）の３次元姿勢の推定について説明する。
頭部の３次元位置・姿勢の推定方法として、従来、目や口などの顔の幾何学的特徴点を利用したものや、対象物体のモデルと入力画像との照合による推定方法などが提案されている。しかし、幾何学的特徴を抽出する際には画像に含まれるノイズ等の影響が大きく、特徴の対応づけを行う際に誤りを含んでしまう可能性がある。また、モデルを使った照合では、光源の位置や種類、物体の表面反射係数の影響が複雑となるために、モデルからの対象物体の濃淡画像を忠実に生成することが困難となるなどの問題がある。
そこで本実施形態では、正規化相関を用いたパターンマッチングを行い、入力画像とテンプレート画像との相関度を評価し、顔の位置・姿勢を推定する。正規化相関は、対応する画素値の平均と標準偏差によって正規化された絶対測度であり、照明変動などの外乱による影響を受けにくい評価尺度として知られている。
また、本実施形態では、テンプレート画像（３次元モデルから逐次生成される濃淡画像）をｔ_ｎ（ｎ＝０，…，Ｎ−１）、探索対象画像（入力映像から得られる濃淡画像）をＦ_ｎ（ｎ＝０，…，Ｎ−１）、探索対象画像における参照位置の、テンプレート画像と同サイズとなる部分画像をｆ_ｎ（ｎ＝０，…，Ｎ−１）と表す。
【００３２】
このとき、テンプレート画像ｔ_ｎ（ｎ＝０，…，Ｎ−１）と部分画像ｆ_ｎ（ｎ＝０，…，Ｎ−１）との正規化相関は次式で与えられる。なお、Ｒは相関値である。
【数１１】

ただし、
【数１２】

【数１３】

【００３３】
複雑な条件下でマッチングを行う場合、顔パターンに類似した非顔領域の誤検出や、探索するパラメータの数が多くなるなどの問題が生じる可能性がある。本実施形態では処理を高速・安定化するため、撮影時の条件として、
・処理の始めは正面を向いている。
・シーン中には、背景を除き人物以外の物体は存在しない。
・顔の回転はｘ軸回転のみ、またはｙ軸回転のみとする。
・ｚ軸方向（奥行き）の変化はほぼない。
という制約を加える。ここで用いた前提条件は常に満たされると限らないが、利用される状況の大部分はカバーしており実用上さほど問題にはならない。
【００３４】
以下、本実施形態で行う頭部の位置・姿勢の推定手法を示す。図１２は、本実施形態で行う頭部の位置・姿勢の推定処理の流れを示したフローチャートである。
（ａ）まず、初期化処理として、入力画像の顔領域の大きさとテンプレート画像の縮尺を合わせる（図１２のＳ１２０２〜Ｓ１２０７の処理）。
１２０１は、入力する顔の３次元モデルである。正面を向いたフレーム画像を入力し（Ｓ１２０２）、これに対して、３次元モデルを２次元射影変換して生成したテンプレート画像を数段階にスケール変化させてマッチングを行う。
マッチングは、まず３次元モデル１２０１のｚ軸の奥行きを変化させ（Ｓ１２０３）、２次元射影変換を行なってテンプレート画像を生成し（Ｓ１２０４）、マッチングを行なう（Ｓ１２０５）。次に、上述した式により最大のＲ（相関値）を計算する。Ｒが最大値となった場合（Ｓ１２０７でＹｅｓの場合）に、上記Ｓ１２０３のｚ軸の奥行きを、最も相関が高いスケールであると判断して、このスケール（１２０８）を以後の処理に採用する。Ｒが最大でない場合（Ｓ１２０７でＮｏの場合）は、再びｚ軸の奥行きを変化させる処理（Ｓ１２０３）から繰り返す。
【００３５】
（ｂ）次に、３次元モデルの姿勢を逐次変化させて生成したテンプレート画像と入力画像とを比較して、入力画像（フレーム画像）の頭部の姿勢を求める（図１２のＳ１２０９〜Ｓ１２１４の処理）。
まず、３次元モデルのｘ軸、ｙ軸回りの回転角度を変化させ（Ｓ１２０９）、２次元射影変換を行なってテンプレート画像を生成する（Ｓ１２１０）。生成したテンプレート画像を入力画像全体に走査してマッチングを行ない（Ｓ１２１１）、各場所での類似度を逐次求め、局所最大かつ、閾値以上の箇所を検出し相関値Ｒを求める（Ｓ１２１２）。これらの処理をＲが最大値となるまで繰り返し（Ｓ１２１３）、様々な姿勢から得られるテンプレート画像の中で最も相関が高い姿勢を入力画像の頭部の姿勢（１２１４）とする。
（ｃ）入力映像の各フレーム画像で（ｂ）を繰り返し行う（Ｓ１２１５）。
なお、本実施形態では、入力画像とテンプレート画像を５０％に縮小し処理を行った。また、テンプレート画像を作成する角度は前フレームで推定した顔の角度の、−２０〜＋２０度の範囲で刻み幅１度で行った。これにより、処理を大幅に高速化できるとともに、画像上の雑音成分を除去することができる。
【００３６】
（推定姿勢の補正）
動画像の場合には瞬きなどの動作があり、上述の３次元位置・姿勢の推定手法では、部分的に誤検出をする場合がある。その結果、頭部の推定した回転角が連続的に変化しないという問題が発生する。
そのような問題を解決するために、従来、更新型のテンプレートマッチングを併用した手法も提案されている。しかし、本実施形態でこの従来手法を用いると、あらかじめ計測した顔の３次元モデルからテンプレートを作成するため、いくつもの３次元モデルを用意し逐次レンダリングする必要があり非効率的である。
そこで本実施形態では、上述の３次元位置・姿勢の推定手法で推定した頭部の回転角度をＳｎａｋｅｓのアルゴリズムと移動平均フィルタを併用することで、例外点を取り除き、推定した回転角度を連続的に変化させる。
図１３に正面を向いている状態から、右を向き、さらに左を向いて、正面を向いた入力映像に対して、頭部の姿勢の推定を行った結果を破線で示す。また、補正後の回転角度の様子を実線で示す。本手法によって、より自然な頭部の姿勢の推定が可能となっていることがわかる。
【００３７】
次に、上記（２）の髪の部分を切り出す処理について説明する。
本実施形態では、画像中から髪領域のみを抽出するために、ヘアスタイル抽出用のマスクを生成する。まず、髪領域の雑音成分を削減するために平滑化を行う。次に、背景差分法により人物領域と背景領域を分離し、頭部の位置・姿勢の推定で照合したテンプレート領域を削除する。最後に、髪領域の明度が肌色領域に比較して低いことを利用し、明度を用いて人物領域を肌領域と髪領域に分ける。
本実施形態の手法により髪の部分（ヘアスタイル）を切り出した様子を、図１４に示す。
図１４において、（ａ）は入力画像である。（ａ）から平滑化を行い、背景領域とテンプレート画像が重なっている領域を削除した結果を（ｂ）に、明度差による髪領域の抽出を行った結果を（ｃ）に示す。（ｄ）は最終的に得られたヘアスタイル画像である。合成時には、上述したアルファマップの手法を用いて境界部分をぼかす。
【００３８】
最後に、上記（３）のヘアスタイルデータベースの構築について説明する。
上記の（１）（２）の処理を実写映像のフレームごとに行ない、画像中からヘアスタイル画像を抽出する。このヘアスタイル画像と、３次元人体モデルの姿勢パラメータとを対応付けて、ヘアスタイルデータベースを構築する。
【００３９】
＜実写映像とヘアスタイル画像の合成＞
実写映像とヘアスタイル画像の合成は、以下に示す処理によって行なう。なお、この処理を図１１に示す。各々の処理については後で詳しく説明する。
（１）入力された人物動画像（合成対象の人物の入力映像）（Ｓ１１０１）を用いて、人物の頭部の３次元位置・姿勢を推定する（Ｓ１１０２）。
（２）推定した３次元姿勢を利用して、ヘアスタイルデータベースから一致する姿勢、または類似する姿勢のヘアスタイルデータを参照する（Ｓ１１０３）。
（３）検索したヘアスタイル画像を調整し（Ｓ１１０４）、実写映像中の人物と合成する（Ｓ１１０５）。最後に、生成された画像を出力する（Ｓ１１０６）。
（４）入力映像の各フレームで上記（１）〜（３）を繰り返し行なうことで、実写映像とヘアスタイル画像の合成を行なう。
【００４０】
まず、上記（１）の３次元位置・姿勢の推定については、上述で説明した＜ヘアスタイルデータベースの作成＞と同様の手法で推定を行なう。
【００４１】
次に、上記（２）のヘアスタイルデータの参照について説明する。
上述の＜ヘアスタイルデータベースの作成＞で説明したように、画像中から抽出したヘアスタイル画像は、３次元人体モデルの姿勢パラメータと対応付けて、ヘアスタイルデータベースに格納されている。このため、上記（１）で推定した３次元姿勢を利用して、ヘアスタイルデータベースから一致する姿勢、または類似する姿勢のヘアスタイルデータを参照することができる。
【００４２】
次に、上記（３）の実写映像とヘアスタイル画像との合成について説明する。
入力画像にヘアスタイルを合成する場合、合成する位置を入力画像中の人物の髪領域部に合わせる必要がある。本実施形態では、入力画像中のおおまかな髪領域をテンプレート画像がマッチングした座標を利用して指定し、初期条件として、入力映像中の頭部のサイズにあうように、手動で仮想ヘアスタイルのサイズ調整を行い、合成を行なっている。
【００４３】
＜実施例＞
ここでは、ビデオ映像から人物の３次元姿勢（動作）の推定を行い、仮想衣服・ヘアスタイルの合成を行った例を説明する。
図１５は、歩いている人物に仮想衣服を合成した結果を示す。図１５において、（ａ）は入力画像、（ｂ）は３次元姿勢の推定結果である。（ｃ）は人物の姿勢に合わせて仮想衣服画像を生成したところである。（ｄ）は（ｃ）の仮想衣服画像を（ａ）の入力画像に合成した結果である。
同様に、人物の頭部の姿勢に合わせてヘアスタイルを合成した結果を図１６に示す。図１６において、（ａ）は入力画像、（ｂ）は３次元姿勢の推定結果である。（ｃ）は人物の姿勢に合わせてヘアスタイル画像を生成したところである。（ｄ）は（ｃ）のヘアスタイル画像を（ａ）の入力画像に合成した結果である。
本実施例によれば、図１５、図１６に示すように、人物の姿勢（動作）に連動した仮想衣服・ヘアスタイルの合成が可能になっている。
【００４４】
【発明の効果】
本発明によれば、従来のＣＧベースの仮想衣服・ヘアスタイルではなく、人物の姿勢（動作）に連動した実写ベースの仮想衣服・ヘアスタイルを生成・合成する手法により、ビデオリアリスティックな合成結果を得ることができる。
【図面の簡単な説明】
【図１】従来技術を用いた仮想衣服と人物との合成を示した図である。
【図２】仮想衣服データベースの作成処理を示すフローチャートである。
【図３】実写映像と衣服画像の合成処理を示すフローチャートである。
【図４】本実施形態の手法による衣服画像の抽出結果を示す図である。
【図５】本実施形態の手法による袖の境界の検出結果を示す図である。
【図６】本実施形態で用いるアルファマップを示した図である。
【図７】本実施形態の手法により姿勢を調整した衣服画像を示す図である。
【図８】本実施形態の手法により３次元モデルを用いて調整した衣服画像を示す図である。
【図９】本実施形態の手法によりＸ軸、Ｙ軸、Ｚ軸周りの傾きを正規化した顔の３次元モデルを示す図である。
【図１０】ヘアスタイルデータベースの作成処理を示すフローチャートである。
【図１１】実写映像とヘアスタイル画像の合成処理を示すフローチャートである。
【図１２】頭部の３次元位置・姿勢の推定処理の流れを示したフローチャートである。
【図１３】本実施形態の手法による推定姿勢の補正結果を示す図である。
【図１４】本実施形態の手法によるヘアスタイルの抽出結果を示す図である。
【図１５】歩いている人物に仮想衣服を合成した実施例を示す図である。
【図１６】人物の頭部の動きに合わせてヘアスタイルを合成した実施例を示す図である。

Claims

人物動画像生成システムであって、
衣服画像を３次元姿勢の姿勢パラメータとともに格納した仮想衣服データベースを有し、
合成対象の映像中の人物の３次元姿勢を推定する３次元姿勢推定手段と、
前記３次元姿勢推定手段により推定した３次元姿勢に対応する衣服画像を前記仮想衣服データベースから選択する衣服画像選択手段と、
前記合成対象の映像中の人物に前記衣服画像選択手段により選択した衣服画像を合成する衣服画像合成手段と
を備えることを特徴とする人物動画像生成システム。
請求項１に記載の人物動画像生成システムにおいて、さらに、
映像中の人物から衣服画像を抽出する衣服画像抽出手段と、
前記衣服画像抽出手段により抽出した衣服画像を前記仮想衣服データベースに格納する仮想衣服データベース格納手段とを備え、
前記衣服画像抽出手段は、前記映像中の人物の３次元姿勢を推定して人体部分を削除することにより衣服画像を抽出し、
前記仮想衣服データベース格納手段は、衣服画像とともに、前記推定した３次元姿勢の姿勢パラメータを格納し、
前記衣服画像選択手段は、前記３次元姿勢推定手段により推定した３次元姿勢と一致する姿勢パラメータをもつ衣服画像を選択し、一致する衣服画像がない場合には類似する姿勢パラメータをもつ衣服画像を選択すること
を特徴とする人物動画像生成システム。
請求項１又は２に記載の人物動画像生成システムにおいて、
前記衣服画像合成手段は、前記衣服画像選択手段で類似する姿勢パラメータをもつ衣服画像を選択した場合に、選択した衣服画像を合成対象の映像中の人物の姿勢に合うように調整すること
を特徴とする人物動画像生成システム。
請求項３に記載の人物動画像生成システムにおいて、
前記衣服画像合成手段における前記調整は、衣服画像から衣服の境界を検出し、関節部分を中心に身体部位の回転軸を回転させることにより合成対象の映像中の人物の姿勢に合わせること
を特徴とする人物動画像生成システム。
請求項１〜４のいずれかに記載の人物動画像生成システムにおいて、さらに、
ヘアスタイル画像を３次元姿勢の姿勢パラメータとともに格納したヘアスタイルデータベースと、
合成対象の映像中の人物の頭部の３次元姿勢を推定する頭部３次元姿勢推定手段と、
前記頭部３次元姿勢推定手段により推定した頭部の３次元姿勢に対応するヘアスタイル画像を前記ヘアスタイルデータベースから選択するヘアスタイル画像選択手段と、
前記合成対象の映像中の人物に前記ヘアスタイル画像選択手段により選択したヘアスタイル画像を合成するヘアスタイル画像合成手段と
を備えることを特徴とする人物動画像生成システム。
請求項５に記載の人物動画像生成システムにおいて、さらに、
映像中の人物からヘアスタイル画像を抽出するヘアスタイル画像抽出手段と、
前記ヘアスタイル画像抽出手段により抽出したヘアスタイル画像を前記ヘアスタイルデータベースに格納するヘアスタイルデータベース格納手段とを備え、
前記ヘアスタイル画像抽出手段は、前記頭部３次元姿勢推定手段を用いて前記映像中の人物の頭部の３次元姿勢を推定し、顔領域を削除することによりヘアスタイル画像を抽出し、
前記ヘアスタイルデータベース格納手段は、ヘアスタイル画像とともに、前記推定した頭部の３次元姿勢の姿勢パラメータを格納し、
前記ヘアスタイル画像選択手段は、前記頭部３次元姿勢推定手段により推定した３次元姿勢と一致する姿勢パラメータをもつヘアスタイル画像を選択し、一致する衣服画像がない場合には類似する姿勢パラメータをもつヘアスタイル画像を選択すること
を特徴とする人物動画像生成システム。
請求項５又は６のいずれかに記載の人物動画像生成システムにおいて、
前記頭部３次元姿勢推定手段は、映像中の人物の画像と、頭部の３次元モデルを２次元射影変換したテンプレート画像とをマッチングして顔領域を検出することにより、映像中の人物の頭部の３次元姿勢を推定すること
を特徴とする人物動画像生成システム。
請求項１〜７のいずれかに記載の人物動画像生成システムにおいて、
前記衣服画像合成手段および前記ヘアスタイル画像合成手段は、
アルファブレンドにより衣服画像およびヘアスタイル画像の輪郭部分をぼかして自然な輪郭を得た後に合成を行なうこと
を特徴とする人物動画像生成システム。
請求項１〜８のいずれかに記載された人物動画像生成システムをコンピュータシステムに構成させるプログラム。