JP2003006670A - ３次元像生成装置およびその方法 - Google Patents

Abstract

(57)【要約】 【課題】 簡易な入力手段を用いて、被写体の映像入
力、３次元像生成および表示処理を、リアルタイムかつ
簡易に操作できる３次元像生成装置を提供する。 【解決手段】 被写体（体験者）２０３の背後に、被写
体と同じくらいの大きさのライトボックス２０１を設置
し、被写体前方から弱い照明２０５を当てて体験者２０
３をビデオカメラ２０４で撮影する。次いで、人体のパ
ーツの２次元画像を生成し、コンピュータグラフィック
スなどで作成した３次元モデルにマッピングし、該合成
画像をビデオプロジェクターでスクリーンに投影する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、３次元像生成装置
およびその方法に関し、より詳細には、実空間内の対象
物をビデオカメラで撮影し、その撮影された対象物に対
する３次元モデルを仮想空間内に生成し、さらに３次元
を構成するパーツごとのテクスチャーをマッピングする
ことにより、仮想空間において対象物の像をリアルに再
現する３次元像生成装置およびその方法に関する。

【０００２】

【従来の技術】３次元像生成装置を使用して人物等の対
象物を認識し、人体パーツなどの実画像を入力する従来
の手法では、カラー３次元デジタイザなどを使用して対
象物の周囲を回転しながらレーザ光線を照射し、人物の
各人体パーツの距離情報および色彩情報の双方を３次元
像生成装置に入力する。３次元像生成装置は、このよう
にして入力された情報に基づいて、人体パーツを形成す
ることができる。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
た従来の手法では、人体パーツごとに、１つ１つ入力が
行なわれるため、パーツの入力に要する時間も大幅にか
かり、瞬時に人物の全体像を生成する実時間表示には適
していないという問題があった。

【０００４】また、従来の手法で使用されるデジタイザ
は、主に回転体に近い（中心軸を持つ）パーツの入力に
は適しているが、手や指のような回転体とはいえない人
体パーツの入力には適さない。このようなデジタイザを
使用する場合の不具合を回避するため、手や指等の３次
元モデリングはビデオカメラを用いて行なわれる。この
ビデオカメラを使用した３次元モデリングでは、通常全
身を１度に撮影し、パーツごとのテクスチャー画像を生
成する。しかしながら、このような手法では、対象者が
人物である場合、その人物に特定の動作や姿勢を強要し
たり、接触する必要があるため、望ましい手法とはいえ
ないという問題があった。

【０００５】本発明は、このような問題に鑑みてなされ
たものであり、その目的とするところは、特別なスタジ
オ設備やカラー３次元デジタイザのような高価な入力機
器を使わなくても、ビデオカメラ等の簡易な入力手段を
用いて、被写体の映像入力、３次元像生成および表示処
理を、リアルタイムかつ簡易に操作できる３次元像生成
装置およびその方法を提供することにある。

【０００６】

【課題を解決するための手段】上記目的を達成するた
め、請求項１に記載の発明は、３次元像生成装置であっ
て、被写体の画像を撮像する撮像手段と、該撮像手段に
より撮像された被写体の画像に基づいて、前記被写体を
構成する各パーツのテクスチャを認識する認識手段と、
前記撮像手段により撮像された被写体に対応する３次元
モデルを仮想空間内に生成する生成手段と、前記認識手
段により認識された各パーツのテクスチャを前記生成手
段により生成された３次元モデルにマッピングするマッ
ピング手段とを備えたことを特徴とする。

【０００７】また、請求項２に記載の発明は、請求項１
に記載の３次元像生成装置において、前記認識手段は、
前記撮像手段により撮像された画像に基づいて前記各パ
ーツの位置を推定し、該推定された各パーツの位置を特
徴付ける座標値を算出することを特徴とする。

【０００８】また、請求項３に記載の発明は、請求項２
に記載の３次元像生成装置において、前記生成手段は、
前記算出手段により算出された座標値に基づいて前記各
パーツの形状を生成することを特徴とする。

【０００９】また、請求項４に記載の発明は、請求項１
〜３のいずれかに記載の３次元像生成装置において、前
記被写体の画像は、２次元画像であることを特徴とす
る。

【００１０】また、請求項５に記載の発明は、請求項１
〜４のいずれかに記載の３次元像生成装置において、前
記被写体は人体であり、前記パーツは顔、手、足及び胴
体のいずれかを含むことを特徴とする。

【００１１】また、請求項６に記載の発明は、３次元像
生成装置を用いて被写体の像を生成する３次元像生成方
法であって、前記被写体の画像を撮像し、該撮像された
被写体の画像に基づいて、前記被写体を構成する各パー
ツのテクスチャを認識し、前記撮像された被写体に対応
する３次元モデルを仮想空間内に生成し、前記認識され
た各パーツのテクスチャを前記生成された３次元モデル
にマッピングすることを特徴とする。

【００１２】また、請求項７に記載の発明は、請求項６
に記載の３次元像生成方法において、前記各パーツを認
識する際に、前記撮像された画像に基づいて前記各パー
ツの位置を推定し、該推定された各パーツの位置を特徴
付ける座標値を算出することを特徴とする。

【００１３】また、請求項８に記載の発明は、請求項７
に記載の３次元像生成装置において、前記３次元モデル
を生成する際に、前記算出された座標値に基づいて前記
各パーツの形状を生成することを特徴とする。

【００１４】また、請求項９に記載の発明は、請求項６
〜８のいずれかに記載の３次元像生成方法において、前
記被写体の画像は、２次元画像であることを特徴とす
る。

【００１５】また、請求項１０に記載の発明は、請求項
６〜９のいずれかに記載の３次元像生成方法において、
前記被写体は人体であり、前記パーツは顔、手、足及び
胴体のいずれかを含むことを特徴とする。

【００１６】また、請求項１１に記載の発明は、コンピ
ュータプログラムであって、被写体の像を生成する３次
元像生成装置に対し、撮像手段により撮影された前記被
写体の画像に基づいて、前記被写体を構成する各パーツ
のテクスチャを認識させ、前記撮像された被写体に対応
する３次元モデルを仮想空間内に生成させ、前記認識さ
れた各パーツのテクスチャを前記生成された３次元モデ
ルにマッピングさせることを特徴とする。

【００１７】また、請求項１２に記載の発明は、コンピ
ュータ読取り可能な記憶媒体であって、請求項１１に記
載のコンピュータプログラムを記憶したことを特徴とす
る。

【００１８】また、請求項１３に記載の発明は、請求項
１２に記載のコンピュータ読取り可能な記憶媒体におい
て、前記記憶媒体として、サーバ・コンピュータおよび
クライアント・コンピュータが読むことができるプログ
ラムを格納したフロッピーディスク、ハードディスク、
光磁気ディスク、光ディスク、ＣＤ−ＲＯＭ、ＣＤ−
Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭを用
いることを特徴とする。

【００１９】更に、請求項１４に記載の発明は、請求項
１２または１３に記載のコンピュータ読取り可能な記憶
媒体において、前記記憶媒体は、サーバ・コンピュータ
およびクライアント・コンピュータに着脱可能であるこ
とを特徴とする。

【００２０】

【発明の実施の形態】以下、図面を参照し、本発明の実
施の形態について詳しく説明する。

【００２１】本実施の形態における人体パーツ認識装置
は、イベント会場、アトラクション会場または美術展覧
会などにおいて適用される３次元像生成装置の一例であ
る。参加者(被写体) の背後に、被写体と同じくらいの
大きさのライトボックスを設置し、被写体前方から弱い
照明を当てて被写体を撮影する。次いで、人体のパーツ
の２次元画像を生成し、コンピュータグラフィックスな
どで作成した３次元モデルにマッピングし、該合成画像
をビデオプロジェクターでスクリーンに投影する。

【００２２】図１は、本発明を適用した３次元像生成装
置のハードウェア構成例を示す。本図において、ビデオ
カメラ１０１は被写体および背景を撮影するために使用
される。映像入力部１０２は、ビデオカメラ１０１によ
り撮影された映像を取り込む。人体パーツ認識部１０３
は、取り込まれた画像から人体の各パーツを認識する。
モデリング部１０４は、各パーツのテクスチャー画像
と、各パーツの形状を示す形状情報を反映させる以前
の、基本的な３次元モデルを生成する。人物像生成部１
０５は、人体パーツ認識部１０３で抽出した各パーツの
テクスチャー画像と形状情報を、モデリング部１０４で
生成した基本的な３次元モデルに反映させ、体験者の人
物像を仮想空間で生成する。

【００２３】画像表示部１０６は、画像や各種情報の表
示を行い、たとえばＣＲＴ（Cathode Ray Tube: 陰極線
管）モニタの他、モニタの映像をスクリーンに投影する
ビデオプロジェクターが用いられる。

【００２４】図２は、本発明を適用した３次元像生成装
置が利用される状況を示す概念図であり、この図に基づ
いて３次元像生成装置を含む全体システムの概要につい
て説明する。ライトボックス２０１は、基本的に木製の
枠組みを白いアクリルシートで囲んで構成され、物体２
０２の約１ｍ後方に設置される。物体２０２は、白い箱
型の中を人型にくりぬいた物体で、被写体の一例である
体験者２０３がその中を歩いて通過できるように構成さ
れる。照明２０５は、物体２０２内部に存在する体験者
２０３を照らすため前方に設置され、ビデオカメラ２０
４は照明２０５の横に撮影方向を物体２０２に向けて設
置される。

【００２５】次に、本発明の人体パーツ認識装置の処理
手順について、図３のフローチャートに基づいて詳しく
説明する。

【００２６】まずステップＳ１において人体パーツ認識
装置の起動が開始されると、画像を表示するためのメイ
ンウインドウを作成し、画像表示部１０６に表示する。

【００２７】次にステップＳ２では、前処理として、被
写体が通過する以前の人型にくりぬいた部分だけをキャ
プチャする。このキャプチャにより、図４の例に示す画
像が得られる。そこで、得られた画像の中で、ｒ=200、
ｇ=200、ｂ=200より明るい部分を取り出すと、図５の例
に示すくりぬき部分のマスク画像を得ることができる。

【００２８】ステップＳ３において、オペレーターは、
被写体が人型の中を歩いて通過したり立ち止まったりし
ている様子を観察し、適当なタイミングでマウスをクリ
ックする。そして、マウスクリックされた場合（ＹＥＳ
の場合）はステップＳ４へ進み、自動的にビデオカメラ
１０１からコンピューターに映像が取り込まれる。マウ
スクリックが無い場合（ＮＯの場合）はステップＳ２に
戻り、マウスがクリックされるまでの待ち状態になる。

【００２９】ステップＳ４では、映像入力部１０２にお
いて背景画像と被写体画像の取り込みを開始する。すな
わち、マウスクリックがされた瞬間のビデオ映像の１フ
レームをコンピュータ内に取り込み(以下、「キャプチ
ャ」という)、ビットマット画像フォーマット(６４０ｘ
４８０画素)に変換する。このようにキャプチャされた
被写体を含む画像（以下、「オリジナル画像」という）
の一例を図６に示す。

【００３０】ステップＳ５では、キャプチャした画像か
ら人体画像を抽出する。ステップＳ２で予め生成したマ
スク画像を使用し、ステップＳ４で生成したオリジナル
画像のうちのマスク領域内の、ｒ=200、ｇ=200、ｂ=200
以下の画素だけを抽出すると、図７の例に示す被写体の
人体画像だけを抽出することができる。

【００３１】ステップＳ６では、被写体の人体画像か
ら、人体パーツを認識する処理を行なう。モデリング部
１０４では人体モデルをモデリングする際に、人体を１
０個所のパーツに分けてモデル化する。そのため、人体
パーツ認識処理では、頭、腕、足、胴などのパーツごと
に位置データ（Ｘ，Ｙ）を抽出する。

【００３２】まず、図７の人体画像の全ての画素を、左
上（１，１）から、 （１，１）、（２，１）、（３，１）・・・・（４８０，１）、 （１，２）、（２，２）、（３，２）・・・・（４８０，２）、 ・ ・ ・ （１，６４０）、（２，６４０）、（３，６４０）・・・（４８０，６４０） 画素まで全て、８近傍のデータパターンを解析する。図
８（ａ）は、(x,y)=(0,0)を対象画素としたときの、８
近傍の座標を示している。この８近傍のうち、(-1,-1),
(0,-1),(1,-1)の全ての画素が白（２５５）である場
合、この対象画素を、上端点と定義する。図８（ｂ）及
び図８（ｃ）に、上端点の２例を示す。また、(-1,1),
(0,1),(1,1)の全ての画素が白（２５５）である場合、
この対象画素を下端点と定義する。図８（ｄ）及び図８
（ｅ）に下端点の２例を示す。このようにして、全画素
を、上端点及び下端点と、それ以外の画素とに分類した
結果の例を図９に示す。

【００３３】次に、上記の上端点及び下端点の中から、
頭、右肩、左肩、右脇、左脇、右手、左手、右肘上、右
肘下、左肘上、左肘下、右腰、左腰、右膝右端、右膝左
端、左膝右端、左膝左端、右足、左足の特徴点（位置座
標）を抽出する。本発明を適用した３次元像生成装置に
より生成される人体画像の特徴は、ほとんどが人型に切
り取ったオブジェの型に沿った形になることである。つ
まり、両手なども、伸ばして、開いた仕草になると想定
される。したがって、この特徴を生かし、簡易な手法で
特徴点を抽出している。以下に、それぞれの特徴点の求
め方について詳しく述べる。

【００３４】<Head>・・・頭 頭の頂点は、上端点の中で最も小さいＹ値を有する画
素、また、Ｙ値に対し、Ｘ値が複数存在する場合は、こ
の複数の中で中央に位置するＸ値を持つ画素（Ｘ，Ｙ）
をＨｅａｄの特徴点とする。

【００３５】<RightShoulder>・・・右肩 右肩は上端点の中から右脇（RightArmpit）の座標を基
にして求める。RightArmpitの上方で、RightArmpitのＸ
値と同じか、最も近いＸ値を持つ画素（Ｘ，Ｙ）をRigh
tShoulderの特徴点とする。

【００３６】<LeftShoulder>・・・左肩 左肩は上端点の中から左脇（LeftArmpit）の座標をもと
にして求める。LeftArmpitの上方で、LeftArmpitのＸ値
と同じか、最も近いＸ値を持つ画素（Ｘ，Ｙ）をLeftAr
mpitの特徴点とする。

【００３７】<RightArmpit>・・・右脇 下端点のうち、特定の範囲内で最も大きなＸ値を持つ画
素の（Ｘ，Ｙ）。ここで、特定の範囲の例は、図９の領
域Ａで示されている。

【００３８】<LeftArmpit>・・・左脇 下端点のうち、特定の範囲内で最も小さなＸ値を持つ画
素の（Ｘ，Ｙ）。ここで、特定の範囲の例は図９の領域
Ｂで示されている。

【００３９】<RightHand>・・・右手 下端点のうち、最も小さなＸ値を持つ画素（Ｘ，Ｙ）を
RightHandの特徴点とする。

【００４０】<LeftHand>・・・左手 下端点の中で、最も大きなＸ値を持つ画素（Ｘ，Ｙ）を
LeftHandの特徴点とする。

【００４１】<RightElbowUp>・・・右肘上 上端点の中で、RightElbowDownのＸ値に最も近い画素
（Ｘ，Ｙ）をRightElbowUpの特徴点とする。

【００４２】<RightElbowDown>・・・右肘下 下端点の中で、特定の範囲内(腕が存在すると思われる
範囲)で、最も大きなＹ値を求め、このＹ値がRightHand
のＹ値よりも大きければ、肘が手先よりも下がっている
状態であると認識し右肘下の特徴点を特定する。肘が手
先よりも上がっている場合は、左肘下の特徴点は特定さ
れないので、０とする。

【００４３】<LeftElbowUp>・・・左肘上 上端点の中で、LeftElbowDownのＸ値に最も近い画素
（Ｘ，Ｙ）をLeftElbowUpの特徴点とする。

【００４４】<LeftElbowDown>・・・左肘下 下端点のうち、特定の範囲内(腕が存在すると思われる
範囲)で最も大きなＹ値を求め、このＹ値がLeftHandの
Ｙ値よりも大きければ肘が手先よりも下がっている状態
であると認識し、左肘下の特徴点を特定する。肘が手先
よりも上がっている場合は、左肘下の特徴点は特定され
ないので０とする。

【００４５】<RightHip>・・・右腰端 腰の特頂点のＹ値は、HeadのＹ値＋身長/2-20とする。
Ｘ値は、HeadのＸ値からマイナス方向の画素のＸ値を調
べ調べていき、黒から白に移り変わる点をRightHipの特
徴点とする。

【００４６】<LeftHip>・・・左腰端 腰の特徴点のＹ値は、HeadのＹ値＋身長/2-20とする。
Ｘ値は、HeadのＸ値からプラス方向の画素のＸ値を調べ
ていき、黒から白に移り変わる点をLeftHipの特徴点と
する。

【００４７】<RightKneeR,RightKneeL,LeftKneeR,LeftK
neeL>・・・膝 膝の特徴点のＹ値は、下端点の最も大きい画素(足の
先） - (身長) x (5/7)とする。このＹ値のＸ＝１から
Ｘ＝４８０までの画素で、白から黒へ移り変わる点を抽
出し、順序とＸ値の大きさから判断し、４つの特徴点を
特定する。長いスカートを履いていたり、両膝が接触し
ている場合は、RightKneeRとRightKneeLだけを求め、Le
ftKneeRとLeftKneeLの値は０とする。

【００４８】<RightFoot、LeftFoot>・・・右足、左足 下端点をＹ値の小さい順にマージする。マージした画素
のうち、Ｘ値、Ｙ値ともに３画素以上離れていない、連
続した画素同士を集めて、いくつかのグループにする。
グループごとのＸ値とＹ値の最大値を求め、Ｙ値の最大
値の大きい順に２つのグループを選択する。最初のグル
ープの画素数が５０以上の場合は、右足と左足が接触し
ていると判断し、両足の特徴点は同じ画素になり、グル
ープの真ん中に位置する画素をRightFoot、LeftFootの
特徴点とする。しかし、５０以下の場合は、右足と左足
が離れていると判断し、まず、Ｘ値の最大値が小さいほ
うのグループを右足、大きい方のグループを左足とす
る。それぞれのグループの真ん中に位置する画素をRigh
tFoot、LeftFootの特徴点とする。

【００４９】次に、上記人体パーツ認識処理によって、
抽出したそれぞれの特徴点を、図１０の例に示すフォー
マットでテキストファイルに出力する。以下、出力され
たデータを「人体パーツ位置データ」という。

【００５０】ステップＳ７では、まず、モデリング部１
０４において、テキストファイルに出力した人体パーツ
位置データを読み込み、各パーツの形状を計算し、既存
の手法でモデリングをおこなう。以下、このモデリング
手法の手順について説明する。

【００５１】図１１は、人体の１０個のパーツと、パー
ツ名称を示す。この人体の各パーツ形状を定義する情報
を、たとえば、ポリゴン群（パーツメッシュ）によって
定義する。パーツメッシュは頂点座標の定義、ノーマル
ベクトルの定義、テクスチャ座標の定義、及び頂点の連
結情報によるポリゴン定義からなる。パーツメッシュ
は、人体の各パーツごとに生成される。パーツメッシュ
の生成は特殊なモデリング手法を使って行われる。この
パーツメッシュ用のモデリング手法は、ボリュームレン
ダリングの技術分野から導入したものである。郭面のポ
リゴン化に利用したアルゴリズムはマーチングキューブ
（Marching Cubes）とよばれる方法である。このアルゴ
リズムはＧＥ社のエンジニアによって１９８７年頃に開
発され、米国特許４７１０８７６号明細書に開示されて
いる。

【００５２】次に、人物像生成部１０５において、上記
ステップＳ６で得られた人体画像データを表面映像(テ
クスチャ)とし、モデリングされた３次元モデルにマッ
ピングする。

【００５３】以下に、このテクスチャーマッピング手法
について詳しく述べる。

【００５４】テクスチャ設定は人体画像データと人体パ
ーツ位置データを基に行われる。パーツメッシュのテク
スチャ座標は人体パーツ位置データを利用して適切な値
に調整される。これは、人体画像の各パーツの画像を、
人体モデルの対応パーツにフィットさせるためである。
以下、テクスチャ座標の調整方法を説明する。

【００５５】まず、各パーツメッシュには円柱マッピン
グによって一旦、仮のテクスチャ座標が割り当てられ
る。また、人体パーツ位置データの情報については、部
位特徴点の座標を０〜１の範囲に規格化し、図１２に示
すようにパーツ四辺形の端点から基底ベクトルU'、V'が
生成される。ここで、パーツ四辺形とは、図１３に示す
ように，各パーツを取り囲む人体画像上の四辺形領域を
指す。次に、二つの基底ベクトルU（1,0）、V（0,1）が
基底ベクトルU'、V'に変換されるような変換行列Mを求
め、円柱マッピングによって生成された全頂点のテクス
チャ座標に対しMによる変換を施す。これによって１つ
のパーツについて適切なテクスチャ座標が生成される。

【００５６】このような処理を全てのパーツに対して行
うことにより、人体モデルに対する適切なテクスチャマ
ッピングが実現できる。

【００５７】そして、ステップＳ８では、ステップＳ７
で生成した３次元の人物像を、画像表示部１０６におい
てディスプレイに表示する。さらに、ビデオプロジェク
ターを介して、会場に設置した大きなスクリーンに投影
することも可能である。

【００５８】なお、本発明は、前述した各実施の形態の
機能を実現するソフトウェアのプログラムコードを記憶
した記憶媒体を、システムあるいは装置に供給し、その
システムあるいは装置のコンピュータ（またはＣＰＵや
ＭＰＵ）が記憶媒体に格納されたプログラムコードを読
み出し実行することによっても、達成されることは言う
までもない。

【００５９】この場合、記憶媒体から読み出されたプロ
グラムコード自体が本発明の新規な機能を実現すること
になり、そのプログラムコードを記憶した記憶媒体は本
発明を構成することになる。

【００６０】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピーディスク、ハードディ
スク、光磁気ディスク、光ディスク、ＣＤ−ＲＯＭ、Ｃ
Ｄ−Ｒ、磁気テープ不揮発性のメモリカード、ＲＯＭな
どを用いることができる。

【００６１】また、コンピュータが読み出したプログラ
ムコードを実行することによって、前述した実施の形態
の機能が実現される他、そのプログラムコードの指示に
基づき、コンピュータ上で稼動しているＯＳなどが実際
の処理の一部または全部を行い、その処理によっても前
述した実施の形態の機能が実現され得る。

【００６２】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、そのプログラムコードの指
示に基づき、その機能拡張ボードや機能拡張ユニットに
備わるＣＰＵなどが実際の処理の一部または全部を行
い、その処理によっても前述した実施の形態の機能が実
現され得る。

【００６３】本発明は、前述した実施の形態の機能を実
現するソフトウェアのプログラムコードを記録した記憶
媒体からそのプログラムをパソコン通信など通信ライン
を介して要求者にそのプログラムを配信する場合にも適
用できることは言うまでもない。

【００６４】

【発明の効果】以上説明したように、本発明によれば、
マウスボタンを１回クリックするだけで瞬時に被写体を
撮像し、抽出、パーツ認識、画像表示までの全ての処理
を自動的に行う手段を具備することにより、熟練者や特
別なオペレータ以外の一般ユーザや、コンピュータの扱
いになれていないユーザであっても、簡単に操作し実行
することが可能な３次元像生成装置が実現できる。

【００６５】また、特別なスタジオ設備や、カラー３次
元デジタイザのような高価な入力機器を使わなくても、
ビデオカメラからの入力だけで、３次元モデル生成に必
要な、人体パーツの映像と、形状の双方の情報を得るこ
とができるので、対象物のリアルな像を、仮想空間に、
実時間で再現することが可能となる。

【００６６】よって、特別な照明やシステムなどをもた
ない美術館やイベント会場などでも、パソコン１台とそ
の周辺機器を用意するだけで、容易に被写体の一人一人
に特化した３次元像を再現することができる。

【図面の簡単な説明】

【図１】本発明を適用した３次元像生成装置のハードウ
ェア構成例を示す図である。

【図２】本発明を適用した３次元像生成装置が利用され
る状況を示す概念図である。

【図３】本発明を適用した３次元像生成方法の手順を示
すフローチャートである。

【図４】予めキャプチャした背景だけの画像の例を示す
図である。

【図５】人型のくりぬき部分のマスク画像の例を示す図
である。

【図６】キャプチャした背景画像と被写体画像を含むオ
リジナル画像の例を示す図である。

【図７】オリジナル画像から抽出した被写体の人体画像
の例を示す図である。

【図８】対象画素の８近傍の座標の例を示す図である。

【図９】全画素を、上端点と下端点と、それ以外の画素
に分類した結果の例を示す図である。

【図１０】人体パーツ位置データの例を示す図である。

【図１１】人体の１０個のパーツと、パーツ名称の例を
示す図である。

【図１２】人体パーツの位置データの定義の例を示す図
である。

【図１３】人体パーツのテクスチャ座標の変換を示す図
である。

【符号の説明】

１０１ ビデオカメラ １０２ 映像入力部 １０３ 人体パーツ認識部 １０４ モデリング部 １０５ 人物像生成部 １０６ 画像表示部 ２０１ ライトボックス ２０２ 物体 ２０３ 体験者 ２０４ ビデオカメラ ２０５ 照明

Claims (14)

【特許請求の範囲】
1. 【請求項１】 被写体の画像を撮像する撮像手段と、該
   撮像手段により撮像された被写体の画像に基づいて、前
   記被写体を構成する各パーツのテクスチャを認識する認
   識手段と、前記撮像手段により撮像された被写体に対応
   する３次元モデルを仮想空間内に生成する生成手段と、
   前記認識手段により認識された各パーツのテクスチャを
   前記生成手段により生成された３次元モデルにマッピン
   グするマッピング手段とを備えたことを特徴とする３次
   元像生成装置。
2. 【請求項２】 請求項１に記載の３次元像生成装置にお
   いて、前記認識手段は、前記撮像手段により撮像された
   画像に基づいて前記各パーツの位置を推定し、該推定さ
   れた各パーツの位置を特徴付ける座標値を算出すること
   を特徴とする３次元像生成装置。
3. 【請求項３】 請求項２に記載の３次元像生成装置にお
   いて、前記生成手段は、前記算出手段により算出された
   座標値に基づいて前記各パーツの形状を生成することを
   特徴とする３次元像生成装置。
4. 【請求項４】 請求項１〜３のいずれかに記載の３次元
   像生成装置において、前記被写体の画像は、２次元画像
   であることを特徴とする３次元像生成装置。
5. 【請求項５】 請求項１〜４のいずれかに記載の３次元
   像生成装置において、前記被写体は人体であり、前記パ
   ーツは顔、手、足及び胴体のいずれかを含むことを特徴
   とする３次元像生成装置。
6. 【請求項６】 ３次元像生成装置を用いて被写体の像を
   生成する３次元像生成方法であって、前記被写体の画像
   を撮像し、該撮像された被写体の画像に基づいて、前記
   被写体を構成する各パーツのテクスチャを認識し、前記
   撮像された被写体に対応する３次元モデルを仮想空間内
   に生成し、前記認識された各パーツのテクスチャを前記
   生成された３次元モデルにマッピングすることを特徴と
   する３次元像生成方法。
7. 【請求項７】 請求項６に記載の３次元像生成方法にお
   いて、前記各パーツを認識する際に、前記撮像された画
   像に基づいて前記各パーツの位置を推定し、該推定され
   た各パーツの位置を特徴付ける座標値を算出することを
   特徴とする３次元像生成方法。
8. 【請求項８】 請求項７に記載の３次元像生成装置にお
   いて、前記３次元モデルを生成する際に、前記算出され
   た座標値に基づいて前記各パーツの形状を生成すること
   を特徴とする３次元像生成方法。
9. 【請求項９】 請求項６〜８のいずれかに記載の３次元
   像生成方法において、前記被写体の画像は、２次元画像
   であることを特徴とする３次元像生成方法。
10. 【請求項１０】 請求項６〜９のいずれかに記載の３次
    元像生成方法において、前記被写体は人体であり、前記
    パーツは顔、手、足及び胴体のいずれかを含むことを特
    徴とする３次元像生成方法。
11. 【請求項１１】 被写体の像を生成する３次元像生成装
    置に対し、撮像手段により撮影された前記被写体の画像
    に基づいて、前記被写体を構成する各パーツのテクスチ
    ャを認識させ、前記撮像された被写体に対応する３次元
    モデルを仮想空間内に生成させ、前記認識された各パー
    ツのテクスチャを前記生成された３次元モデルにマッピ
    ングさせることを特徴とするコンピュータプログラム。
12. 【請求項１２】 請求項１１に記載のコンピュータプロ
    グラムを記憶したことを特徴とするコンピュータ読取り
    可能な記憶媒体。
13. 【請求項１３】 請求項１２に記載のコンピュータ読取
    り可能な記憶媒体において、 前記記憶媒体として、サーバ・コンピュータおよびクラ
    イアント・コンピュータが読むことができるプログラム
    を格納したフロッピー（登録商標）ディスク、ハードデ
    ィスク、光磁気ディスク、光ディスク、ＣＤ−ＲＯＭ、
    ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯ
    Ｍを用いることを特徴とするコンピュータ読取り可能な
    記憶媒体。
14. 【請求項１４】 請求項１２または１３に記載のコンピ
    ュータ読取り可能な記憶媒体において、 前記記憶媒体は、サーバ・コンピュータおよびクライア
    ント・コンピュータに着脱可能であることを特徴とする
    コンピュータ読取り可能な記憶媒体。