JP7076861B1 - ３次元アバター生成装置、３次元アバター生成方法及び３次元アバター生成プログラム - Google Patents

Abstract

【課題】２次元の顔面画像に基づき高品質な３次元アバターを容易に生成する技術を実現する。【解決手段】２次元画像である対象物の顔面画像を入力するための顔面画像入力部１と、対象物の顔面画像及び頭部素体アバターに基づき対象物の頭部の３次元形状情報を生成する頭部形状生成部４と、対象物の顔面画像に基づき頭部形状表面における表面画像に関する情報を生成する表面画像生成部５と、頭部の３次元形状情報及び表面画像情報に基づき頭部アバターを生成する頭部アバター生成部７と、頭部アバターと胴体アバター及び頭髪アバターを合成して一体の全身アバターを生成するアバター合成部１１とを備える。【選択図】図１

Description

本発明は、人物等を対象とした撮像データに基づく３次元コンピュータグラフィックスデータを作成する３次元アバター生成装置等に関するものである。

近年、コンピュータ等の電子計算機における処理能力向上等に伴い、３次元のコンピュータグラフィックスを活用したゲーム、動画コンテンツの活用が進められている。すなわち、かつては２次元アニメーションで表現されていた著名なコンピュータゲームのシリーズが３ＤＣＧを用いてリメイクされ、また、古典的な童話を原作とした映画が３ＤＣＧを用いて作製されて世界的に大ヒットしており、今や３次元コンピュータグラフィックスは、動画コンテンツにおける表現態様において、事実上の標準として広く活用されている。

３次元コンピュータグラフィックスの発展形として、実在の人物等をモデルとした写実的な３次元コンピュータグラフィックスを利用することも提案されている。これは、コンピュータゲーム等のキャラクターとしてゲームをプレイする人物、あるいは共同でプレイする相手方の人物等を模したアバター（分身としてのキャラクター）を使用するものであって、アバターを使用することにより作品世界への没入感が向上し、よりリアルな体験としてゲームを楽しむことが可能となる。

特許文献１、２は、いずれもヘッドマウントディスプレイを使用して仮想空間を表現するコンピュータゲームにおいて、プレイヤー自身、あるいは共同プレイヤーの姿を模したアバターを使用した例について開示している。

特開２０１９－０１２５０９号公報 特開２０１９－１３９６７３号公報

しかし、特許文献１、２のいずれにおいても、プレイヤー等の人物を模したアバターをどのように作成するかについては開示されていない。実際のゲームにおいては、例えば、肢体部分については一般的な体格のものを用意し、頭部については球体あるいは楕円体に顔写真を貼り付けた構成や、ユーザが描画ツール等で自ら用意した自画像イラストを貼り付けた構成を使用する手法が一般的である。しかし、このようなアバターは体型も頭部も実際のプレイヤーと似ても似つかぬものとなり、ゲームのプレイヤーが作品世界に対する没入感を抱くことは困難である。

他方で、一般的な３次元コンピュータグラフィックスと同様の手法によってユーザのアバターを作成する方法を採用することは、現実的でない。なぜならば、３次元コンピュータグラフィックスによるキャラクター作成は、まず人体における皮膚等に相当するメッシュ構造についてモデリング作業等を行い、人体における骨格に相当するスケルトン構造の構築作業を行い、さらに、人体における筋肉、腱に相当する機能すなわち骨格と皮膚との関連付けであるスキニング作業を行う必要があるためである。

これらの作業のうち、例えばモデリング作業については、複数方向からユーザの姿形を撮影した映像を合成して立体形状を生成し、これに基づきある程度は自動的に表面形状に関するモデリング作業等を行うことは不可能ではない。しかしながら、ユーザの姿形（表面）の画像のみからは内部構造に関する作業であるスケルトンの構築作業及びスキニング作業を自動化することはできず、これらの作業は熟練した技術者による長時間の手作業によって行うほかない。これだけの手間を要する事実に鑑みて、個々のユーザのアバターについて、一般的な３次元コンピュータグラフィックスによるキャラクター作成作業を行うことは、現実的でない。

また、複数方向からユーザの姿形を撮影した映像を取得すること自体、煩雑である。通常の人物等の画像は単一のカメラによって単一方向から撮影される２次元的なものであるところ、従前の３次元コンピュータグラフィックスの手法では、複数方向から姿形を撮影する必要があるところ、このような撮影を行うためには、複数のカメラを備えた専用装置等を用意する必要があるためである。また、従来の手法では、例えば正面写真のみ残された故人についてアバターを作成することは不可能である。

本発明は上記の課題に鑑みてなされたものであって、２次元の顔面画像に基づき高品質な３次元アバターを容易に生成する装置、方法及びプログラムを提供することを目的とする。

上記目的を達成するため、請求項１にかかる３次元アバター生成装置は、対象物の顔面の少なくとも一部を含む２次元の顔面画像に基づき、頂点群によって表現した対象物の３次元表面形状及び３次元表面形状上に表示された表面画像を含む３次元アバターを生成する３次元アバター生成装置であって、前記顔面画像から、頭部素体の３次元表面形状を表現する頂点群のうち顔面領域に設定された基本特徴点に対応する３以上の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された前記３以上の特徴点について、相互間の３次元的な位置関係を導出する位置関係導出手段と、前記位置関係導出手段によって導出された、前記３以上の特徴点のうちの第１の特徴点の位置と、前記第１の特徴点と対応する基本特徴点の位置が一致するよう前記３以上の特徴点及び／又は前記頭部素体を表現する頂点群を移動させる移動手段と、前記第１の特徴点以外の特徴点と対応する基本特徴点の位置を前記特徴点の位置に移動させることにより前記頭部素体の頂点群の位置関係を変化させて前記対象物の頭部の３次元表面形状を生成する素体変形手段と、前記頭部素体の３次元表面形状を表現する頂点群の位置関係を２次元的に図示した基本表面画像上に、前記顔面画像を、前記３以上の特徴点の位置が当該特徴点に対応する基本特徴点の位置と一致するように展開した画像である部分画像に変換する画像変換手段と、前記画像変換手段によって変換された前記部分画像から頭髪部分に相当する領域である頭髪領域を抽出する頭髪領域抽出手段と、 前記部分画像から前記頭髪領域抽出手段によって抽出された前記頭髪領域を除去する不要画像処理手段と、前記基本表面画像のうち、前記頭髪領域を除去された前記部分画像以外の領域に相当する残余領域部分について、前記顔面画像の肌領域の色に基づき生成された色を表示した残余領域画像を生成する残余領域画像生成手段と、前記不要画像処理手段によって前記頭髪領域を除去された前記部分画像と前記残余領域画像とを合成して前記対象物の頭部の表面画像を生成する画像合成手段と、前記素体変形手段により生成された前記対象物の頭部の３次元表面形状と、前記画像合成手段により生成された前記対象物の頭部の表面画像とに基づき、前記対象物の頭部アバターを生成する頭部アバター生成手段とを備えたことを特徴とする。

また、上記目的を達成するため、請求項２にかかる３次元アバター生成装置は、上記の発明において、前記頭部アバターに設定された接続箇所の位置と胴体アバターに設定された接続箇所の位置が一致するよう前記頭部アバター及び／又は前記胴体アバターの位置関係を調整する位置調整手段と、前記頭部アバターに設定された基準軸と、前記胴体アバターにて設定された頭部アバター用基準軸とが一致するよう前記頭部アバター及び／又は前記胴体アバターの方向を調整する方向調整手段と、前記胴体アバターにて設定されたサイズ情報に基づき、前記頭部アバターのサイズを調整するサイズ調整手段と、前記位置関係、前記方向及び前記サイズについて調整された前記頭部アバターと前記胴体アバターとを合成して一体的なアバターを生成するアバター合成手段とを備えたことを特徴とする。

また、上記目的を達成するため、請求項３にかかる３次元アバター生成装置は、上記の発明において、前記位置関係導出手段によって導出された３次元的な位置関係における前記３以上の特徴点によって規定される第１の３次元空間の体積に対する、前記３以上の特徴点に対応した前記基本特徴点によって規定される第２の３次元空間の体積の比率が所定の範囲内となるよう、前記３以上の特徴点同士の相対的な位置関係を保持しつつ前記第１の３次元空間の体積が拡大又は縮小されるように前記特徴点の位置座標を調整する座標調整手段を備えたことを特徴とする。

また、上記目的を達成するため、請求項４にかかる３次元アバター生成方法は、対象物の顔面の少なくとも一部を含む２次元の顔面画像に基づき、頂点群によって表現した対象物の３次元表面形状及び３次元表面形状上に表示された表面画像を含む３次元アバターを生成する３次元アバター生成方法であって、前記顔面画像から、頭部素体の３次元表面形状を表現する頂点群のうち顔面領域に設定された基本特徴点に対応する３以上の特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップにおいて抽出された前記３以上の特徴点について、相互間の３次元的な位置関係を導出する位置関係導出ステップと、前記位置関係導出ステップにおいて導出された、前記３以上の特徴点のうちの第１の特徴点の位置と、前記第１の特徴点と対応する基本特徴点の位置が一致するよう前記３以上の特徴点及び／又は前記頭部素体を表現する頂点群を移動させる移動ステップと、前記第１の特徴点以外の特徴点と対応する基本特徴点の位置を前記特徴点の位置に移動させることにより前記頭部素体の頂点群の位置関係を変化させて前記対象物の頭部の３次元表面形状を生成する素体変形ステップと、前記頭部素体の３次元表面形状を表現する頂点群の位置関係を２次元的に図示した基本表面画像上に、前記顔面画像を、前記３以上の特徴点の位置が当該特徴点に対応する基本特徴点の位置と一致するように展開した画像である部分画像に変換する画像変換ステップと、前記画像変換ステップにおいて変換された前記部分画像から頭髪部分に相当する領域である頭髪領域を抽出する頭髪領域抽出ステップと、 前記部分画像から前記頭髪領域抽出ステップによって抽出された前記頭髪領域を除去する不要画像処理ステップと、前記基本表面画像のうち、前記不要画像処理ステップにおいて前記頭髪領域を除去された前記部分画像以外の領域に相当する残余領域部分について、前記顔面画像の肌領域の色に基づき生成された色を表示した残余領域画像を生成する残余領域画像生成ステップと、前記頭髪領域を除去された前記部分画像と前記残余領域画像とを合成して前記対象物の頭部の表面画像を生成する画像合成ステップと、前記素体変形ステップにおいて生成された前記対象物の頭部の３次元表面形状と、前記画像合成ステップにおいて生成された前記対象物の頭部の表面画像とに基づき、前記対象物の頭部アバターを生成する頭部アバター生成ステップとを含むことを特徴とする。

また、上記目的を達成するため、請求項５にかかる３次元アバター生成方法は、上記の発明において、前記位置関係導出ステップにおいて導出された３次元的な位置関係における前記３以上の特徴点によって規定される第１の３次元空間の体積に対する、前記３以上の特徴点に対応した前記基本特徴点によって規定される第２の３次元空間の体積の比率が所定の範囲内となるよう、前記３以上の特徴点同士の相対的な位置関係を保持しつつ前記第１の３次元空間の体積が拡大又は縮小されるように前記特徴点の位置座標を調整する座標調整ステップをさらに含むことを特徴とする。

また、上記目的を達成するため、請求項６にかかる３次元アバター生成プログラムは、対象物の顔面の少なくとも一部を含む２次元の顔面画像に基づき、頂点群によって表現した対象物の３次元表面形状及び３次元表面形状上に表示された表面画像を含む３次元アバターをコンピュータに生成させる３次元アバター生成プログラムであって、前記コンピュータに対し、前記顔面画像から、頭部素体の３次元表面形状を表現する頂点群のうち顔面領域に設定された基本特徴点に対応する３以上の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された前記３以上の特徴点について、相互間の３次元的な位置関係を導出する位置関係導出機能と、前記位置関係導出機能によって導出された、前記３以上の特徴点のうちの第１の特徴点の位置と、前記第１の特徴点と対応する基本特徴点の位置が一致するよう前記３以上の特徴点及び／又は前記頭部素体を表現する頂点群を移動させる移動機能と、前記第１の特徴点以外の特徴点と対応する基本特徴点の位置を前記特徴点の位置に移動させることにより前記頭部素体の頂点群の位置関係を変化させて前記対象物の頭部の３次元表面形状を生成する素体変形機能と、前記頭部素体の３次元表面形状を表現する頂点群の位置関係を２次元的に図示した基本表面画像上に、前記顔面画像を、前記３以上の特徴点の位置が当該特徴点に対応する基本特徴点の位置と一致するように展開した画像である部分画像に変換する画像変換機能と、前記画像変換機能によって変換された前記部分画像から頭髪部分に相当する領域である頭髪領域を抽出する頭髪領域抽出機能と、前記部分画像から前記頭髪領域抽出機能によって抽出された前記頭髪領域を除去する不要画像処理機能と、前記基本表面画像のうち、前記不要画像処理機能によって前記頭髪領域を除去された前記部分画像以外の領域に相当する残余領域部分について、前記顔面画像の肌領域の色に基づき生成された色を表示した残余領域画像を生成する残余領域画像生成機能と、前記頭髪領域を除去された前記部分画像と前記残余領域画像とを合成して前記対象物の頭部の表面画像を生成する画像合成機能と、前記素体変形機能により生成された前記対象物の頭部の３次元表面形状と、前記画像合成機能により生成された前記対象物の頭部の表面画像とに基づき、前記対象物の頭部アバターを生成する頭部アバター生成機能とを実現させることを特徴とする。

本発明によれば、２次元の顔面画像に基づき高品質な３次元アバターを容易に生成できるという効果を奏する。

実施の形態にかかる３次元アバター生成装置の構成を示す模式図である。 実施の形態における頭部形状生成部４の動作について説明するためのフローチャートである。 実施の形態における表面画像生成部５の動作について説明するためのフローチャートである。 実施の形態におけるアバター合成部１１の動作について説明するためのフローチャートである。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。以下の実施の形態においては、本発明の実施の形態として最も適切と考えられる例について記載するものであり、当然のことながら、本発明の内容を本実施の形態にて示された具体例に限定して解すべきではない。同様の作用・効果を奏する構成であれば、実施の形態にて示す具体的構成以外のものであっても、本発明の技術的範囲に含まれることは勿論である。

まず、実施の形態にかかる３次元アバター生成装置について説明する。図１に示すとおり、本実施の形態にかかる３次元アバター生成装置は、２次元画像である対象物の顔面画像を入力するための顔面画像入力部１と、頭部素体アバターについて記憶する頭部素体データベース２と、頭部素体データベース２に記憶された複数の頭部素体アバターの中から所定のものを選択する頭部素体選択部３と、対象物の顔面画像及び頭部素体アバターに基づき対象物の頭部の３次元形状情報を生成する頭部形状生成部４と、対象物の顔面画像に基づき頭部形状表面における表面画像に関する情報を生成する表面画像生成部５と、頭部の３次元形状情報及び表面画像情報に基づき頭部アバターを生成する頭部アバター生成部７と、頭部アバターと組み合わせる胴体アバターの情報について記憶する胴体データベース８と、頭部アバターと組み合わせる頭髪アバターの情報について記憶する頭髪データベース９と、胴体データベース８に記憶された胴体アバター及び頭髪データベース９に記憶された頭髪アバターを選択する部品アバター選択部１０と、頭部アバターと胴体アバター及び頭髪アバターを合成して一体の全身アバターを生成するアバター合成部１１とを備える。

顔面画像入力部１は、３次元アバターの生成対象である対象物の顔面画像を入力するためのものである。具体的には、顔面画像入力部１は、単に外部からデータを入力するためのデータ入力機構としてもよいし、撮像カメラ等を備え直接的に顔面画像を取得する構成としてもよい。顔面画像入力部１にて入力される顔面画像は、人物を含む生物又はこれを模したキャラクターを対象物とした顔面に関する画像であり、より具体的には、あらかじめ定めた顔面上の特徴点（例えば目、鼻、口、眉、耳、あご等及びこれらにおける詳細な各部位）に相当する部位を含む画像である。特徴点は複数設定されており、理想的には全ての特徴点に相当する部位を含む画像であることが望ましいが、ある程度の割合（例えば７割程度）の部位を含んでいれば本実施の形態におけるアバター生成に問題はなく、また、これ以下の割合であっても、３以上の特徴点が抽出可能であれば、本実施の形態におけるアバター生成自体は可能である。部位に関しては、顔面画像に目、鼻、口が含まれていることが望ましい。

頭部素体データベース２は、頭部素体アバターに関する情報について記憶するためのものである。頭部素体アバターとは、例えば平均的な体格からなる人物等の頭部からなる３次元コンピュータグラフィックス情報であり、具体的には、頭部（人物において首から上の部分をいう。）に関する表面の３次元的形状に関する表面形状情報と、３次元構造からなる表面形状の表面について２次元展開した２次元マッピング情報を備え、望ましくはこれに加えて頭部の動作等を制御するための骨格構造に関する骨格情報と、表面形状と骨格構造の関連性に関する関連性情報とを備える。頭部素体データベース２は、このような情報を備えた頭部素体アバターについて、異なるフォーマット（データ形式、用途、特徴点（以下、顔面画像から導出される特徴点と区別するため、頭部素体アバターにおける特徴点を「基本特徴点」という。）の定義態様等が異なるもの）に対応した複数の素体アバターを記憶する機能を有する。

表面形状情報とは、人体における皮膚等の形状に相当する、３次元コンピュータグラフィックスの表面形状に関する情報である。情報の形式としては、表面全体をボクセル等の微小単位の集合と規定し各微小単位の位置情報を記録した形式としてもよいが、情報処理上の負担軽減の観点から、いわゆるモデリング処理を行い、所定数の頂点及び頂点間の接続態様を規定することによって、表面の３次元形状を表現した形式とすることが望ましい。モデリング処理を行った場合、頂点及び頂点間の接続態様に関する情報に基づき頂点間を結ぶ辺が形成され、３本以上の辺によって囲まれた領域が面（ポリゴン）として定義され、面の集合（メッシュ）によって、表面形状が特定されることとなる。ただし、本発明の適用対象はこれらに限定されるものではなく、表面形状情報としては、表面形状に対応して配置された複数の頂点及び／又は複数の面の位置情報を含んで構成されるものであれば、本発明における表面形状情報として使用することが可能である。

また、表面形状情報に含まれる複数の頂点の一部については、その位置情報及び頂点間の接続態様に関する情報に加え、その頂点の意味内容に関する情報についても記録されているものとする。例えば、目、鼻、口等の部位における特定箇所及び各部位における詳細な位置関係（目尻、瞳、鼻頭、口角等）に対応する特徴点に該当する頂点については、右目の目尻に該当する、等の情報が付されるものとする。また、頂点の位置情報に関しては、絶対的な位置に関する情報と、ジョイント、ボーンからなる骨格構造に対する相対的な位置に関する情報のいずれか一方を含む形式が望ましい。本実施の形態では前者のみならず後者の位置情報も含むものとし、ジョイントの位置変化、ボーンの位置、長さ等の変化に応じて、各頂点は相対的な位置関係を維持しつつ位置が変化するものとする。

２次元マッピング情報とは、球面上の世界の地形を２次元の世界地図に変換するが如く、頭部素体アバターの表面形状を構成する各頂点の位置情報を２次元座標系に変換して図示した情報をいう。２次元マッピング情報は、表面における質感、詳細な模様等を作成する際の便宜のため、３次元構造からなる表面形状を２次元座標系上に表現したものである。一般にはＵＶ展開によって２次元マッピングが実現されるものの、本発明における２次元マッピング情報は、ＵＶ展開によって得られるものに限定されず、上述の条件を満たす情報全てを含むこととする。

骨格情報とは、人体における骨格等に相当する、３次元コンピュータグラフィックスにおいて動作を作出する際等において基準となる内部構造に関する情報である。情報の形式としては、人体における骨格構造等と同様に所定の太さ、大きさを有する骨や関節からなる骨格構造としてもよいが、いわゆるスケルトンと称される、人体における関節等に相当するジョイント（点として表現される。）と、ジョイント間に位置し、人体における骨に相当するボーン（線として表現される。）の集合によって表現される形式とすることが望ましい。ただし、本発明の適用対象がこれらの情報形式に限定されることはなく、関節等のように平行移動・回転移動可能であると共に隣接部分との関係で支点としても機能する部分（本発明ではこれらを総称して「ジョイント」という。）と、骨等のように平行移動・回転移動のみ可能とした部分（これらを総称して「ボーン」という。）に関する情報によって構成されたものであれば他の形式でもよい。

関連性情報とは、骨格情報と表面形状情報との間の関連性を規定する情報であり、より具体的には、骨格構造に含まれるジョイント、ボーンの動作に対し、表面形状を形成する各頂点がどの程度追従して動作するかについて規定する情報である。仮に表面形状がジョイント、ボーンの動作に１００％追従する構成の場合、人間等のキャラクターであるにもかかわらずブリキ製ロボットのような動作となり現実感に乏しいキャラクターとなってしまう。そのため、人物等の３次元コンピュータグラフィックスを生成する際には、表面形状の各部分ごとに、近接するボーン、ジョイントの移動に対しどの程度追従するかに関する情報を予め設定することが望ましい。本実施の形態においても、表面形状情報を構成する各頂点に関して、これと近接するボーン及び／又はジョイントに対する追従性を示す数値情報を設定したものを関連性情報として設定する。なお、関連性情報の生成作業はスキニング処理、ウェイト編集等と称され関連性情報についてもウェイト値が一般に使用されるところ、本発明における関連性情報はこれらに限定されることはなく、上述の条件を満たす情報全てを含むこととする。

頭部素体選択部３は、頭部素体データベース２に記憶された複数の頭部素体アバターの中から、対象物の頭部アバター生成に適した頭部素体アバターを選択するためのものである。頭部素体データベース２は、フォーマットや用途に合わせて異なるデータ形式の頭部素体アバターを記憶しており、頭部素体選択部３は、複数の頭部素体アバターの中から用途等に合わせて適切な頭部素体アバターを選択し、頭部形状生成部４に対し出力する機能を有する。より具体的には、頭部素体選択部３は、後述する部品アバター選択部１０により選択された胴体アバターに関する情報を取得し、選択された胴体アバターと整合するデータ形式の頭部素体アバターを選択する機能を有する。また、かかる条件を満たしたうえで、複数の頭部素体アバターの中から機械的に、あるいはユーザーの選択にしたがって頭部素体アバターを選択する機能を有する。

頭部形状生成部４は、顔面画像入力部１を介して入力された対象物の顔面画像と、頭部素体選択部３によって選択された頭部素体アバターとに基づき対象物の頭部の３次元形状情報を生成するためのものである。具体的には、頭部形状生成部４は、顔面画像上における特徴点の３次元的な位置関係を抽出する特徴点抽出部１４と、座標及び頭部素体アバターの３次元表面形状を構成する各頂点の座標について座標変換を行う座標変換部１６と、特徴点抽出部１４によって抽出された顔面画像上の特徴点の位置関係を調整する位置調整部１７と、顔面画像の特徴点によって形成される領域を拡大又は縮小する拡大縮小部１８と、顔面画像の特徴点の位置と一致するよう頭部素体アバターの頂点を移動させる素体変形部１９とを備える。

特徴点抽出部１４は、対象物の顔面画像に対し画像分析を行うことで対象物の顔面画像における特徴点を抽出するためのものである。具体的には、特徴点抽出部１４は、顔認証技術等の２次元画像分析技術を利用することにより、対象となる顔面画像の中から特徴点を抽出する機能を有する。なお、特徴点抽出部１４において抽出される特徴点は、頭部素体選択部３によって選択された頭部素体アバターの基本特徴点と同じ定義によるものとする。

位置関係導出部１５は、特徴点抽出部１４にて抽出された顔面画像の特徴点について、相互間の３次元的な位置関係を導出するためのものである。具体的な導出メカニズムとしては、顔面画像における２次元的な特徴点を入力層、特徴点の３次元的な位置関係を出力層としたものを教師データとして与えて学習させた機械学習モデルを用いて導出することとしてもよいし、それ以外のメカニズムを用いてもよい。また、顔面画像が示す平面をｘｙ平面として２次元的な特徴点の位置座標（ｘ、ｙ）を導出した後、各特徴点の深度（ｚ座標）については、各特徴点のｘ座標及びｙ座標を入力層、ｚ座標を出力層としたものを教師データとして与えて学習させた機械学習モデルを用いて導出することとしてもよい。

座標変換部１６は、特許請求の範囲における移動手段の一例として機能するものであり、具体的には、顔面画像から抽出された特徴点の位置を示す座標を変換し、また、頭部素体アバターにおける基本特徴点を含む各頂点の座標を変換するためのものである。顔面画像の特徴点と、頭部素体アバターにおける各頂点の座標は別個の座標系に属しているため、そのままでは両者に基づき対象物の頭部の３次元形状情報を生成することはできない。そのため、座標変換部１６は、それぞれの座標系に対し所定の変換処理を施すことにより両者を同一座標空間上に展開することとしている。

具体的には、座標変換部１６は、特定の特徴点（例えば鼻頭に対応する頂点）を原点とする相対座標系を設定し、顔面画像から抽出された特徴点及び頭部素体アバターの各頂点に対し平行移動、回転、拡大・縮小、スキュー等のアフィン変換を実施することで、それぞれ特定の特徴点が原点に位置するように座標変換処理を行う。

また、座標変換部１６は、頭部の３次元形状情報を生成した後、当該情報に関する座標系を頭部素体アバターの座標系に戻すことを内容とした座標変換処理を行う機能も有する。

位置調整部１７は、座標変換後の顔面画像の特徴点について、頭部素体アバターの基本特徴点との位置調整を行うためのものである。具体的には、座標変換部１６の処理によって共通の座標上に移動した顔面画像から抽出された特徴点と頭部素体アバターの各頂点は、いずれも対応関係にある特定の特徴点が原点に位置するものの、他の特徴点・頂点の位置関係はばらばらであり、例えるならば、顔面画像の特徴点と頭部素体アバターの基本特徴点・頂点とでは顔の向かう方向にずれが生じた状態となっている。

位置調整部１７はこのずれを調整するためのものであり、例えば、両頬に相当する２つの特徴点を結ぶ線分を想定し、顔面画像の特徴点における線分と、頭部素体アバターにおける線分とが互いに平行となるよう、位置調整部１７は一方を回転させる等の処理を行って位置調整を行う。

また、位置調整部１７は、顔面画像から抽出された特徴点の座標についてせん断の修正を行う機能も有する。顔面画像の特徴点を抽出する処理態様によっては、各特徴点の位置座標にせん断が生じることがある。この場合に位置調整部１７は、顔面画像の特徴点に関して３次元座標系の３軸方向の各軸についてせん断量を算出し、これを相殺する機能を有する。

拡大縮小部１８は、顔面画像の特徴点によって形成される空間が拡大または縮小するように、顔面画像の特徴点の位置座標を変化させるためのものである。具体的には、拡大縮小部１８は、顔面画像の特徴点によって形成される空間と、頭部素体アバターの基本特徴点のうち顔面画像の特徴点と対応する基本特徴点によって形成される空間とを比較し、前者の空間の広さが後者の空間の広さと同程度となるように、顔面画像の特徴点について、相互の位置関係を保持しつつ位置座標を変化させる機能を有する。

なお、「特徴点によって形成される空間」とは、顔面画像の特徴点と頭部素体アバターの基本特徴点のそれぞれについて同じ定義に基づき形成される空間であればよい。例えば、各特徴点を内部に含み、かつ、体積が最小となるよう形成された、各辺がｘ軸、ｙ軸又はｚ軸に平行な直線からなる直方体（いわゆる３次元バウンディングボックス）や、隣接する特徴点間を線分で結び、３本以上の線分によって形成される面からなる空間領域を「特徴点によって形成される空間」としてもよい。

また、「広さが同程度になる」とは、体積が完全に一致する場合に限定されない。好ましくは顔面画像の特徴点によって形成される空間の体積が、頭部素体アバターの基本特徴点のうち顔面画像の特徴点と対応する基本特徴点によって形成される空間の体積の０．９倍～１．１倍の範囲に収まることを指すが、これ以外の範囲を設定することとしてもよい。

素体変形部１９は、汎用的な頭部素材の３次元的表面形状に対し、頭部素体アバターの基本特徴点の位置を移動することにより対象物の３次元的表面形状に近づけるよう変形させるためのものである。具体的には、素体変形部１９は、頭部素体アバターの基本特徴点のうち顔面画像の特徴点に対応する基本特徴点の位置座標を、顔面画像の特徴点の位置座標に変換する機能を有する。また、素体変形部１９は、対応関係にある基本特徴点の近傍に位置する頭部素体アバターの頂点についても、基本特徴点と他の頂点との連続性が維持されるよう基本特徴点との距離に応じた所定の割合にて位置を変化させる機能を有する。素体変形部１９の処理により、３次元表面形状において顔領域において対象物の特徴を備え、他の領域については頭部素体アバターの形状のままとなる頭部形状が生成される。

次に、表面画像生成部５について説明する。表面画像生成部５は、頭部形状生成部４によって生成された３次元的な頭部形状の表面における画像である表面画像を生成するためのものである。ここで「表面画像」とは、頭部形状の表面における色・模様と質感の少なくとも一方に関する画像である。本実施の形態では表面における色・模様及び質感の双方を含むものを表面画像とし、表面画像生成部５にて一括して生成する態様とするが、色・模様又は質感のいずれか一方のみを表面画像生成機構が生成する構成や、複数の表面画像生成機構によってそれぞれを生成した後に合成する構成としてもよい。

頭部形状の表面における質感とは、テクスチャ等とも表現され、表面における微小な凹凸等からなる外観的な特徴をいう。一般に、３次元ＣＧではモデリング処理によって、外表面が頂点及び頂点間の接続態様に関する情報に基づき頂点間を結ぶ辺が形成され、３本以上の辺によって囲まれた領域が面（ポリゴン）として定義され、面の集合（メッシュ）によって、表面形状が特定されることとなる。かかる手法は現実的な表面形状を近似的に表現するものであるため、表面の微小な凹凸等からなる質感に関する情報は含まれない。そのため、質感に関する情報を別途作成し、モデリング処理によって形成された外表面に付加して、リアルな外観を作出している。なお、質感に関する情報とは、具体的には外表面上に付加される２次的な画像に関する情報であり、２次元平面上に陰陽等を反映したパターン、例えばハイトマップ、ノーマルマップを形成することによって、疑似的に凹凸等を表現している。

表面画像生成部５は、頭部素体アバターに具備されている、頭部素体アバターの３次元表面形状の表面について２次元展開した２次元マッピング情報を利用して、対象物の頭部形状の表面画像に関する情報を生成する機能を有する。具体的には、表面画像生成部５は、対象物の顔面画像から特徴点を抽出する特徴点抽出部２２と、対象物の顔面画像を、抽出した特徴点を利用して２次元マッピング画像の部分画像に変換する画像変換部２３と、部分画像のうち余剰領域を抽出する余剰領域抽出部２４と、部分画像のうち頭髪に相当する領域を抽出する頭髪領域抽出部２５と、部分画像から余剰領域および頭髪領域の画像を削除する不要画像処理部２６と、表面画像のうち部分画像以外の領域の画像である残余領域画像を生成する残余領域画像生成部２７と、部分画像と残余領域画像を合成して全体的な表面画像を生成する画像合成部２８とを備える。

特徴点抽出部２２は、対象物の顔面画像から特徴点を抽出するためのものである。特徴点抽出部１４と同様に、特徴点抽出部２２は、使用する頭部素体アバターにて定義された基本特徴点に対応する特徴点を顔面画像から抽出する機能に加え、抽出した特徴点の顔面画像上における２次元的な位置関係について導出する機能を有する。

画像変換部２３は、対象物の顔面画像を、頭部形状の表面画像を表す２次元マッピング画像における部分画像に変換するためのものである。具体的には、画像変換部２３は、頭部素体選択部３にて選択した頭部素体アバターに情報として含まれる２次元マッピング情報（その頭部素体アバターの表面形状を構成する各頂点の位置情報を２次元座標系に変換して図示したもの。その頭部素体アバターの表面の質感や色・模様の情報を含んでもよいが、必須ではない。）を基準に、頭部素体アバター上の基本特徴点に対応する顔面画像上の特徴点が、当該頭部素体アバター上の基本特徴点と同じ位置に配置されるよう、顔面画像上の各点について座標変換処理を行うことで２次元マッピング画像上に展開する機能を有する。２次元マッピングについては様々な形式が可能であるが、本実施の形態ではＵＶ展開によって得られるものを採用する。また、座標変換処理についても様々な形式を用いることが可能であるが、本実施の形態ではアフィン変換または透視変換によって座標変換処理を行うものとし、かかる変換処理によって、対象物の顔部分について頭部素体アバターの表面形状に適合した部分画像が生成される。

余剰領域抽出部２４は、画像変換部２３によって生成された部分画像のうち、余剰な領域部分を抽出するためのものである。２次元マッピングへの変換処理においては、特に画像領域の周縁近傍において、実態よりも引き延ばされた状態にて部分画像が形成される場合があるため、かかる余剰な領域部分を削除する必要がある。余剰領域抽出部２４は、対象物の顔面画像の面積と、変換後の部分画像の面積とを比較し、前者に対する後者の割合があらかじめ定めた閾値を超過した場合に、当該閾値以下となるために削除すべき余剰領域を抽出する機能を有する。なお、余剰領域抽出部２４は、単に余剰領域の位置情報を出力する形式でもよいし、画像処理ソフトにて余剰領域を削除する際に使用できるマスク画像を出力する形式でもよい。

頭髪領域抽出部２５は、画像変換部２３によって生成された部分画像から、対象物の頭髪部分に相当する領域を抽出するためのものである。具体的には、頭髪領域抽出部２５は、対象物の顔面画像に対し画像解析処理を行い、頭髪領域の抽出を行う。当該処理には任意のアルゴリズム等を使用することが可能であり、例えば髪を含む顔画像からなる２次元画像を入力層、顔画像における髪の部分を出力層としたものを教師データとして与えて学習させた機械学習モデルを用いて導出したアルゴリズムによって画像分析を行うこととしてもよい。頭髪領域抽出部２５は、抽出した頭髪領域について、画像変換部２３と同様の座標変換処理を行い、変換後の部分画像における頭髪領域の位置情報についても抽出する。

不要画像処理部２６は、対象物の顔面画像から生成された部分画像のうち、表面画像として用いない領域の画像部分を削除するためのものである。具体的には、不要画像処理部２６は、部分画像から、余剰領域抽出部２４によって抽出された余剰領域と頭髪領域抽出部２５によって抽出された頭髪領域における画像を削除する機能を有する。具体的な処理態様としては、それぞれの領域を指定して領域上の画像を削除する方法でもよいし、余剰領域と頭髪領域の論理和からなる領域に関する除去マスクを生成した上で、画像処理ソフトによる処理を行うこととしてもよい。

残余領域画像生成部２７は、２次元マッピング画像にて表現される表面画像のうち部分画像以外の領域の画像である残余領域画像を生成するためのものである。不要画像処理部２６による処理が完了した時点で、表面画像は、２次元マッピング画像全体のうち対象物の顔に相当する部分画像のみが生成された状態となっている。この状態で表面画像を頭部形状の表面に貼り付けても顔部分以外は空白となるため、本実施の形態では残余領域における画像を生成することとしている。

残余領域画像生成部２７は、部分画像における肌領域の画像に基づき残余領域画像における皮膚の色を導出し、かかる色と所定の質感情報により残余領域画像を生成する機能を有する。皮膚の色の導出は、部分画像中の肌領域（目、眉、唇、鼻の孔等を除いた領域）を多数の微小領域に区分し、各領域における色情報のうちいくつかの頻出色（例えば頻出頻度が上位１位から５位の色）を合成することにより代表色（Ｓ_{ｍｏｄｅｌ}）を決定する。また、皮膚の色（Ｓ）の導出にあたっては、上述の各微小領域における輝度の最大値（Ｓ_ｍａｘ）、中央値（Ｓ_{ｍｅｄｉａｎ}）及び平均値（Ｓ_ｍｅａｎ）を用いた以下の式により導出される。

Ｓ＝｛（Ｓ_{ｍｏｄｅｌ}＋Ｓ_ｍａｘ）／２｝＊Ｓ_{ｍｏｄｅｌ}／｛（Ｓ_{ｍｅｄｉａｎ}＋Ｓ_ｍｅａｎ）／２｝

もっとも、皮膚の色の導出にあたっては他の数式を利用することとしてもよい。また、より単純な方法として、代表色をそのまま用いる等のアルゴリズムを採用してもよい。また、ユーザが指定する色を用いることとしてもよい。

また、残余領域画像生成部２７は、残余領域における質感情報として、残余領域に対応した頭部素体アバター中の領域における質感情報を用いることとする。これについても、頭部素体アバターの質感情報とは別個独立に質感情報を用意して活用することとしてもよい。

画像合成部２８は、部分画像と残余領域画像を合成することにより表面画像を生成するためのものである。具体的には、画像合成部２８は、２次元マッピング画像上に部分画像と残余領域画像とをそれぞれ配置し、両者の境界にぼかし処理を施すことで、部分画像と残余領域画像の境界を不明確化する。ぼかし処理の具体例としては、例えば部分画像または残余領域画像の一方または双方について領域を拡大させて双方が重なり合う領域を形成し、当該領域において、それぞれの表示比率を１０：０、９：１、・・・２：８、１：９、０：１０のように段階的に変化させることにより、境界を不明確化する。

頭部アバター生成部７は、頭部形状生成部４によって形成された対象物の頭部の３次元形状情報と、表面画像生成部５によって生成された対象物の表面画像情報を合成することにより、頭部アバターを生成するためのものである。頭部アバター生成部７の処理によって、対象物の顔面画像の内容を反映した３次元的な頭部アバターが完成する。なお、頭部アバターの構成としては、入力した顔面画像をそのまま写実的に反映したものでもよいし、特徴を維持しつつ戯画化してキャラクター状の構成としてもよい。

胴体データベース８は、胴体アバターについて記憶するためのものである。記憶される胴体アバターは、様々な形状、デザインのものが存在するとともに、異なるデータ形式（フォーマット、用途、基本特徴点の定義態様等が異なるもの）のものが多数存在する。胴体アバターの各種データ形式は、頭部素体アバターにおける各種データ形式と同様であり、より具体的には、胴体アバターとして特定のものが選択された時点で、これと同一のデータ形式からなる頭部素体アバターが選択される。同一のデータ形式からなる胴体アバター及び頭部素体アバターとの関係では、胴体アバターにおいて頭部素体アバターを接続する位置に関する情報、接続時における頭部素体アバターの基準軸の方向に関する情報及び接続する頭部素体アバターの大きさに関する情報が規定されている。これらの情報を用いて、アバター合成部１１による全身アバターの合成処理が行われる。胴体アバターとしては、写実的な人物の身体を模したものでもよいし、動物や想像上の生物さらにはアニメーションキャラクターのようなものでもよい。胴体アバターの形状についても、８頭身でも２頭身でもその他の頭身でもよく、また、裸体でも洋服、靴、装飾品等を身に着けた態様でもよい。

頭髪データベース９は、頭髪アバターについて記憶するためのものである。頭髪アバターは、頭部素体データベース２に記憶されている個々の頭部素体アバターの頭頂部付近の外表面形状と整合するよう形成されている。

部品アバター選択部１０は、胴体アバターと頭髪アバターを選択するためのものである。部品アバター選択部１０による選択アルゴリズムは、用途に応じて自動的に選択するものでもよいし、ユーザー（例えば顔面画像の対象物である人物）の指示により選択するものでもよい。また、あらかじめ頭髪アバターと胴体アバターの組み合わせについて設定を行い、両者の組み合わせについて選択する態様としてもよい。

アバター合成部１１は、部品アバター選択部１０によって選択された胴体アバターと頭髪アバターを、頭部アバター生成部７によって生成された頭部アバターと合成して一体的な全身アバターを生成するためのものである。

アバター合成部１１は、胴体アバターを頭部アバターに合成する際に両者の位置合わせを行う位置調整部３１と、胴体アバターにて設定された接続時における頭部アバターの基準軸と頭部アバターの基準軸を同一方向となるよう調整する基準軸調整部３２と、頭部アバターの大きさを調整するサイズ調整部３３と、頭部アバターに胴体アバター及び頭髪アバターを合成する合成処理部３４とを備える。

位置調整部３１は、胴体アバターに対する頭部アバターの相対位置を、胴体アバターにおける接続箇所の位置に移動させるためのものである。あらかじめ胴体アバターには頭部アバターの接続箇所の位置情報が設定されており、位置調整部３１は、かかる位置情報に基づき、胴体アバターの接続箇所と頭部アバターの接続箇所が一致するよう、相対位置を調整する。なお、胴体アバターにおける接続箇所は、通常の人物を模したアバターの場合は両肩の間の首に相当する場所となるものの、かかる場所に限定されるものではない。合成獣のような想像上の生物等を模したものであれば、そのデザインに合わせた場所に接続箇所を設けることが可能であり、例えば右手の掌に接続箇所を設ける構成としてもよい。

位置調整部３１は、頭部アバターと頭髪アバターの位置調整も行う。頭髪アバターは、頭部アバターのもととなる頭部素体アバターの頭頂部付近の外表面形状と整合するよう形成されており、位置関係についても、双方の頂点において対応関係が定められており、かかる対応関係を参照しつつ、位置調整部３１は、頭髪アバターが頭部アバター上の適切な位置に配置されるよう位置調整を行う。

基準軸調整部３２は、胴体アバターにてあらかじめ設定された頭部アバター用の基準軸と、頭部アバターの基準軸を一致させるよう双方の 方向関係を調整するためのものである。基準軸調整部３２による方向調整は、例えば胴体アバター又は頭部アバターに対する回転処理によって行われる。

サイズ調整部３３は、頭部アバターの大きさについて、胴体アバターにてあらかじめ設定された大きさとなるよう調整を行うためのものである。胴体アバターにおいては、一体的な全体アバターが合成された際における頭部アバター部分の体積に関する情報が定められており、頭部アバターの体積がこれと異なる場合に、サイズ調整部３３は、胴体アバターの設定情報と一致するよう頭部アバターに対し拡大処理又は縮小処理を行う。

合成処理部３４は、位置調整部３１により位置合わせが行われ、基準軸調整部３２によって頭部アバターと胴体アバターの基準軸の方向が一致し、サイズ調整部３３による頭部アバターのサイズ調整が完了した頭部アバターと、胴体アバター及び頭髪アバターを合成するためのものである。具体的には、合成処理部３４は、頭部アバターと胴体アバターのそれぞれの接続箇所に形成されたメッシュループ（接続箇所の端部に位置する頂点同士で形成された閉曲線を指す）同士を結合することによって、表面形状部分において結合がなされる。より簡易に、あらかじめ対応関係が規定された頭部アバターの頂点と胴体アバターの頂点間に新たな線分を形成し、新たに形成された線分によって形成される面をポリゴンとした部分的なメッシュ構造を新たに構築することとしてもよい。また、対応関係が規定された頂点同士を１つの頂点に統合することによって、頭部アバターと胴体アバターを結合してもよい。頭部アバターと頭髪アバターの結合についても同様である。

また、合成処理部３４は、頭部アバター、胴体アバターが３次元表面形状情報だけでなく骨格情報も有する場合は、互いの骨格構造（ボーン）についても結合処理を行う。ボーンの結合処理については、頭部アバターに一般に備わるｈｅａｄボーンあるいはこれに準ずるボーンと、胴体アバターに一般に備わるｎｅｃｋボーンあるいはこれに準ずるボーンとを、親子関係を設定する形式にて結合することが望ましい。

次に、図２を参照しつつ頭部形状生成部４の動作について説明する。まず、特徴点抽出部１４によって入力された顔面画像から特徴点を抽出し（ステップＳ１０１）、位置関係導出部１５によって特徴点の３次元的な位置関係を導出する（ステップＳ１０２）。その後、座標変換部１６は、顔面画像から抽出された特徴点の位置情報と、頭部素体アバターの基本特徴点の位置情報とを、特定の特徴点（本実施の形態では鼻頭に対応する特徴点とする。）を原点とした座標系の位置座標に変換し（ステップＳ１０３）、顔面画像から抽出された各特徴点がそれぞれ対応する頭部素体アバターの基本特徴点の位置と整合するよう位置調整を行い（ステップＳ１０４）、特徴点抽出時に位置座標のせん断が生じた場合には修正を行う（ステップＳ１０５）。

その後、拡大縮小部１８によって、顔面画像から抽出された特徴点に対し、当該特徴点によって形成される空間の広さが対応する頭部素体アバターの基本特徴点によって形成される空間と整合するよう、位置座標を変化させる（ステップＳ１０６）。そして、素体変形部１９によって、特徴点によって形成される空間の広さが同程度となった状態で頭部素体アバターの基本特徴点の位置座標を、対応する顔面画像の特徴点の位置座標に移動させる処理を行い（ステップＳ１０７）、最後に頭部素体アバターの全頂点の位置座標について、座標変換部１６によって元の座標系に戻す処理を行う（ステップＳ１０８）。以上で頭部形状生成部４の動作は終了し、対象物の顔面画像から導出される対象物の特徴を具備する対象物の頭部の３次元形状情報が完成する。

次に、図３を参照しつつ表面画像生成部５の動作について説明する。まず、特徴点抽出部２２によって、対象物の顔面画像にて特徴点を抽出し、抽出した特徴点の画像上の位置を特定する（ステップＳ２０１）。その後、画像変換部２３によって、頭部素体の情報である２次元マッピング情報上に、対応する特徴点の位置が頭部素体の基本特徴点の位置と一致するように対象物の顔面画像の座標変換処理を行い、２次元マッピング画像上に部分画像を生成する（ステップＳ２０２）。

その後、余剰領域抽出部２４によって、生成された部分画像に対し変換処理後の面積を変換処理前の面積で除算した結果が所定の閾値を超過するか否かを判定する（ステップＳ２０３）。閾値を超過した場合（ステップＳ２０３、Ｙｅｓ）は、変換処理後の部分画像のうち超過分に相当する面積からなる周縁部領域を余剰領域として指定する（ステップＳ２０４）。閾値以下の場合（ステップＳ２０３、Ｎｏ）は、そのままステップＳ２０５に移行する。

そして、頭髪領域抽出部２５によって、部分画像における頭髪領域を抽出し（ステップＳ２０５）、不要画像処理部２６によって、部分画像から余剰領域および頭髪領域の画像部分が除去される（ステップＳ２０６）。その後、残余領域画像生成部２７によって、２次元マッピング画像にて表現される表面画像のうち部分画像以外の領域の画像である残余領域画像が生成され（ステップＳ２０７）、最後に画像合成部２８によって、部分画像と残余領域画像が合成されることにより（ステップＳ２０８）、対象物に関する表面画像が完成する。

なお、図２に示す頭部形状生成部４の動作によって生成された３次元形状情報と、図３に示す表面画像生成部５の動作によって生成された表面画像については、頭部アバター生成部７がこれらを合成することにより、頭部アバターが完成する。

次に、図４を参照しつつアバター合成部１１の動作について説明する。まず、位置調整部３１によって、頭部アバターに設定された接続箇所と、胴体アバターに設定された接続箇所の位置が一致するよう調整を行い（ステップＳ３０１）、頭部アバターと頭髪アバターの位置調整を行う（ステップＳ３０２）。その後、基準軸調整部３２によって、あらかじめ胴体アバターに設定された頭部アバター用の基準軸の方向と、頭部アバターに設定された基準軸の方向とが一致するよう調整を行う（ステップＳ３０３）。さらに、サイズ調整部３３によって、頭部アバターのサイズがあらかじめ胴体アバターにて設定されたサイズとなるよう拡大／縮小処理を行う（ステップＳ３０４）。最後に、合成処理部３４によって頭部アバター、胴体アバター及び頭髪アバターを結合することで（ステップＳ３０５）、一体的な全身アバターが完成する。

以上、実施の形態において本発明の内容について説明したが、もとより本発明の技術的範囲は実施の形態に記載した具体的構成に限定して解釈されるべきではなく、本発明の機能を実現できるものであれば、上記実施の形態に対する様々な変形例、応用例についても、本発明の技術的範囲に属することはもちろんである。

例えば、本実施の形態では頭部素体アバターとして頭部のみからなるアバターを使用しているところ、頭部のみならず胴体部分も含むアバターを頭部素体アバターとして用いることとしてもよい。この場合、アバター合成部１１によるアバター合成を行うことなく、顔面画像に基づき対象物の特徴を備えた全身アバターを生成することが可能である。また、頭部のみからなる頭部素体アバターを使用した場合に、胴体アバター等と結合させることなく、頭部アバターのみで独立したアバターとなるよう構成することとしてもよい。さらには頭部アバターについて、頭髪を除去したスキンヘッド状に形成するのではなく、頭髪と一体的に形成した頭部アバターを生成することとしてもよい。

また、特許請求の範囲の移動手段について、座標変換部１６のような態様に限定して解釈する必要はない。顔面画像の特徴点の３次元的な位置関係について、頭部素体アバターの頂点と同じ座標系上で導出することとして、座標変換を伴うことなく、同一座標系上で特徴点及び／又は頭部素体アバターの頂点群を移動させることとしてもよい。また、顔面画像の特徴点、頭部素体アバターの基本特徴点ないし頂点群の移動・回転等に関しては、いずれか一方のみを移動等する場合のみならず、双方を移動等することとしてもよい。

本発明は、対象物の顔面画像に基づく高品質な３次元アバターを生成する技術として利用可能である。

１ 顔面画像入力部
２ 頭部素体データベース
３ 頭部素体選択部
４ 頭部形状生成部
５ 表面画像生成部
７ 頭部アバター生成部
８ 胴体データベース
９ 頭髪データベース
１０ 部品アバター選択部
１１ アバター合成部
１４ 特徴点抽出部
１５ 位置関係導出部
１６ 座標変換部
１７ 位置調整部
１８ 拡大縮小部
１９ 素体変形部
２２ 特徴点抽出部
２３ 画像変換部
２４ 余剰領域抽出部
２５ 頭髪領域抽出部
２６ 不要画像処理部
２７ 残余領域画像生成部
２８ 画像合成部
３１ 位置調整部
３２ 基準軸調整部
３３ サイズ調整部
３４ 合成処理部

Claims (6)

1. 対象物の顔面の少なくとも一部を含む２次元の顔面画像に基づき、頂点群によって表現した対象物の３次元表面形状及び３次元表面形状上に表示された表面画像を含む３次元アバターを生成する３次元アバター生成装置であって、
   前記顔面画像から、頭部素体の３次元表面形状を表現する頂点群のうち顔面領域に設定された基本特徴点に対応する３以上の特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段によって抽出された前記３以上の特徴点について、相互間の３次元的な位置関係を導出する位置関係導出手段と、
   前記位置関係導出手段によって導出された、前記３以上の特徴点のうちの第１の特徴点の位置と、前記第１の特徴点と対応する基本特徴点の位置が一致するよう前記３以上の特徴点及び／又は前記頭部素体を表現する頂点群を移動させる移動手段と、
   前記第１の特徴点以外の特徴点と対応する基本特徴点の位置を前記特徴点の位置に移動させることにより前記頭部素体の頂点群の位置関係を変化させて前記対象物の頭部の３次元表面形状を生成する素体変形手段と、
   前記頭部素体の３次元表面形状を表現する頂点群の位置関係を２次元的に図示した基本表面画像上に、前記顔面画像を、前記３以上の特徴点の位置が当該特徴点に対応する基本特徴点の位置と一致するように展開した画像である部分画像に変換する画像変換手段と、
   前記画像変換手段によって変換された前記部分画像から頭髪部分に相当する領域である頭髪領域を抽出する頭髪領域抽出手段と、
   前記部分画像から前記頭髪領域抽出手段によって抽出された前記頭髪領域を除去する不要画像処理手段と、
   前記基本表面画像のうち、前記不要画像処理手段によって前記頭髪領域を除去された前記部分画像以外の領域に相当する残余領域部分について、前記顔面画像の肌領域の色に基づき生成された色を表示した残余領域画像を生成する残余領域画像生成手段と、
   前記頭髪領域を除去された前記部分画像と前記残余領域画像とを合成して前記対象物の頭部の表面画像を生成する画像合成手段と、
   前記素体変形手段により生成された前記対象物の頭部の３次元表面形状と、前記画像合成手段により生成された前記対象物の頭部の表面画像とに基づき、前記対象物の頭部アバターを生成する頭部アバター生成手段と、
   を備えたことを特徴とする３次元アバター生成装置。
2. 前記頭部アバターに設定された接続箇所の位置と胴体アバターに設定された接続箇所の位置が一致するよう前記頭部アバター及び／又は前記胴体アバターの位置関係を調整する位置調整手段と、
   前記頭部アバターに設定された基準軸と、前記胴体アバターにて設定された頭部アバター用基準軸とが一致するよう前記頭部アバター及び／又は前記胴体アバターの方向を調整する方向調整手段と、
   前記胴体アバターにて設定されたサイズ情報に基づき、前記頭部アバターのサイズを調整するサイズ調整手段と、
   前記位置関係、前記方向及び前記サイズについて調整された前記頭部アバターと前記胴体アバターとを合成して一体的なアバターを生成するアバター合成手段と、
   を備えたことを特徴とする請求項１記載の３次元アバター生成装置。
3. 前記位置関係導出手段によって導出された３次元的な位置関係における前記３以上の特徴点によって規定される第１の３次元空間の体積に対する、前記３以上の特徴点に対応した前記基本特徴点によって規定される第２の３次元空間の体積の比率が所定の範囲内となるよう、前記３以上の特徴点同士の相対的な位置関係を保持しつつ前記第１の３次元空間の体積が拡大又は縮小されるように前記特徴点の位置座標を調整する座標調整手段を備えたことを特徴とする請求項１または２記載の３次元アバター生成装置。
4. 対象物の顔面の少なくとも一部を含む２次元の顔面画像に基づき、頂点群によって表現した対象物の３次元表面形状及び３次元表面形状上に表示された表面画像を含む３次元アバターを生成する３次元アバター生成方法であって、
   前記顔面画像から、頭部素体の３次元表面形状を表現する頂点群のうち顔面領域に設定された基本特徴点に対応する３以上の特徴点を抽出する特徴点抽出ステップと、
   前記特徴点抽出ステップにおいて抽出された前記３以上の特徴点について、相互間の３次元的な位置関係を導出する位置関係導出ステップと、
   前記位置関係導出ステップにおいて導出された、前記３以上の特徴点のうちの第１の特徴点の位置と、前記第１の特徴点と対応する基本特徴点の位置が一致するよう前記３以上の特徴点及び／又は前記頭部素体を表現する頂点群を移動させる移動ステップと、
   前記第１の特徴点以外の特徴点と対応する基本特徴点の位置を前記特徴点の位置に移動させることにより前記頭部素体の頂点群の位置関係を変化させて前記対象物の頭部の３次元表面形状を生成する素体変形ステップと、
   前記頭部素体の３次元表面形状を表現する頂点群の位置関係を２次元的に図示した基本表面画像上に、前記顔面画像を、前記３以上の特徴点の位置が当該特徴点に対応する基本特徴点の位置と一致するように展開した画像である部分画像に変換する画像変換ステップと、
   前記画像変換ステップにおいて変換された前記部分画像から頭髪部分に相当する領域である頭髪領域を抽出する頭髪領域抽出ステップと、
   前記部分画像から前記頭髪領域抽出ステップによって抽出された前記頭髪領域を除去する不要画像処理ステップと、
   前記基本表面画像のうち、前記不要画像処理ステップにおいて前記頭髪領域を除去された前記部分画像以外の領域に相当する残余領域部分について、前記顔面画像の肌領域の色に基づき生成された色を表示した残余領域画像を生成する残余領域画像生成ステップと、
   前記頭髪領域を除去された前記部分画像と前記残余領域画像とを合成して前記対象物の頭部の表面画像を生成する画像合成ステップと、
   前記素体変形ステップにおいて生成された前記対象物の頭部の３次元表面形状と、
   前記画像合成ステップにおいて生成された前記対象物の頭部の表面画像とに基づき、前記対象物の頭部アバターを生成する頭部アバター生成ステップと、
   を含むことを特徴とする３次元アバター生成方法。
5. 前記位置関係導出ステップにおいて導出された３次元的な位置関係における前記３以上の特徴点によって規定される第１の３次元空間の体積に対する、前記３以上の特徴点に対応した前記基本特徴点によって規定される第２の３次元空間の体積の比率が所定の範囲内となるよう、前記３以上の特徴点同士の相対的な位置関係を保持しつつ前記第１の３次元空間の体積が拡大又は縮小されるように前記特徴点の位置座標を調整する座標調整ステップをさらに含むことを特徴とする請求項４記載の３次元アバター生成方法。
6. 対象物の顔面の少なくとも一部を含む２次元の顔面画像に基づき、頂点群によって表現した対象物の３次元表面形状及び３次元表面形状上に表示された表面画像を含む３次元アバターをコンピュータに生成させる３次元アバター生成プログラムであって、
   前記コンピュータに対し、
   前記顔面画像から、頭部素体の３次元表面形状を表現する頂点群のうち顔面領域に設定された基本特徴点に対応する３以上の特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段によって抽出された前記３以上の特徴点について、相互間の３次元的な位置関係を導出する位置関係導出機能と、
   前記位置関係導出機能によって導出された、前記３以上の特徴点のうちの第１の特徴点の位置と、前記第１の特徴点と対応する基本特徴点の位置が一致するよう前記３以上の特徴点及び／又は前記頭部素体を表現する頂点群を移動させる移動機能と、
   前記第１の特徴点以外の特徴点と対応する基本特徴点の位置を前記特徴点の位置に移動させることにより前記頭部素体の頂点群の位置関係を変化させて前記対象物の頭部の３次元表面形状を生成する素体変形機能と、
   前記頭部素体の３次元表面形状を表現する頂点群の位置関係を２次元的に図示した基本表面画像上に、前記顔面画像を、前記３以上の特徴点の位置が当該特徴点に対応する基本特徴点の位置と一致するように展開した画像である部分画像に変換する画像変換機能と、
   前記画像変換機能によって変換された前記部分画像から頭髪部分に相当する領域である頭髪領域を抽出する頭髪領域抽出機能と、
   前記部分画像から前記頭髪領域抽出機能によって抽出された前記頭髪領域を除去する不要画像処理機能と、
   前記基本表面画像のうち、前記不要画像処理機能によって前記頭髪領域を除去された前記部分画像以外の領域に相当する残余領域部分について、前記顔面画像の肌領域の色に基づき生成された色を表示した残余領域画像を生成する残余領域画像生成機能と、
   前記頭髪領域を除去された前記部分画像と前記残余領域画像とを合成して前記対象物の頭部の表面画像を生成する画像合成機能と、
   前記素体変形機能により生成された前記対象物の頭部の３次元表面形状と、前記画像合成機能により生成された前記対象物の頭部の表面画像とに基づき、前記対象物の頭部アバターを生成する頭部アバター生成機能と、
   を実現させることを特徴とする３次元アバター生成プログラム。

Images