JP2022020509A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】顔モデルと調和した口腔モデルを生成する情報処理装置、情報処理方法およびプログラムを提供する。【解決手段】キャラクタ生成システム１において、記憶装置２０接続する処理装置１０は、情報取得部１１、フィッティング部１２及びモデル統合部１３を有する。情報取得部１１は、顔モデル、顎骨モデル、口腔モデル、深度分布情報を取得し、フィッティング部１２は骸骨モデルを顔モデルにフィッティングし、モデル統合部１３は、顎骨を覆う軟部組織の深度分布情報に基づいてキャラクタの顔モデルに顎骨モデルや口腔モデルを変形して組み込む。【選択図】図１１

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

写真から被写体の３次元モデルを生成する技術が開発されている。例えば、Ｐｉｎｓｃｒｅｅｎ（非特許文献１）、ｌｏｏｍ．ａｉ（非特許文献２）、Ｂｅｌｌｕｓ３Ｄ（非特許文献３）およびＡｖａｔａｒ ＳＤＫ（非特許文献４）は、スマートフォンで撮影された写真に基づいて簡易な顔モデルを生成する技術を提供している。写真には口腔が写されていない場合がある。そのため、写真からは顔面の３次元モデル（顔モデル）だけが生成される。口腔には、別途用意された口腔モデル（歯や舌などのモデル）が組み込まれる。

[online]，Pinscreen，[令和２年６月２５日検索]，インターネット＜URL: https://www.pinscreen.com/avatarsdk/＞ [online]，loom.ai，[令和２年６月２５日検索]，インターネット＜URL: https://loomai.com/＞ [online]，Bellus3D，[令和２年６月２５日検索]，インターネット＜URL: https://www.bellus3d.com/＞ [online]，Avatar SDK，[令和２年６月２５日検索]，インターネット＜URL: https://avatarsdk.com/＞ Wu, C. and Bradley, D. and Garrido, P. and Zollhofer, M. and Theobalt, C. and Gross, M. and Beeler, T. Model-Based Teeth Reconstruction. ACM Transactions on Graphics (TOG) volume 35 number 6, year 2016 Gaspard Zoss, Thabo Beeler, Markus Gross, Derek Bradley. Accurate Markerless Jaw Tracking for Facial Performance Capture. ACM Transactions on Graphics (Proceedings of SIGGRAPH). 2019. (Los Angeles, USA)

しかし、非特許文献１ないし４の技術では、形状および大きさが固定された口腔モデルがそのまま顔モデルに組み込まれる。そのため、顔モデルに対して口腔モデルが調和せず、見た目が不自然に感じられる場合がある。

一方、映画やゲームなどの分野では、クリエイタが手作業で口腔モデルを配置するのが一般的である。最近、Ｄｉｓｎｅｙ Ｒｅｓｅａｒｃｈ（非特許文献５）から、高精細な顔モデルおよび口腔モデルの生成技術が発表された。しかし、この手法では複数のカメラが同時に撮影できる環境が必要で、処理時間も長くなる。さらに、予めに取得された複数人の口腔モデルのデータベースが必要である。

機械学習を利用して顎骨の動きを人物の映像から推定する技術も発表されている（非特許文献６）。この手法では顔モデルと顎骨モデルとの位置関係が確立される。ここでは、演者の歯の間に特殊なキャリブレーションデバイスを挟むこと、演者の顔にマーカーを付けること、および、数ヵ箇所から撮影を行うことで、正確な顎骨の位置と顔面の形状が取得される。取得したデータベースに基づいた回帰関数を訓練して顔面の動きから顎の動きが計算される。非特許文献５の手法と同様に、非特許文献６の手法でも、長時間かかる処理、事前訓練、および、特殊なデバイスを用いたデータベースの生成などが必要となる。

そこで、本開示では、顔モデルと調和した口腔の３次元モデルを容易に生成することが可能な情報処理装置、情報処理方法およびプログラムを提案する。

本開示によれば、顎骨を覆う軟部組織の深度分布情報に基づいてキャラクタの顔モデルに顎骨モデルを変形して組み込むモデル統合部を有する情報処理装置が提供される。また、本開示によれば、前記情報処理装置の情報処理がコンピュータにより実行される情報処理方法、ならびに、前記情報処理装置の情報処理をコンピュータに実現させるプログラムが提供される。

キャラクタモデルの生成処理の概要を説明する図である。 顔モデルの一例を示す図である。 顎骨モデルの一例を示す図である。 顎骨モデルの一例を示す図である。 口腔モデルの一例を示す図である。 顎骨モデルに口腔モデルを組み込んだ状態を示す図である。 軟部組織特徴点のタイプおよび深度情報を示す図である。 深度情報を規定するための座標系を示す図である。 深度方向の規定方法を説明する図である。 深度方向の規定方法を説明する図である。 キャラクタ生成システムの概略図である。 ベースモデルに顎骨モデルを組み込む処理を示す図である。 ベースモデルに顎骨モデルを組み込む処理を示す図である。 ベースモデルに顎骨モデルを組み込む処理を示す図である。 ベースモデルに顎骨モデルを組み込む処理を示す図である。 ベースモデルに顎骨モデルを組み込む処理を示す図である。 ベースモデルと補正顎骨モデルとの相対位置に関する情報の一例を示す図である。 非ベースモデルに顎骨モデルを組み込む処理を示す図である。 非ベースモデルに顎骨モデルを組み込む処理を示す図である。 非ベースモデルに顎骨モデルを組み込む処理を示す図である。 非ベースモデルに顎骨モデルを組み込む処理を示す図である。 非ベースモデルに顎骨モデルを組み込む処理を示す図である。 顔モデルと特異軟部組織特徴点との関係を示す図である。 顔モデルと特異軟部組織特徴点との関係を示す図である。 軟部組織特徴点の選択がフィッティングに与える影響を示す図である。 フィッティングが適切に行われなかった例を示す図である。 フィッティングが適切に行われなかった他の例を示す図である。 ベースモデルを用いたキャラクタモデルの生成フローを示す図である。 非ベースモデルを用いたキャラクタモデルの生成フローを示す図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

なお、説明は以下の順序で行われる。
［１．キャラクタ生成システムの概要］
［２．モデルの説明］
［２－１．顔モデル］
［２－２．顎骨モデル］
［２－３．口腔モデル］
［３．軟部組織特徴点の説明］
［４．キャラクタ生成システムの構成］
［５．ユーザインタフェース］
［５－１．ベースモデルへの顎骨モデルの組み込み］
［５－２．非ベースモデルへの顎骨モデルの組み込み］
［５－３．フィッティングに用いられる軟部組織特徴点］
［５－４．フィッティングの修正］
［６．情報処理方法］
［６－１．ベースモデルを用いたキャラクタモデルの生成フロー］
［６－２．非ベースモデルを用いたキャラクタモデルの生成フロー］
［７．効果］

［１．キャラクタ生成処理の概要］
図１は、キャラクタモデルＣＭ（キャラクタの３次元モデル）の生成処理の概要を説明する図である。

キャラクタモデルＣＭは、顔モデルＦＭに顎骨モデルＪＢＭおよび口腔モデルＯＭを組み込むことにより生成される。顔モデルＦＭ、顎骨モデルＪＢＭおよび口腔モデルＯＭは、一般的なＣＧソフトウェアによって作成される。顔モデルＦＭ、顎骨モデルＪＢＭおよび口腔モデルＯＭは、ポリゴンモデルとして生成される。ポリゴンモデルは、複数の頂点と、隣接する頂点を結んで得られる複数の辺および複数の面と、を含むポリゴンメッシュによって構成される。

顎骨モデルＪＢＭおよび口腔モデルＯＭは、標準的な形状および大きさを有するジェネリックなモデルである。顔モデルＦＭは、キャラクタごとに生成される個別のモデルである。そのため、ジェネリックな顎骨モデルＪＢＭは、顎骨を覆う軟部組織の深度分布情報２２（図７参照）に基づいて、顔モデルＦＭに変形して組み込まれる。口腔モデルＯＭは、変形後の顎骨モデルＪＢＭ（補正顎骨モデルＣＪＢＭ）に変形して組み込まれる。これにより、見た目が自然な位置に口腔の３次元モデルが生成される。

［２．モデルの説明］
［２－１．顔モデル］
図２は、顔モデルＦＭの一例を示す図である。

顔モデルＦＭは、キャラクタの顔面の３次元モデルである。顔モデルＦＭは、例えば、特定人物の顔の写真を用いて生成される。顔の写真は、例えば、Ｋｉｎｅｃｔ（登録商標）などの、被写体の奥行情報を取得可能なカメラを用いて撮影される。

顔面は軟部組織によって構成される。軟部組織は、筋肉や皮膚などの、骨格以外の支持組織を意味する。顎骨を覆う軟部組織には、複数の軟部組織特徴点Ｃが設定されている。軟部組織特徴点Ｃには、軟部組織の深度および深度方向に関する情報が設定されている。

軟部組織特徴点Ｃは、軟部組織特徴点Ｃの深度方向において対向する一組の特徴点（顎骨特徴点Ｃ＿Ｊおよび顔面特徴点Ｃ＿Ｆ）によって特定される。顎骨特徴点Ｃ＿Ｊは、軟部組織特徴点Ｃを深度方向に沿って顎骨上に投影した点である。顔面特徴点Ｃ＿Ｆは、軟部組織特徴点Ｃを深度方向に沿って顔面上に投影した点である。顎骨特徴点Ｃ＿Ｊおよび顔面特徴点Ｃ＿Ｆは、それぞれ軟部組織特徴点Ｃと１対１に対応する。

以下、複数の軟部組織特徴点Ｃには、軟部組織特徴点どうしを区別するために、番号が付される場合がある。同一の軟部組織特徴点Ｃに関連付けられた特徴点には同じ番号が付される。矢状面を挟んで左右の対称な位置に配置された同一種類の軟部組織特徴点Ｃには、同じ番号が付され、符号Ｌ（左側）および符号Ｒ（右側）によって両者が区別される。例えば、図２の例では、２０種類の軟部組織特徴点Ｃが顔面に設定されている。

［２－２．顎骨モデル］
図３および図４は、顎骨モデルＪＢＭの一例を示す図である。

顎骨モデルＪＢＭは、標準的な顎骨の形状および大きさを有するジェネリックな顎骨の３次元モデルである。図３に示すように、顎骨モデルＪＢＭ上には複数の顎骨特徴点Ｃ＿Ｊが設定されている。図４に示すように、顎骨モデルＪＢＭは、上顎骨ＵＪＢと下顎骨ＬＪＢとを有する。下顎骨ＬＪＢは、回転軸（蝶番軸）ＲＡを中心として回転することができる。下顎骨ＬＪＢは、上顎骨ＵＪＢに対して回転軸ＲＡと平行な方向に相対移動することができる。

［２－３．口腔モデル］
図５は、口腔モデルＯＭの一例を示す図である。図６は、顎骨モデルＪＢＭに口腔モデルＯＭを組み込んだ状態を示す図である。

口腔モデルＯＭは、標準的な口腔の構造（口腔内に配置される歯、歯肉および舌などの形状、大きさおよび位置など）を有するジェネリックな口腔の３次元モデルである。口腔モデルＯＭは、所定の拡大率で拡大または縮小することにより顎骨モデルＪＢＭに結合させることができる。図６の例では、口腔モデルＯＭは顎骨モデルＪＢＭに合致した形状（拡大率は１）のモデルとして提示されている。そのため、口腔モデルＯＭは、変形せずにそのまま顎骨モデルＪＢＭに組み込むことができる。

［３．軟部組織特徴点の説明］
顎骨を覆う軟部組織には複数の軟部組織特徴点Ｃが設定されている。それぞれの軟部組織特徴点Ｃは、顎骨特徴点Ｃ＿Ｊおよび顔面特徴点Ｃ＿Ｆに基づいて、以下のように定義される。

・軟部組織特徴点Ｃ１（ａｒ＿Ｌ／Ｒ）
顎骨特徴点Ｃ１＿Ｊ：側頭骨に最も近い下顎骨の端にある点。
顔面特徴点Ｃ１＿Ｆ：顎骨特徴点Ｃ１＿Ｊから水平方向（回転軸ＲＡと平行な方向）に延ばした位置にある点。

・軟部組織特徴点Ｃ２（ｓＭ２＿Ｌ／Ｒ）
顎骨特徴点Ｃ２＿Ｊ：上顎第二大臼歯の歯冠の上にある上顎歯槽堤の先端。
顔面特徴点Ｃ２＿Ｆ：顎骨特徴点Ｃ２＿Ｊから特定方向（図７参照）に延ばした位置にある点。

・軟部組織特徴点Ｃ３（ｍｒ＿Ｌ／Ｒ）
顎骨特徴点Ｃ３＿Ｊ：下顎枝の中心点。
顔面特徴点Ｃ３＿Ｆ：顎骨特徴点Ｃ３＿Ｊから特定方向（図７参照）に延ばした位置にある点。

・軟部組織特徴点Ｃ４（ｓＣ＿Ｌ／Ｒ）
顎骨特徴点Ｃ４＿Ｊ：上顎犬歯の歯冠の上にある上顎歯槽堤の先端。
顔面特徴点Ｃ４＿Ｆ：顎骨特徴点Ｃ４＿Ｊから特定方向（図７参照）に延ばした位置にある点。

・軟部組織特徴点Ｃ５（ｉＭ２＿Ｌ／Ｒ）
顎骨特徴点Ｃ５＿Ｊ：下顎第二大臼歯の歯冠の下にある下顎歯槽堤の先端。
顔面特徴点Ｃ５＿Ｆ：顎骨特徴点Ｃ５＿Ｊから特定方向（図７参照）に延ばした位置にある点。

・軟部組織特徴点Ｃ６（ｉＣ＿Ｌ／Ｒ）
顎骨特徴点Ｃ６＿Ｊ：下顎犬歯の歯冠の下にある下顎歯槽堤の先端。
顔面特徴点Ｃ６＿Ｆ：顎骨特徴点Ｃ６＿Ｊから特定方向（図７参照）に延ばした位置にある点。

・軟部組織特徴点Ｃ７（ｍｍｂ）
顎骨特徴点Ｃ７＿Ｊ：下顎骨の正中線から横方向に縁までの間の中心点。
顔面特徴点Ｃ７＿Ｆ：顎骨特徴点Ｃ７＿Ｊから特定方向（図７参照）に延ばした位置にある点。

・軟部組織特徴点Ｃ８（ｍｅｎｔａｌｅ）
顎骨特徴点Ｃ８＿Ｊ：オトガイ孔。
顔面特徴点Ｃ８＿Ｆ：顎骨特徴点Ｃ８＿Ｊから特定方向（図７参照）に延ばした位置にある点。

・軟部組織特徴点Ｃ９（ｎａｓｉｏｎ）
顎骨特徴点Ｃ９＿Ｊ：前頭鼻骨縫合との中心点。
顔面特徴点Ｃ９＿Ｆ：顔の正中線で鼻と御凸の間にある窪みの一番深い点。

・軟部組織特徴点Ｃ１０（ｎａｓｉｏｎ＿Ｌ／Ｒ）
顎骨特徴点Ｃ１０＿Ｊ：鼻骨の正中線から横５ｍｍの最も下の点。
顔面特徴点Ｃ１０＿Ｆ：顎骨特徴点Ｃ９＿Ｊの１０ｍｍ下の鼻の正中線から横５ｍｍの位置にある点。

・軟部組織特徴点Ｃ１１（ｃｈ＿Ｌ／Ｒ）
顎骨特徴点Ｃ１１＿Ｊ：眼窩下孔。
顔面特徴点Ｃ１１＿Ｆ：顎骨特徴点Ｃ１１＿Ｊから特定方向（図７参照）に延ばした位置にある点。

・軟部組織特徴点Ｃ１２（ａｃｐ＿Ｌ／Ｒ）
顎骨特徴点Ｃ１２＿Ｊ：鼻孔の横の点。
顔面特徴点Ｃ１２＿Ｆ：顎骨特徴点Ｃ１２＿Ｊから特定方向（図７参照）に延ばした位置にある点。

・軟部組織特徴点Ｃ１３（ｓｎ）
顎骨特徴点Ｃ１３＿Ｊ：上顎骨の正中線での前鼻棘の点。
顔面特徴点Ｃ１３＿Ｆ：中隔と上唇が結合するところの顔面上で最も深い点。

・軟部組織特徴点Ｃ１４（ｍｐ）
顎骨特徴点Ｃ１４＿Ｊ：上顎骨の正中線上で顎骨特徴点Ｃ１３＿Ｊと顎骨特徴点Ｃ１５＿Ｊの中間の点。
顔面特徴点Ｃ１４＿Ｆ：顔面の正中線上で顔面特徴点Ｃ１３＿Ｆと顔面特徴点Ｃ１５＿Ｆの中間の点。

・軟部組織特徴点Ｃ１５（ｌｓ）
顎骨特徴点Ｃ１５＿Ｊ：上顎骨歯槽堤の正中線で最前端の点。
顔面特徴点Ｃ１５＿Ｆ：上唇の正中線で、上部の朱色の境界線上の点。

・軟部組織特徴点Ｃ１６（ｌｉ）
顎骨特徴点Ｃ１６＿Ｊ：下顎骨歯槽堤の正中線で最前端の点。
顔面特徴点Ｃ１６＿Ｆ：下唇の正中線で、下部の朱色の境界線上の点。

・軟部組織特徴点Ｃ１７（ｍｌｓ）
顎骨特徴点Ｃ１７＿Ｊ：下顎骨の正中線でオトガイ隆起の上にある窪みの一番深い点。
顔面特徴点Ｃ１７＿Ｆ：顎の正中線で顔面特徴点Ｃ１６＿Ｆと顔面特徴点Ｃ１８＿Ｆの間にある顎の窪みの一番深い点。

・軟部組織特徴点Ｃ１８（ｐｇ）
顎骨特徴点Ｃ１８＿Ｊ：下顎骨の隆起（オトガイ隆起）の最も前方の正中線上の点。
顔面特徴点Ｃ１８＿Ｆ：顎の軟部組織の隆起で最も前方の正中線上の点。

・軟部組織特徴点Ｃ１９（ｇｎ）
顎骨特徴点Ｃ１９＿Ｊ：下顎骨の正中線で顎骨特徴点Ｃ１８＿Ｊと顎骨特徴点Ｃ２０＿Ｊの中間の点。
顔面特徴点Ｃ１９＿Ｆ：顎骨特徴点Ｃ１９＿Ｊから特定方向（図７参照）に延ばした位置にある点。

・軟部組織特徴点Ｃ２０（ｍ）
顎骨特徴点Ｃ２０＿Ｊ：下顎結合での正中線の最も下の点。
顔面特徴点Ｃ２０＿Ｆ：顎骨特徴点Ｃ１９＿Ｊから特定方向（図７参照）に延ばした位置にある点。

図７は、軟部組織特徴点Ｃのタイプおよび深度情報を示す図である。図８は、深度情報を規定するための座標系を示す図である。図９および図１０は、深度方向の規定方法を説明する図である。

図７に示すように、複数の軟部組織特徴点Ｃは、タイプＰとタイプＤに分類される。タイプＰは、顔面特徴点Ｃ＿Ｆが顔面の特徴的な構造に基づいて定義されるタイプである。タイプＤは、顔面特徴点Ｃ＿Ｆが、顔面の特徴的な構造ではなく、顎骨特徴点Ｃ＿Ｊからの方位（深度方向）によって定義されるタイプである。なお、顎骨特徴点Ｃ＿Ｊは、タイプＰおよびタイプＤのいずれにおいても、顎骨の特徴的な構造に基づいて定義される。

深度情報は、例えば、軟部組織の深度方向、深度の平均（標準深度）および深度の標準偏差に関する情報を含む。図８に示すように、深度方向は、例えば、咬合平面をＸＺ平面とし、矢状面をＹＺ平面とし、冠状面をＸＹ平面とするＸＹＺ座標系に基づいて設定される。下顎骨から上顎骨に向かう方向はＹ軸の正方向であり、後頭部から前頭部に向かう方向はＺ軸の正方向である。軟部組織の深度方向および標準深度は、図３において、顎骨特徴点Ｃ＿Ｊに付された棒線ＤＢの方向および長さによって示されている。

図７において、「ｙ（角度ａ）」は、（－１，０，０）の方向を（０，－１，０）の方向に向けてＺ軸の周りに角度ａだけ回転した方向を意味する。「角度ｂ ａｎｔｅｒｉｏｒ」は、（－１，０，０）の方向を（０，０，１）の方向に向けてＹ軸の周りに角度ｂだけ回転した方向を意味する。「ｙ（角度ａ） 角度ｂ ａｎｔｅｒｉｏｒ」は、（－１，０，０）の方向を（０，－１，０）の方向に向けてＺ軸の周りに角度ａだけ回転し、さらに、（０，０，１）の方向に向けてＹ軸の周りに角度ｂだけ回転した方向を意味する。図９は、ｙ（－１５ｄｅｇ） ２０ｄｅｇ ａｎｔｅｒｉｏｒ」で規定される方向を示す。

図１０に示すように、軟部組織特徴点Ｃ２０の深度方向は、顎骨特徴点Ｃ２０＿Ｊにおける顎骨の曲率を二等分する方向（顎骨の接線に垂直な方向）である。標準的な顎骨（図１０の左側の顎骨）では、（０，―１，０）の方向である。

上述した軟部組織特徴点Ｃ１～Ｃ７、Ｃ９、Ｃ１２～Ｃ２０の位置情報および深度情報は、下記文献に記載された情報に基づく。下記文献のデータは、約１５００人の軟部組織の深度データの平均と標準偏差を計算して作られている。

Stephan, CN and Simpson, EK (2008) Facial Soft Tissue Depths in Craniofacial Identification (Part I): An Analytical Review of the Published Adult Data. Journal of Forensic Sciences 53(6): 1257-1272

上記文献に記載された軟部組織特徴点Ｃは、矢状面（ＹＺ平面）に配置されるものが多い。そのため、これらの軟部組織特徴点Ｃのみを用いて顎骨モデルＪＢＭを顔モデルＦＭにフィッティングすると、顎骨モデルＪＢＭの回転量および並進移動量が精度よく算出されず、顎骨モデルＪＢＭが顔モデルＦＭに対して左右に傾いた位置に配置される可能性がある。そのため、矢状面とは異なる位置に配置される軟部組織特徴点Ｃ８，Ｃ１１，Ｃ１２が、本発明者によって追加されている。

［４．キャラクタ生成システムの構成］
図１１は、キャラクタ生成システム１の概略図である。

キャラクタ生成システム１は、キャラクタモデルＣＭを生成するための情報処理システムである。キャラクタ生成システム１は、処理装置１０と、記憶装置２０と、入力装置３０と、表示装置４０と、を有する。

処理装置１０は、情報取得部１１と、フィッティング部１２と、モデル統合部１３と、相対位置算出部１４と、補正部１５と、を有する。処理装置１０は、各種情報を処理する情報処理装置である。

情報取得部１１は、例えば、記憶装置２０に記憶されたモデル情報２１、深度分布情報２２および相対位置情報２３を取得する。情報取得部１１は、入力装置３０を介してユーザが入力した各種情報を取得する。入力装置３０は、タッチパネル、キーボードおよびマウスなどの公知の入力装置である。

モデル情報２１は、顔モデルＦＭ、顎骨モデルＪＢＭおよび口腔モデルＯＭを構成するポリゴンメッシュの座標情報を含む。モデル情報２１には、同一キャラクタの複数の顔モデルＦＭの情報が含まれる。複数の顔モデルＦＭには、１つのベースモデルＢＭ（図１２参照）と複数の非ベースモデルＮＢＭ（図１８参照）とが含まれる。ベースモデルＢＭは、例えば、無表情を示す顔モデルＦＭである。無表情の状態では、全ての顔の筋肉がリラックスしている。非ベースモデルＮＢＭは、ベースモデルＢＭとは異なる、特定の表情を示す顔モデルＦＭである。表情は、情動などに応じて顔に表出される変化である。情動は、明確な原因によって引き起こされる強い感情である。無表情以外の状態では、顔の一部の筋肉が収縮している。非ベースモデルＮＢＭの表情としては、例えば、笑顔、怒り顔および泣き顔など、互いに性質の異なる複数の表情が用いられる。

深度分布情報２２は、顎骨を覆う軟部組織の深度分布を示す情報である。深度分布情報２２は、例えば、複数の軟部組織特徴点Ｃの位置情報と、軟部組織特徴点Ｃごとの深度情報と、を含む。位置情報は、軟部組織特徴点Ｃ（顎骨特徴点Ｃ＿Ｊおよび顔面特徴点Ｃ＿Ｆ）の位置を特定する情報を含む。深度情報は、例えば、軟部組織の深度方向（顎骨特徴点Ｃ＿Ｊと顔面特徴点Ｃ＿Ｆとを結ぶ直線の延在方向）、標準深度および深度の標準偏差に関する情報を含む。深度情報は、ベースモデルＢＭに対応する顔面状態（無表情）における深度情報として規定されている。

相対位置情報２３は、顔モデルＦＭに合わせて変形された顎骨モデルＪＢＭ（補正顎骨モデルＣＪＢＭ）と顔モデルＦＭとの相対位置に関する情報である。補正顎骨モデルＣＪＢＭと顔モデルＦＭとの相対位置は、例えば、軟部組織特徴点Ｃごとの、顎骨特徴点Ｃ＿Ｊと顔面特徴点Ｃ＿Ｆとの相対位置に基づいて規定される。

相対位置情報２３は、例えば、位置パラメータＰＯおよび変形パラメータＳに関する情報を含む。位置パラメータＰＯは、補正顎骨モデルＣＪＢＭを顔モデルＦＭに組み込む位置を示すパラメータである。位置パラメータＰＯは、例えば、Ｘ軸、Ｙ軸およびＺ軸を中心とした上顎骨ＵＪＢおよび下顎骨ＬＪＢの回転量Ｒと、Ｘ軸方向、Ｙ軸方向およびＺ軸方向における上顎骨ＵＪＢおよび下顎骨ＬＪＢの並進移動量Ｔと、を含む。位置パラメータＰＯは上顎骨ＵＪＢと下顎骨ＬＪＢに対して独立に設定される。変形パラメータＳは、顎骨モデルＪＢＭを顔モデルＦＭに合わせて変形する際の顎骨モデルＪＢＭの変形量を示すパラメータである。変形パラメータＳは、例えば、顎骨モデルＪＢＭのＸ軸方向、Ｙ軸方向およびＺ軸方向の拡大率を示す。

フィッティング部１２は、深度分布情報２２に基づいて顎骨モデルＪＢＭを顔モデルＦＭにフィッティングする。フィッティング部１２は、フィッティング結果に基づいて、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯを算出する。フィッティング部１２は、複数の軟部組織特徴点Ｃ１～Ｃ２０の中から、フィッティングに用いる複数の軟部組織特徴点Ｃを選択する。フィッティングには、選択された複数の軟部組織特徴点Ｃの深度情報が用いられる。例えば、フィッティング部１２は、軟部組織特徴点Ｃの位置情報に基づいて、モデル情報２１から、フィッティングに用いられる複数の軟部組織特徴点Ｃに対応した複数の顎骨特徴点Ｃ＿Ｊおよび複数の顔面特徴点Ｃ＿Ｆの座標を抽出する。顔面特徴点Ｃ＿Ｆの座標は、対応する顎骨特徴点Ｃ＿Ｊの座標と、変形パラメータＳおよび位置パラメータＰＯ（回転量Ｒ、並進移動量Ｔ）を用いて算出される。

フィッティング部１２は、複数の軟部組織特徴点Ｃ１～Ｃ２０から選択された複数の軟部組織特徴点Ｃについて、それぞれ軟部組織の深度を確率変数とする確率密度関数を算出する。フィッティング部１２は、選択された全ての軟部組織特徴点Ｃの確率密度関数の総和が最大化されるような解を最適解とする数式モデル（下記式（１）参照）に基づいて変形パラメータＳおよび位置パラメータＰＯ（回転量Ｒ、並進移動量Ｔ）を算出する。

式（１）において、「ｉ」は軟部組織特徴点Ｃの番号を示す。「σ_ｉ」は軟部組織特徴点Ｃｉにおける軟部組織の深度の標準偏差を示す。「μ_ｉ」は軟部組織特徴点Ｃｉにおける軟部組織の深度の平均（標準深度）を示す。「Ｊ_ｉ」は、軟部組織特徴点Ｃｉに対応する顎骨特徴点Ｃｉ＿Ｊの座標を示す。「Ｆ_ｉ」は、軟部組織特徴点Ｃｉに対応する顔面特徴点Ｃｉ＿Ｆの座標を示す。「ｄｉｓｔ（Ｊ_ｉ，Ｆ_ｉ）」は、顎骨特徴点Ｃｉ＿Ｊと顔面特徴点Ｃｉ＿Ｆとの相対距離（深度）を示す。

フィッティングに用いられる軟部組織特徴点Ｃは、ベースモデルＢＭに対するフィッティングを行う場合と非ベースモデルＢＭに対するフィッティングを行う場合とで異なる。

例えば、ベースモデルＢＭに対するフィッティングを行う場合には、複数の軟部組織特徴点Ｃ１～Ｃ２０のうち、全ての軟部組織特徴点Ｃ１～Ｃ２０がフィッティングに用いられる。フィッティング部１２は、全ての軟部組織特徴点Ｃ１～Ｃ２０の深度情報に基づいて、顎骨モデルＪＢＭをベースモデルＢＭにフィッティングする。フィッティング部１２は、このフィッティング結果に基づいて、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯを算出する。これにより、同一キャラクタの全ての顔モデルＦＭにおいて共用される顎骨モデルＪＢＭの変形パラメータＳが確定する。

別の顔モデルＦＭ（非ベースモデルＮＢＭ）に対するフィッティングを行う場合には、複数の軟部組織特徴点Ｃ１～Ｃ２０のうち、前述の顔モデルＦＭ（ベースモデルＢＭ）から別の顔モデル（非ベースモデルＮＢＭ）への顔面形状の変化によって深度情報が変化しない複数の特異軟部組織特徴点ＰＣ（図２３、図２４参照）がフィッティングに用いられる。フィッティング部１２は、変形パラメータＳを維持したまま、選択された全ての特異軟部組織特徴点ＰＣの深度情報に基づいて、顎骨モデルＪＢＭを別の顔モデルＦＭにフィッティングする。フィッティング部１２は、このフィッティング結果に基づいて、補正顎骨モデルＣＪＢＭを別の顔モデルＦＭに組み込むための位置パラメータＰＯを算出する。

例えば、フィッティング部１２は、複数の軟部組織特徴点Ｃ１～Ｃ２０のうち、フィッティングの対象となる顔モデルＦＭの表情に応じて選択された複数の特異軟部組織特徴点ＰＣについて、それぞれ軟部組織の深度を確率変数とする確率密度関数を算出する。フィッティング部１２は、選択された全ての特異軟部組織特徴点ＰＣの確率密度関数の総和が最大化されるような解を最適解とする数式モデル（上式（１））に基づいて位置パラメータＰＯを算出する。

位置パラメータＰＯは、例えば、第１位置パラメータＰ１と第２位置パラメータＰ２とを含む。第１位置パラメータＰ１は、上顎骨ＵＪＢと顔モデルＦＭとの相対位置を示す。第２位置パラメータＰ２は、下顎骨ＬＪＢと上顎骨ＵＪＢとの相対位置を示す。フィッティング部１２は、まず、複数の軟部組織特徴点Ｃ１～Ｃ２０から選択された複数の軟部組織特徴点Ｃの深度情報に基づいて、顎骨モデルＪＢＭを顔モデルＦＭにフィッティングし、第１位置パラメータＰ１を算出する。選択された複数の軟部組織特徴点Ｃには、上顎骨ＵＪＢを覆う軟部組織に設定された複数の特異軟部組織特徴点ＰＣが含まれる。次に、フィッティング部１２は、下顎骨ＬＪＢを覆う軟部組織に設定された複数の特異軟部組織特徴点ＰＣの深度情報に基づいて、顎骨モデルＪＢＭを顔モデルＦＭにフィッティングし、第２位置パラメータＰ２を算出する。

モデル統合部１３は、顔モデルＦＭにジェネリックな顎骨モデルＪＢＭおよび口腔モデルＯＭを変形して組み込んでキャラクタモデルＣＭを生成する。

モデル統合部１３は、まず、深度分布情報２２に基づいてキャラクタの顔モデルＦＭにジェネリックな顎骨モデルＪＢＭを変形して組み込む。例えば、モデル統合部１３は、フィッティング結果から得られた変形パラメータに基づいて顎骨モデルＪＢＭを変形する。モデル統合部１３は、位置パラメータＰＯに基づいて、変形された顎骨モデルＪＢＭ（補正顎骨モデルＣＪＢＭ）を顔モデルＦＭに組み込む位置を決定する。モデル統合部１３は、決定された位置に補正顎骨モデルＣＪＢＭを配置して顔モデルＦＭと統合する。

次に、モデル統合部１３は、補正顎骨モデルＣＪＢＭにジェネリックな口腔モデルＯＭを変形して組み込む。まず、モデル統合部１３は、顎骨モデルＪＢＭと口腔モデルＯＭの座標情報に基づいて、口腔モデルＯＭを顎骨モデルＪＢＭに組み込むための拡大率を算出する。歯と顎の相対位置は不変である。そのため、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯは口腔モデルＯＭの変形パラメータおよび位置パラメータとして流用される。モデル統合部１３は、算出された拡大率と顎骨モデルＪＢＭの変形パラメータＳとに基づいて、口腔モデルＯＭの変形パラメータを算出する。モデル統合部１３は、算出された変形パラメータに基づいて口腔モデルＯＭを変形する。モデル統合部１３は、顎骨モデルＪＢＭの位置パラメータＰＯに基づいて、変形された口腔モデルＯＭを補正顎骨モデルＣＪＢＭに組み込み、補正顎骨モデルＣＪＢＭと統合する。

モデル統合部１３は、統合作業中の各種モデルの座標情報およびパラメータ情報を逐次表示装置４０に出力する。表示装置４０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの公知の表示装置である。表示装置４０に出力される座標情報には、顔モデルＦＭに顎骨モデルＪＢＭおよび口腔モデルＯＭを組み込む前および後の顔モデルＦＭ、顎骨モデルＪＢＭおよび口腔モデルＯＭの座標情報が含まれる。パラメータ情報には、顔モデルＦＭに顎骨モデルＪＢＭおよび口腔モデルＯＭを組み込んだときの顎骨モデルＪＢＭおよび口腔モデルＯＭの変形パラメータおよび位置パラメータの情報が含まれる。表示装置４０は、モデル統合部１３から出力された情報に基づいて、統合作業中の各種モデルの画像、および、各種パラメータの値を表示する。

ユーザは、表示装置４０に表示されたプレビュー画像に基づいて、顔モデルＦＭ、補正顎骨モデルＣＪＢＭおよび補正口腔モデルＣＯＭの相対位置を補正するための補正情報を入力することができる。補正情報には、例えば、パラメータ補正情報および深度分布補正情報が含まれる。パラメータ補正情報は、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯを補正する情報である。深度分布補正情報は、深度分布情報２２を補正する情報である。情報取得部１１は、入力装置３０を介してユーザから入力された補正情報を取得する。フィッティング部１２は、情報取得部１１が深度分布補正情報を取得したことに応答して、深度分布情報２２を深度分布補正情報に基づいて補正する。フィッティング部１２は、補正された深度分布情報（補正深度分布情報）に基づいてフィッティングを行う。

相対位置算出部１４は、顔モデルＦＭごとに、顔モデルＦＭと補正顎骨モデルＣＪＢＭと補正口腔モデルＣＯＭとの相対位置を算出する。例えば、相対位置算出部１４は、軟部組織特徴点Ｃごとに、補正顎骨モデルＣＪＢＭ上の顎骨特徴点Ｃ＿Ｊ（補正顎骨特徴点Ｃ＿ＣＪ）と顔面特徴点Ｃ＿Ｆとの相対位置を算出する。相対位置算出部１４は、軟部組織特徴点Ｃごとの補正顎骨特徴点Ｃ＿ＣＪと顔面特徴点Ｃ＿Ｆとの相対位置に関する情報を、顔モデルＦＭと補正顎骨モデルＣＪＢＭとの相対位置を示す情報として算出する。相対位置算出部１４は、例えば、歯槽窩と歯との位置関係に基づいて、補正顎骨モデルＣＪＢＭと補正口腔モデルＣＯＭとの相対位置に関する情報を算出する。相対位置算出部１４は、顔モデルＦＭと補正顎骨モデルＣＪＢＭとの相対位置、補正顎骨モデルＣＪＢＭと補正口腔モデルＣＯＭとの相対位置、顎骨モデルＪＢＭの変形パラメータＳおよび口腔モデルＯＭの変形パラメータに関する情報を相対位置情報２３として出力する。

補正部１５は、相対位置情報２３に含まれる変形パラメータＳおよび位置パラメータＰＯの情報をパラメータ補正情報に基づいて補正する。補正部１５は、パラメータ補正情報に基づいて補正された相対位置情報２３を記憶装置２０に出力する。

記憶装置２０は、例えば、処理装置１０が実行するプログラム２４と、モデル情報２１と、深度分布情報２２と、相対位置情報２３と、を記憶する。プログラム２４は、本実施形態に係る情報処理をコンピュータに実行させるプログラムである。処理装置１０は、記憶装置２０に記憶されているプログラム２４にしたがって各種の処理を行う。記憶装置２０は、処理装置１０の処理結果を一時的に記憶する作業領域として利用されてもよい。記憶装置２０は、例えば、半導体記憶媒体および磁気記憶媒体などの任意の非一過的な記憶媒体を含む。記憶装置２０は、例えば、光ディスク、光磁気ディスクまたはフラッシュメモリを含んで構成される。プログラム２４は、例えば、コンピュータにより読み取り可能な非一過的な記憶媒体に記憶されている。

処理装置１０は、例えば、プロセッサとメモリとで構成されるコンピュータである。処理装置１０のメモリには、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）が含まれる。処理装置１０は、プログラム２４を実行することにより、情報取得部１１、フィッティング部１２、モデル統合部１３、相対位置算出部１４および補正部１５として機能する。

［５．ユーザインタフェース］
以下、図１２ないし図２９を用いてキャラクタ生成システム１のユーザインタフェースＵＩの一例を説明する。ユーザは、表示装置４０に表示されるユーザインタフェースＵＩを用いてキャラクタモデルＣＭを生成する。

［５－１．ベースモデルへの顎骨モデルの組み込み］
図１２ないし図１６は、ベースモデルＢＭに顎骨モデルＪＢＭを組み込む処理を示す図である。

図１２に示すように、表示装置４０には、コマンド入力フィールドＣＩＦ、プレビューフィールドＭＤＦおよびパラメータ表示フィールドＰＤＦが表示される。コマンド入力フィールドＣＩＦには、各種コマンドを入力するためのボタンが表示される。プレビューフィールドＭＤＦには、各種モデル、および、モデルの統合作業中のプレビュー画像が表示される。

図１２には、モデル情報２１からベースモデルＢＭを読み出してプレビューフィールドＭＤＦに表示させた状態が示されている。ベースモデルＢＭには、複数の顔面特徴点Ｃ＿Ｆが表示されている。パラメータ表示フィールドＰＤＦには、モデル統合作業中の各種パラメータの値が表示される。図１２の例では、ベースモデルＢＭのパラメータを表示するためのパラメータ表示フィールドＰＤＦと、顎骨モデルＪＢＭのパラメータを表示するためのパラメータ表示フィールドＰＤＦと、が表示画面右側の上部と下部にわかれて表示されている。

図１３には、モデル情報２１から顎骨モデルＪＢＭを読み出してプレビューフィールドＭＤＦに表示させた状態が示されている。顎骨モデルＪＢＭには、複数の顎骨特徴点Ｃ＿Ｊが表示されている。顎骨特徴点Ｃ＿Ｊには、顎骨特徴点Ｃ＿Ｊに対応した軟部組織特徴点Ｃの深度情報が棒線ＤＢによって表示されている。棒線ＤＢの向きおよび長さは、軟部組織特徴点Ｃにおける軟部組織の深度方向および標準深度を表す。

図１４には、顎骨モデルＪＢＭとベースモデルＢＭとをプレビューフィールドＭＤＦに表示させた状態が示されている。この状態で、ユーザが、コマンド入力フィールドＣＩＦに表示された第１フィッターボタンを押すと、ベースモデルＢＭに対する顎骨モデルＪＢＭのフィッティングが開始される。図１５には、フィッティングによってベースモデルＢＭに補正顎骨モデルＣＪＢＭが組み込まれた状態が示されている。図１６に示すように、プレビュー画像の視点はユーザによって任意に設定することができる。

プレビューフィールドＭＤＦには、顎骨モデルＪＢＭの形状および位置をベースモデルＢＭに合わせて調整した補正顎骨モデルＣＪＢＭと、補正顎骨モデルＣＪＢＭ上に設定された複数の補正顎骨特徴点Ｃ＿ＣＪと、が表示される。顎骨モデルＪＢＭ用のパラメータ表示フィールドＰＤＦには、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯを表示させることができる。パラメータ表示フィールドＰＤＦには、上顎骨ＵＪＢの変形パラメータおよび第１位置パラメータＰ１と、下顎骨ＬＪＢの変形パラメータおよび第２位置パラメータＰ２と、が切り替えボタンによって切り替えて表示される。

補正顎骨特徴点Ｃ＿ＣＪには、深度分布情報２２に規定された深度情報が棒線ＤＢで表示される。棒線ＤＢの長さ（標準深度）は、フィッティングによって得られた補正顎骨特徴点Ｃ＿ＣＪと顔特徴点Ｃ＿Ｆとの相対距離とは必ずしも一致しない。プレビューフィールドＭＤＦには、フィッティングによって得られた相対距離と標準深度とのずれが標準偏差σに基づいて色分けして表示される。例えば、ずれがσ以下であれば棒線ＤＢは緑色で表示される。ずれがσよりも大きく２σ以下であれば棒線ＤＢは黄色で表示される。ユーザは、緑色の棒線ＤＢが付された補正顎骨特徴点Ｃ＿ＣＪの数によって、フィッティングが適切に行われたか判断することができる。

図１７は、相対位置算出部１４で算出されるベースモデルＢＭと補正顎骨モデルＣＪＢＭとの相対位置に関する情報の一例を示す図である。

図１７において、「顎骨」は、軟部組織特徴点Ｃが設定された軟部組織が覆う顎骨の部分を示す。「１」は上顎骨を示し、「２」は下顎骨を示す。「タイプ」は、軟部組織特徴点Ｃのタイプを示す。「１」はタイプＰを示し、「２」はタイプＤを示す。「深度」は、補正顎骨特徴点Ｃ＿ＣＪと顔面特徴点Ｃ＿Ｆとの相対距離を示す。「頂点（顔）」は、顔モデルＦＭを構成するポリゴンメッシュの頂点のうち、軟部組織特徴点Ｃに最も近い頂点の番号を示す。「頂点（顎骨）」は、補正顎骨モデルを構成するポリゴンメッシュの頂点のうち、軟部組織特徴点Ｃに最も近い頂点の番号を示す。「方向」は、軟部組織の深度方向（補正顎骨特徴点Ｃ＿ＣＪと顔面特徴点Ｃ＿Ｆとを結ぶ直線の延在方向）を示す。

ユーザは、プレビュー画像に基づいて、フィッティングが適切に行われたと判断した場合には、コマンド入力フィールドＣＩＦに設けられた保存ボタンによってフィッティング結果を保存する。この操作により、相対位置算出部１４で算出されたベースモデルＢＭと補正顎骨モデルＣＪＢＭとの相対位置に関する情報が記憶装置２０に出力され、相対位置情報２３として記憶装置２０に記憶される。

［５－２．非ベースモデルへの顎骨モデルの組み込み］
図１８ないし図２２は、非ベースモデルＮＢＭに顎骨モデルＪＢＭを組み込む処理を示す図である。

図１８には、モデル情報２１から読み出された非ベースモデルＮＢＭと、ベースモデルＢＭに関する相対位置情報２３に基づいて生成された補正顎骨モデルＣＪＢＭと、をプレビューフィールドＭＤＦに表示させた状態が示されている。図１８の補正顎骨モデルＣＪＢＭは、ベースモデルＢＭに顎骨モデルＪＢＭをフィッティングして得られた変形パラメータＳおよび位置パラメータＰＯに基づいて生成されたものである。そのため、上顎骨ＵＪＢおよび下顎骨ＬＪＢの位置は、非ベースモデルＮＢＭに適したものではない。

図１８の状態で、ユーザが、コマンド入力フィールドＣＩＦに表示された第２フィッターボタンを押すと、非ベースモデルＮＢＭに対する補正顎骨モデルＣＪＢＭのフィッティングが開始される。図１９には、フィッティングによって非ベースモデルＮＢＭに補正顎骨モデルＣＪＢＭが組み込まれた状態が示されている。図２０には、視点を顔の正面に配置したときのプレビュー画像が表示されている。

プレビューフィールドＭＤＦには、非ベースモデルＮＢＭに合わせて位置が調整された補正顎骨モデルＣＪＢＭと、補正顎骨モデルＣＪＢＭ上に設定された複数の補正顎骨特徴点Ｃ＿ＣＪと、が表示される。顎骨モデルＪＢＭ用のパラメータ表示フィールドＰＤＦには、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯを表示させることができる。

補正顎骨特徴点Ｃ＿ＣＪには、深度分布情報２２に規定された深度情報が棒線ＤＢで表示される。プレビューフィールドＭＤＦには、フィッティングによって得られた補正顎骨特徴点Ｃ＿ＣＪと顔特徴点Ｃ＿Ｆとの相対距離と、標準深度と、のずれが標準偏差σに基づいて色分けして表示される。ユーザは、色分けされた棒線ＤＢの情報に基づいて、フィッティングが適切に行われたか判断することができる。

図２０の状態で、記憶装置２０から口腔モデルＯＭを読み出し、フィッティングのフォームとして、顎骨モデルＪＢＭを非ベースモデルＮＢＭにフィッティングしたときの相対位置情報２３を読み込む。すると、図２１に示すように、口腔モデルＯＭが、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯに基づいて、補正顎骨モデルＣＪＢＭに変形して組み込まれる。これにより、キャラクタモデルＣＭが生成される。図２２は、キャラクタモデルＣＭをワイヤフレーム画像からテクスチャ画像に変換した図が示されている。

［５－３．フィッティングに用いられる軟部組織特徴点］
深度分布情報２２は、無表情の顔（ベースモデルＢＭ）の深度データに基づいて作成されている。表情を変えると、いくつかの軟部組織特徴点Ｃにおいて軟部組織の深度が、深度分布情報２２に規定された値からずれる。誤った深度に基づいてフィッティングに用いると、フィッティング結果に誤差が生じる。よって、非ベースモデルＮＢＭについてフィッティングを行う場合には、ベースモデルＢＭから非ベースモデルＮＢＭへの表情の変化によって深度情報が変化しない複数の軟部組織特徴点Ｃ（特異軟部組織特徴点ＰＣ）を用いてフィッティングが行われる。

図２３および図２４は、顔モデルＦＭと、フィッティングに用いる特異軟部組織特徴点ＰＣと、の関係を示す図である。図２３は、口が開く顔モデルＦＭの例を示す図であり、図２４は、口が開かない顔モデルＦＭの例を示す図である。

特異軟部組織特徴点ＰＣの種類は、表情ごとに異なる。これは、表情によって動かす筋肉が異なるためである。例えば、口を大きく開けた場合には、頬の筋肉が収縮し、頬の近傍の軟部組織の深度は小さくなる。そのため、頬の近傍にある軟部組織特徴点Ｃはフィッティングに用いられない。表情に応じた軟部組織の深度の変化は予め予測することができる。モデル情報２１には、この予測結果に基づいて、顔モデルＦＭとフィッティングに用いられる特異軟部組織特徴点ＰＣとの対応関係が規定されている。なお、図２３および図２４に示した９種類の表情は、キャラクタの基本表情であり、他の表情はこの９種類の基本表情の組み合わせによって表現される。

図２５は、軟部組織特徴点Ｃの選択がフィッティングに与える影響を示す図である。

図２５の上段は、軟部組織特徴点Ｃ９，Ｃ１０Ｌ，Ｃ１０Ｒ，Ｃ１２Ｌ，Ｃ１２Ｒ，Ｃ１３，Ｃ１４，Ｃ１５，Ｃ１６，Ｃ１７，Ｃ１８，Ｃ１９，Ｃ２０をフィッティングに用いた例である。図２５の下段は、軟部組織特徴点Ｃ９，Ｃ１０Ｌ，Ｃ１０Ｒ，Ｃ１２Ｌ，Ｃ１２Ｒ，Ｃ１３をフィッティングに用いた例である。上段の例と下段の例とでは、フィッティング結果が異なる。上段の例では、下段の例に比べて、下顎骨ＬＪＢの回転量が大きく、補正口腔モデルＣＯＭを組み込んだときに、上歯と下歯との間に隙間が生じる。フィッティングに用いる軟部組織特徴点Ｃの選択を誤ると、生成される口腔の構造が顔モデルＦＭの表情に合致せず、違和感を生じさせる。

［５－４．フィッティングの修正］
図２６は、フィッティングが適切に行われなかった例を示す図である。

図２６の例では、上顎骨ＵＪＢの位置が顔の中心ＣＥよりも左側にずれている。ユーザは、入力装置３０を介して、上顎骨ＵＪＢの変形パラメータおよび第１位置パラメータＰ１を補正するパラメータ補正情報を入力することができる。パラメータ補正情報は、例えば、パラメータ表示フィールドＰＤＦに表示された上顎骨ＵＪＢの変形パラメータおよび第１位置パラメータＰ１を上書きする態様で入力することができる。

ユーザによりパラメータ補正情報が入力されると、モデル統合部１３は、パラメータ補正情報によって補正された上顎骨ＵＪＢの変形パラメータおよび第１位置パラメータＰ１に基づいて、プレビュー画像における補正顎骨モデルＪＢＭの位置を修正する。補正部１５は、パラメータ補正情報によって補正された変形パラメータおよび位置パラメータに基づいて、相対位置情報２３を補正する。ユーザは、プレビュー画像で補正顎骨モデルＣＪＢＭの位置を確認する。補正顎骨モデルＣＪＢＭが適切な位置に組み込まれている場合には、ユーザは、コマンド入力フィールドＣＩＦの保存ボタンにより保存操作を行う。この操作により、補正部１５で補正された相対位置情報２３が記憶装置２０に出力され、記憶装置２０に記憶される。

図２７は、フィッティングが適切に行われなかった他の例を示す図である。

図２７の上段の例では、補正顎骨モデルＣＪＢＭの幅が顔モデルＦＭに合っていない。ユーザは、色分けされた棒線ＤＢの情報に基づいて、標準深度から大きくずれた軟部組織特徴点Ｃを特定する。ユーザは、入力装置３０を介して、特定された軟部組織特徴点Ｃの深度情報を補正する深度分布補正情報を入力することができる。例えば、ユーザがマウスなどで特定の棒線ＤＢを選択すると、棒線ＤＢに対応する軟部組織特徴点Ｃの深度情報を表示するパラメータ表示フィールドＰＤＦが表示画面に現れる。このパラメータ表示フィールドＰＤＦには、標準深度の値を調節するためのスライダＳＬが表示される。ユーザはスライダＳＬを操作することにより、軟部組織特徴点Ｃの標準深度を補正する深度分布補正情報を入力することができる。例えば、図２７の上段の例では、顎骨を横方向に拡大するために、頬の部分の軟部組織特徴点Ｃの標準深度を小さく設定することができる。

ユーザにより深度分布補正情報が入力されると、フィッティング部１２は、深度分布補正情報に基づいて深度分布情報２２を補正する。フィッティング部１２は、補正された深度分布情報（補正深度分布情報）に基づいて、顎骨モデルＪＢＭを顔モデルＦＭにフィッティングする。モデル統合部１３は、フィッティングによって得られた顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯに基づいて、顎骨モデルＪＢＭを顔モデルＦＭに変形して組み込む。ユーザは、プレビュー画像で、深度分布情報２２を補正する前と後のフィッティング結果（補正顎骨モデルＣＪＢＭの形状および位置）を比較する。補正深度分布情報を用いたフィッティングにより、補正顎骨モデルＣＪＢＭが適切な形状および位置で顔モデルＦＭに組み込まれている場合には、ユーザは、コマンド入力フィールドＣＩＦの保存ボタンにより保存操作を行う。この操作により、補正深度分布情報に基づいて算出された相対位置情報２３が記憶装置２０に出力され、記憶装置２０に記憶される。

［６．情報処理方法］
図２８および図２９は、処理装置１０の情報処理方法の一例を示すフローチャートである。

［６－１．ベースモデルを用いたキャラクタモデルの生成フロー］
図２８は、ベースモデルＢＭを用いたキャラクタモデルＣＭの生成フローを示す図である。

ステップＳ１において、情報取得部１１は、記憶装置２０から、ベースモデルＢＭ、顎骨モデルＪＢＭ、口腔モデルＯＭおよび深度分布情報２２を取得する。

ステップＳ２において、モデル統合部１３は、表示装置４０にベースモデルＢＭおよび顎骨モデルＪＢＭを表示させる。ベースモデルＢＭには、複数の軟部組織特徴点Ｃに対応した複数の顔面特徴点Ｃ＿Ｆが付される。顎骨モデルＪＢＭには、複数の軟部組織特徴点Ｃに対応した複数の顎骨特徴点Ｃ＿Ｊが付される。

ステップＳ３において、情報取得部１１は、深度分布補正情報を取得したか判定する。ステップＳ３において、深度分布補正情報が取得されたと判定された場合には（ステップＳ３：Ｙｅｓ）、ステップＳ４に進む。ステップＳ４において補正部１５は、深度分布補正情報に基づいて深度分布情報２２を補正する。そして、ステップＳ５に進む。ステップＳ３において、深度分布補正情報が取得されたと判定されない場合には（ステップＳ３：Ｎｏ）、ステップＳ５に進む。

ステップＳ５において、フィッティング部１２は、深度分布情報２２に基づいて顎骨モデルＪＢＭをベースモデルＢＭにフィッティングする。フィッティング部１２は、フィッティング結果に基づいて、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯを算出する。

ステップＳ６において、モデル統合部１３は、表示装置４０にフィッティング結果を表示させる。表示装置４０には、顎骨モデルＪＢＭを変形パラメータＳによって変形した補正顎骨モデルＣＪＢＭが、位置パラメータＰＯに基づいてベースモデルＢＭに組み込まれた状態がプレビュー画像として表示される。

ステップＳ７において、情報取得部１１は、パラメータ補正情報を取得したか判定する。ステップＳ７において、パラメータ補正情報が取得されたと判定された場合には（ステップＳ７：Ｙｅｓ）、ステップＳ８に進む。ステップＳ８において、モデル統合部１３は、パラメータ補正情報に基づいて顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯを補正する。モデル統合部１３は、補正後の変形パラメータＳおよび位置パラメータＰＯに基づいて補正顎骨モデルＣＪＢＭの形状および位置が補正されたプレビュー画像を表示装置４０に表示させる。そして、ステップＳ７に戻る。

ステップＳ７において、パラメータ補正情報が取得されたと判定されない場合には（ステップＳ７：Ｎｏ）、ステップＳ９に進む。ステップＳ９において、相対位置算出部１４は、補正顎骨モデルＣＪＢＭとベースモデルＢＭとの相対位置を算出する。相対位置算出部１４は、補正顎骨モデルＣＪＢＭとベースモデルＢＭとの相対位置に関する情報を相対位置情報２３として記憶装置２０に出力する。

ステップＳ１０において、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯに基づいて、補正顎骨モデルＣＪＢＭに口腔モデルＯＭを変形して組み込む。

なお、図２８では、ステップＳ５のフィッティングの前に深度分布補正情報の取得判定処理（ステップＳ３）および深度分布情報の補正処理（ステップＳＳ４）が行われた。しかし、これらの補正処理は、フィッティング結果が表示された後（ステップＳ６以降）に行われてもよい。

［６－２．非ベースモデルを用いたキャラクタモデルの生成フロー］
図２９は、非ベースモデルＮＢＭを用いたキャラクタモデルＣＭの生成フローを示す図である。図２９のフローは、図２８のフローの後に実施される。

ステップＳ２１において、情報取得部１１は、記憶装置２０から、非ベースモデルＮＢＭ、顎骨モデルＪＢＭ、口腔モデルＯＭ、深度分布情報２２および相対位置情報２３を取得する。

ステップＳ２２において、モデル統合部１３は、表示装置４０に非ベースモデルＮＢＭおよび補正顎骨モデルＣＪＢＭを表示させる。非ベースモデルＮＢＭには、複数の軟部組織特徴点Ｃに対応した複数の顔面特徴点Ｃ＿Ｆが付される。補正顎骨モデルＣＪＢＭには、複数の軟部組織特徴点Ｃに対応した複数の補正顎骨特徴点Ｃ＿ＣＪが付される。

ステップＳ２３において、情報取得部１１は、深度分布補正情報を取得したか判定する。ステップＳ２３において、深度分布補正情報が取得されたと判定された場合には（ステップＳ２３：Ｙｅｓ）、ステップＳ２４に進む。ステップＳ２４において補正部１５は、深度分布補正情報に基づいて深度分布情報２２を補正する。そして、ステップＳ２５に進む。ステップＳ２３において、深度分布補正情報が取得されたと判定されない場合には（ステップＳ２３：Ｎｏ）、ステップＳ２５に進む。

ステップＳ２５において、フィッティング部１２は、深度分布情報２２から、非ベースモデルＮＢＭに関連付けられた複数の特異軟部組織特徴点ＰＣの深度情報を抽出する。フィッティング部１２は、複数の特異軟部組織特徴点ＰＣの深度情報に基づいて、補正顎骨モデルＣＪＢＭの上顎骨ＵＪＢを非ベースモデルＮＢＭにフィッティングする。例えば、フィッティング部１２は、軟部組織特徴点Ｃ１Ｌ，Ｃ１Ｒ，Ｃ２Ｌ，Ｃ２Ｒ，Ｃ３Ｌ，Ｃ３Ｒ，Ｃ４Ｌ，Ｃ４Ｒ，Ｃ９，Ｃ１０Ｌ，Ｃ１０Ｒ，Ｃ１１Ｌ，Ｃ１１Ｒ，Ｃ１２Ｌ，Ｃ１２Ｒ，Ｃ１３，Ｃ１４，Ｃ１５の中から選択された複数の特異軟部組織特徴点ＰＣの深度情報を式（１）に当てはめて、上顎骨ＵＪＢの第１位置パラメータＰ１を算出する。なお、非ベースモデルＮＢＭは、ベースモデルＢＭと同一のキャラクタの顔モデルＦＭである。そのため、補正顎骨モデルＣＪＢＭの形状は変更されない。よって、フィッティングでは、相対位置情報に規定された顎骨モデルＪＢＭの変形パラメータＳは維持される。

ステップＳ２６において、フィッティング部１２は、複数の特異軟部組織特徴点ＰＣの深度情報に基づいて、補正顎骨モデルＣＪＢＭの下顎骨ＬＪＢを非ベースモデルＮＢＭにフィッティングする。例えば、フィッティング部１２は、軟部組織特徴点Ｃ５Ｌ，Ｃ５Ｒ，Ｃ６Ｌ，Ｃ６Ｒ，Ｃ７Ｌ，Ｃ７Ｒ，Ｃ８Ｌ，Ｃ８Ｒ，Ｃ９，Ｃ１６，Ｃ１７，Ｃ１８，Ｃ１９，Ｃ２０の中から選択された複数の特異軟部組織特徴点ＰＣの深度情報を式（１）に当てはめて、下顎骨ＬＪＢの第２位置パラメータＰ２を算出する。フィッティングでは、相対位置情報に規定された顎骨モデルＪＢＭの変形パラメータＳは維持される。

ステップＳ２７において、モデル統合部１３は、表示装置４０にフィッティング結果を表示させる。表示装置４０には、補正顎骨モデルＣＪＢＭが、位置パラメータＰＯ（第１位置パラメータＰ１、第２位置パラメータＰ２）に基づいて非ベースモデルＮＢＭに組み込まれた状態がプレビュー画像として表示される。

ステップＳ２８において、情報取得部１１は、パラメータ補正情報を取得したか判定する。ステップＳ２８において、パラメータ補正情報が取得されたと判定された場合には（ステップＳ２８：Ｙｅｓ）、ステップＳ２９に進む。ステップＳ２９において、モデル統合部１３は、パラメータ補正情報に基づいて補正顎骨モデルＣＪＢＭの位置パラメータＰＯを補正する。モデル統合部１３は、補正後の位置パラメータＰＯに基づいて補正顎骨モデルＣＪＢＭの位置が補正されたプレビュー画像を表示装置４０に表示させる。そして、ステップＳ２８に戻る。

ステップＳ２８において、パラメータ補正情報が取得されたと判定されない場合には（ステップＳ２８：Ｎｏ）、ステップＳ３０に進む。ステップＳ３０において、相対位置算出部１４は、補正顎骨モデルＣＪＢＭと非ベースモデルＮＢＭとの相対位置を算出する。そして、ステップＳ３１において、モデル統合部１３は、相対位置情報に規定された変形パラメータＳによって口腔モデルＯＭを変形する。モデル統合部１３は、変形された口腔モデルＯＭ（補正口腔モデルＣＯＭ）を、補正顎骨モデルＣＪＢＭの位置パラメータＰＯに基づいて、補正顎骨モデルＣＪＢＭに組み込む。

なお、図２９では、ステップＳ２５のフィッティングの前に深度分布補正情報の取得判定処理（ステップＳ２３）および深度分布情報の補正処理（ステップＳ２４）が行われた。しかし、これらの補正処理は、フィッティング結果が表示された後（ステップＳ２７以降）に行われてもよい。

［７．効果］
処理装置１０は、モデル統合部１３を有する。モデル統合部１３は、顎骨を覆う軟部組織の深度分布情報２２に基づいてキャラクタの顔モデルＦＭに顎骨モデルＪＢＭを変形して組み込む。本実施形態の情報処理方法は、上述した処理装置１０の情報処理がコンピュータにより実行される。本実施形態のプログラム２４は、上述した処理装置１０の情報処理をコンピュータに実現させる。

この構成によれば、顔モデルＦＭに合わせた適切な形状を有する補正顎骨モデルＣＪＢＭが生成される。補正顎骨モデルＣＪＢＭに口腔モデルＯＭを組み合わせることで、顔モデルＦＭと調和した口腔の３次元モデルが容易に生成される。

処理装置１０は、フィッティング部１２を有する。フィッティング部１２は、深度分布情報２２に基づいて顎骨モデルＪＢＭを顔モデルＦＭにフィッティングし、変形パラメータＳおよび位置パラメータＰＯを算出する。変形パラメータＳは、顎骨モデルＪＢＭの変形量を示す。位置パラメータＰＯは、顎骨モデルＪＢＭを顔モデルＦＭに組み込む位置を示す。

この構成によれば、補正顎骨モデルＣＪＢＭの形状および位置が適切に設定される。

フィッティング部１２は、変形パラメータＳを維持したまま、深度分布情報２２に基づいて顎骨モデルＪＢＭを同一キャラクタの別の顔モデルＦＭにフィッティンする。フィッティング部１２は、このフィッティングにより、顎骨モデルＪＢＭを別の顔モデルＦＭに組み込むための位置パラメータＰＯを算出する。

この構成によれば、既知の変形パラメータＳを用いて位置パラメータＰＯが算出される。そのため、位置パラメータＰＯの演算が容易になる。同一のキャラクタについては顎骨の形状および大きさは不変である。そのため、変形パラメータＳを改めて算出する必要はない。変形パラメータＳを固定することで、演算量が減り、顔モデルＦＭが変化しても顎骨モデルＪＢＭを素早く適切な位置に配置することができる。

深度分布情報２２は、軟部組織に設定された複数の軟部組織特徴点Ｃの位置情報と、軟部組織特徴点Ｃごとの深度情報と、を含む。フィッティング部１２は、複数の軟部組織特徴点Ｃのうち、前述の顔モデルＦＭ（ベースモデルＢＭ）から別の顔モデルＦＭ（非ベースモデルＮＢＭ）への顔面形状の変化によって深度情報が変化しない複数の特異軟部組織特徴点ＰＣの深度情報に基づいて、顎骨モデルＪＢＭを別の顔モデルＦＭにフィッティングする。

軟部組織の深度情報は表情（顔モデルＦＭ）によって変化する場合がある。フィッティングは、入力された深度分布情報２２に基づいて行われるため、軟部組織特徴点Ｃの深度が深度分布情報２２に規定されたものからずれると、フィッティング結果に誤差が生じる。深度情報が不変の軟部組織特徴点Ｃのみを用いてフィッティングを行った場合には、深度情報の変化に起因した誤差が生じず、適切なフィッティング結果が得られる。

位置パラメータＰＯは、第１位置パラメータＰ１と第２位置パラメータＰ２とを含む。第１位置パラメータＰ１は、顎骨モデルＪＢＭの上顎骨ＵＪＢと別の顔モデルＦＭとの相対位置を示す。第２位置パラメータＰ２は、顎骨モデルＪＢＭの下顎骨ＬＪＢと上顎骨ＵＪＢとの相対位置を示す。フィッティング部１２は、上顎骨ＵＪＢを覆う軟部組織に設定された複数の特異軟部組織特徴点ＰＣの深度情報に基づいて第１位置パラメータＰ１を算出する。フィッティング部１２は、下顎骨ＬＪＢを覆う軟部組織に設定された複数の特異軟部組織特徴点ＰＣの深度情報に基づいて第２位置パラメータＰ２を算出する。

この構成によれば、上顎骨ＵＪＢのフィッティングと下顎骨ＬＪＢのフィッティングとが分離して行われる。そのため、個々のフィッティングの演算が容易になり、演算精度も高まる。

深度情報は、軟部組織の深度方向、深度の平均（標準深度）および深度の標準偏差に関する情報を含む。フィッティング部１２は、複数の軟部組織特徴点Ｃのうち、フィッティングの対象となる顔モデルＦＭの表情に応じて選択された複数の特異軟部組織特徴点ＰＣについて、それぞれ軟部組織の深度を確率変数とする確率密度関数を算出する。フィッティング部１２は、選択された全ての特異軟部組織特徴点ＰＣの確率密度関数の総和が最大化されるような解を最適解とする数式モデルに基づいて位置パラメータＰＯを算出する。

この構成によれば、軟部組織の深度に個人差があっても、適切にフィッティングを行うことができる。

処理装置１０は、情報取得部１１を有する。情報取得部１１は、変形パラメータＳおよび位置パラメータＰＯを補正するパラメータ補正情報を取得する。

この構成によれば、フィッティング結果が適切でない場合に、手動で変形パラメータＳおよび位置パラメータＰＯを修正することができる。

情報取得部１１は、深度分布情報２２を補正する深度分布補正情報を取得する。フィッティング部１２は、深度分布補正情報によって補正された深度分布情報２２に基づいて顎骨モデルＪＢＭを顔モデルＦＭにフィッティングする。

この構成によれば、軟部組織の深度の個人差が大きくてフィッティングがうまく行えない場合でも、補正された深度分布情報２２に基づいて適切なフィッティング結果が得られる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。

（１）
顎骨を覆う軟部組織の深度分布情報に基づいてキャラクタの顔モデルに顎骨モデルを変形して組み込むモデル統合部を有する情報処理装置。
（２）
前記深度分布情報に基づいて前記顎骨モデルを前記顔モデルにフィッティングし、前記顎骨モデルの変形量を示す変形パラメータ、および、前記顎骨モデルを前記顔モデルに組み込む位置を示す位置パラメータを算出するフィッティング部を有する
上記（１）に記載の情報処理装置。
（３）
前記フィッティング部は、前記変形パラメータを維持したまま、前記深度分布情報に基づいて前記顎骨モデルを同一キャラクタの別の顔モデルにフィッティングし、前記顎骨モデルを前記別の顔モデルに組み込むための前記位置パラメータを算出する
上記（２）に記載の情報処理装置。
（４）
前記深度分布情報は、前記軟部組織に設定された複数の軟部組織特徴点の位置情報と、軟部組織特徴点ごとの深度情報と、を含み、
前記フィッティング部は、前記複数の軟部組織特徴点のうち、前記顔モデルから前記別の顔モデルへの顔面形状の変化によって前記深度情報が変化しない複数の特異軟部組織特徴点の前記深度情報に基づいて、前記顎骨モデルを前記別の顔モデルにフィッティングする
上記（３）に記載の情報処理装置。
（５）
前記位置パラメータは、前記顎骨モデルの上顎骨と前記別の顔モデルとの相対位置を示す第１位置パラメータと、前記顎骨モデルの下顎骨と前記上顎骨との相対位置を示す第２位置パラメータと、を含み、
前記フィッティング部は、前記上顎骨を覆う前記軟部組織に設定された複数の特異軟部組織特徴点の前記深度情報に基づいて前記第１位置パラメータを算出し、
前記フィッティング部は、前記下顎骨を覆う前記軟部組織に設定された複数の特異軟部組織特徴点の前記深度情報に基づいて前記第２位置パラメータを算出する
上記（４）に記載の情報処理装置。
（６）
前記深度情報は、前記軟部組織の深度方向、深度の平均および深度の標準偏差に関する情報を含み、
前記フィッティング部は、前記複数の軟部組織特徴点のうち、フィッティングの対象となる顔モデルの表情に応じて選択された前記複数の特異軟部組織特徴点について、それぞれ前記軟部組織の深度を確率変数とする確率密度関数を算出し、選択された全ての特異軟部組織特徴点の確率密度関数の総和が最大化されるような解を最適解とする数式モデルに基づいて前記位置パラメータを算出する
上記（４）または（５）に記載の情報処理装置。
（７）
前記変形パラメータおよび前記位置パラメータを補正するパラメータ補正情報を取得する情報取得部を有する
上記（２）ないし（６）のいずれか１つに記載の情報処理装置。
（８）
前記情報取得部は、前記深度分布情報を補正する深度分布補正情報を取得し、
前記フィッティング部は、前記深度分布補正情報によって補正された前記深度分布情報に基づいて前記顎骨モデルを前記顔モデルにフィッティングする
上記（７）に記載の情報処理装置。
（９）
顎骨を覆う軟部組織の深度分布情報に基づいてキャラクタの顔モデルに顎骨モデルを変形して組み込むことを有する、コンピュータにより実行される情報処理方法。
（１０）
顎骨を覆う軟部組織の深度分布情報に基づいてキャラクタの顔モデルに顎骨モデルを変形して組み込むことをコンピュータに実現させるプログラム。

１０ 処理装置（情報処理装置）
１１ 情報取得部
１２ フィッティング部
１３ モデル統合部
２２ 深度分布情報
２４ プログラム
Ｃ 軟部組織特徴点
ＦＭ 顔モデル
ＪＢＭ 顎骨モデル
ＬＪＢ 下顎骨
ＰＯ 位置パラメータ
Ｐ１ 第１位置パラメータ
Ｐ２ 第２位置パラメータ
ＰＣ 特異軟部組織特徴点
Ｓ 変形パラメータ
ＵＪＢ 上顎骨

Claims (10)

1. 顎骨を覆う軟部組織の深度分布情報に基づいてキャラクタの顔モデルに顎骨モデルを変形して組み込むモデル統合部を有する情報処理装置。
2. 前記深度分布情報に基づいて前記顎骨モデルを前記顔モデルにフィッティングし、前記顎骨モデルの変形量を示す変形パラメータ、および、前記顎骨モデルを前記顔モデルに組み込む位置を示す位置パラメータを算出するフィッティング部を有する
   請求項１に記載の情報処理装置。
3. 前記フィッティング部は、前記変形パラメータを維持したまま、前記深度分布情報に基づいて前記顎骨モデルを同一キャラクタの別の顔モデルにフィッティングし、前記顎骨モデルを前記別の顔モデルに組み込むための前記位置パラメータを算出する
   請求項２に記載の情報処理装置。
4. 前記深度分布情報は、前記軟部組織に設定された複数の軟部組織特徴点の位置情報と、軟部組織特徴点ごとの深度情報と、を含み、
   前記フィッティング部は、前記複数の軟部組織特徴点のうち、前記顔モデルから前記別の顔モデルへの顔面形状の変化によって前記深度情報が変化しない複数の特異軟部組織特徴点の前記深度情報に基づいて、前記顎骨モデルを前記別の顔モデルにフィッティングする
   請求項３に記載の情報処理装置。
5. 前記位置パラメータは、前記顎骨モデルの上顎骨と前記別の顔モデルとの相対位置を示す第１位置パラメータと、前記顎骨モデルの下顎骨と前記上顎骨との相対位置を示す第２位置パラメータと、を含み、
   前記フィッティング部は、前記上顎骨を覆う前記軟部組織に設定された複数の特異軟部組織特徴点の前記深度情報に基づいて前記第１位置パラメータを算出し、
   前記フィッティング部は、前記下顎骨を覆う前記軟部組織に設定された複数の特異軟部組織特徴点の前記深度情報に基づいて前記第２位置パラメータを算出する
   請求項４に記載の情報処理装置。
6. 前記深度情報は、前記軟部組織の深度方向、深度の平均および深度の標準偏差に関する情報を含み、
   前記フィッティング部は、前記複数の軟部組織特徴点のうち、フィッティングの対象となる顔モデルの表情に応じて選択された前記複数の特異軟部組織特徴点について、それぞれ前記軟部組織の深度を確率変数とする確率密度関数を算出し、選択された全ての特異軟部組織特徴点の確率密度関数の総和が最大化されるような解を最適解とする数式モデルに基づいて前記位置パラメータを算出する
   請求項４に記載の情報処理装置。
7. 前記変形パラメータおよび前記位置パラメータを補正するパラメータ補正情報を取得する情報取得部を有する
   請求項２に記載の情報処理装置。
8. 前記情報取得部は、前記深度分布情報を補正する深度分布補正情報を取得し、
   前記フィッティング部は、前記深度分布補正情報によって補正された前記深度分布情報に基づいて前記顎骨モデルを前記顔モデルにフィッティングする
   請求項７に記載の情報処理装置。
9. 顎骨を覆う軟部組織の深度分布情報に基づいてキャラクタの顔モデルに顎骨モデルを変形して組み込むことを有する、コンピュータにより実行される情報処理方法。
10. 顎骨を覆う軟部組織の深度分布情報に基づいてキャラクタの顔モデルに顎骨モデルを変形して組み込むことをコンピュータに実現させるプログラム。

Images