JP2005074136A - 顔形状のモデリング方法及び顔形状モデリング用プログラム - Google Patents
顔形状のモデリング方法及び顔形状モデリング用プログラム Download PDFInfo
- Publication number
- JP2005074136A JP2005074136A JP2003311160A JP2003311160A JP2005074136A JP 2005074136 A JP2005074136 A JP 2005074136A JP 2003311160 A JP2003311160 A JP 2003311160A JP 2003311160 A JP2003311160 A JP 2003311160A JP 2005074136 A JP2005074136 A JP 2005074136A
- Authority
- JP
- Japan
- Prior art keywords
- shape
- skull
- face
- point
- epidermis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】 様々な顔形状を迅速且つ高精度にコンピュータ上で生成する。
【解決手段】 顔の形状をコンピュータ上で生成する顔形状のモデリング方法において、頭蓋形状1をコンピュータに入力し、該頭蓋形状1上の複数の頭蓋特徴点を指定し、顔の表皮形状3上の複数の表皮特徴点を夫々前記頭蓋特徴点に対応付け、各表皮特徴点の位置を対応する頭蓋特徴点に対し計測データに基づいて変位させることで頭蓋形状1に対応する顔形状をモデリングする。
【選択図】 図26
【解決手段】 顔の形状をコンピュータ上で生成する顔形状のモデリング方法において、頭蓋形状1をコンピュータに入力し、該頭蓋形状1上の複数の頭蓋特徴点を指定し、顔の表皮形状3上の複数の表皮特徴点を夫々前記頭蓋特徴点に対応付け、各表皮特徴点の位置を対応する頭蓋特徴点に対し計測データに基づいて変位させることで頭蓋形状1に対応する顔形状をモデリングする。
【選択図】 図26
Description
本発明は、コンピュータ上で人間等の顔をシミュレーションする技術に係り、特に、顔形状をモデリングする方法及びプログラムに関する。
コンピュータの性能向上により、様々な現象がコンピュータ上でシミュレーションされるようになってきている。その中でも、人間をシミュレーションすることは、医療,教育,製造,娯楽など多くの分野での応用が期待されるため、体型,動作,思考など、様々な角度からシミュレーションに関する研究が行われている。そして、これらシミュレーションの対象として注目を集める一つが「顔」である。
顔は、個人認識をする上で非常に重要な情報源となる部位である。これは、顔が、鼻,口,目という個人差の大きい特徴的な部位を持っていることや、言葉,感情などの意志疎通のための情報を発する部位であるためと考えられる。顔は、それ自身が多くの情報を持ち、さらに情報を伝える役割も持つ特殊な器官であるといえる。そのため、顔を精度良くシミュレーションすることで、より多くの情報を効率よく伝達することが可能になる。
このような利点や、医学,美容などの顔そのものを扱う分野での要望などから、コンピュータ上で顔をシミュレーションすることを目的とした研究が行われている。その多くは、「表情」のアニメーションに関する研究である。表情のアニメーションを含めた顔のシミュレーションのためには、顔の幾何形状だけを用いたモデリングやレンダリングだけでなく、表皮や頭髪,舌などの固有の特徴や動作も含めたモデリングが必要となる。顔のシミュレーションに関する研究ではこの問題に取り組んでいるものが多い(非特許文献1,2,3)。
しかし、従来の顔のシミュレーションの多くは、表情をアニメーションさせるために顔形状の特徴を保ちながら自然な変形を行うことを目的としているため、新たに別の特徴を持つ顔形状を生成するような用途には向かないという問題がある。任意の特徴を持つ顔形状の生成に関する研究としては、Decaloらが、人体計測に基づくパラメータを用いて顔モデルを生成する手法を提案している(非特許文献4)。しかしながら、この従来技術では、パラメータが十分でなく、顎の突出度と眼裂の大きさなどのわずかな特徴の操作しかできず、詳細な特徴を持つ顔形状の生成はできないという問題がある。
その一方で、法医学の分野では、従来から復顔法という手法により、頭蓋から顔形状の復元を行っている。この復顔法では、頭蓋骨の上に粘土を貼り付けることで顔の筋肉や皮膚を再現しており、下記非特許文献5〜13に記載されている様に、顔の解剖学的特徴に基づいて粘土の貼り付けを行い、忠実な顔の復元を図っている。
Y. Lee, D. Terzopoulos, and K.Waters. Realistic face modeling for animation.In Proceedings SIGGRAPH ’95, pages 55-62,1995.
N. Magnenat-Thalmann, H. Minh, M. de Angelis, and D. Thalmann. Design,transformation and animation of human faces. The Visual Computer, 5(1/2):32-39, 1989.
F. Parke and K. Waters. Computer Facial Animation. A K Peters,1996.
Douglas DeCarlo, Dimitris Metaxas and Matthew Stone :Anthropometric FaceModel using Variational Techniques,In Proceedings SIGGRAPH ’98, pp. 67-74,1998.
小川晴昭:頭部X線規格写真法による日本人頭部の解剖学的研究(スーパーポーズ法に関する基礎的研究)1.顔貌と頭蓋骨の比較研究,歯学報,60巻,pp.705-722,(1960)
吉田保彦:復顔に関する基礎的研究[I]歯および歯列弓の計測値と口裂幅との関係,日大歯学,56巻,pp.50-59,1980.
野村育靖:復顔に関する基礎的研究[II]頭蓋の諸計測値からの鼻幅の推定,日大歯学,56巻,pp.223-230,1982.
笹嶋正博:復顔に関する基礎的研究[III]頭部X線規格写真上の諸計測値からの鼻尖点の推定,日大歯学,56巻,pp.752-759,1982.
大井篤:復顔に関する基礎的研究[IV]頭顔面部における硬組織と軟組織の位置的関係の性差について,日大歯学,56巻,pp.1007-1015,1984.
田中英雅:復顔に関する基礎的研究[VI]側貌頭部X線規格写真による口唇の位置の推定,日大歯学,60巻,pp.357-373,1986.
堤博文:復顔に関する基礎的研究[VIII]男子側貌の輪郭線抽出のための8点の位置の推定,日大歯学,65巻,pp.220-232,1991.
藤田恒太郎:生体観測,南山堂(1968)
長安周一:顔の蘇生学,久保書店(1973)
顔をコンピュータ上でシミュレーションする場合、従来は「表情」のアニメーションに関する研究は進んでいるが、任意の特徴を持つ顔形状を簡単に生成する手法について十分な研究はなされていない。
任意の特徴を持つ顔形状を、顔の解剖学的なデータに基づいて構成することはできるが、解剖学的データに基づいて顔形状を構築するには、複雑なモデルと膨大な計算が必要となる。
そこで、頭蓋骨と顔形状との間の相関関係について簡潔的な解剖学的データの蓄積がある復顔法を利用し、この復顔法をコンピュータ上で実現できれば、簡単なモデルと短い計算時間で様々な特徴を持つ顔形状を容易に生成可能になると期待される。しかし、未だその実現方法は確立されていない。
本発明の目的は、法医学の分野で用いられている復顔法をコンピュータ上で実現し、容易且つ短時間で様々な顔形状を生成することができる顔形状のモデリング方法及び顔形状モデリング用プログラムを提供することにある。
本発明の顔形状のモデリング方法は、頭蓋形状をコンピュータに入力し、該頭蓋形状上の複数の頭蓋特徴点を指定し、顔の表皮形状上の複数の表皮特徴点を夫々前記頭蓋特徴点に対応付け、各表皮特徴点の位置を対応する頭蓋特徴点に対し計測データに基づいて変位させることで前記頭蓋形状に対応する顔形状をモデリングすることを特徴とする。
本発明の顔形状のモデリング方法は、前記頭蓋形状を、計測された頭蓋の幾何形状を三次元形状を表現するデータとして入力することを特徴とする。
本発明の顔形状のモデリング方法は、前記計測は画像診断装置で行うことを特徴とする。
本発明の顔形状のモデリング方法は、前記計測データとして、復顔法で用いられている人種,性別毎の計測データを用いることを特徴とする。
本発明の顔形状モデリング用プログラムは、頭蓋形状をコンピュータに取り込む第1ステップと、該第1ステップで取り込まれた前記頭蓋形状上の複数の頭蓋特徴点を指定する第2ステップと、顔の表皮形状上の複数の表皮特徴点を前記第2ステップで指定された夫々の前記頭蓋特徴点に対応付ける第3ステップと、各表皮特徴点の位置を対応する頭蓋特徴点に対し計測データに基づいて変位させることで前記頭蓋形状に対応する顔形状をモデリングする第4ステップとを備えることを特徴とする。
本発明によれば、頭蓋形状に対応した顔形状を迅速且つ高精度に生成することが可能となる。
以下、本発明の一実施形態について、図面を参照して説明する。
顔形状のモデリングを行うに当たり、従来から法医学で研究されている復顔法における硬組織と軟組織の解剖学的な解析を利用することで、人類学的,解剖学的に精度の高いモデリングが可能となる。そこで、本実施形態では、この復顔法をコンピュータ上での人間の顔のシミュレーションに利用する。
復顔法では、復顔の対象となる頭蓋を用意し、人種,性別ごとのデータに基づき粘土などで肉付けを行い、眼部,鼻部などの形状を、頭蓋の関連する特徴により調整することで顔形状を作成する。
復顔法に用いられる要素を見ると、顔形状のもとになる頭蓋、特定の厚みで肉付けされる粘土、最終的に完成する顔形状の3つに分けられる。頭蓋は顔形状を作成するために必ず必要となり、これをもとにして全ての作業が行われる。また、復顔法での頭蓋は、解剖学的に見ても、実際の人体における硬組織である頭蓋骨に相当する。肉付けされる粘土は、実際の人体では筋肉,脂肪などの軟組織に相当する。この粘土の厚みに、各部位で変化をつけることで、顔形状の持つ複雑な形状を再現する。厚みは、人種、性別により異なるため、その決定には人種,性別の情報を用いる。最終的に完成する顔形状は、実際の人体では表皮に相当する。復顔法では、顔形状は、実際の表皮と同様に、頭蓋上に特定の肉厚で貼り付けられた粘土を、滑らかにつなぐことで得られる。
このように、復顔法では、その手順から、顔形状を3つの要素に分けることができる。これに基づき、本発明では、顔形状を、頭蓋(硬組織),表皮,軟組織の3要素に分けてモデル化する。
頭蓋は、頭蓋骨の幾何形状と復顔に必要となる特徴点によりモデル化する。表皮は、頭顔の幾何形状と特徴点によりモデル化する。軟組織は頭蓋と表皮上の特徴点の対応関係によりモデル化する。
顔形状の生成は、頭蓋と表皮を対応付けることにより、頭蓋の特徴に基づいて表皮形状を変形することで行う。本実施形態では、表皮形状の変形に、後述するガウス関数に基づくFree-Form Deformation(GFFD)を用いる。
〔頭蓋のモデリング〕
頭蓋モデルは、三次元の形状として表現されており、このなかには、扱いが比較的容易であるため一般的に用いられる三角形メッシュによる表現が含まれる。本実施形態における顔形状モデルでは、先ず、頭蓋形状をコンピュータに入力する必要があり、その入力データとして、レンジスキャナにより読み込まれた頭蓋形状や、MRI画像から得られた頭蓋形状などを利用する。これらの装置によって得られる形状の多くは三角形メッシュに変換可能であり、ほとんどの場合はそれら装置に付属のソフトウェアにより行うことができる。このように、三角形メッシュで構成される頭蓋形状モデルにも適用可能なため、入力をスムースに行うことができる。なお、コンピュータに入力される頭蓋形状の計測方法はどのような方法でもよく、例えばデジタルカメラ等の二次元画像を用いるようにしてもよい。
頭蓋モデルは、三次元の形状として表現されており、このなかには、扱いが比較的容易であるため一般的に用いられる三角形メッシュによる表現が含まれる。本実施形態における顔形状モデルでは、先ず、頭蓋形状をコンピュータに入力する必要があり、その入力データとして、レンジスキャナにより読み込まれた頭蓋形状や、MRI画像から得られた頭蓋形状などを利用する。これらの装置によって得られる形状の多くは三角形メッシュに変換可能であり、ほとんどの場合はそれら装置に付属のソフトウェアにより行うことができる。このように、三角形メッシュで構成される頭蓋形状モデルにも適用可能なため、入力をスムースに行うことができる。なお、コンピュータに入力される頭蓋形状の計測方法はどのような方法でもよく、例えばデジタルカメラ等の二次元画像を用いるようにしてもよい。
図1に、基本的な頭蓋形状モデルの例を示す。図1(a)は頭蓋形状モデル1の正面図であり、図1(b)は頭蓋形状モデル1の側面図である。頭蓋上で、軟組織と解剖学的な関連のある点は、頭蓋形状の特徴的な点であり、本実施形態ではこれを頭蓋上の特徴点と呼ぶ。本実施形態における頭蓋モデルでは、特徴点として、図2(a)(b)に示す点2(黒点として示す。)をとる。
すなわち、頭頂点Vertex(ver),髪際点Trichion(tr),左右前頭隆起間の正中矢状面上の点Metopion(m),眉間点Glabella(g),鼻根点Nasion(n),鼻骨間縫合最下点Rhinion(rhi),前鼻棘Anterior Nasal Spine(ans),前鼻棘から歯槽突起に移行する間の最深点Subspinale(ss),上顎中切歯間歯槽突起の最先端点Prosthion(pr),上顎中切歯切端(ul),下顎中切歯切端(ll),下顎中切歯間歯槽突起の最先端点Infradentale(id),下顎オトガイ部における正中線上の最突出点Pogonion(pg),InfradentaleからPogonionへ移行する間の最深点Supramentale(sm),下顎オトガイ部における正中線上の最下点Menton(me),後頭点Opisthokranion(op),眼窩上縁中央(ou),眼窩外側縁における最外側点Ektokonchion(ek),眼窩点Orbitale(or),眼窩内側縁で最内の点(ex),Oribitaleの高さで鼻唇溝に近い点(nl),梨状口幅が最大になる点(al),Ektokonchionと上顎骨の頬骨突起との中間点(ma),上第1大臼歯歯槽縁(mu),下第1大臼歯歯槽縁(ml),前頭側頭点Frontotemporale(ft),頬骨弓点Zygion(zy),顎角点Gonion(go),ZygionとGonionを結ぶ線の中点(ms),Zygionから頬骨弓に垂直に立てた線上高さ30ミリの点(te),外耳孔の上縁中央点Porion(po)で、左右合わせて46点となる。これらの特徴点2を用いて顔形状の生成を行う。
頭蓋形状は部分部分が凹凸形状を成し、夫々の部分における頂点を特徴点2として選択する。特徴点2に対する操作は、その頂点の座標,法線を用いて行う。後述するように、表皮上にも特徴点は存在するが、表皮上の特徴点も、頭蓋上の特徴点2と構造は同様である。頭蓋1上の特徴点2は、表皮上の特徴点との対応関係を持つことができる。対応付けた特徴点に対しては、位置合わせと、距離の調整の2つの操作を行うことができる。ただし、この操作により移動できる特徴点は、表皮上の特徴点に限る。これは、頭蓋1上の特徴点2を基準として、表皮上の特徴点の位置を決めるためである。
位置合わせでは、表皮の法線方向での距離を保ったまま移動することができる。移動後の特徴点位置はベクトル計算により求めることができる。
まず、表皮上の特徴点をVh=(xh,yh,zh)、頭蓋上の特徴点をVs=(xs,ys,zs)とすると、2つの特徴点間の距離は、
である。次に、
により、選択した法線に距離を乗算し、頭蓋上の特徴点の座標との和を取ることで、移動後の位置を得る。ここで、Nhは、表皮上の特徴点の法線ベクトルである。
〔表皮のモデリング〕
表皮は、復顔法において、最終的に生成される人体頭顔部の表面形状をモデル化したものである。そのため、表皮は、表面形状と、頭蓋上の特徴点に対応する特徴点とにより構成される。
表皮は、復顔法において、最終的に生成される人体頭顔部の表面形状をモデル化したものである。そのため、表皮は、表面形状と、頭蓋上の特徴点に対応する特徴点とにより構成される。
図3(a)(b)(c)は、表皮3の表面形状を表現した図((a)は正面図、(b)は側面図、(c)は斜視図)である。表皮3の表面形状は、3角形メッシュで構成される。これは、頭蓋形状1と同様に、表皮を定量的に扱うとともに、汎用性の高い表現により将来の変更の際に対応が容易になるためである。顔の形状特徴を十分に表現するために、本実施形態では、11,916個の三角形面により構成する。
図4は、表皮3上の特徴点4(黒点で示す。)を示す図であり、表皮3上の特徴点4は、頭蓋モデル1の特徴点2に対応する点からなる。表皮3上の特徴点4は、頭頂点Vertex(ver),髪際点Trichion(tr),左右前頭隆起間の正中矢状面上の点Metopion(m),眉間点Glabella(g),鼻根点Nasion(n),鼻骨間縫合最下点Rhinion(rhi),鼻尖点Pronasale(prn),鼻下点Subnasale(sn),上唇点Labrale Superius(ls),口点Stomion (sto),下唇点Labrale Inferius (li),下顎オトガイ部における正中線上の最突出点Pogonion(pg),オトガイ点Gnathion(gn),後頭点Opisthokranion(op),眼窩上縁中央(ou),内眼角点Entocanthion (en),眼窩点Orbitale(or),外眼角点Ectocanthion (ex),Oribitaleの高さで鼻唇溝に近い点(nl),鼻翼点Alare(al),Ektokonchionと上顎骨の頬骨突起との中間点(ma),上第1大臼歯歯槽縁(mu),下第1大臼歯歯槽縁(ml),口唇交点Cheilion (ch),前頭側頭点Frontotemporale(ft),顎骨弓点Zygion(zy),顎角点Gonion(go),ZygionとGonionを結ぶ線の中点(ms),Zygionから頬骨弓に垂直に立てた線上高さ30ミリの点(te)で,左右合わせて45点となる。これらの特徴点4を頭蓋上の特徴点2と対応付けることで、頭蓋形状1の特徴を表面形状3に反映させる。
〔軟組織のモデリング〕
復顔法による顔形状の復元では、軟組織の厚さなどの、硬組織と軟組織との解剖学的な関連に関するデータと、筋肉の形状を参考に、表面形状が生成される。このことから、復顔法での軟組織は、頭蓋形状1と表面形状3の関連を表すデータと、筋肉の形状で表されると考えられる。そこで、本実施形態では、頭蓋1と表皮3の特徴点の対応関係によって表現される軟組織の厚さと、表皮形状の変形に用いるガウス関数に基づくFree-Form Deformation (GFFD)の操作点の影響範囲によって表現される軟組織の形状により、軟組織のモデルを構成する。
復顔法による顔形状の復元では、軟組織の厚さなどの、硬組織と軟組織との解剖学的な関連に関するデータと、筋肉の形状を参考に、表面形状が生成される。このことから、復顔法での軟組織は、頭蓋形状1と表面形状3の関連を表すデータと、筋肉の形状で表されると考えられる。そこで、本実施形態では、頭蓋1と表皮3の特徴点の対応関係によって表現される軟組織の厚さと、表皮形状の変形に用いるガウス関数に基づくFree-Form Deformation (GFFD)の操作点の影響範囲によって表現される軟組織の形状により、軟組織のモデルを構成する。
軟組織の厚さは、頭顔部における各特徴点で、表皮3から頭蓋1までの距離を測定したデータである。そこで、軟組織の厚さの計測点にあたる頭蓋1上と表皮3上の各特徴点2,4を一対一で対応付け、各特徴点2,4間の距離を軟組織の厚さと定義する。
本実施形態における頭蓋モデルと表皮モデルは、軟組織の厚さ測定点を特徴点として定義しているため、それらの特徴点を対応付けることは容易である。具体的な対応付けは、本モデルにおける特徴点の構造を用いて行う。軟組織の厚さの値を変更した場合には、特徴点の対応点に対する操作を用いて、頭蓋上の特徴点は固定し、表皮上の特徴点を移動することで、特徴点間の距離を厚さの値に一致させる。
本実施形態では、表皮形状を、頭蓋形状に基づいて変形させることで、顔形状を生成する。その変形には、詳細は後述するガウス関数に基づくFree-Form Deformation(GFFD)を用いる。GFFDは、任意個の操作点を任意に配置でき、その操作点の移動により変形を制御する。操作点の移動による変形の影響範囲は、各軸方向のガウス関数の標準偏差によって調整することができる。この操作点の影響範囲を、操作点がおかれている表皮の位置における筋肉の形状を参考にして定義することで、操作点を移動した場合の変形結果が筋肉の形状に近い形状になり、解剖学的に精度の高い変形を行うことができる。
そこで、本実施形態では、軟組織の形状を、GFFDの操作点の座標系と標準偏差の値によりモデル化する。
図5は、本実施形態による顔形状のモデリング方法を実行するプログラムの処理手順を示すフローチャートである。まず、顔形状の基礎となる頭蓋の幾何形状を入力する(ステップS1)。入力された頭蓋形状は、ステップS2で姿勢調整を行い、基準姿勢に配置される。そして、この状態で、頭蓋上の特徴点を指定する(ステップS3)。頭蓋上の特徴点は、手動で指定する特徴点と、自動的に決定される特徴点の2種類がある。
次に、表皮上の特徴点と頭蓋上の特徴点の対応付けを行い(ステップS4)、表皮形状を、入力した頭蓋形状に合わせて拡大縮小する(ステップS5)。この際の拡大縮小は頭蓋形状の大きさに対して、顔形状があまりにも違いすぎないようにするために行う。そして、軟組織の厚さのデータに基づいて顔形状の変形を行い(ステップS6)、さらに、眼部,鼻部,口唇部の特徴点の位置を頭蓋上の関連する特徴点の情報から調整をする。
以上の手順により、基本的な顔形状を作成することができる。また、この手順により作成した顔形状は、各部の軟組織の厚さ、眼部の特徴などを調整することが可能である。
図6は、図5で説明した頭蓋姿勢調整ステップS2の説明図である。復顔法では、頭蓋形状の上下左右を決定するための、基準平面が定められている。左右を分ける正中矢状面、上下を分ける耳眼水平面である。入力される頭蓋形状は、その位置、姿勢は正しい基準平面上になっていない。そこで、本実施形態では、図6に示すように、yz平面を正中矢状面、xz平面を耳眼水平面、Porionを通る前頭面をxy平面と定め、これに合わせて、入力した頭蓋形状の姿勢を調整する。この姿勢の調整は、半自動的に行われる。
図7は、入力した頭蓋形状の姿勢を調整する手順の説明図である。先ず図7(1)に示す様に、左右のPorionと右のOrbitaleを選択し、左右のPorionの中点を求め、その中点が原点にくるように平行移動する(図7(2))。次に、右のPorionの位置ベクトルをxy平面に投影したベクトルと、xz平面との角度を求める。その角度分だけ頭蓋形状をz軸周りに、右のPorionのy座標が正であれば正の方向に、負であれば負の方向に回転させる(図7(3))。
次に、右のPorionの位置ベクトルをxz平面に投影したベクトルと、yz平面との角度を求める。その角度分だけ頭蓋形状をy軸周りに、右のPorionのz座標が正であれば負の方向に、負であれば正の方向に回転させる(図7(4))。ここまでの操作により、正中矢状面が決定される。
次に、右のPorionとOrbitaleを結んだ直線をyz平面に投影した直線と、xz平面との角度を求め、頭蓋形状をその角度分だけx軸周りに、Orbitaleのy座標が正ならば負の方向に、負ならば正の方向に回転させ(図7(5))、耳眼水平面、Porionを通る前頭面が決定される。このようにすることで、半自動的に頭蓋形状を基準姿勢に変換することができる。
本実施形態で用いる頭蓋モデル1の特徴点2は、左右で46点ある。これらの特徴点2は、使用者が直接設定しなければならないものと、他の特徴点から自動的に算出できるものの2種類に分けることができる。姿勢調整するために用いたPorionとOrbitaleは、前者の特徴点の代表的なものである。表1に、頭蓋上の特徴点が夫々どちらの種類のものであるかを示す。
使用者が直接設定する特徴点は、マウスにより対話的に指定する。特徴点は頭蓋形状上の頂点の中から選択するため、設定中の特徴点に一致する頂点をマウスでクリックすることで設定する。
自動的に算出される特徴点は、使用者により直接設定される特徴点の指定が終了した後に、それらの特徴点の情報などからコンピュータが自動算出する。例として、特徴点ms を算出する場合、その特徴点の定義が、特徴点Zygionと特徴点Gonionとを結ぶ線の中点となっているため、使用者により設定されたZygionとGonionの座標から、その中点の座標を求め、そこに最も近い頭蓋上の頂点を特徴点msとする。
次に、頭蓋モデルと表皮モデルを対応付けることで、頭蓋の特徴を表皮形状に反映させる方法について述べる。ここでは、先ず、「軟組織の厚さ測定点に基づく対応付け」について説明し、次に、「硬組織と軟組織の関連に基づく対応付け」について説明し、その後、「多変量解析による硬組織と軟組織の関連に基づく対応付け」について説明する。
〔軟組織の厚さ測定点に基づく対応付け〕
復顔法では、頭部および顔面部の軟組織の厚さのデータ(非特許文献5参照)を参考にして厚みを調整した粘土を、頭蓋に貼り付けて顔形状の復元を行う。本実施形態では、コンピュータ上で同様の処理を行うために、表皮と頭蓋の特徴点の対応付けを行う。対応付けた表皮と頭蓋の特徴点間の距離が、軟組織の厚さとなる。
復顔法では、頭部および顔面部の軟組織の厚さのデータ(非特許文献5参照)を参考にして厚みを調整した粘土を、頭蓋に貼り付けて顔形状の復元を行う。本実施形態では、コンピュータ上で同様の処理を行うために、表皮と頭蓋の特徴点の対応付けを行う。対応付けた表皮と頭蓋の特徴点間の距離が、軟組織の厚さとなる。
対応付けには、特徴点の性質を用いる。特徴点同士は、一対一で対応付けできる。対応付けられた表皮上の特徴点は、頭蓋上の特徴点の法線方向に表皮上で移動させ、この位置関係を保ったままで距離を変える、という二つの操作を行うことができる。この操作を利用して、表皮上の特徴点と頭蓋上の特徴点の位置調整および距離の調整、すなわち、軟組織の厚さの調整を行う。
本実施形態では、表皮上の特徴点と頭蓋上の特徴点を、軟組織の厚さが調べられている計測点を参考に定めているため、対応付けする表皮と頭蓋の特徴点の組は予め決まっている。表2に、軟組織の厚さ測定点に基づいた表皮と頭蓋の特徴点の対応について示す。
頭蓋形状を読み込み、頭蓋上の特徴点を設定した後、表2に示されている対応関係に基づき、表皮と頭蓋の特徴点を対応付ける。この対応付けを用いて、表皮形状を後述するようにして変形する。
〔硬組織と軟組織の関連に基づく対応付け〕
復顔法では、眼部,鼻部,口唇部などの複雑な形状を持つ部位は、その周辺の頭蓋との関連についての報告(非特許文献5)を参考にして復元される。本実施形態では、その中で、眼部と眼窩の位置的関係に関する報告を参考に、表皮モデルの眼部周辺と、頭蓋モデルの眼窩との対応付けを行う。この対応付けにより、眼部周辺の形状を生成する。鼻部,口唇部については、多変量解析による硬組織と軟組織の関連が報告されているため(非特許文献6〜11)、そちらを用いる。
復顔法では、眼部,鼻部,口唇部などの複雑な形状を持つ部位は、その周辺の頭蓋との関連についての報告(非特許文献5)を参考にして復元される。本実施形態では、その中で、眼部と眼窩の位置的関係に関する報告を参考に、表皮モデルの眼部周辺と、頭蓋モデルの眼窩との対応付けを行う。この対応付けにより、眼部周辺の形状を生成する。鼻部,口唇部については、多変量解析による硬組織と軟組織の関連が報告されているため(非特許文献6〜11)、そちらを用いる。
眼部と眼窩の対応付けは、眼部周辺の表皮上の特徴点と、眼窩周辺の頭蓋上の特徴点を用いて行う。眼部周辺の特徴点は、内眼角点と外眼角点である。眼窩周辺の特徴点は、Orbitale、眼窩上縁中央の点、眼窩内側縁における最も内側の点、眼窩外側縁における最も外側の点である。ここで、眼窩周辺の特徴点座標を用いて、内眼角点と外眼角点の位置を算出するように対応付ける。
内眼角点と外眼角点の上下方向の位置は、眼窩下縁から上縁までの高さの3/10である。そこで、眼窩上縁中央の点の座標をU=(xu,yu,zu)とすると、内眼角点と外眼角点の上下方向、すなわちy座標の値は、
となる。本実施形態では、Orbitaleがxz平面上になるように頭蓋の姿勢を定めているため、眼窩上縁中央の点の座標値だけで求まる。
次に、眼窩幅に対して眼裂幅は平均として3/4であり、内眼角点は眼窩縁上に、外眼角点は眼窩縁よりも内側にくることが一般的であることから、内眼角点と外眼角点の左右方向の位置、すなわち、x座標を求める。眼窩内側縁の最も内側の点の座標をEn=(xEn,yEn,zEn)、眼窩外側縁の最も外側の点の座標をEk=(xEk,yEk,zEk)とすると、
となる。このような計算式を用いて、眼窩と眼部形状を対応付ける。
〔多変量解析による硬組織と軟組織の関連に基づく対応付け〕
鼻部や口唇部,眼部などの複雑な部位の形状決定は、その部位周辺の頭蓋形状を基準とするだけでは、場合によって大きく結果を誤るおそれがある。これを避けるために、多変量解析によって、鼻部や、口唇部,眼部の測定点と頭蓋全体の形状との関連を求める手法が研究されている(非特許文献6〜11)。この研究では、鼻部,口唇部の測定点の位置を、解析結果から得られた相推定式により求める手法が報告されている。本実施形態では、鼻部,口唇部の形状決定のために、この多変量解析による推定式を用いる。この推定式を用いることで、より解剖学的に精確度の高い形状の生成が可能になる。
鼻部や口唇部,眼部などの複雑な部位の形状決定は、その部位周辺の頭蓋形状を基準とするだけでは、場合によって大きく結果を誤るおそれがある。これを避けるために、多変量解析によって、鼻部や、口唇部,眼部の測定点と頭蓋全体の形状との関連を求める手法が研究されている(非特許文献6〜11)。この研究では、鼻部,口唇部の測定点の位置を、解析結果から得られた相推定式により求める手法が報告されている。本実施形態では、鼻部,口唇部の形状決定のために、この多変量解析による推定式を用いる。この推定式を用いることで、より解剖学的に精確度の高い形状の生成が可能になる。
以下、多変量解析による推定式について説明する。復顔法では、軟組織と硬組織の関連が明確にされていない部位ついて,近隣の特徴を作業者の経験により平均することで補っている。また、鼻部、口唇部など複雑な形状を持つ部分は、個人の容貌を特徴づける重要な部分であり、ただ1項目のみを基準としたのでは、場合によって結果を大きく誤るおそれがある。
このような問題を解決するために、軟組織と硬組織の関連を、多変量解析を用いて推定している。具体的には,X線写真などにより、軟組織上の特徴点の位置と、硬組織上の特徴点の位置を測定し、それらの測定値を用いて、多変量解析の一手法であるステップワイズ回帰分析を行う。
ステップワイズ回帰分析は、推定のための項目が多数ある場合、一定の予測性を失わずに、組合せに用いられる項目を選択していく手法である。この分析結果として、硬組織上の特徴点から相関の高いものを選択し、それをもとに軟組織上の特徴点の位置を推定する計算式を得ることができる。この手法を用いることで、より精度の高い復顔を行うことができるため、鼻幅や、鼻尖点,鼻下点,上唇点,下唇点,Pogonionの側貌での位置の推定法などが研究され、その推定式が報告されている。
〔鼻幅の推定〕
鼻幅を推定するための計測値としては、図8に示すように,左右のFrontotemporale間の距離である最小前頭幅、左右のZygion間の距離である頬骨弓幅、左右のGonion間の距離である下顎角幅、梨状口幅の4つを用いる。これらの測定値と表3に示す係数をそれぞれ乗算し、和をとることで鼻幅の推定を行う。
鼻幅を推定するための計測値としては、図8に示すように,左右のFrontotemporale間の距離である最小前頭幅、左右のZygion間の距離である頬骨弓幅、左右のGonion間の距離である下顎角幅、梨状口幅の4つを用いる。これらの測定値と表3に示す係数をそれぞれ乗算し、和をとることで鼻幅の推定を行う。
〔側貌における特徴点の位置の推定〕
側貌の輪郭線上の特徴点として、鼻尖点,鼻下点,上唇点,口点,下唇点,Pogonionの位置を、図9に示す15個の特徴点の位置を用いた推定式により求める。15個の特徴点とは、すなわち、頭頂点Vertex(ver),鼻根点Nasion(n),sella turcica(sel),外耳孔の上縁中央点Porion(po),鼻骨間縫合最下点Rhinion(rhi),前鼻棘Anterior Nasal Spine(ans),後鼻棘Posterior Nasal Spine(pns),前鼻棘から歯槽突起に移行する間の最深点Subspinale(ss),上顎中切歯間歯槽突起の最先端点Prosthion(pr),上顎中切歯切端(ul),下顎中切歯切端(ll),下顎中切歯間歯槽突起の最先端点Infradentale(id),InfradentaleからPogonionへ移行する間の最深点Supramentale(sm),下顎オトガイ部における正中線上の最突出点Pogonion(pg),および下顎オトガイ部における正中線上の最下点Menton(me)である。
側貌の輪郭線上の特徴点として、鼻尖点,鼻下点,上唇点,口点,下唇点,Pogonionの位置を、図9に示す15個の特徴点の位置を用いた推定式により求める。15個の特徴点とは、すなわち、頭頂点Vertex(ver),鼻根点Nasion(n),sella turcica(sel),外耳孔の上縁中央点Porion(po),鼻骨間縫合最下点Rhinion(rhi),前鼻棘Anterior Nasal Spine(ans),後鼻棘Posterior Nasal Spine(pns),前鼻棘から歯槽突起に移行する間の最深点Subspinale(ss),上顎中切歯間歯槽突起の最先端点Prosthion(pr),上顎中切歯切端(ul),下顎中切歯切端(ll),下顎中切歯間歯槽突起の最先端点Infradentale(id),InfradentaleからPogonionへ移行する間の最深点Supramentale(sm),下顎オトガイ部における正中線上の最突出点Pogonion(pg),および下顎オトガイ部における正中線上の最下点Menton(me)である。
位置を特定するための基準となる軸として耳眼水平面をX軸、X軸に垂直でMentonを通る線をY軸と定め、原点をoとする。そして、各測定点からY軸に垂線をおろし交差する点をver’,n’,rhi’,sel’,ans’,pns’,ss’,ul’,ll’,id’,sm’,およびpg’とする。これらの計測値から推定項目と相関の高いものをステップワイズ回帰分析により求めることにより、推定式をたてる。推定式は、推定項目(計測項目)と係数による多項式である。
このようにして求められた推定式について、鼻尖点の推定に用いる計測値と係数を表4に、鼻下点の推定に用いる計測値と係数を表5に、上唇点の推定に用いる計測値と係数を表6に、口点の推定に用いる計測値と係数を表7に、下唇点の推定に用いる計測値と係数を表8に、Pogonionの位置の推定に用いる計測値と係数を表9に示す。
上述の様にして求めた推定式を、コンピュータ上のモデリングに置き換える場合、推定式における計測項目の代わりに、頭蓋上の特徴点座標を用いて、得られた推定値を表皮上の特徴点座標とする。ただし、本実施形態で提案したモデルでは、図9で示した計測項目の中で、Sella turcica(sel)とPosterior nasal spine(pns)の2項目は特徴点として採用していない。これは、この2点が頭蓋内部の点であり、入力される頭蓋形状では存在しない可能性が高いためである。そこで、この2項目に関しては、平均の測定値と近隣の項目の値によって算出する。これらの値を算出するための式は数6で表される。
ここで、xlは算出値、xsは近隣の項目の計測値、alは算出項目の平均値、asは近隣の項目の平均値である。数6は、近隣の項目が平均値に対して何倍かを求め、算出したい項目の平均値にそれを乗算するものである。
この様にして、Sella turcicaとPosterior nasal spineの座標を求める。その際に用いる近隣の項目は、Sella turcicaの場合、水平方向では、Porionの水平方向の値を、垂直方向ではNasionの垂直方向の値を用いる。Posterior nasal spineの場合、水平方向では、Porionの水平方向の値を、垂直方向では、Anterior nasal spineの垂直方向の値を用いる。
この対応付けを用いて位置を決定する表皮上の特徴点は、鼻部で、鼻尖点Pronasale,鼻下点Subnasale,鼻翼点Alareの3点、口唇部で上唇点Labrale superius,下唇点Labrale inferius,口点Stomion,Mentlabialis,下顎オトガイ部における正中線上の最突出点Pogonionの5点の計8点である。
次に、表皮形状の変形(図5のステップS5,S6)について説明する。まず、表皮形状の大きさの調整(ステップS5)について述べ、次に、硬組織と軟組織の関連に基づく表皮の変形(ステップS6)について述べる。
〔表皮形状の大きさの調整〕
入力された頭蓋形状に対して、表皮形状の大きさが異なると、顔形状の生成の際に正しい結果が得られない。入力頭蓋に対して表皮形状が大きすぎる場合、変形の度合いが少ない部分は、正常な場合に比べて大きくなってしまう。逆に、小さかった場合には頭蓋に表皮が干渉してしまう結果になる。そこで、顔形状生成のための変形を行う前に、表皮形状を頭蓋形状の大きさに合わせて拡大縮小する。
入力された頭蓋形状に対して、表皮形状の大きさが異なると、顔形状の生成の際に正しい結果が得られない。入力頭蓋に対して表皮形状が大きすぎる場合、変形の度合いが少ない部分は、正常な場合に比べて大きくなってしまう。逆に、小さかった場合には頭蓋に表皮が干渉してしまう結果になる。そこで、顔形状生成のための変形を行う前に、表皮形状を頭蓋形状の大きさに合わせて拡大縮小する。
先ず、頭蓋形状と表皮形状の各軸方向の大きさの比で、拡大縮小率を決める。しかし、頭蓋形状では鼻部が無いため、表皮形状に比べてz軸方向の値が小さくなっている。そこで、拡大縮小率を求める際は、図10に示すように、表皮形状のz軸方向の大きさは、鼻の頂点であるPronasaleからではなく、Rhinionから後頭部で最も後方の点までの距離を用いる。頭蓋で、一般的に前方に最も突出している部位はRhinionであるため、それに合わせて、表皮でもRhinionを用いることで、鼻部の大きさによる誤差を無くすことができる。
また、拡大縮小をする際には、表皮の大きさが頭蓋の大きさより各軸方向で6mmずつ大きくなるように拡大縮小率を定める。これは、頭頂部から後頭部にかけては、一般に軟組織の厚さは一定で3mm前後であるため、この分を考慮したためである。
〔硬組織と軟組織の関連に基づく表皮の変形〕
頭蓋の特徴点と対応づけられた表皮の特徴点は、その対応付けによって特定の位置に移動される。その特徴点の移動により、表皮形状の変形を制御する。表皮形状の変形にはガウス関数に基づくFree-Form Deformation(GFFD)を用いる。表皮の特徴点の位置に、GFFDの操作点を配置し、特徴点の移動に合わせてGFFDの操作点も移動する。これにより、硬組織と軟組織の関連に基づいて、表皮の特徴点の移動により、表皮の変形を制御することができる。
頭蓋の特徴点と対応づけられた表皮の特徴点は、その対応付けによって特定の位置に移動される。その特徴点の移動により、表皮形状の変形を制御する。表皮形状の変形にはガウス関数に基づくFree-Form Deformation(GFFD)を用いる。表皮の特徴点の位置に、GFFDの操作点を配置し、特徴点の移動に合わせてGFFDの操作点も移動する。これにより、硬組織と軟組織の関連に基づいて、表皮の特徴点の移動により、表皮の変形を制御することができる。
軟組織の厚さに基づいて対応付けされた特徴点は、図11(1)(2)に示すように、2段階で移動する。まず、表皮の特徴点の法線方向上に頭蓋の特徴点がくるように、表皮の特徴点を移動する。次に、特徴点の法線方向の距離が、表2に示した特徴点間の距離になるように表皮の特徴点を移動する。
このように2段階に分けて行うのは、表2に示した特徴点間の距離が、表皮に垂直な方向の軟組織の厚さの平均値であるため、頭蓋上の特徴点と表皮上の特徴点が、表皮の特徴点に垂直な方向、すなわち法線方向上になければならないからである。この移動により、表皮が軟組織の厚さに合わせて、頭蓋形状にフィットするように変形される。また、特徴点間の距離を調整することで、顔形状の編集を行うことも可能である。
軟組織と硬組織の関連に基づいて対応付けられた特徴点は、頭蓋と表皮の特徴点の対応関係を表す計算式に頭蓋の特徴点の座標を代入して得られる位置に、移動する。多変量解析による硬組織と軟組織の関連に基づいて対応づけられた特徴点も、同様に、頭蓋の特徴点の座標により計算された位置に移動する。この2種類の対応付けは、鼻部,口唇部,眼部の特徴点に対して行われているため、それらの部位が頭蓋の形状に合わせて変形される。
これらの操作を行うことで、頭蓋形状の特徴に基づいた顔形状を生成することができる。しかし、特徴点の移動の際に用いている値は平均値であるため、場合によっては頭蓋形状の特徴が顔形状に正しく反映されない可能性がある。その場合は、使用者がそれらの値を任意に変更することにより、頭蓋の特徴が顔形状に反映されるように調整することができる。調整の際に変更できる値は、軟組織の厚さ測定点に基づいて対応づけられた特徴点間の距離と、GFFD操作点の影響範囲である。特に、特徴点間の距離は、軟組織の厚さの平均値が人種,性別により異なるため、頭蓋形状の人種,性別があいまいな場合はその値を入れ替えることで頭蓋の特徴を最もよく反映する値を選択することができる。
次に、ガウス関数に基づくFree-Form Deformationによる形状変形について説明する。
本実施形態では、表皮形状を予め用意しておき、それを頭蓋骨形状の特徴に基づいて変形することで顔形状を生成する。そのため、表皮形状を自由に変形できる手法を用いて変形操作を行う必要があり、「吉田典正,加納顕也,北嶋克寛:"ガウス関数に基づくFree-Form Deformation",精密工学会誌,65巻,pp.971-975,1999.」に記載された手法を利用する。
Free-Form Deformation(FFD)は、変形対象の形状モデルに独立な変形手法であり、空間の変形を定義する格子点の数は変形される物体に独立であるので、スプライン曲面のように多くの制御点を変更する必要がない。ただし、従来のFFDは空間の変形を定義する格子点の形状に制限が設けられている等の問題がある。それに対して、GFFDは任意個の格子点を任意の位置に配置することができ、移動する格子点の変形の影響度を変えることができるなど、従来のFFDに比べ、柔軟な変形の制御が可能である。このような利点がGFFDにはあるため、表皮の変形手法として利用する。
〔ガウス関数に基づくFree-Form Deformation〕
Free-Form Deformation(FFD)は、最初Bernstein関数に基づくものがSederbergらによって提案された。その後、Griessmairらが3変数のB-spline関数に基づくFFDを、Davisらが有理Bernstein関数に基づくFFDを、LamousinらがNURBS関数に基づくFFDをそれぞれ提案しているが、これらは空間の変形を定義する格子の形状に制限が設けられているなどの問題点を持つ。
Free-Form Deformation(FFD)は、最初Bernstein関数に基づくものがSederbergらによって提案された。その後、Griessmairらが3変数のB-spline関数に基づくFFDを、Davisらが有理Bernstein関数に基づくFFDを、LamousinらがNURBS関数に基づくFFDをそれぞれ提案しているが、これらは空間の変形を定義する格子の形状に制限が設けられているなどの問題点を持つ。
それらに対して、ガウス関数に基づくFree-Form Deformation(GFFD)は、Ghostasbyによって提案された有理ガウス曲線・曲面を基礎とすることでこれらの問題を解決している。有理ガウス曲線・曲面は密で雑音のある点集合から構造を復元するために構築された。有理ガウス曲線・曲面式はB-spline関数をガウス関数に置き換えたNURBSの式と似ているが、生成される形状の曲率値を制御する自由変数としてガウス関数の標準偏差を用いる点、及び任意個の制御点を任意に配置できる点が異なる。
制御点ベクトルVで構成される有理ガウス曲面は、
で定義される。ここでgi(s,t)は、曲面のi番目の基底関数で、次のように定義される。
ここで、wiはi番目の制御点のウェイトであり、Gi(s,t)は、
で定義され、これは(si,ti)を中心とする標準偏差σi,高さ‘1’のガウス関数である。ガウス曲面は、標準偏差の値を変えることにより、基底関数の値を変えることができる。これにより、曲面形状に対する制御点の局所性の度合いを制御することが可能になる。σiの値が小さくなると、i番目の基底関数がより局所的に中心的になり、曲面に対するViの影響が大きくなるため、Viを移動させると、その近傍の曲面形状に大きく影響する。σiの値が大きくなると、Viの影響は広い範囲に渡り、Viを移動させると広い範囲の曲面形状に影響する。ウェイトWiは、値を大きくすると、曲面は制御点の近くに引っ張られ、小さくすると離れていく。
このような特徴を持つ有理ガウス曲線・曲面を基礎としてGFFDを定義する。GFFDでは、有理ガウス曲面から変数を1つ増やし、3変数に拡張した式を用いる。すなわち、物体の定義されている座標系をstuとするGFFDを、
として定義する。ここでgi(s,t,u)はi番目の基底関数であり、次のように定義される。
ここで、Gi(s,t,u)は、
で、(si,ti,ui)を中心とする高さ‘1’のガウス関数である。σi,s,σi,t,σi,uは、各軸方向のi番目のガウス関数の標準偏差である。このように各軸方向に標準偏差を設けることにより、制御点の影響範囲を各軸方向ごとに変えることが可能となる。
GFFDでは、任意個の制御点を任意に配置することが可能であるが、一般の位置にある4点を含まなければならないという制限がある。これは、GFFDでは、数10に見られるように、制御点ベクトルの線形結合として表されるので、制御点ベクトルが空間を張る必要があるためである。制御点ベクトルが空間を張らない場合は、変形対象の形状が平面や線に含まれる形状に縮退してしまう。そのため、制御点ベクトルが空間を張るために最低限必要な4点を含まなければならない。
数10によりGFFDを定義したが、これは制御点と曲面上の点が離れており、対応関係が理解しにくい。そこで、逆変換を用いて変形後の曲面が指定の点(操作点)を通過するような制御点を求める。これにより、操作点を扱うことで曲面上の点を操作して変形を行うことが可能になる。操作点から制御点を求めるには、n個の操作点ベクトルをPi(i=1,…,n)とし、Piの座標を(si,ti,ui)として、
という式をたて、これを解くことにより制御点ベクトルViを求めることができる。変形したい任意の点に操作点をおき、操作点を移動させ、数13により操作点を通過するような制御点を求め、数10によりモデルを変形させることで、直感的に変形を制御することが可能になる。
〔GFFDによる基本的な変形操作〕
GFFDでは、制御点ベクトルが空間を張らなければならないため、基本となる操作点として、図12に示すように、立方体のコーナーの8点を配置する。この8つの操作点は制御点ベクトルが空間を張るためのものであるため、これらに対して変形のための操作は行わない。これらの操作点の標準偏差は、モデルの大きさに対して十分大きい値を取る必要がある。これは、標準偏差が小さい場合、モデルに対する制御点の影響が大きくなりモデルが変形してしまうためである。
GFFDでは、制御点ベクトルが空間を張らなければならないため、基本となる操作点として、図12に示すように、立方体のコーナーの8点を配置する。この8つの操作点は制御点ベクトルが空間を張るためのものであるため、これらに対して変形のための操作は行わない。これらの操作点の標準偏差は、モデルの大きさに対して十分大きい値を取る必要がある。これは、標準偏差が小さい場合、モデルに対する制御点の影響が大きくなりモデルが変形してしまうためである。
GFFDによる変形の操作は、操作点の移動と標準偏差の操作による影響範囲の変更の2つがある。まず、操作点の移動について述べる。GFFDによる変形は基本的に操作点の移動により行われる。操作点を変形対象のモデル上におくことで、モデルを直接操作する感覚で変形を制御できるため、一般的に操作点はモデル上にとる。
図13(a)に、操作点の移動による変形の例を示す。この例では、大きさ‘1’の立方体を変形対象のモデルとし、基本となる操作点を立方体のコーナーにおき、標準偏差をすべての軸方向で‘10.0’とした。これに、変形操作を行うために第9の操作点をモデル上に配置し、標準偏差を各軸方向で‘0.1’とした。この第9の操作点を、y方向に‘0.5’移動したのが図13(b)である。
GFFDによる変形では、この図13のように、操作点の移動に対してその周囲が滑らかに変形する。この例では移動した操作点の標準偏差がモデルに対して小さいため、その変形は局所的である。
この操作点の移動による変形に対して、標準偏差を操作して影響範囲を変更した例を図14に示す。図14(a)は、各軸方向の標準偏差を‘0.3’にしたものである。この例では、標準偏差が大きくなっているため、操作点の移動の影響範囲が大きくなっている。図14(b)は、移動した操作点の各軸方向の標準偏差をそれぞれ、‘0.4’、‘0.05’、‘0.05’としたものである。この例では、x軸方向のみ標準偏差が大きいため、操作点の移動による影響がx軸方向にのみ大きくなっている。このように標準偏差を各軸方向で異なる値を設定することでより細かな変形制御ができる。
〔本実施形態におけるGFFDの機能の追加〕
GFFDでは、任意個の制御点を任意に配置ができ、各制御点でその影響範囲を各軸方向の標準偏差によって制御することができる。しかし、標準偏差を決めることのできる軸方向は、変形対象のモデルの座標系の軸に固定されているため、複雑な形状をもつモデル上では影響範囲の制御が難しい。
GFFDでは、任意個の制御点を任意に配置ができ、各制御点でその影響範囲を各軸方向の標準偏差によって制御することができる。しかし、標準偏差を決めることのできる軸方向は、変形対象のモデルの座標系の軸に固定されているため、複雑な形状をもつモデル上では影響範囲の制御が難しい。
そこで、本実施形態では、GFFDの各制御点に対して独立した座標系を与え、その座標系の各軸に沿った標準偏差により、制御点移動時の影響範囲を制御できるように機能の追加を行う。
各制御点の座標系の軸方向における標準偏差を定義するには、ガウス関数を計算する際に、変形対象の物体の座標を、制御点の座標系へと座標変換することで行うことができる。i番目の制御点の座標系をxyzとして、物体の定義されている座標系stuからの座標変換を、
と定義する。また、数12のi番目の制御点のガウス関数をxyz座標系を用いて、
と変更する。そして、これらを用いて数11のi番目の基底関数の代わりに、
を用いることで、各制御点での座標系の軸方向の標準偏差により、制御点移動時の影響範囲を制御することができる。また、制御点と操作点は一対一で対応しているため、以後、制御点の座標系を操作点の座標系とも呼ぶことにする。
図15は、制御点の座標系の軸方向の標準偏差による影響範囲を用いて変形を行った結果を示す図である。モデルの設定は、図14と同様である。操作点の標準偏差の値は各軸方向で‘0.4’,‘0.05’,‘0.15’とする。図15(a)は、制御点が座標系を持たない場合を示し、図15(b)は、y軸周りに45度回転した座標系を持つ操作点を移動した場合を示す。この図から、図15(b)では操作点の移動による変形の影響範囲がモデルの座標系とは異なった方向に強くなっていることがわかる。このような変形は、図15(a)のように操作点ごとに座標系を持たない場合では不可能である。このように、各操作点に座標系を持たせることで、より柔軟に変形を制御することができる。
以上述べた様に、本実施形態では、任意の特徴を持つ顔形状を生成するために、頭蓋骨から顔形状を復元する手法である復顔法に基づいた顔形状のモデル化をコンピュータ上で実現する具体的方法を提供している。復顔法では、頭蓋骨と表面形状との解剖学的な関連が簡潔に表現されているため、復顔法に基づいて顔形状のモデル化を行うことで、解剖学的に精確度が高く、簡潔なモデル化が可能になる。
復顔法では、硬組織(頭蓋)と軟組織(皮膚や筋肉)の解剖学的関連に関するデータを用いて、頭蓋骨に粘土を貼り付けていくことで顔貌の復元を行っている。そこで、本実施形態では、その手順に基づき、顔形状モデルを、頭蓋、表皮、軟組織の3要素に分けて構成し、顔形状の生成には、頭蓋と表皮の解剖学的な関連に基づいて標準の表皮形状を変形する手法を採用し、頭蓋および表皮は、解剖学的な特徴点に関する情報を持つポリゴンモデルとして表現した。軟組織は、対応付けられた頭蓋と表皮の特徴点間の距離を厚み、変形の影響範囲を形状として表現した。
また、復顔法では、硬組織と軟組織の解剖学的な関連を用いて顔貌の復元を行っている。そこで、本実施形態では、硬組織と軟組織の解剖学的な関連を、頭蓋と表皮の特徴点の対応関係に置き換え、これに基づいて表皮を変形させることで顔形状を生成する。対応関係は2種類用意し、ひとつは、顔面各部の軟組織の厚さに関するデータに基づいて、頭蓋骨上の特徴点と表皮上の特徴点を一対一で対応付け、これにより、頭蓋形状に対する表皮の位置を表現した。もうひとつは、表皮上の1つの特徴点に対して複数の頭蓋骨上の特徴点を対応付けるものであり、表皮上の特徴点と特に相関の高い複数の頭蓋骨上の特徴点座標を用いて、表皮上の特徴点座標を求める。これにより、鼻部や口唇部などの複雑な部位の形状の決定が解剖学的に正確になる。
更に、表皮形状の変形には、空間変形手法であるガウス関数に基づくFree-Form Deformation(GFFD)を用いた。表皮上の特徴点位置にGFFDの操作点を配置し、頭蓋骨と表皮の対応関係による表皮上の特徴点の移動に合わせて、GFFDの操作点も移動させることにより、変形を行った。各操作点の影響範囲を、筋肉の場所と大きさを参考にして設定することにより、解剖学的に精度の高い変形を行えるようにした。
次に、上述した実施形態で提案する顔形状モデルを用い、実際に、コンピュータ上で頭蓋形状から顔形状を生成する実験を行う。そして、生成した顔形状と頭蓋形状を比較し、頭蓋形状の特徴が生成した顔形状に反映されているか、反映されていない場合は何が原因かなどを考察することで、顔形状モデルの妥当性を評価する。
実験は、上述した顔形状生成の手順に沿って行う。実験手順は以下の通りである。
(1)頭蓋形状の読み込み
(2)頭蓋の特徴点の選択
(3)頭蓋と表皮の対応付けと表皮の変形
(4)生成された顔形状の考察。
(1)頭蓋形状の読み込み
(2)頭蓋の特徴点の選択
(3)頭蓋と表皮の対応付けと表皮の変形
(4)生成された顔形状の考察。
(1)から(3)の手順により顔形状の生成を行う。(1)の頭蓋形状の入力と(2)の頭蓋の特徴点の選択は手動で行い、(3)はシステムにより自動的に実行される。最後に、生成した顔形状を頭蓋形状と比較し、考察する。
〔実験データ〕
今回の実験では、顔形状を作成するための頭蓋形状を5種類の実験データ1〜5を用意した。これらは全て、Web上で入手したものである。
今回の実験では、顔形状を作成するための頭蓋形状を5種類の実験データ1〜5を用意した。これらは全て、Web上で入手したものである。
図16に示す実験データ1の特徴として、以下のものが挙げられる。
・眼窩上縁から下縁までの長さが大きい
・Rhinionの前方への突出度が小さい
・眼窩上縁から下縁までの長さが大きい
・Rhinionの前方への突出度が小さい
図17に示す実験データ2の特徴として、以下のものが挙げられる。
・顔面部の側貌における特徴点、Glabella、Nasion、Rhinion、Subnasaleのz軸方向の位置に大きな差が無く、平らである
・Pogonionが前方に突出しており、顎が尖っている
・顔面部の側貌における特徴点、Glabella、Nasion、Rhinion、Subnasaleのz軸方向の位置に大きな差が無く、平らである
・Pogonionが前方に突出しており、顎が尖っている
図18に示す実験データ3の特徴として、以下のものが挙げられる。
・顔面部側貌で、Rhinionのみが前方に大きく突出している
・上顎の幅に比べ、下顎の幅の方が広い
・全体的に左右に比べて上下が長く、面長である
・顔面部側貌で、Rhinionのみが前方に大きく突出している
・上顎の幅に比べ、下顎の幅の方が広い
・全体的に左右に比べて上下が長く、面長である
図19に示す実験データ4の特徴として、以下のものが挙げられる。
・顔面部側貌において、歯槽部が全面に突出している
・上顎の幅に比べ、下顎の幅の方が狭い
・顔面部側貌において、歯槽部が全面に突出している
・上顎の幅に比べ、下顎の幅の方が狭い
図20に示す実験データ5の特徴として、以下のものが挙げられる。
・全体の大きさに比べ、眼窩が小さい
・オトガイ部の前方への突出度が小さい
・全体の大きさに比べ、眼窩が小さい
・オトガイ部の前方への突出度が小さい
図21は、実験データ1の頭蓋形状から生成した顔形状を示す図であり、図26は、実験データ1における頭蓋形状と表皮(顔形状)との位置関係を示す図である。
実験データ1は、特に眼部と鼻部に特徴がある。そこで、図21で、眼部と鼻部に注目すると、鼻部に関しては、鼻が非常に低くなっている。鼻の高さは、頭蓋の側貌における鼻骨の輪郭線の延長と、梨状口の下端から水平に伸ばした延長線の交点として求まる。実験データ1では、鼻骨の側貌における輪郭線が垂直に近い角度になっている。そのため、鼻は低くなると考えられ、これは生成した顔形状の特徴と一致する。図26を見ても、そのようになっていることがわかる。このことから、鼻部に関しては、正しく形状が生成されていることが確認できた。
眼部に関しては、図21を見ると、生成した顔形状では、眼部と額の間が広い。眼部と額の間は眼窩の上部であり、その間が広いということから、眼窩の上下方向が長いと考えられる。実験データ1の眼窩は上下方向に長く、生成した顔形状の眼部と額の間が広いのは、その実験データの特徴を反映したためと考えられる。このことから、眼部についても正しく形状が生成されていることが確認できる。
図22は、実験データ2の頭蓋形状から生成した顔形状を示す図であり、図27は、実験データ2における頭蓋形状と表皮(顔形状)との位置関係を示す図である。
実験データ2は、顎の形状に大きな特徴がある。図22で顎の形状に注目すると、顎が尖っていることがわかる。図27に示した、頭蓋と表皮の位置関係により、頭蓋の形状と表皮の形状を確認すると、頭蓋の顎も尖っており、表皮は頭蓋に合った形状をしていることがわかる。このことから、顎の部分に関しては、表皮が頭蓋の特徴に基づいて正しく変形されていることが確認できた。また、図27からは、顎の形状だけでなく、口唇部が歯列の位置に、鼻部が鼻骨の輪郭線に沿った形状をしていることがわかる。
図23は、実験データ3の頭蓋形状から生成した顔形状を示す図であり、図28は、実験データ3における頭蓋形状と表皮(顔形状)との位置関係を示す図である。
実験データ3は、顔が縦長であり、顔の縦横の比率に大きな特徴がある。図23を見ると、顔形状は面長であり、さらに、上顎部分が下顎に比べて細くなっている。これらは実験データ3の特徴と一致しており、表皮が頭蓋の縦横の比率が大きく異なる場合でも、正しく変形されていることが確認できた。
図24は、実験データ4の頭蓋形状から生成した顔形状を示す図であり、図29は、実験データ4における頭蓋形状と表皮(顔形状)との位置関係を示す図である。
実験データ4は口唇部に大きな特徴がある。そこで、口唇部に注目して、図24を見ると、口唇部が前方に突出していることがわかる。また、下顎部が、上顎部に対して細くなっていることもわかる。これらは、実験データ4の特徴と同様である。このことから、口唇部の特徴に関しても、正しく生成できていることが確認できる。
図25は、実験データ5の頭蓋形状から生成した顔形状を示す図であり、図30は、実験データ5における頭蓋形状と表皮(顔形状)との位置関係を示す図である。
これらの図を見ると、生成された顔形状は、全体的に頭蓋の特徴を反映した形状になっていることがわかる。特に、実験データ5の頭蓋形状では、下顎部が平らで幅が広いが、生成された顔形状も同様の特徴をもっており、表皮が正しく変形されていることがわかる。
以上の実験によれば、5つのそれぞれ異なる特徴を持った頭蓋形状から、復顔法に基づいてコンピュータ上で顔形状を生成した結果、それぞれの頭蓋形状の特徴が顔形状に反映され、表皮を変形できていることを確認できた。これにより、本実施形態で提案した復顔法に基づいた顔形状モデルによる顔形状生成の妥当性が証明できた。
本発明は、様々な特徴を持つ顔形状をコンピュータシミュレーションによって容易且つ短時間に生成するのに有用である。
1 頭蓋形状
2 頭蓋特徴点
3 表皮形状
4 表皮特徴点
2 頭蓋特徴点
3 表皮形状
4 表皮特徴点
Claims (5)
- 顔の形状をコンピュータ上で生成する顔形状のモデリング方法において、頭蓋形状をコンピュータに入力し、該頭蓋形状上の複数の頭蓋特徴点を指定し、顔の表皮形状上の複数の表皮特徴点を夫々前記頭蓋特徴点に対応付け、各表皮特徴点の位置を対応する頭蓋特徴点に対し計測データに基づいて変位させることで前記頭蓋形状に対応する顔形状をモデリングすることを特徴とする顔形状のモデリング方法。
- 前記頭蓋形状は、計測された頭蓋の幾何形状を三次元形状を表現するデータとして入力することを特徴とする請求項1に記載の顔形状のモデリング方法。
- 前記計測は、画像診断装置で行うことを特徴とする請求項2に記載の顔形状のモデリング方法。
- 前記計測データとして、復顔法で用いられている人種,性別毎の計測データを用いることを特徴とする請求項1乃至3のいずれかに記載の顔形状のモデリング方法。
- 顔の形状をコンピュータ上で生成する顔形状モデリング用プログラムにおいて、頭蓋形状をコンピュータに取り込む第1ステップと、該第1ステップで取り込まれた前記頭蓋形状上の複数の頭蓋特徴点を指定する第2ステップと、顔の表皮形状上の複数の表皮特徴点を前記第2ステップで指定された夫々の前記頭蓋特徴点に対応付ける第3ステップと、各表皮特徴点の位置を対応する頭蓋特徴点に対し計測データに基づいて変位させることで前記頭蓋形状に対応する顔形状をモデリングする第4ステップとを備えることを特徴とする顔形状モデリング用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003311160A JP2005074136A (ja) | 2003-09-03 | 2003-09-03 | 顔形状のモデリング方法及び顔形状モデリング用プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003311160A JP2005074136A (ja) | 2003-09-03 | 2003-09-03 | 顔形状のモデリング方法及び顔形状モデリング用プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005074136A true JP2005074136A (ja) | 2005-03-24 |
Family
ID=34412791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003311160A Pending JP2005074136A (ja) | 2003-09-03 | 2003-09-03 | 顔形状のモデリング方法及び顔形状モデリング用プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005074136A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101146796B1 (ko) | 2010-11-12 | 2012-05-21 | 연세대학교 산학협력단 | 두개안면 모델링 장치와 그 방법 및 두개안면 성형 시뮬레이션 장치 |
KR20200137998A (ko) * | 2019-05-31 | 2020-12-09 | 미즈호 죠호 소켄 가부시키가이샤 | 형상 예측 시스템, 형상 예측 방법 및 형상 예측 프로그램을 기억한 컴퓨터 가독 매체 |
CN115282484A (zh) * | 2022-08-17 | 2022-11-04 | 妮贝(上海)科技有限公司 | 一种家用射频美容仪的射频控制系统 |
CN116310000A (zh) * | 2023-03-16 | 2023-06-23 | 北京百度网讯科技有限公司 | 蒙皮数据生成方法、装置、电子设备及存储介质 |
-
2003
- 2003-09-03 JP JP2003311160A patent/JP2005074136A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101146796B1 (ko) | 2010-11-12 | 2012-05-21 | 연세대학교 산학협력단 | 두개안면 모델링 장치와 그 방법 및 두개안면 성형 시뮬레이션 장치 |
KR20200137998A (ko) * | 2019-05-31 | 2020-12-09 | 미즈호 죠호 소켄 가부시키가이샤 | 형상 예측 시스템, 형상 예측 방법 및 형상 예측 프로그램을 기억한 컴퓨터 가독 매체 |
JP2020197845A (ja) * | 2019-05-31 | 2020-12-10 | みずほ情報総研株式会社 | 形状予測システム、形状予測方法及び形状予測プログラム |
KR102413589B1 (ko) | 2019-05-31 | 2022-06-27 | 미즈호 리서치 앤드 테크놀로지즈 가부시키가이샤 | 형상 예측 시스템, 형상 예측 방법 및 형상 예측 프로그램을 기억한 컴퓨터 가독 매체 |
CN115282484A (zh) * | 2022-08-17 | 2022-11-04 | 妮贝(上海)科技有限公司 | 一种家用射频美容仪的射频控制系统 |
CN116310000A (zh) * | 2023-03-16 | 2023-06-23 | 北京百度网讯科技有限公司 | 蒙皮数据生成方法、装置、电子设备及存储介质 |
CN116310000B (zh) * | 2023-03-16 | 2024-05-14 | 北京百度网讯科技有限公司 | 蒙皮数据生成方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11642195B2 (en) | Visual presentation of gingival line generated based on 3D tooth model | |
US11020205B2 (en) | Providing a simulated outcome of dental treatment on a patient | |
Kähler et al. | Reanimating the dead: reconstruction of expressive faces from skull data | |
Xia et al. | Three-dimensional virtual-reality surgical planning and soft-tissue prediction for orthognathic surgery | |
EP1872337B1 (en) | Method and system for pre-operative prediction | |
DK2967519T3 (en) | SYSTEMS AND METHODS FOR PLANNING HAIR TRANSPLANTATION | |
US8650005B2 (en) | System and method for three-dimensional maxillofacial surgical simulation and planning | |
Schendel et al. | Three-dimensional imaging and computer simulation for office-based surgery | |
Jiang et al. | Registration technology of augmented reality in oral medicine: A review | |
US20120223970A1 (en) | System and Method for Generating Profile Morphing Using Cephalometric Tracing Data | |
Zachow | Computational planning in facial surgery | |
US8417004B2 (en) | System and method for simulated linearization of curved surface | |
Buchaillard et al. | 3D statistical models for tooth surface reconstruction | |
Xin et al. | Image fusion in craniofacial virtual reality modeling based on CT and 3dMD photogrammetry | |
Schendel et al. | Image fusion in preoperative planning | |
Wang et al. | Real time 3D simulation for nose surgery and automatic individual prosthesis design | |
Egger et al. | Computer-aided position planning of miniplates to treat facial bone defects | |
Mahoney et al. | Computer-generated facial depiction | |
Cingi et al. | Teaching 3D sculpting to facial plastic surgeons | |
JP2005074136A (ja) | 顔形状のモデリング方法及び顔形状モデリング用プログラム | |
Aoki et al. | Simulation of postoperative 3D facial morphology using a physics-based head model | |
Li et al. | Realistic cosmetic plastic surgery simulation based on the golden ratio | |
Romeiro et al. | Forensic facial reconstruction using mesh template deformation with detail transfer over HRBF | |
Ip et al. | Simulated patient for orthognathic surgery | |
EP2693976B1 (en) | System and method for three-dimensional maxillofacial surgical simulation and planning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050620 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080212 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080930 |