JP2003044873A

JP2003044873A - 顔の３次元モデルの作成方法及びその変形方法

Info

Publication number: JP2003044873A
Application number: JP2001233407A
Authority: JP
Inventors: Shuji Hashimoto; 周司橋本; Yoshimitsu Aoki; 義満青木; Akihiko Nakajima; 昭彦中島
Original assignee: Waseda University
Current assignee: Waseda University
Priority date: 2001-08-01
Filing date: 2001-08-01
Publication date: 2003-02-14

Abstract

(57)【要約】【課題】コンピュータグラフィックなどにより人物の
顔を３次元的に表示するリアル性に優れた顔の３次元モ
デルを簡単かつ迅速に作成することが可能であり、表情
の変化に対する対応に優れた顔の３次元モデルの作成方
法を提供する。【解決手段】あらかじめ複数の標準モデルを構築して
おき、これら複数の標準モデルの中から被写体となる人
物に近い標準モデルを選択し、この標準モデルをベース
として被写体の顔表層モデル、頭部骨格モデル及び歯列
モデルを構築し、これらを統合して顔の３次元モデルを
作成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータグラ
フィックなどにより人物の顔を３次元的に表示する顔の
３次元モデルの作成方法に関する。また、本発明はこの
作成した顔の３次元モデルを変形する方法に関する。

【０００２】

【発明が解決しようとする課題】近年、コンピュータの
性能の向上に伴い細かな物理的現象のモデル化が可能と
なるとともに精度の高いシミュレーションが可能となっ
たことでコンピュータグラフィックの技術が大きく発展
し、バーチャルリアリティや映画などのエンターティメ
ント分野において３次元モデルによる映像が盛んに用い
られるようになってきた。一方、医療分野では、ＣＴや
ＭＲＩなどの３次元計測機器の発達によって、高精度な
人体形状データの取得が可能となったが、これら３次元
形状情報を効果的に表示する手段としてコンピュータグ
ラフィックスの技術が応用されている。

【０００３】このコンピュータグラフィックを利用した
リアルな３次元モデルの生成技術としては、従来は、３
次元の基本となる顔モデルを用意し、更にそのモデルを
変形した後、テクスチャを貼り付けることで表情合成を
行う方法が行われてきた。このような顔モデルを用いた
表情合成の手法としては、あらかじめ定義された幾何学
的な変形則を用いるものや、皮膚・筋肉をバネとして表
現し、物理的なモデリングを行うもの等が代表的であ
る。これらのうち幾何学的変形則を用いた方法において
は、３次元の顔形状モデルをＦＡＣＳ（Ｆａｃｉａｌ
ＡｃｔｉｏｎＣｏｄｉｎｇＳｙｓｔｅｍ）に従った
表現記述則によって変形することで表情を生成するもの
が提案されている。ここでＦＡＣＳとは心理学者らによ
って開発された表現記述法で表情変化に伴う顔面の動き
を心理的な観点から捉え、４４個のＡＵと呼ばれる基本
動作に分類したものである。この手法は比較的少ない計
算量で汎用性に富んだ表情を合成できるため処理速度が
高速であるので知的符号化・臨場感通信等のリアルタイ
ム性が要求されるアプリケーションやマン・マシンイン
ターフェースにおける擬人化エージェント等での利用に
好適であるが、その反面、動作の分類数が４４個と少な
いので、個々の人がもつ顔の特徴を吸収してしまいリア
ル性に劣るという問題点がある。また、解剖学的な顔の
構造を考慮しているわけではないため、表情の運動等の
表情生成時の生理的なメカニズムを再現することができ
ないという問題点がある。

【０００４】一方、物理的な手法では、顔面の筋肉や皮
膚を物理的なバネでモデリングし、頂点にかかる力によ
ってモデルを変形している。これは、実際の顔の表情が
顔面皮膚下に走る筋肉（表情筋）の伸縮によって生成さ
れていることに着目した手法であり、表情の動きを直接
表現することが可能で、表情の生成過程を滑らかに表現
できるが、パラメータの調整が微妙かつ困難で計算量が
膨大になってしまい、短時間で生成することが困難でコ
スト的負担も大きいという問題点があった。

【０００５】しかもこれら従来の顔の３次元モデルの作
成方法は、骨格形状をほとんど考慮していないためリア
ル性において劣るという問題点があった。

【０００６】そこで、最近ではＣＴやＭＲＩなどから得
られたデータを利用して骨格形状をも考慮した解剖学的
なモデルを構築し、これに基づいて顔の３次元モデルを
生成することが行われている。しかしながら、医療用な
どの用途においては短時間で被写体である患者の顔の３
次元モデルを構築する必要があるが、この方法では顔の
３次元モデルの構築に長時間を要する上にコストも大幅
にかかってしまい汎用性に欠けるという問題点があっ
た。これは、被写体顔の形状は千差万別であるのに対
し、基礎となるモデルが固定的であるので、その補正作
業が難航し、時間的・コスト的負担が大きいことに一因
がある。その一方で、患者の頭部の３次元データを得る
にはＣＴなどを利用しているが、ＣＴを利用すると患者
の放射線の被爆量が多くなるという問題点もあった。さ
らに、この顔の３次元モデルの作成方法では必ずしも満
足のいくリアルなものが得られず、さらに表情変化の生
成も十分でなかった。

【０００７】本発明はかかる課題に鑑みてなされたもの
であり、コンピュータグラフィックなどにより人物の顔
を３次元的に表示するリアル性に優れた顔の３次元モデ
ルを簡単かつ迅速に作成することが可能であり、表情の
変化に対する対応に優れた顔の３次元モデルの作成方法
を提供することを目的とする。また、本発明は、このよ
うにして作成したリアルな顔の３次元モデルを変形する
方法を提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明の請求項１記載の
顔の３次元モデルの作成方法は、標準骨格モデルと標準
顔表層モデルと標準歯列モデルとからなる複数種の標準
モデルをあらかじめ構築しておき、被写体の顔の正面か
ら左右側面にむけて回転させた複数の顔画像を用いて被
写体の顔面上の特徴点の３次元座標値を算出し、この３
次元座標値に基づいて前記標準顔表層モデルを補正して
被写体の顔表層モデルを構築する一方、被写体の正面及
び側面の骨格画像を用いて被写体の骨格上の特徴点の３
次元座標値を算出し、この３次元座標値に基づいて前記
標準骨格モデルを補正して被写体の頭部骨格モデルを構
築し、さらに被写体の歯列の型を用いて歯列の３次元座
標値を算出し、この３次元座標値に基づいて前記標準歯
列モデルを補正して被写体の歯列モデルを構築し、これ
ら被写体の顔表層モデル、頭部骨格モデル及び歯列モデ
ルを統合することにより被写体の顔の３次元モデルを作
成する方法である。

【０００９】このような構成を採用することにより、あ
らかじめ複数の標準モデルを構築しておくことで、これ
ら複数の標準モデルの中から被写体となる人物に近い標
準モデルを選択し、この標準モデルをベースとして被写
体の顔表層モデル、頭部骨格モデル及び歯列モデルを構
築し、これらに基づき被写体の顔の３次元モデルを作成
することができる。このとき、被写体に応じた標準モデ
ルをベースとしているので各モデルを構築する際の補正
量が少なくてすむため、簡単かつ迅速に顔の３次元モデ
ルを作成することができる。また、本発明者の研究によ
れば、人の表情に大きな影響を及ぼすファクターとして
は歯列も重要であることから、顔表層モデル、頭部骨格
モデルだけでなく、歯列モデルも構築して顔の３次元モ
デルを作成することにより、表情変化の再現性に優れ従
来よりもリアルな顔の３次元モデルを生成することが可
能となる。

【００１０】また、請求項２記載の顔の３次元モデルの
作成方法は、前記請求項１において、前記標準骨格モデ
ル及び標準顔表層モデルが複数の個人の骨格及び顔表層
データの特徴点を平均することにより３次元座標値を算
出して構築されたものであり、前記標準的な歯列モデル
が複数の個人の頭部の骨格から歯列の幅、高さ、奥行き
をそれぞれ平均することにより構築された方法である。
このような構成を採用することにより、年齢、性別等が
既知の個人データを利用することにより標準モデルを簡
単かつ正確に構築することができる。

【００１１】また、請求項３記載の顔の３次元モデルの
作成方法は、前記請求項１又は２において、前記標準モ
デルが、年齢、性別、人種などに応じてあらかじめ複数
種類構築されている方法である。このような構成を採用
することにより、種々の被写体となる人物に近い標準モ
デルをあらかじめ構築しておくことで、各モデルを構築
する際の補正量が少なくてすむため、簡単かつ迅速に顔
の３次元モデルを作成することができる。

【００１２】さらに、上述したようにして作成された顔
の３次元モデルを変形する本発明の請求項４記載の方法
は、標準骨格モデルと標準顔表層モデルと標準歯列モデ
ルとからなる複数種の標準モデルをあらかじめ構築して
おき、被写体の顔の正面から左右側面にむけて回転させ
た複数の顔画像を用いて被写体の顔面上の特徴点の３次
元座標値を算出し、この３次元座標値に基づいて前記標
準顔表層モデルを補正して被写体の顔表層モデルを構築
する一方、被写体の正面及び側面の骨格画像を用いて被
写体の骨格上の特徴点の３次元座標値を算出し、この３
次元座標値に基づいて前記標準骨格モデルを補正して被
写体の頭部骨格モデルを構築し、さらに被写体の歯列の
型を用いて歯列の３次元座標値を算出し、この３次元座
標値に基づいて前記標準歯列モデルを補正して被写体の
歯列モデルを構築し、これら被写体の顔表層モデル、頭
部骨格モデル及び歯列モデルを統合することにより被写
体の顔の３次元モデルを作成した後、前記被写体の顔表
層モデルと頭部骨格モデルとを接続するように表情筋モ
デルを配置し、表情筋の弾性係数を設定するとともに皮
膚の弾性係数を設定して、表情筋の伸縮に伴う顔表層モ
デルの特徴点群の移動を算出して顔表層を変形し、被写
体の顔の３次元モデルの表情を変化させる方法である。
このような構成を採用することにより、顔の３次元モデ
ルの表情をリアルに変化させることができる。

【００１３】

【発明の実施形態】以下、本発明の一実施例である医療
分野での顔の３次元モデルの作成方法、及びその変形方
法について図１乃至図１１を参照して詳細に説明する。
本発明の方法は基本的にはパーソナルコンピュータなど
の情報処理装置により行われるものであり、本実施例の
方法の基本的な処理のフローを図１に示す。同図に示す
ように、まず、ステップ１では、被写体である顔の３次
元モデルのベースとなる複数の標準モデルをあらかじめ
構築する。この標準モデルは、標準骨格モデルと標準顔
表層モデルと標準歯列モデルとからなるものであり、被
写体の顔の特徴点とのズレが少ない方が望ましいことか
ら種々のバリエーションをできるだけ準備しておくのが
望ましく、例えば、性別、人種、年齢などに応じて準備
しておく。したがって、日本人を対象とする場合には、
日本人の各種年齢層の頭部ＣＴデータをあらかじめ入手
し、これを用いて標準モデルを構築すればよい。この
際、本実施例においては、個々人の歯列モデルをも考慮
して標準モデルを構築しているので、各種年齢層の標準
的な顔を高精度に表したものであり、顔のダイナミクス
を再現する。

【００１４】そして、ステップ２で、患者の顔の３次元
モデルを構築する。この患者の顔の３次元モデルは、ス
テップ１で構築しておいた標準モデルの中から患者に最
も近似するものを選択してこれをベースとして作成す
る。具体的には、患者の顔の正面から左右側面にむけて
それぞれ所定の角度ずつ回転した複数の顔画像を用いて
顔表層モデルを構築する一方、患者の正面及び側面のＸ
線画像による骨格画像を用いて頭部骨格モデルを構築
し、さらに患者の歯列の型を用いて歯列モデルを構築す
る。これにより患者はＣＴなどと比較してＸ線の照射量
が少なくてすむため安全であり、そして、簡便かつ実用
的なコストで顔の３次元モデルを構築することができ、
手術前などの患者の骨格及び顔表層の３次元的な把握が
可能となる。ここまでが、顔の３次元モデルの作成方法
である。

【００１５】そして、ステップ３以降は、このようにし
て得られる患者の顔の３次元モデルの変形方法であり、
ステップ３は、得られた顔の３次元モデルの表情を変化
させたり、物理モデルによる術後の顔貌の変化を予測し
たりするプロセスであり、ステップ４は、ビデオカメラ
を用いてさらに精度よく表情を再現するプロセスであ
る。

【００１６】以下、各ステップについて詳細に説明す
る。ステップ１標準モデルの構築ステップ１の概要は図２に示すとおりであり、まず、ベ
ースとなるワイヤーフレームモデル（以下、基本モデル
という）のデータを用意する。このワイヤーフレームモ
デルとしては、顔表層モデル、骨格モデル及び歯列モデ
ルからなるものを用いるのが好ましく、例えば、Ｖｉｅ
ｗＰｏｉｎｔ社製の５０７２点、７７５７ポリゴンのも
のなど市販のものを用いることができる。

【００１７】一方、特定の人種、性別及び年齢（例えば
日本人の３０歳代の男性など）の複数（５人程度）の個
々人の頭部の３次元ＣＴデータを入手し、このＣＴデー
タに基づき顔表面と骨格の３次元画像を構築する。この
３次元画像は、例えばＣＴ撮影により所定間隔で頭部の
断層画像を得て、これらの画像列に対してＸ線の透過度
の違いを利用したしきい値処理とアーチファクトの除去
を行い、骨格と軟組織部を分離し、骨格及び顔表層のそ
れぞれについて得ることができる。標準顔表層モデルまず、得られた各個人の顔表層の３次元画像中から市販
のソフトウェアなどを使用して約１００点の特徴点を抽
出し、各点の３次元座標値を求める。ここで、特徴点と
は、境界の形状を定義するために必要となる点のこと
で、直線と円弧との境界点、節点の粗密が変更する場所
などに配置するものであり、基本モデルでは、１００点
よりも多くの特徴点が抽出されているが、本実施例にお
いては、作業性の点で顔表面及び骨格において重要な特
徴点（以下、対応特徴点という）のみを選択的に抽出す
る。そして、全員の特徴点の３次元座標値を平均して各
特徴点の平均３次元座標値を求める。ここで、３次元座
標は、相対的な値であるので、何を基準としてもよい
が、例えば、図３に示すように両耳を貫通する軸線（Ｅ
ａｒＲｏｄ）の中心Ｏを基準として左右方向をＸ軸、
上下方向をＹ軸、前後方向をＺ軸としてこの中心Ｏから
の位置を表記すればよい。

【００１８】そうしたら、基本モデルを変形する。この
変形は、顔表層の基本モデルの対応特徴点にそれぞれの
平均３次元座標値を与え、各点をその座標値に移動し、
また、基本モデルの対応特徴点以外の特徴点について
は、近傍の対応特徴点の移動量から３次元的にその位置
における適当な移動量を与えることにより行えばよい。
このようにしてＣＴデータにより得られた各個人の平均
座標値を用いて顔表面の基本モデルの全特徴点の移動を
完了し、標準顔表層モデルとする。標準骨格モデル次に骨格の場合には各個人の骨格の３次元画像中から約
６０点の特徴点を抽出し、同様に各特徴点の３次元座標
値を求め、各個人の平均３次元座標値を算出して、この
平均３次元座標値に基づいて、前述した標準顔表層モデ
ルの場合と同様に基本モデルを変形することにより、骨
格の基本モデルの全特徴点の移動を完了し標準骨格モデ
ルとする。標準歯列モデル標準歯列モデルに関しては、歯の数や並び方は標準的な
ものであるので、おおまかなサイズ変換のみで標準モデ
ル化することができる。すなわち、各個人の頭部ＣＴデ
ータから骨格部分のみのデータを抽出し、歯列全体の
幅、高さ、奥行きの長さをそれぞれ計測する。この歯列
の計測は、高精度３次元デジタライザなどを用いた市販
のソフトウェアを使用して行えばよい。そして、全員の
データを平均して、平均の歯列全体の幅、高さ、奥行き
の長さを算出する。このデータと歯列の基本モデルのデ
ータとの比を求め、この比を歯列の基本モデルの特徴点
の座標値にかけることで、基本モデルの座標変換を行い
標準歯列モデルとする。

【００１９】このようにして得られた標準骨格モデル、
標準顔表層モデル及び標準歯列モデルを組み合わせるこ
とにより所定の人種、性別、年齢の標準モデルを構築す
ることができる。ステップ２患者の顔の３次元モデルの構築ステップ２の概要は図４乃至図７に示すとおりである。
ここで例えば、患者が日本人の３５歳の男性である場合
には、事前に複数種類用意してある標準モデルの中から
最もその条件に適したものを選択する。すなわち、この
場合には日本人、３０代、男性の標準モデルを選択す
る。顔表層モデルまず、顔表層モデルの構築について説明すると、図４に
示すようにカメラから患者（被写体）までの距離が既知
な環境（例えば、その距離１００ｃｍ）において、顔の
真正面から９０度づつを左右に１５度づつ回転しながら
それぞれ撮影して計１３枚の画像（Ｆ、Ｌ１〜Ｌ６及び
Ｒ１〜Ｒ６）を得る。これら各画像からステレオ計測に
より主要な顔面上の特徴点を抽出（例えば50点程度）
し、各点の３次元座標値を求め、これを全画像について
統合することにより、顔前面１８０°における特徴点の
座標値を得る。ここで、ステレオ計測とは、視点の異な
る２枚の撮影画像から対象物の計測点のペアを相関法な
どにより自動抽出し、既知である視差を利用してその3
次元座標値を得る手法のことである。

【００２０】そうしたら、標準顔表層モデル（ワイヤー
フレームモデル）の対応特徴点に、計測された３次元座
標値を与え各特徴点をその座標値に移動し、また、対応
特徴点以外の特徴点については、近傍の対応特徴点の移
動量から補間法により滑らかに移動することにより、標
準モデルの顔表面の全特徴点の移動を完了し、顔表層モ
デルを構築することができる。骨格モデル骨格モデルの構築においては、図５に示すように患者の
正面及び側面のＸ線規格写真を撮影し、これをトレース
して正面及び側面のセファログラムを作成する。この正
面及び側面のセファログラムをスキャナーで読み込み、
デジタル画像とする。このデジタル画像をパーソナルコ
ンピュータに取り込んでそれぞれの画像から骨格上の特
徴点６０点をプロットし、拡大、回転補正を含むセファ
ログラム３次元計測法を用いて各特徴点の３次元座標値
を得る。ここで、セファログラム３次元計測法とは、一
般のステレオ計測法を正面・側面セファログラムに対し
て適用したものであり、それに頭部の位置・姿勢の変動
に起因する拡大・回転誤差補正を加えて、骨格上の特徴
点の正確な3次元座標値を得る手法のことである。

【００２１】そうしたら、標準骨格モデルを変形する。
この変形は、標準骨格モデル（ワイヤーフレームモデ
ル）の対応特徴点に得られた３次元座標値をそれぞれ与
え、各特徴点をその座標値に移動し、また、標準骨格モ
デルの対応特徴点以外の特徴点については、近傍の対応
特徴点の移動量から補間法により滑らかに移動すること
により、標準骨格モデルの全特徴点の移動を完了するこ
とにより行う。このようにして、骨格モデルを構築する
ことができる。歯列モデル歯列モデルの場合は、図６に示すように患者の歯列石膏
模型を作成し、この各歯（計３２本）及び歯列の端点６
点について高精度３次元デジタライザなどの接触型３次
元デジタイザを用いて計測し、これらの３次元座標値を
得る。次に、標準歯列モデルを変形する。この変形は、
標準歯列モデルの対応特徴点にそれぞれ計測した３次元
座標値を与え、各特徴点をその座標値に移動し、また、
対応特徴点以外の特徴点については、近傍の対応特徴点
の移動量から補間法により滑らかに移動することによ
り、標準歯列モデルの全特徴点の移動を完了することに
より行う。このようにして個人の歯の大きさや傾き、配
置を３次元的に正確に再現した歯列モデルを構築するこ
とができる。各モデルの統合このようにして患者の顔表層モデル、骨格モデル及び歯
列モデルを構築したら、これらを表情筋モデルとともに
統合する。すなわち、図７に示すようにまず顔表層モデ
ル及び骨格モデルを側面セファログラムと重ねあわせ、
それぞれの傾きをあわせることで正しい位置関係を得る
（）。また歯列モデルについても同様に側面セファロ
グラムと重ね合わせた上でその傾きをあわせる（）。
そして、表情筋モデルについては一般的なものを用い
て、骨格モデルと顔表層モデルとの間の標準的な位置に
配置する（）ことにより、顔表層モデル、骨格モデ
ル、歯列モデル、及び表情筋モデルを含めた患者の顔の
３次元モデルを得ることができる。

【００２２】なお、表情筋モデルは、１４種類の筋肉か
ら構成されるが、主要なものは図８に示すようにＡ〜Ｌ
の１２種類であり、実際は骨格から起始し、皮膚に付着
するといった形態をとっており、これらの収縮運動によ
って顔表面に複雑かつ微妙な表情を生み出している。本
発明のモデルでは、表情表出にかかわっている表情筋を
非線型バネに仮想し、その弾性係数によって筋肉の強度
を再現している。表情筋は大きく放射状筋と輪状筋に分
類できるが、放射状筋（Ａ〜Ｃ及びＥ〜Ｊ）は骨格と皮
膚とを結ぶ直線状のばねで、輪状筋（Ｄ及びＬ）の場合
はバネを輪状に結合することでその形態を再現する。こ
れらの筋肉の運動に伴う表情の生成については後述す
る。

【００２３】上述したようなステップ１及びステップ２
により基本的な顔の３次元モデルを作成することができ
る。この本実施例の方法によれば、あらかじめ複数の標
準モデルを構築しておき、これら複数の標準モデルの中
から患者となる人物に近い標準モデルを選択し、この標
準モデルをベースとして患者の顔表層モデル、頭部骨格
モデル及び歯列モデルを構築し、これらを統合して顔の
３次元モデルを作成しているので、従来よりも迅速かつ
簡単に顔の３次元モデルを作成することができる。ま
た、従来は個々の３次元モデルにおいて歯列については
ほとんど考慮されていなかったが、本発明者らの研究に
よれば、例えば、歯部に欠損や特異な特徴がある場合に
は、その部分は顔の表層部の特徴点に大きな影響を与
え、さらに、この歯列を含む下顎は、最も激しい動きを
示す頬部により運動するので、歯列の形状等が顔の３次
元モデルのリアル性に大きな影響を及ぼすことがわかっ
た。そこで、本実施例ではこの歯列モデルを個別に作成
することでリアル性において非常に向上したものとなっ
ている。また、標準モデルが複数の個人の頭部骨格モデ
ル及び標準顔表層モデルの特徴点を平均することにより
３次元座標値を算出して構築されたものであり、標準的
な歯列モデルが複数の個人の頭部の骨格から歯列の幅、
高さ、奥行きをそれぞれ平均することにより構築されて
いるので、標準モデルを簡単かつ正確に構築することが
できる。さらに、患者の画像は、Ｘ線写真及び通常の写
真のみでよく、ＣＴやＭＲＩを行う必要がないので、Ｘ
線の被爆量を最小限に抑制することができ、安全性が向
上するという効果も奏する。ステップ３変形シミュレーション前述したステップ２で作成した顔の３次元モデルを変形
することで、喜怒哀楽などの表情をリアルに生成するこ
とができれば、顔の３次元モデルの利用価値をさらに高
めることができる。例えば、医療用の分野では術後の表
情をあらかじめリアルに再現することができれば、被写
体である患者が判断しやすく、安心感を与え、また無用
のトラブルを忌避することができて望ましい。

【００２４】そこで、本実施例の方法により生成した顔
の３次元モデルの表情を変形する方法について以下説明
する。

【００２５】まず、顔表層モデルと表情筋モデルに弾性
を持ったバネとしての性質を持たせる。顔表面の皮膚の
弾性については、図９に示すように顔表層モデルを第１
〜第８の８つの顔面ユニットにグループ化し、それぞれ
に適した弾性を与えることとする。表情筋の多くは一つ
のユニット内で終始し、ユニット境界面に付着してい
る。そのため、このライン上にしわが生じやすいのであ
る。特に重要なのは眉と鼻唇溝のラインであり、多くの
表情筋が互いに協調して動作し、さまざまな表情が生成
される。そこで、本実施例の３次元モデルでは、主に表
情生成に関わっている表情筋を表１及び図８に示すよう
に１２種類（６グループ）に分け、それぞれの表情筋群
を各ユニット内に収めた上で、それらの付着位置を境界
面上にとることで実際の表情筋の走向を再現することと
した。

【００２６】

【表１】

【００２７】また、表情生成時には、収縮する筋肉を収
めているユニットと、それに隣接するユニットのみを動
作させるようにすることで、モデルを構成する特徴点が
無制限に動くのを抑制するとともに、顔全体の特徴点に
ついて計算を行う必要がなくなるため、現実的な顔面変
形と効率的な表情生成が可能である。例えば、頬の筋肉
群の収縮によって動くのは、それを収める第４ユニット
とそれに隣接するユニット上の特徴点であって、その他
の部分は影響を受けることが少ないため、計算を省くこ
とができる。特に、鼻の第７ユニットと側頭部の第８ユ
ニットとはほとんど動くことがないので固定点とみなす
ことができる。

【００２８】次に、筋肉や皮膚の弾性をばねによって近
似する方法について説明すると、無表情時の各ユニット
を走査する表情筋の長さを求め、これを基準の筋肉長Ｌ
_nとする。また、最大収縮時の筋肉長をＬ_minとする。そ
して、筋肉長さがＬ_iのときの筋肉収縮率Ｃ_rを次式によ
って定義する。

【００２９】

【数１】

【００３０】そして、筋肉収縮率の値に対する弾性定数
の性質を図１０に示すように２本の傾きの異なる直線に
よって表し、筋肉の非線形性に近似させる、そしてこれ
らの２本の直線の傾きを変えることで、筋肉の弾性を制
御することが可能である。

【００３１】一方、表情筋モデルにあたるバネが収縮す
る際には、それにつながっている顔表層モデルの特徴点
群が引っ張られて変形する。この際の変形の仕方は、各
特徴点についての３次元の運動方程式を逐次解くことに
よって解析的に求められる。皮膚モデル上の特徴点ｉに
おける運動は、下記式（１）の運動方程式を解くことで
算出する。ここで、筋肉収縮率Ｃ_rは、前述したとおり
であり、また骨格運動による顔面変形は、各軸回りとし
ての下顎骨の回転角、及び各軸に沿った平行移動量をパ
ラメータとして与え、同じく式（１）の運動方程式を解
くことで求めることができる。

【００３２】

【数２】

【００３３】式中、ｒ_i，ｒ_jはそれぞれ皮膚モデル上の
特徴点ｉとそれとばねでつながった特徴点ｊの位置ベク
トルを示し、式（１）の右辺第１項は弾性力、第２項は
重力、及び第３項は粘性項をそれぞれ示す。なお、Ｒは
粘性定数であり、弾性係数Ｋ _yの値は筋肉収縮率Ｃ_rによ
って２段階で変化させ、皮膚及び筋肉の非線形性を近似
している。ここで、ｍ_iがＲに対して十分に小さいと仮
定すると、式（１）は次のような微分方程式（２）
（３）として近似できる。

【００３４】

【数３】

【００３５】

【数４】

【００３６】式中、（ｘ_i，ｙ_i，ｚ_i）は皮膚モデルの
特徴点ｉの座標であり、ｌ_ijは皮膚モデル上の特徴点
ｉ，ｊを結ぶばねの自然長であり、ｌ_mは骨格の点Ｉと
皮膚の点ｈを結ぶばねの自然長であり、Ｌ_ij，Ｌ_Ihは皮
膚筋肉を表す実際のばねの長さであり、ｋ_ijは皮膚弾性
定数であり、ｋ_Ihは筋肉弾性定数であり、Δｆ_Ihは表情
筋Ｉｈに加わる力であり、さらにＥはモデル全体におけ
る系の弾性エネルギーである。なお、皮膚弾性定数ｋ_ij
は、皮膚の弾性を決定するパラメータで、表情生成実験
を通して各ユニット毎に経験的に値を定める。筋肉弾性
定数ｋ_Ihは筋肉の強度を決定するパラメータで、表情生
成実験を通して各部位の筋肉群毎に経験的に値を定め
る。

【００３７】皮膚モデルの特徴点は式（３）に従って移
動するが、表情筋モデルは骨格モデルの曲面に拘束され
て運動するようになっているため、皮膚モデルの特徴点
が骨格に入り込むことがないように制御されている。

【００３８】また、筋肉の伸縮に加え、下顎骨の運動も
表情生成の重要な要因のである。口の開閉などの動きは
この要因と筋肉の収縮が組み合わさって実現される。下
顎骨に含まれる特徴点の運動は、下記式（４）のような
座標変換によって表される。

【００３９】

【数５】

【００４０】式中、（ｘ_i，ｙ_i，ｚ_i）は移動前の骨格
モデルの特徴点座標であり、（ｘ´，ｙ´，ｚ´_i）は
移動後の座標である。θ_x，θ_yはそれぞれ下顎の上下方
向（ｘ軸方向）及び左右方向（ｙ軸方向）の回転角パラ
メータであり、ｌ_zは下顎の前後方向（ｚ軸方向）の並
進パラメータである。なお、この座標変換の原点は顎間
接の支点である。

【００４１】下顎骨の運動による表情生成では、まず式
（４）の座標変換によって下顎骨部の特徴点群を移動さ
せる。そして、その運動に伴って生じる皮膚、筋肉のば
ねの伸縮による弾性エネルギーを求め、平衡状態に達す
るまで計算を行い、特徴点を移動させる。こうして、骨
格の運動に伴った口の開閉や下顎の突出、ねじれなどを
再現する。

【００４２】そして、これらに基づき人間の基本的な表
情パターンである「微笑み」、「怒り」、「悲しみ」、
「驚き」などにおいて収縮する筋肉番号、筋肉収縮率、
収縮するユニット、下顎回転角などを表２に示すように
あらかじめ計測しておく。これらに基づいて、患者の顔
の３次元モデルの顔表層モデル、頭部骨格モデル及び歯
列モデルの該当する特徴点を移動させることにより患者
の顔の３次元モデルの表情を変化させることができる。

【００４３】

【表２】

【００４４】また、本実施例の患者の顔の３次元モデル
の変形方法によれば、手術後の顔貌を提示することがで
きる。例えば、歯列の矯正を行う場合には、市販のパー
ソナルコンピュータなどに前述したステップ１〜３の操
作を行うプログラムを入力しておき、前述したステップ
１及びステップ２の操作により矯正前の顔面形態の３次
元的な把握、分析を行った後、術後の骨格の変化に基づ
いて下顎移動量を入力し、顔面変形過程を運動方程式を
解いて算出し、頭部骨格モデルの各特徴点を移動させ、
その上から顔表層モデル及び歯列モデルを重ねて骨格の
変化に伴いこれらの特徴点を移動させることにより、歯
列矯正後の患者の顔の３次元モデルの表情をシミュレー
トすることができる。この操作は市販のパーソナルコン
ピュータを用いても約１分／件の速度で処理することが
でき、ディスプレイで直接表示することができるので、
被写体である患者への効果的な情報提示ツールとするこ
とができる。また、歯列だけでなく、顔全体の整形を行
う場合には、同様に整形前の顔面形態の３次元的な把
握、分析を行った後、術後の骨格の変化に基づいて頭部
骨格モデルの特徴点を移動させ、その上から、頭部骨格
モデルの変化と顔表層自体の変化に基づいて顔表層モデ
ルの特徴点を移動させ、さらに歯列モデルを重ねて特徴
点を移動させることにより、整形後の患者の顔の３次元
モデルの表情をシミュレートすることができる。ステップ４ビデオ画像を用いた患者の筋肉・皮膚弾性
のパラメータの調整ステップ３で生成した表情は、患者のビデオ画像を用い
て図11のフローに示す操作によりさらにリアルなものと
することができる。

【００４５】まず、患者の顔表面に黒丸のマーカー１を
２０個ほど貼付する。このマーカーは、例えば表情表出
時に動作する主要な特徴点と、頭部の姿勢補正用にあま
り動かないと思われる３点程度の特徴点とを選定する。
そして、患者の表情を左右斜め２方向からデジタルビデ
オにより同時に動画像として撮影する。このとき、顎運
動、咀嚼運動、発話動作、笑顔、嫌悪など、様々な表情
の動画像を撮影する。

【００４６】そして、市販の光学式モーションキャプチ
ャソフトなどのコンピューターソフトにより、動画像か
ら各マーカーの位置を自動的に検出して、このマーカー
に相当する特徴点の時系列の3次元座標値を計測する。
これとは別に、患者の顔の３次元モデルに対して各筋肉
の弾性係数及び筋肉収縮量、下顎運動量を表情パラメー
タとして与えて顎運動、咀嚼運動、発話動作、笑顔、嫌
悪などに対応させて顔の３次元モデルを変形して各種表
情の表情動画像を得る。

【００４７】そして、各種表情等におけるマーカー位置
に基づく３次元座標値と、患者の顔の３次元モデルの変
形による対応点の軌跡とを比較し、顔表面の特徴点間の
誤差の総和を計算する。そして、この誤差の総和があら
かじめ設定しておいた閾値以内であるか否かを較し、閾
値を超える場合には、そのユニットについて筋肉の収縮
量、弾性係数、皮膚の弾性係数などのパラメータを誤差
の値が小さくなるように微調整し、再度患者の顔の３次
元モデルを変形して表情を生成し、すべてのユニットに
おける誤差の総和が閾値以下になるまで、前述した比較
・パラメータ調整の操作を繰り返す。このようにして、
表情動画像から個人の顔の３次元モデルを用いて様々な
表情生成を可能とすることができる。

【００４８】以上、本発明の顔の３次元モデルの作成方
法及びその変形方法について一実施例に基づいて説明し
てきたが、本発明は前記実施例に限定されず種々の変形
実施が可能である。例えば、標準顔表層モデルや標準骨
格モデルにおいて抽出する特徴点の数を本実施例ではそ
れぞれ１００点及び６０点としたが、これより多くても
少なくても可能である。ただし、抽出する特徴点の数が
多いほど得られる顔の３次元モデルの精度が向上する反
面処理時間を要するので、使用する情報処理装置である
パーソナルコンピュータなどの性能、頭部三次元モデル
の用途などに応じて適宜選択すればよい。上述したよう
な本発明の顔の３次元モデルの作成方法は、歯科矯正手
術シミュレーションなどの医用分野、整形・形成外科な
どの医学的分野、心理学上の動的な顔面運動の分析など
に好適であるが、これらの医療的な分野における患者へ
の適用に限らず、アニメーション、ゲーム、映画などの
エンターティメントの分野、さらにはヒューマノイド型
ロボットの頭部の設計など幅広い分野への応用が期待で
きる。

【００４９】

【発明の効果】本発明の請求項１記載の顔の３次元モデ
ルの作成方法は、標準骨格モデルと標準顔表層モデルと
標準歯列モデルとからなる複数種の標準モデルをあらか
じめ構築しておき、被写体の顔の正面から左右側面にむ
けて回転させた複数の顔画像を用いて被写体の顔面上の
特徴点の３次元座標値を算出し、この３次元座標値に基
づいて前記標準顔表層モデルを補正して被写体の顔表層
モデルを構築する一方、被写体の正面及び側面の骨格画
像を用いて被写体の骨格上の特徴点の３次元座標値を算
出し、この３次元座標値に基づいて前記標準骨格モデル
を補正して被写体の頭部骨格モデルを構築し、さらに被
写体の歯列の型を用いて歯列の３次元座標値を算出し、
この３次元座標値に基づいて前記標準歯列モデルを補正
して被写体の歯列モデルを構築し、これら被写体の顔表
層モデル、頭部骨格モデル及び歯列モデルを統合するこ
とにより被写体の顔の３次元モデルを作成する方法であ
るので、被写体に応じた標準モデルをベースとすること
で、各モデルを構築する際の補正量が少なくてすむた
め、簡単かつ迅速に顔の３次元モデルを作成することが
できる。また、顔表層モデル、頭部骨格モデルだけでな
く、歯列モデルも構築して顔の３次元モデルを作成する
ことにより、表情変化の再現性に優れ従来よりもリアル
な顔の３次元モデルを生成することが可能となる。

【００５０】また、請求項２記載の顔の３次元モデルの
作成方法は、前記請求項１において、前記標準骨格モデ
ル及び標準顔表層モデルが複数の個人の骨格及び顔表層
データの特徴点を平均することにより３次元座標値を算
出して構築されたものであり、前記標準的な歯列モデル
が複数の個人の頭部の骨格から歯列の幅、高さ、奥行き
をそれぞれ平均することにより構築された方法であるの
で、標準モデルを簡単かつ正確に構築することができ
る。

【００５１】また、請求項３記載の顔の３次元モデルの
作成方法は、前記請求項１又は２において、前記標準モ
デルが、年齢、性別、人種などに応じてあらかじめ複数
種類構築されている方法である。このような構成を採用
することにより、種々の被写体となる人物に近い標準モ
デルをあらかじめ構築しておくことで、各モデルを構築
する際の補正量が少なくてすむため、簡単かつ迅速に顔
の３次元モデルを作成することができる。

【００５２】さらに、上述したようにして作成された顔
の３次元モデルを変形する本発明の請求項４記載の方法
は、標準骨格モデルと標準顔表層モデルと標準歯列モデ
ルとからなる複数種の標準モデルをあらかじめ構築して
おき、被写体の顔の正面から左右側面にむけて回転させ
た複数の顔画像を用いて被写体の顔面上の特徴点の３次
元座標値を算出し、この３次元座標値に基づいて前記標
準顔表層モデルを補正して被写体の顔表層モデルを構築
する一方、被写体の正面及び側面の骨格画像を用いて被
写体の骨格上の特徴点の３次元座標値を算出し、この３
次元座標値に基づいて前記標準骨格モデルを補正して被
写体の頭部骨格モデルを構築し、さらに被写体の歯列の
型を用いて歯列の３次元座標値を算出し、この３次元座
標値に基づいて前記標準歯列モデルを補正して被写体の
歯列モデルを構築し、これら被写体の顔表層モデル、頭
部骨格モデル及び歯列モデルを統合することにより被写
体の顔の３次元モデルを作成した後、前記被写体の顔表
層モデルと頭部骨格モデルとを接続するように表情筋モ
デルを配置し、表情筋の弾性係数を設定するとともに皮
膚の弾性係数を設定して、表情筋の伸縮に伴う顔表層モ
デルの特徴点群の移動を算出して顔表層を変形し、被写
体の顔の３次元モデルの表情を変化させる方法である。
このような構成を採用することにより、顔の３次元モデ
ルの表情をリアルに変化させることができる。

【図面の簡単な説明】

【図１】本発明の一実施例による顔の３次元モデルの作
成方法の処理の流れを概略的に示すフローチャートであ
る。

【図２】前記実施例におけるステップ１の操作を示すフ
ローチャートである。

【図３】前記実施例における座標中心を示す正面図であ
る。

【図４】前記実施例におけるステップ２の患者の顔表層
モデル作成操作を示すフローチャートである。

【図５】前記実施例におけるステップ２の患者の骨格モ
デル作成操作を示すフローチャートである。

【図６】前記実施例におけるステップ２の患者の歯列モ
デル作成操作を示すフローチャートである。

【図７】前記実施例におけるステップ２の患者の顔の３
次元モデルの統合操作を示すフローチャートである。

【図８】表情筋モデルにおける筋肉の種類を示す正面図
である。

【図９】顔表層モデルにおいて表情筋を分類したユニッ
トを示す正面図である。

【図１０】表情筋モデルに見立てた非線形ばねの性質を
示すグラフである。

【図１１】ビデオ画像を用いた被写体の筋肉・皮膚弾性
のパラメータの調整方法を示すフローチャートである。

───────────────────────────────────────────────────── フロントページの続き (72)発明者中島昭彦福岡県福岡市東区馬出３−１−１九州大学大学院歯学研究院内Ｆターム(参考） 5B050 AA02 AA08 BA08 BA09 BA12 EA13 EA28 5B057 AA07 AA20 CA13 CA17 CB13 CB17 CC01 CD11 CE08 5B080 AA18

Claims

【特許請求の範囲】

【請求項１】標準骨格モデルと標準顔表層モデルと標
準歯列モデルとからなる複数種の標準モデルをあらかじ
め構築しておき、被写体の顔の正面から左右側面にむけ
て回転させた複数の顔画像を用いて被写体の顔面上の特
徴点の３次元座標値を算出し、この３次元座標値に基づ
いて前記標準顔表層モデルを補正して被写体の顔表層モ
デルを構築する一方、被写体の正面及び側面の骨格画像
を用いて被写体の骨格上の特徴点の３次元座標値を算出
し、この３次元座標値に基づいて前記標準骨格モデルを
補正して被写体の頭部骨格モデルを構築し、さらに被写
体の歯列の型を用いて歯列の３次元座標値を算出し、こ
の３次元座標値に基づいて前記標準歯列モデルを補正し
て被写体の歯列モデルを構築し、これら被写体の顔表層
モデル、頭部骨格モデル及び歯列モデルを統合すること
により被写体の顔の３次元モデルを作成することを特徴
とする顔の３次元モデルの作成方法。
【請求項２】前記標準骨格モデル及び標準顔表層モデ
ルが複数の個人の骨格及び顔表層データの特徴点を平均
することにより３次元座標値を算出して構築されたもの
であり、前記標準的な歯列モデルが複数の個人の頭部の
骨格から歯列の幅、高さ、奥行きをそれぞれ平均するこ
とにより構築されたものであることを特徴とする請求項
１記載の顔の３次元モデルの作成方法。
【請求項３】前記標準モデルが、年齢、性別、人種な
どに応じてあらかじめ複数種類構築されていることを特
徴とする請求項１又は２記載の顔の３次元モデルの作成
方法。
【請求項４】標準骨格モデルと標準顔表層モデルと標
準歯列モデルとからなる複数種の標準モデルをあらかじ
め構築しておき、被写体の顔の正面から左右側面にむけ
て回転させた複数の顔画像を用いて被写体の顔面上の特
徴点の３次元座標値を算出し、この３次元座標値に基づ
いて前記標準顔表層モデルを補正して被写体の顔表層モ
デルを構築する一方、被写体の正面及び側面の骨格画像
を用いて被写体の骨格上の特徴点の３次元座標値を算出
し、この３次元座標値に基づいて前記標準骨格モデルを
補正して被写体の頭部骨格モデルを構築し、さらに被写
体の歯列の型を用いて歯列の３次元座標値を算出し、こ
の３次元座標値に基づいて前記標準歯列モデルを補正し
て被写体の歯列モデルを構築し、これら被写体の顔表層
モデル、頭部骨格モデル及び歯列モデルを統合すること
により被写体の顔の３次元モデルを作成した後、前記被
写体の顔表層モデルと頭部骨格モデルとを接続するよう
に表情筋モデルを配置し、表情筋の弾性係数を設定する
とともに皮膚の弾性係数を設定して、表情筋の伸縮に伴
う顔表層モデルの特徴点群の移動を算出して顔表層を変
形し、被写体の顔の３次元モデルの表情を変化させるこ
とを特徴とする顔の３次元モデルの変形方法。