JP2006277748A - コンピュータにより実施される、顔の皮膚反射モデルを生成する方法 - Google Patents

Abstract

【課題】現実感のある顔の画像をレンダリング及び編集するシステム及び方法を提供する。
【解決手段】顔がスキャンされて、顔の３次元形状が得られる。顔の画像も取得され、顔の表面下散乱が測定される。表面下反射率から透光性マップが求められる。３次元形状及び画像から全表面反射率及び法線マップが推定され、全反射率を用いて拡散反射率が推定される。拡散反射率からアルベドマップが求められる。拡散反射率は、全反射率から減算されて、表面反射率が得られる。両指向性反射率関数の集合が表面反射率に当てはめられる。次に、両指向性反射率分布関数の集合、アルベドマップ、及び透光性マップが結合されて、顔の皮膚反射モデルが形成される。
【選択図】図２

Description

［発明の分野］
本発明は、包括的にはコンピュータグラフィックスを用いた顔のレンダリングに関し、特に、皮膚反射率のモデリング、及び合成画像をレンダリングするための皮膚反射モデルの編集に関する。

［発明の背景］
最も難しいコンピュータグラフィックスの課題の１つは、現実感のある人間の顔をレンダリングすることである。人間は、容貌を解釈することに非常に長けている。例えば、我々は、人が喜んでいるか、疲れているか、暑いか、怒っているか、興奮しているか、病気であるかを容易に区別することができる。コンピュータグラフィックスにおける顔のモデリングに多くの努力が注がれてきたが、今までのところ、人間の顔の表現力レベルに到達した合成顔モデルはない。

現実感は、人間の顔の皮膚反射率の正確なモデルを要する。皮膚反射率は人によって、例えば年齢、人種、性別、健康状態等により異なる。皮膚反射率は、同一人物でも一日を通して、例えば温かい皮膚と冷たい皮膚、又は乾燥と湿りで異なる。

人間の皮膚の特性が、生物医学分野、化粧品分野、及びコンピュータビジョン分野において広範に測定及び研究されてきた。

解析的皮膚反射モデル
解析的反射モデルはその計算効率の高さから頻繁に用いられている（ハンラハン（Hanrahan）及びクルーガー（Krueger）著「Reflection from layered surfaces due to subsurface scattering」（Computer Graphics, SIGGRAPH '93 Proceedings, 165-174, 1993））。ハンラハン及びクルーガーは、複数の滑らかに境界付けされた内層から成る皮膚における単一の光散乱をモデリングする。このモデルは、皮膚表面に油層を付加することによって拡張された（ン（Ng）及びリー（Li）著「A multi-layered reflection model of natural human skin」（Computer Graphics International, 249-256, 2001））。

別のモデルは、表面の粗い皮膚における複数の表面下散乱に解析的近似を適用する（スタム（Stam）著「An illumination model for a skin layer bounded by rough surfaces」（Proceedings of the 12th Eurographics Workshop on Rendering Techniques, Springer, 39-52, 2001））。

画像合成のための物理的な多層モデルは生物学的に有意なパラメータを用いる（クリシュナスワミー（Krishnaswamy）及びバラノスキー（Baranoski）著「A biophysically-based spectral model of light interaction with human skin」（Computer Graphics Forum 23, 331-340, September 2004））。

いくつかの皮膚モデリング手法は解析的両指向性反射率分布関数（ＢＲＤＦ）を用いる（ブランツ（Blanz）及びベッテル（Vetter）著「A morphable model for the synthesis of 3D faces」（Computer Graphics 33, Annual Conference Series, 187-194, 1999）、デベヴェック（Debevec）等著「Acquiring the reflectance field of a human face」（Computer Graphics, SIGGRAPH 2000 Proceedings, 145-156, 2000）、ハロ（Haro）等著「Real-time, photo-realistic, physically based rendering of fine scale human skin structure」（Proceedings of the 12th Eurographics Workshop on Rendering Techniques, 53-62, 2001）、パリス（Paris）等著「Lightweight face relighting」（Proceedings of Pacific Graphics, 41-50, 2003）、津村（Tsumura）等著「Image-based skin color and texture analysis/synthesis by extracting hemoglobin and melanin information in the skin」（ACM Transactions on Graphics, SIGGRAPH 2003, 22, 3, 770-779, 2003）、及びフックス（Fuchs）等著「Reflectance from images: A model-based approach for human faces」（Research Report MPI-I-2005-4-001, Max-Planck-Institut fur Informatik, 2005））。

ＢＲＤＦパラメータは、非線形最適化を用いて反射率測定値から推定することができる。ＢＲＤＦは、各表面点における局所的な光輸送を記述するが、皮膚の外見に大きな役割を担う表面下散乱を無視している。

別の解析モデルは両指向性表面散乱反射率分布関数（ＢＳＳＲＤＦ）を用いる（ジェンセン（Jensen）等著「A rapid hierarchical rendering technique for translucent materials」（Computer Graphics, SIGGRAPH 2002 Proceedings, 576-581, 2002）、及びジェンセン等著「A practical model for subsurface light transport」（Computer Graphics, SIGGRAPH 2001 Proceedings, 511-518, 2001））。

ＢＳＳＲＤＦは、入射光が或る点の周囲の表面パッチからの反射光に及ぼす全効果を記述する。ＢＳＳＲＤＦは、表面の２次元パラメータ化をとる８次元である。しかし、従来の技法を使用しての８次元関数の密なサンプリングは困難である。

ノンパラメトリック皮膚反射モデル
別の方法は、表面上の異なる点からの反射率サンプルを結合することによって、人間の顔のノンパラメトリックＢＲＤＦを推定する（マルシュナー（Marschner）等著「Image-based BRDF measurement including human skin」（Proceedings of the 10th Eurographics Workshop on Rendering, 139-152, 1999））。マルシュナー等は後にこの研究を、詳細なアルベドテクスチャを付加することによって拡張した（マルシュナー等著「Modeling and rendering for realistic facial animation」（11th Eurographics Workshop on Rendering, 231-242, 2000））。マルシュナー等は、皮膚のＢＲＤＦが、鏡面反射方向と相関しないグレージング角において強い前方散乱を示すことに気付いた。

データ駆動型ＢＲＤＦモデルがマトゥーシク（Matusik）等著「A data-driven reflectance model」（ACM Transactions on Graphics, SIGGRAPH 2003, 22, 3 (July), 759-770, 2003）によって記載されている。このモデルは、各表面点においてノンパラメトリック表面ＢＲＤＦを推定する。これによって導入される誤差は、特定の解析的ＢＲＤＦモデルの挙動を課すよりも少ない。より重要なことには、データ駆動型ＢＲＤＦモデルは、非線形最適化を必要とせず、よりしっかりした（ロバスト（robust）な）当てはめ手順をもたらす。

イメージベース顔モデリング
イメージベースモデルは、人間の顔の現実感のある表現を提供した。イメージベースモデルは、自己遮蔽、相互反射、及び表面下散乱等の効果を簡単に表現する（ピギン（Pighin）等著「Synthesizing realistic facial expressions from photographs」（Computer Graphics, vol. 32 of SIGGRAPH 98 Proceedings, 75-84, 1998））。

他のイメージベースモデルは照明（ジョーギアデス（Georghiades）等著「Illumination-based image synthesis: Creating novel images of human faces under differing pose and lighting」（IEEE Workshop on Multi-View Modeling and Analysis of Visual Scenes, 47-54, 1999）、デベヴェック等著「Acquiring the reflectance field of a human face」（Computer Graphics, SIGGRAPH 2000 Proceedings, 145-156, 2000））、並びに視点及び表情（ホーキンス（Hawkins）等著「Animatable facial reflectance fields」（Rendering Techniques '04, Proceedings of the Second Eurographics Symposium on Rendering, 2004）、及びクーラ（Cula）等著「Skin texture modeling」（International Journal of Computer Vision 62, 1-2 (April-May), 97-119, 2005））を変化させることができる。

しかし、イメージベースモデルのメモリ要件は大きい。測定手順は非効率的であり、非局所的な低周波照明をとる。純粋なイメージベース表現はまた、編集及び修正することが本質的に難しい。

別のモデルは、イメージベースモデル、解析的表面ＢＲＤＦ、及び表面下散乱の近似を組み合わせて、映画「マトリックス・リローデッド」の現実感の高い顔画像を作成する（ボルシュコフ（Borshukov）及びルイス（Lewis）著「Realistic human face rendering for the Matrix Reloaded」（SIGGRAPH 2003 Conference Abstracts and Applications (Sketch), 2003））。

その方法の、リアルタイムの皮膚レンダリングのための変形はグラフィックスハードウェアを用いる（サンダー（Sander）等著「Real-time skin rendering on graphics hardware」（SIGGRAPH 2004, Sketch, 2004））。

ボルシュコフ及びルイスによって２００４年８月５日付で出願された米国特許出願第２００４０１５０６４２号「Method for digitally rendering skin or like materials」は、皮膚組織をレンダリングする方法を記載している。この方法は、２次元ライトマップにブラーリングプロセスを適用する。

別のイメージベースは、独立成分解析（ＩＣＡ）を用いて、顔画像を複数の層、例えばメラニン層及びヘモグロビン層に分解する（ツムラ等（２００３年））。この方法は、日焼け及び加齢といった効果を加えながら顔の新たな画像を再合成することができる。

現実感のある皮膚反射モデルは、幅広い顔の表情に対応できなければならない。モデルはまた、グラフィックアーチストが皮膚の外見を解釈し易いパラメータ、例えば人種、性別、又は年齢に基づいて変更することを可能にしなければならない。モデルは、仮想上の複製をレンダリングするために実際の顔の測定値を組み込む必要がある。モデルから理想的にはリアルタイムで生成される画像は、任意の視点から写実的に見えなければならない。またモデルは、皮膚の外見の簡単な修正及び伝達を可能にしなければならない。

［発明の概要］
本発明は、現実感のある顔の画像をレンダリング及び編集するシステム及び方法を提供する。年齢、性別、人種の異なる大きく多岐にわたる人々のグループの顔の生体光反射及び表面下散乱を測定する。顔はまた、化粧、温度、及び汗といった異なる外部要因を用いて測定される。

非負行列因子分解（ＮＭＦ）を用いて、皮膚の高次元両指向性散乱表面反射率分布関数（ＢＳＳＲＤＦ）を、測定データから推定することのできる低次元モデルに分解する。

皮膚反射モデルを双方向オフラインレンダリングシステムにおいて用いて、人間の顔の写真を実質的に再現する結果を生成する。

性別、人種、又は日焼けといったユーザ定義のパラメータを用いて反射率データを補間し、合成画像中の顔の外見を編集する、例えば、白人の顔を東洋人の顔に変えることができる。ほくろ、そばかす、及び毛根といった局所的な顔の特徴を編集することも可能である。

［好適な実施形態の詳細な説明］
本発明は、顔の生物理学的測定値から皮膚反射モデルを生成する方法及びシステムを提供する。さらに、本発明は、ユーザがモデルを編集し、顔の新規の画像をレンダリングすることを可能にする。

生物理学的皮膚反射モデル
図１に示すように、本発明では、全皮膚反射率を、皮膚表面における空気−油界面１０１による鏡面反射１１０と、表面下散乱による拡散反射１２０との和として記述する。人間の皮膚におけるほとんどの高周波の空間色の変化は表皮層によるものであり、真皮層における強い光散乱はより緩やかに変化する効果である。拡散表面下散乱は、表皮層１０２及び真皮層１０３における吸収１２１及び光散乱１２２によるものである。表皮は、光を強く散乱し、真皮層１０３への界面に沿って、高い吸収性を持つメラニンを含む。この吸収成分は、毛根、汗腺、そばかす、えくぼ等により顔全体にわたって高い空間的変化を持つ局所効果である。真皮は血液を含むため、主にヘモグロビンにより、赤チャネルで散乱性が高く、緑チャネル及び青チャネルで吸収性が強い。真皮の光散乱は非局所的で緩やかに変化する効果である。

本発明では、空気−油界面１０１層から直ちに反射される光を空間的に変化する両指向性反射率分布関数（ＢＲＤＦ）によりモデリングする。本発明では、拡散表面下反射率を２つの成分に分割する。拡散アルベドマップが表皮における吸収及び散乱による高周波の色変化を表し、透光性（translucency）マップが真皮層における低周波の吸収及び散乱を表す。３次元の顔形状を法線マップにより表現する。

より形式的には、本発明では、ＢＳＳＲＤＦをＳ（ｘ_ｉ，ω_ｉ，ｘ_ｏ，ω_ｏ）として示す。ここで、ω_ｉは点ｘ_ｉにおける入射照明の方向であり、ω_ｏは点ｘ_ｏにおいて発される放射の観測方向である。同様に、本発明では、表面ＢＲＤＦにｆ_ｓ（ｘ_ｉ，ω_ｉ，ω_ｏ）を用いる。表面下散乱による表面反射率及び拡散反射率の相対的な寄与は、以下のフレネル係数によって調節される。

ここで、Ｆ_ｒ及びＦ_ｔ＝（１−Ｆ_ｒ）は、入射放射及び出射放射の両方の空気−皮膚境界におけるフレネル係数であり、ηは皮膚と空気の間の相対屈折率、すなわち、

である。

本発明では、表面下散乱項Ｓを双極子拡散近似を用いてモデリングし、鏡面ＢＲＤＦ成分ｆ_ｓをデータ駆動型手法を用いてモデリングする。ＢＳＳＲＤＦ及びＢＲＤＦの両方のパラメータは、後述するような測定値から推定される。

方法の概要
図２は、本発明による、コンピュータにより実施される、皮膚反射モデルを生成する方法２００を示す。破線のブロック２３１、２３２、２３３、及び２３４は、本発明の皮膚反射モデル２５０のパラメータである。本方法は、大きく多岐にわたる人間の顔の集合の生物理学的測定値からモデル２５０を生成する。本方法のステップをそれぞれの顔に対して行う。

それぞれの顔に対して、本発明では、３Ｄスキャナを用いて顔の３Ｄ形状を測定する２０１。顔の異なる視点からの照明方向の異なるデジタル画像を取得する２０２。表面スキャンデータ及び画像データを用いて、全反射率及び法線マップを推定する２１０。図５を参照して詳細に後述する光ファイバスペクトロメータ５００を用いて表面下反射率２０３をスキャンする２０３。密な補間２２０を用いて透光性マップ２３４を求める。全反射率を２つの部分、すなわち、表面下散乱２３４及び２１２と（鏡面）表面反射率２１１とに分離する。

本発明では表面下散乱を、ジェンセン等著「A practical model for subsurface light transport」（Computer Graphics, SIGGRAPH 2001 Proceedings, 511-518, 2001）による拡散近似を用いてモデリングする。ジェンセン等に従って、本発明では、「拡散反射率」という用語をこの拡散過程による反射に用いる。

表面反射率は、モノクロＢＲＤＦ表現を用いてモデリングされる。このモノクロの仮定は、皮膚が誘電体であることが動機となっている。

２つの成分、すなわち拡散反射率Ｓ（ｘ_ｉ，ω_ｉ，ｘ_ｏ，ω_ｏ）及び表面反射率ｆ_ｓ（ｘ_ｉ，ω_ｉ，ω_ｏ）を合計して、次式のような完全な反射モデルを生じる。

拡散反射率Ｓ（ｘ_ｉ，ω_ｉ，ｘ_ｏ，ω_ｏ）は、ジェンセン等（２００１年）に提示されている実用的な表面下散乱モデルであり、散乱減少（reduced scattering）断面σ_ｓ’及び吸収断面σ_ａによって定義される。これらは他の分野においてμ_ｓ’及びμ_ａとしても知られている。σ及びμの値は、アルベドマップ２３３及び透光性マップ２３４から導出される。

推定拡散反射率を測定した全反射率から減算して表面反射率２１１を得る。密にサンプリングしたＢＲＤＦ２３１の集合を表面反射率２１１に当てはめる２３０。２０４８×２０４８の解像度の２Ｄテクスチャマップ２３２を求めて、それぞれの表面点についてＢＲＤＦ基底の係数を格納する。３Ｄの顔形状と２Ｄのテクスチャマップの間で写像を行うために、面積保存型テクスチャパラメータ化を用いる。

次に、高次元ＢＲＤＦ基底を非負行列因子分解（ＮＭＦ）を用いて分解し２８０、低次元表現２８１を得る。

したがって、本発明の反射モデルのパラメータは、ＮＭＦ ＢＲＤＦ基底２３１、ＢＲＤＦ基底の線形結合の係数を有する通常は４つのテクスチャマップ２４１、１つのアルベドマップ２１２、及び１つの透光性マップ２２１である。

以下の節は、これらの処理ステップをより詳細に説明する。

皮膚反射率の測定
図３に部分的に示すように、システム３００を用いて、３Ｄ形状を測定し２０１、画像を取得する。本システムは、ジオデシックドームの形の管状フレーム３１０を備える。被測定者用の椅子３２０がドーム内に配置される。デジタルカメラ３３０がフレームに取り付けられ、様々な視点から顔に向けられる。ドームはまたＬＥＤ光源３４０を備える。本発明では１６台のカメラ及び１５０個のＬＥＤを用いる。

動作時に、システムは、各ライトを順に点灯すると同時に、カメラにより画像を取得する。本発明では、取得シーケンスを異なる露出設定で繰り返すことによって高ダイナミックレンジ（ＨＤＲ）画像を取得する。

３Ｄ形状の測定
ドーム内に取り付けられた顔スキャナ３５０は２つの構造化された投光器及び４台のカメラを含む。スキャナの出力は、約４０，０００個の三角形を含むポリゴンメッシュである。メッシュは、１ｍｍほどの小さな特徴を分解する。メッシュをクロッピングして、顔以外の領域を除去し三角形を劣化させる。

次にメッシュを、ループ（Loop）の細分割を用いて精緻化する（ループ著「Smooth Subdivision Surfaces based on Triangles」（Master's thesis, Department of Mathematics, University of Utah, 1987））。この結果、５００，０００個〜１００万個の頂点を有する高解像度メッシュが生じる。細分割は暗黙的にノイズを除去する。

本発明では、高解像度メッシュを非構造的な点サンプル、すなわち接続性を有しないサーフェルのリストに変換する。ツビッカー（Zwicker）他に対して２００３年１０月２８日付で発行された米国特許第６，６３９，５９７号「Visibility Splatting and Image Reconstruction for Surface Elements」（参照により本明細書中に援用される）を参照のこと。各サーフェルは、ＥＷＡスプラッティングを用いた画像の再構成に必要な情報を格納する（ツビッカー等著「Ewa splatting」（IEEE Transactions on Visualization and Computer Graphics 8, 3, 223-238, 2002））。

画像データから、画像反射率サンプルの各サーフェルのルミテクセル（lumitexel）を求める。各観測放射輝度値Ｌ（ω_ｏ）を対応する光源ｌの放射照度Ｅ_ｉ（ω_ｉ）により正規化して、次式のようなＢＲＤＦサンプル値ｆ_ｒを得る。

本発明では、ＢＲＤＦ測定値を、既知の特性を持つ材料Ｆｌｕｏｒｉｌｏｎを用いて較正する。全ての処理は、別記する場合を除きＲＧＢデータに対して行われる。カメラ及び光源の視点からＥＷＡスプラッティング（ツビッカー等著「Surface splatting」（Computer Graphics, SIGGRAPH 2001 Proceedings, 371-378, 2001））を用いて顔をレンダリングすることによって影領域のルミテクセルを求める。ＥＷＡフィルタリングは、各サーフェルスプラットが少なくとも１つのピクセルをカバーすることを保証する。スプラット毎の可視ピクセルの割合は、全ラスタ化ピクセルと効果的に混合されたピクセルとの比によって近似される。この割合が所定の閾値を上回る場合、そのサーフェルに対し、カメラ又は光源から可視なものとして印を付ける。この可視性及び遮蔽を求めるプロセスは、シャドウマッピングと同様の結果をもたらす。

平均して、ルミテクセルは、１つのカラーチャネルにつき約９００個の反射率サンプルを含み、多くのルミテクセルは最大１，２００個のサンプルを有する。この数は、顔全体にわたる遮蔽に応じて変化する。

マルシュナー等、レンシュ（Lensch）等、及びフックス等（２００５年、上記）とは対照的に、本発明では、クラスタリングを用いることなく、ほぼ全てのルミテクセルにおいて信頼性の高いＢＲＤＦ適合を得るために十分なサンプルを収集する。適合条件の不十分なルミテクセルのデータはテクスチャマップ２３２の生成中に補間される。

法線マップ及びアルベドマップの推定
本発明では、反射率データから各ルミテクセルにおける面法線を推定する。各カメラ視点について、４つの最も明るい測定値の方向間での補間によって最大反射率の方向を求める。この方向と視線ベクトルの間の中間ベクトルは、この視点の面法線推定値である。次に、全ての視点の法線の集合から外れ値を除去し、最終的なサーフェル法線を補間して、法線マップを得る。

しかし、実世界の反射は鏡面外（off-specular）である、すなわち、必ずしも鏡方向に整列しているとは限らない。法線推定をさらに改良するために、本発明では、照度差ステレオ法（ゴールドマン（Goldman）等著「Shape and spatially-varying BRDFs from photometric stereo」（Tech. Rep. 04-05-03, University of Washington, 2003））を用いることができる。

各サーフェルにおける鏡面反射率を拡散表面下反射率２０３と分離するために、本発明では、次式のようなＢＳＳＲＤＦの拡散ＢＲＤＦ近似を用いる。

ここで、Ｒ_ｄは次式の拡散反射率である。

拡散反射率Ｒ_ｄは、縮小（reduced）アルベドα’及びフレネル項のみに依存する。ＢＲＤＦ近似は、均一な入射照明下の均質でほぼ不透明な材料の半無限平面の完全なＢＳＳＲＤＦに等しい。直感的に、これらの仮定の下では、光子が表面に入り、散乱し、散乱光として再び発せられるものか、又は光子が或る点において拡散表面から直ちに反射されるものかを区別することができない。本発明者はこの近似が、本発明の皮膚モデルの拡散反射率成分について比較的正確であることを見出した。残りの誤差はすべて、表面ＢＲＤＦにおける拡散成分である。

本発明では、ルミテクセルデータから各表面点におけるＲ_ｄを推定する。観測角度の少なくとも一部について純粋な拡散反射率を観測するという仮定に基づいて、ＢＲＤＦサンプル値ｆ_ｒの最小値以下の最大値Ｒ_ｄを求める。これは、次式のように、値ｆ_ｒと単位拡散反射率の間の最小の比を求めることによって行われる。

ＢＳＳＲＤＦを用いて拡散成分を求める際、観測したＢＲＤＦサンプル値を、式（２）によるフレネル係数で割る。外れ値及びモーションアーチファクトの影響を低減するために、グレージング観測値にペナルティーを課し、ｋ個の最も小さな値を捨てることによって安定した最小値を求める。各表面点のＲ_ｄ値を再パラメータ化し、アルベドマップ２３３に挿入する。

表面ＢＲＤＦの基底を求める
画像データ中の全反射率から拡散反射率２０３を減算することによって各ルミテクセルから界面反射を求める：Ｒ_ｉ＝Ｒ−Ｒ_ｄ。解析的反射率モデルをこのデータに当てはめる代わりに、本発明では、マトゥーシク等（２００３年、上記を参照）のデータ駆動型ＢＲＤＦモデルを用いる。目的は、Ｒ’_ｉを密に測定したＢＲＤＦ基底の線形結合として表現することである。本発明では、塗料、織物、有機材料、及び皮のような人間の皮膚に関連する誘電体の５９個のＢＲＤＦ基底を用いる。各ＢＲＤＦは、４００万個を超えるサンプルから成る。

光源の領域を説明するために、各ＢＲＤＦ基底をディスク形状のフィルタカーネルで畳み込む。これは、顔上の任意の点から見たときに各光源がほぼ同じ立体角に及ぶことから機能する。

照明方向と面法線の角度はｖ_１である。観測した反射率サンプルをｃｏｓ ｖ_１で割ることによって正規化する代わりに、本発明では、ＢＲＤＦ基底にこの係数を乗算する。これにより、グレージング角におけるノイズ及び量子化アーチファクトの影響が最小化される。

本発明では、ｎ個の観測された反射率サンプルＲ_ｉ（ω^ｉ _ｉ，ω^ｉ）及びｍ個のＢＲＤＦ基底Ｍ_ｊを有する。ｎ×ｍの行列Ｍを構築し、ここで、ｉ行目、ｊ列目の要素は次のようになる。

次式に従ってベクトルｘを解く。

ここで、Ｒは、要素Ｒ_ｉを有するｎ×１の列ベクトルである。本発明では、二次計画法を用いて、この過制約の最小二乗問題を解く。結果として得られるｘ_ｉは、ルミテクセルデータを最も良く再現するＢＲＤＦ基底の線形結合の係数である。本発明では、係数が正となるように制約して、解の安定性を得る。本発明の結果をさらに改善するために、行列Ｍ及びＲ内の要素の立方根をとる。これにより、ＢＲＤＦ基底及び反射率の値が、ハイライトが過飽和していないより知覚的に適切な空間に変換される。皮膚のような誘電体上のハイライトは光源と同色、すなわち白である。

したがって、本発明では、モノクロＢＲＤＦ基底を用いることができる。これにより、自由度が３分の１に低減され、当てはめの安定性が高まる。５９個のＢＲＤＦ基底は人間の皮膚に固有ではない。これらの基底は、遥かに広範な材料の反射率を表現することができる。本発明では、次元数の削減を用いて、人間の皮膚に固有のより小さな線形基底を求める。各表面点における正の係数のベクトルｘに個別にＮＭＦを適用する。主成分解析（ＰＣＡ）とは異なり、ＮＭＦ基底は直交ではない。しかし、元データを、ＮＭＦ基底ベクトルの正の線形結合として表現することができる。すなわち、反射率データを縮小ＮＭＦ基底に当てはめる際、非負最小二乗最適化を依然として行うことができる。

図４に示すように、本発明では、ＮＭＦ ＢＲＤＦ基底の数の関数として再構成二乗平均平方根（ＲＭＳ）誤差をプロットして、データを表現するために必要な最小のＮＭＦ基底を求める。４つのＢＲＤＦ基底付近で単一の顔の水平域に達し、その後、相対的な再構成誤差は比較的一定である。結果は、４つのＮＭＦ ＢＲＤＦ基底を越えるとほとんど向上しない。各表面点の係数は４つのＢＲＤＦ係数テクスチャマップ２３２に格納される。さらに、本発明では、１つの顔につき４つのＮＭＦ ＢＲＤＦ基底を格納する。

透光性の測定
図５に示すように、本発明の表面下反射率測定装置５００は、光ファイバ検出器の線形アレイを有する光ファイバスペクトロメータをイメージベースにしたものである。白色ＬＥＤ５１０からの光が、センサヘッド５２０において終端するソースファイバ５１１に結合される。センサヘッドはまた、複数の検出ファイバ５３０を保持する。ファイバのアライメントは線形であり、センサのサイズを最小化する。デジタルカメラ５４０は、検出ファイバが集めた光を記録する。

センサヘッド５２０の機械的な動きにより生じる皮膚に対する圧力変化が結果に影響を与える。皮膚とセンサヘッドの間で一定圧力を維持するために、本発明では、真空ポンプ（図示せず）に接続されたシリコーン膜５５０を取り付けた。これにより、ヘッドを皮膚に押し当てたときの測定値の再現性が大幅に改善される。本発明では、センサヘッド５２０を高い信頼性で取り付けることができる３つの点、すなわち、額、頬、及び顎の下を選択する。

２つ〜３つの３ｆ値でブラケット露出した複数の画像を取得して、検出ファイバ端部のＨＤＲ画像を求める。

人体のいくつかの領域、例えば腹部は、異方性表面下散乱を示すが、顔の皮膚の拡散表面下散乱は、等方性散乱モデルにより十分に近似することができる。したがって、本発明では、１次元プロファイルのみを測定し、回転対称とみなす。解析的ＢＳＳＲＤＦモデルを各表面下測定値のデータ点に当てはめる。これにより、縮小散乱係数σ_ｓ’及び吸収係数σ_ａが得られる。これらのパラメータはまた、高周波のアルベド変化、例えば赤み及びそばかすを表す。

本発明のセンサヘッドを用いて顔全体にわたってこれらのパラメータを密に測定することは非現実的である。したがって、本発明では、高解像度画像を用いて拡散アルベドマップ２３３を推定し、スペクトロメータを用いて緩やかに変化する透光性を測定する。

測定したσ_ａ及びσ_ｓ’から、次式の効果的な輸送係数を導出する。

ここで、ｌ_ｄは拡散平均自由行程である。行程ｌ_ｄ又は１／σ_ｔｒは、皮膚透光性の測度を提供する。顔全体にわたる変化はわずかである。本発明では、３つの測定値から１／σ_ｔｒを補間し、顔の密な透光性マップ２３４を得る。

レンダリング
皮膚反射モデル２５０を用いて出力画像２６１をオフラインでレンダリングする２６０場合、モンテカルロレイトレーサを用いる。任意のＢＲＤＦを用いて双方向レンダリングする場合、分離可能な近似を用いる。いずれにせよ、レンダリングエンジンへの入力は４つのＮＭＦ ＢＲＤＦ基底２３１、ＮＭＦ ＢＲＤＦ基底の係数を有する４つのテクスチャマップ２３２、アルベドマップ（Ｒ_ｄ）２３３、及び透光性マップ（１／σ_ｔｒ）２３４である。

式（５）を反転することによって、アルベドマップのＲ_ｄ値を見かけのアルベド値α’に変換する。次式のように、σ_ｔｒからモデルパラメータσ_ｓ’及びσ_ａを導出する。

ＮＭＦ ＢＲＤＦ基底２３１の線形結合を用いて各表面点における表面反射率を求める。

皮膚反射率の解析
本発明の皮膚反射モデルは、各反射率成分を個別に扱う。これにより各成分を、他の成分に影響を与えることなくレンダリング又は編集することができる。したがって、本発明では、各成分を別個に解析し、成分間の相関を考慮しない。

表面ＢＲＤＦの解析
表面ＢＲＤＦは、空気−油層１０１におけるモノクロの光反射を表す。ＢＲＤＦは、密にサンプリングしたＢＲＤＦの低次元ＮＭＦ基底を用いて表現することができる。表面ＢＲＤＦが全体的な外見に及ぼす影響は、特に異なる外部条件について比較的顕著である。本発明者による解析は、皮膚を表現するＢＲＤＦが全ての等方性ＢＲＤＦの小さな部分集合であることを示している。

拡散アルベドマップの解析
拡散アルベドは、個人内及び個人外の変化のほとんどを捉える本発明のモデルの成分である。小規模な個人内のアルベド変化は、皮膚の欠陥、斑点、傷等によるものであり、通常、顔全体にわたって高い空間周波数を示す。全体的な個人外のアルベド変化は主に、人種、性別、日焼け、又は他の外部要因によるものである。本発明では先ず、各データセット内の全てのアルベドマップを共通の無相関化した色空間に変換する。

アルベドマップは、確率的画像テクスチャと多くの類似性を持つ。したがって、本発明では、ヒーガー（Heeger）及びベルゲン（Bergen）著「Pyramid-based texture analysis/ synthesis」（Proceedings of SIGGRAPH 95, Computer Graphics Proceedings, Annual Conference Series, 229-238, 1995）のテクスチャ解析方法を適用する。

本発明では、フル解像度の元のアルベドマップ、及び異なる方位及びスケールにおけるフィルタ応答の、操作可能なピラミッドとして編成された確率、例えばヒストグラムを求める。本発明では、７つのピラミッド階層を４つの指向性フィルタと共に用い、アルベドマップを各階層において２分の１にダウンサンプリングする。各ヒストグラムは２５６個のビンを有する。ローパスフィルタ及びハイパスフィルタを含む全てのフィルタ応答のヒストグラム並びに元のアルベドマップのヒストグラムを連結して、２５６×３１×３＝２３，８０８個の要素から成るベクトルＨにする。このベクトルは、所与の人物のテクスチャの生成モデルとして考えることができる。例えば、このベクトルを、ヒストグラムマッチングを用いた２人の被験者間のアルベド変換に用いることができる。

個人外の変化を解析するために、本発明では、点及びラジアル基底関数の補間を用いてアルベドマップを共通の（ｕ，ｖ）パラメータ空間にリサンプリングする（ピギン等（１９９８年））。信頼できる統計量を得るために、対応する顔領域の点をクラスタリングする。ここでは、髭のある領域と髭のない領域のみを指定するが、より細かい粒度を用いて、顎、頬、額、鼻、瞼、及び髭領域を区別することもできる。

各顔ｉ及び各領域ｒについて、上述のようにヒストグラムベクトルＨ^ｒ _ｉを構築する。特定の領域ｋの全てのベクトルＨ^ｋ _ｉを行列Ｍ_ｈに列ベクトルとして格納する。次に、行列Ｍ_ｈに主成分解析（ＰＣＡ）を適用して、アルベドマップヒストグラムの領域に固有の基底を求めることができる。この縮小空間の各点は、特定人物のアルベドに対応する。本発明では、このＰＣＡ基底を用いて新たなアルベドマップを合成する。この新たなアルベドマップは画像合成に用いることができる。

透光性の解析
透光性成分は、表皮層１０２及び真皮層１０３における非局所的な表面下散乱を説明する。透光性成分は、人間の顔の赤み及び柔らかな影のほとんどの原因となる緩やかに変化する効果である。透光性は画像から直接推定することができないことに留意することが重要である。したがって、本発明では、スペクトロメータを用いて表面下測定値を取得する。

概して、透光性の値は、測定点間及び個人間であまり変化しない。実際に、透光性の値は、顔全体の単一の値を用いて近似することができる。本発明では、透光性を１／σ_ｔｒとして定義する。

モデルの編集
本発明の皮膚反射モデル２５０を編集する２７０ための有意なパラメータを定義する。ユーザは、任意の特性２７１の集合を２値分類、すなわち特性の有無を用いて各顔に割り当てる。特性は、正常、寒い、暑い、汗、化粧水、化粧、粉、東洋人、白人、男性、女性、年齢、日焼け等を含むことができる。

ユーザは、顔のモデルを選択し、定義された特性のいずれかに従って反射率特性を変更する、例えば顔がより日焼けしたように見せることができる。本発明では、この概念を表面ＢＲＤＦ及びアルベドマップに適用する。透光性マップは、必要に応じて同様に処理することができる。

本発明では、平均差を用い、表面ＢＲＤＦの低次元空間をそのＮＭＦ基底を用いて、またアルベドヒストグラムをそのＰＣＡ基底を用いてトラバースする。特性に関連する補完的な各クラスタ対、すなわち、その特性を持つ顔とその特性を持たない顔における基底ベクトルの平均を求める。補集合の平均間の差は、特性間の補間に用いることができる特性ベクトルを提供する。

つまり、本発明では、特性ベクトルの凸結合を用い、この結合を元となる顔のデータに適用する。具体的には、表面ＢＲＤＦのＮＭＦ基底の特性ベクトルを求める。新たなターゲットＢＲＤＦを求めるには、特性ベクトルの線形結合を元となる顔のＢＲＤＦ係数に適用する。

アルベドマップの変化の場合、アルベドヒストグラムのＰＣＡ基底を用いて特性ベクトルを求める。特性ベクトルの線形結合を元となる顔の基底ヒストグラムベクトルＨに適用して、ターゲットヒストグラムベクトルＨ’を得る。次に、ヒストグラムマッチング技法を適用して、ＨをＨ’にマッチングする。アルベドマップ全体の基底ヒストグラム、又は顔領域、例えば髭のある領域と髭のない領域の基底ヒストグラムを用いる。ほとんどの用途では、元となるアルベドマップから開始するほうが理に適っている。ヒストグラムマッチング中に十分な変化を可能にするために、本発明では、元となるアルベドマップにいくらかのノイズを付加してからヒストグラムベクトルＨを求める。

［発明の効果］
本発明は、顔の皮膚の外見のほとんどの側面を表現するのに十分に強力である単純で実用的な皮膚反射モデルを提供する。本発明は、表面下散乱の解析モデルを低パラメータのノンパラメトリックＢＲＤＦモデルと組み合わせる。本発明によるモデルの重要な特徴は、測定値からモデルの全パラメータを推定できることである。

本発明の皮膚反射モデルからレンダリングされた画像は、任意の照明及び姿勢下で撮影された実物の人間の顔の写真を再現する。

本発明はまた、顔反射率の編集を可能にする。これを達成するために、本発明は、例えば年齢、人種、性別、及び日焼け具合といった直感的なユーザパラメータを提供する。本発明は、顔の他の重要な部分、例えば目、唇、及び歯の反射率のモデリングに拡張することができる。

本発明による生物理学的皮膚反射モデルの概略図である。 本発明による皮膚反射モデルを生成する方法のフロー図である。 本発明による皮膚反射率データを測定するシステムの概略図である。 両指向性反射率分布関数基底の数の関数としての再構成二乗平均平方根誤差のグラフである。 本発明による表面下反射率測定装置のブロック図である。

Claims (13)

1. コンピュータにより実施される、顔の皮膚反射モデルを生成する方法であって、
   顔をスキャンして、それによって、３次元形状を得ること、
   前記顔の複数の画像を取得すること、
   前記顔の表面下散乱を測定すること、
   前記表面下反射率から透光性マップを求めること、
   前記３次元形状及び前記複数の画像から全表面反射率及び法線マップを推定すること、
   前記全反射率を用いて拡散反射率を推定すること、
   前記拡散反射率からアルベドマップを求めること、
   前記拡散反射率を前記全反射率から減算して、それによって、表面反射率を得ること、
   両指向性反射率関数の集合を前記表面反射率に当てはめること、及び
   前記両指向性反射率分布関数の集合、前記アルベドマップ、及び前記透光性マップを結合して、それによって、前記顔の皮膚反射モデルを形成すること、
   を含む、コンピュータにより実施される、顔の皮膚反射モデルを生成する方法。
2. 前記両指向性反射率関数の集合を両指向性反射関数基底の集合に分解すること、及び
   テクスチャマップの集合が、前記両指向性反射率関数の集合の係数を対応するテクスチャマップの集合に格納すること
   をさらに含み、前記分解は、前記表面反射率、前記法線マップ、及び前記両指向性反射率関数基底から求められる、請求項１に記載の方法。
3. 前記両指向性反射率関数基底の集合は測定データである、請求項２に記載の方法。
4. 前記両指向性反射率関数基底の集合は、非負行列因子分解を用いて測定データから求められる、請求項２に記載の方法。
5. 前記皮膚反射モデルは複数の顔について生成される、請求項１に記載の方法。
6. 前記複数の画像は、異なる視点から異なる照明方向で取得される、請求項１に記載の方法。
7. 前記表面下反射率は光ファイバスペクトロメータにより測定される、請求項１に記載の方法。
8. 前記複数の画像は高ダイナミックレンジを有する、請求項１に記載の方法。
9. 前記３Ｄ形状は三角形メッシュである、請求項１に記載の方法。
10. 前記三角形メッシュを非構造的なサーフェルのリストに変換すること
    をさらに含む、請求項９に記載の方法。
11. 各サーフェルについてルミテクセルを求めること
    をさらに含む、請求項１０に記載の方法。
12. 前記皮膚反射モデルをレンダリングすること
    をさらに含む、請求項１に記載の方法。
13. 前記顔の特性の集合を定義すること、及び
    前記特性の集合に従って前記モデルを編集すること
    をさらに含む、請求項１に記載の方法。

Images