JP2003256812A - 化粧シミュレーション装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 被験者の顔の形状に依存する化粧後の光沢感
を有する、的確な化粧の仕上がり具合の化粧後の顔の画
像を生成する。 【解決手段】 被験者の顔を撮影した皮膚顔画像を、表
面で反射された成分からなる表面顔画像データと被験者
の皮膚の内部で反射された成分からなる内部顔画像デー
タとに分離し、内部顔画像データにはファンデーション
による化粧データを施し、表面顔画像データは、その色
または明るさを変更修正する処理を施した上で、得られ
た内部顔画像データと表面顔画像データとを合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顧客の顔画像を撮
影して所望の化粧を施した画像を生成する化粧シミュレ
ーション装置に利用する。本発明は、化粧品販売店など
の店頭において、顧客に化粧方法や化粧品選択などのア
ドバイスを与えるサービスに利用する。

【０００２】

【従来の技術】出願人は被験者の顔画像を撮影し、この
撮影した顔画像に仮想的な化粧を施すシミュレーション
を行ってその結果を出力し、化粧のアドバイスを行う化
粧アドバイスシステムを、特開２０００−１９４８３５
号公報、特開２００１−２３８７２７号公報として提案
している。

【０００３】前者の特開２０００−１９４８３５号の提
案は、化粧を施したモデルの顔の画像を撮影し、この顔
の画像から前記モデルの化粧前の顔の部分の情報を除去
した画像を化粧データとして抽出することにより化粧デ
ータを作成し、この化粧データを異なる特徴を有する顔
のタイプ別にそれぞれ分類してメモリに蓄積しておき、
これらの化粧データの中から顧客の顔の画像に適合する
ような化粧データを選択するとともに、この化粧データ
を顧客の顔に合わせて変形させて、顧客の撮影された顔
画像と合成し、顧客の化粧後の画像を生成するものであ
る。

【０００４】また後者の特開２００１−２３８７２７号
の提案は、化粧データとして、化粧後の顔の表面反射光
成分と内部反射光成分とをそれぞれ偏光を用いて分離し
て抽出し、被験者の化粧前の顔画像に抽出された内部反
射光による化粧データと表面反射光による化粧データと
を合成することで、より自然な化粧シミュレーションを
行うとするものであった。

【０００５】

【発明が解決しようとする課題】最近、雲母チタンに代
表されるパール光沢顔料を用いたファンデーション等の
メイクアップ化粧料によって、塗布部の色相感覚を変化
させることが行われているが、光沢の部分については表
面反射光と内部反射光とを分離するだけでは必ずしも十
分なシミュレーションができなかった。

【０００６】これは、顔の光沢は、顔の３次元形状に依
存するもので、３次元形状が変化すると光沢の強さも色
合いも変化してしまうためである。つまり、被験者の顔
の３次元形状により光沢は左右されるものであるから、
モデルの化粧データを用いて表面反射光成分と内部反射
光成分とを考慮したシミュレーションを行っても十分で
ない。

【０００７】さらに、被験者の顔の３次元形状を微細に
計測して、その上で３次元画像について処理を行うこと
は画像処理の負荷が大き過ぎ、また被験者の顔の精細な
３次元形状を計測することも容易ではないため、実用的
ではない。

【０００８】本発明はこのような問題を解決するもの
で、被験者の化粧を行った後の自然な艶（光沢）を再現
できるシミュレーション装置および方法を提供すること
を目的とする。また、本発明は、偏光を用いて被験者の
顔の表面反射光成分と内部反射光成分とを分離した被験
者の顔画像を抽出し、自然な質感をもった被験者の化粧
後の顔画像を提供できる装置および方法を提供すること
を目的とする。また、再現された化粧後の画像に基づい
て適切な化粧品のアドバイスを可能とする化粧シミュレ
ーション装置および方法を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明の第一の観点は、
化粧シミュレーション装置にかかるもので、被験者の顔
を撮影するカメラ装置と、前記被験者の顔の表面で反射
された反射光成分からなる表面顔画像データと内部で反
射された反射光成分からなる内部顔画像データとを分離
して抽出する手段と、前記抽出された前記表面顔画像デ
ータに色または強度の変化を与える表面光修正手段と、
前記内部顔画像データと前記表面光修正手段で変化が与
えられた表面顔画像データとを合成する手段と、顔画像
を表示する表示装置とを含むことを特徴とする。

【００１０】本発明の第二の観点は、化粧シミュレーシ
ョン方法にかかるもので、被験者の顔を撮影し、表面か
ら反射された反射光成分からなる表面顔画像データと内
部から反射された反射光成分からなる内部顔画像データ
とに分離して抽出し、抽出された前記表面顔画像データ
の色または光強度を変更し、この変更後の表面顔画像デ
ータと前記内部顔画像データとを合成して化粧後の被験
者の顔画像を出力することを特徴とする。

【００１１】本発明においては、まず被験者の顔を撮影
して、その画像から表面反射光成分の表面顔画像データ
と内部反射光成分の内部顔画像データとを分離抽出す
る。

【００１２】ここで、表面反射光とは反射光のうち物質
の表面で反射する成分をいい、入射光の偏光方向が保存
される。この表面反射光は主に艶や光沢を表す。内部反
射光とは反射光のうち物質の内部に入り込んだ後に出て
くる成分をいい、物質内部で複数回散乱した後に外へ出
てくるために入射光の偏光が保存されない。内部反射光
は主に色味を表す。表面反射光と内部反射光とを分離し
て抽出するためには、それぞれの偏光の相違を利用でき
る。

【００１３】内部顔画像データについては、被験者の内
部顔画像データに化粧を施す処理を行って、色情報とし
ての化粧後の化粧顔画像を生成することができる。例え
ば、あらかじめ蓄積されたモデルの化粧データを被験者
の顔画像に合わせて変形して合成する。一方、表面顔画
像データは、その光強度または色を変化させる。この変
化させた被験者の表面顔画像データと、化粧データ処理
がされた被験者の内部顔画像データとを合成して化粧後
の被験者の顔画像を生成する。

【００１４】これにより、顔の表面の艶あるいは光沢に
自然な感じをもたせた化粧後の顔画像を生成でき、被験
者に対する化粧アドバイスも的確なものになる。

【００１５】被験者の顔画像から表面顔画像データと内
部顔画像データとを分離するには、一方向に偏光した撮
影光を被験者に照射し、偏光方向が保存された（同一の
偏光方向）光は、表面反射光と内部反射光とが混ざった
ものとし、偏光方法が保存しない光は内部反射光である
として、表面反射光の顔画像データと内部反射光の顔画
像データとを抽出する。

【００１６】表面反射光の顔画像データの色は赤から青
まで任意に選択することが可能である。選択された色に
対応する化粧品については、どの色についてどのような
配分の化粧品が適合するかをアドバイザが経験的に知っ
ているから、合成された化粧後の被験者の顔画像に合わ
せた化粧品を勧めることができる。

【００１７】なお、化粧を施した顔の変化を表す化粧デ
ータが複数蓄積され、前記仮想的に化粧を施す手段は、
被験者の前記内部顔画像データに前記蓄積された化粧デ
ータのいずれかを選択して前記被験者の内部顔画像デー
タと合成する手段を含むことができる。

【００１８】また、前記抽出する手段は、被験者に一方
向に偏光した光を入射光とし、入射光の偏光方向が保存
された反射光と偏光方向が保存されていない反射光とを
検出して、表面反射光成分と内部反射光成分とを分離す
ることがよい。

【００１９】なお、本発明は、カメラ装置と表示装置と
が接続された情報処理装置にインストールすることによ
り、この情報処理装置をこの撮影された被験者の顔画像
データに仮想的に化粧を施す手段として機能させるプロ
グラムによっても実現できる。このプログラムは、記録
媒体あるいは通信回線を介して提供することができる。

【００２０】

【発明の実施の形態】本発明実施例として、化粧品のア
ドバイスシステムとして利用される化粧シミュレーショ
ン装置の構成を図１を参照して説明する。図１は、本発
明実施例の化粧シミュレーション装置の要部ブロック図
である。

【００２１】本実施例の化粧シミュレーション装置は、
被験者を撮影するカメラ装置１と、被験者の顔の画像等
を表示する表示装置２とを備える。化粧による顔の変化
を表す化粧データの画像がメモリ４に複数蓄積してあ
る。制御部３は、メモリ４に蓄積された複数の化粧デー
タの画像のいずれかを選択して前記被験者の顔の画像に
適合するように変形し、被験者の画像と合成して仮想的
な化粧が施された顔画像を生成するシミュレーション処
理を行う。また、カメラ装置１で撮影した被験者の顔画
像を、肌の表面で反射された反射光成分からなる表面顔
画像データと内部で反射された反射光成分からなる内部
顔画像データとに分離して抽出する。

【００２２】本発明実施例の化粧シミュレーション装置
の動作を図１ないし４を参照してさらに説明する。本実
施例の化粧シミュレーション装置では、カメラ装置１に
より被験者の化粧されていない顔の画像を撮影し、この
顔画像を、皮膚の表面で反射された反射光成分と皮膚の
内部で反射された反射光成分とに分離して、顔画像のデ
ータを表面顔画像データと内部顔画像データとして抽出
する。そして、抽出された内部顔画像データに、メモリ
４に蓄積されている化粧データのいずれかを選択して合
成し、被験者の化粧後の内部顔画像データを生成する。
また、表面顔画像データについては、その表面反射光成
分の色あるいは強度を所望のものに変更する処理を行っ
たのち、化粧後の内部顔画像データと合成し、被験者の
化粧後の顔画像として表示装置２に表示する。

【００２３】以下図２を参照して詳細に説明する。

【００２４】まず、被験者の化粧前の顔画像を撮影して
内部顔画像データ（Ａ−１）と表面顔画像データ（Ｅ−
２）とを生成する。このとき、内部顔画像データとし
て、肌の内部から反射された肌の色などのデータ（Ａ−
１）とともにワイヤーフレーム（Ａ−２）を作成する。
ワイヤーフレームは、顔画像上に配置された複数の特徴
点を線で連結することによって得られる画像で、顔の特
に構造的な特徴を線と点で表している。表面顔画像デー
タ（Ｅ−２）の生成については後述する。

【００２５】メモリ４には、複数のタイプの顔のモデル
について化粧を施した化粧データ画像の化粧データが蓄
積されている。この化粧データ画像は、モデルの顔の特
徴を表した化粧データ画像のワイヤーフレーム（Ｂ−
２）と化粧後のモデルの顔画像から化粧前のモデルの顔
画像を除いた化粧データである化粧データ画像(Ｂ−
１）とからなる。化粧データ画像はいわばファンデーシ
ョンのデータである。これらの化粧データは、複数のタ
イプのモデルについて分類されて蓄積されており、被験
者にあわせて選択する。

【００２６】選択された化粧データ画像（Ｂ−１）のワ
イヤーフレーム（Ｂ−２）を被験者の化粧前の内部顔画
像データのワイヤーフレーム（Ａ−２）を参考にして被
験者の化粧前の内部顔画像に適合するように変形する
（Ｃ−２）。変形された化粧データ画像のワイヤーフレ
ームにしたがって化粧データ画像（Ｃ−１）を作成す
る。この作成された化粧データ画像と撮影された被験者
の内部化粧前画像とを合成し（＋）、被験者の内部化粧
画像を生成する（Ｄ）。

【００２７】被験者の内部顔画像データに化粧を施す処
理とは別に、撮影した被験者の顔画像データから抽出し
た表面顔画像データに艶色のシミュレーション処理を行
う。この処理は、被験者の顔画像データから、皮膚の内
部で散乱された内部反射光成分を除いた肌の表面だけの
データである表面顔画像データを抽出して、その表面顔
画像データに、表面の光沢を表す表面反射光の色相ある
いはその強度を変更する処理を行うものである。この処
理は、被験者の顔の三次元構造によって左右される光沢
や表面の色を調整するもので、これにより、より自然な
化粧シミュレーション処理結果を得ることができる。

【００２８】被験者の表面顔画像データのみを抽出する
には、偏光を利用する。具体的には、図３に示すよう
に、受光側の偏光板１１および１２を透過した光をカメ
ラ装置１によりそれぞれ撮影する。偏光板１１を透過し
て撮影された画像を画像ａとする。偏光板１２を透過し
て撮影された画像を画像ｂとする。ここで、表面顔画像
データを得たいときには、画素ごとに、画像ａ−画像ｂ
の演算を行って画像合成を行う。図２においては、化粧
前の（内部＋表面）画像（Ｅ−１）から化粧前内部画像
（Ａ−１）を除く処理（−）である。

【００２９】この原理を説明する。入射側の偏光板１０
は、縦方向の偏光面を有するが、肌の内部に入ってから
散乱を繰り返した後に再び外に出た内部反射光は、その
偏光が乱れるので、様々な偏光面の光を含み、縦方向の
偏光板１１を通過するのは内部反射光全体の半分であ
る。表面反射光は、反射後も入射前の偏光面が保存され
ているので、図４に示すように、全て縦方向の偏光板１
１を通過する。したがって、縦方向の偏光面を有する光
には、表面反射光の全部と内部反射光の半分が含まれ
る。つまり、画像ａには表面反射光と内部反射光の半分
とが含まれる。

【００３０】次に反射光における横方向の偏光に着目す
ると、内部反射光は、様々な偏光面を含み、横方向の偏
光板１２を通過するのは、内部反射光全体の半分にな
る。表面反射光は反射前の偏光面が保存されるため、横
方向の偏光を含まず、横方向の偏光板１２を通過する成
分はない。したがって、横方向の偏光面を有する光に
は、内部反射光の半分のみが含まれる。つまり、画像ｂ
は内部反射光の半分が含まれる。したがって、画像ａか
ら画像ｂの要素を差し引くことにより、表面顔画像デー
タを得ることができる。

【００３１】また、内部顔画像データを得たいときは、
２×画像ｂとして画像合成を行う。すなわち、画像ｂに
は、内部反射光の要素しか含まれていないので、画像ｂ
としてとらえられる光はすべて内部顔画像データとな
る。しかし、内部反射光の約半分は、偏光板１２によっ
て遮光されるので、遮光分を補う目的で、画像ｂの光量
を２倍にする。実際には、偏光板の特性（透過すべき偏
光の吸収、遮るべき偏光の漏れなど）によって補正が行
われる。なお別途、肌の透過率や、被験者の撮影する顔
画像が化粧後の場合にはファンデーションによる透過率
などに基づき、内部反射光の透過率については、係数補
正を施して、内部画像データと表面画像データとがより
精度よく抽出できるようにする。これは、ファンデーシ
ョンの重ね塗りを行うのが普通なので、化粧シミュレー
ションは、被験者の素顔ができるだけではないようにす
るためである。

【００３２】抽出された表面顔画像データについては、
表面反射光の色または強度（明るさ）を変更する処理を
行う（図２の艶色シミュレーション処理）。これは、装
置の操作者（美容アドバイザ）が行ってよく、被験者の
撮影画像を表示しながら、色相あるいは明るさを変更し
て、被験者の状態に近い光沢感になるように調整する。
被験者の表面反射光の色の変更は、シミュレーション装
置の操作端を操作することでＲＧＢの配分割合を変更し
て色相を変更する。この被験者の顔画像データについて
の表面反射光の色相あるいは明るさの変更処理を行うこ
とにより、より自然な光沢感を出すことができる。

【００３３】この艶色シミュレーション処理における明
るさ変更処理および色相変更処理について説明する。

【００３４】明るさ変更処理では、表面顔画像（Ｅ−
２）のＲＧＢ成分のすべてに同じ定数を乗算し、その強
度を変更させた画像を作成する。例えば Ｏ_R(x,y)＝ ａ×Ｉ_R(x,y) Ｏ_G(x,y)＝ ａ×Ｉ_G(x,y) Ｏ_B(x,y)＝ ａ×Ｉ_B(x,y) すなわち、変更後の表面反射光画像＝定数×変更前の表
面光画像で表される。

【００３５】また、色相の変更処理は、化粧前表面画像
（Ｅ−２）のＲＧＢ成分に所望の色に応じてＲＧＢごと
に別々の配分割合（定数）を乗算し、色相を変更させた
画像を生成する。例えば Ｏ_R(x,y)＝ ａ_R×Ｉ_R(x,y) Ｏ_G(x,y)＝ ａ_G×Ｉ_G(x,y) Ｏ_B(x,y)＝ ａ_B×Ｉ_B(x,y) すなわち、（変更後の表面反射光画像）＝（分配割合）
×（変更前の表面光画像）で表される。

【００３６】具体的には、例えば赤みの艶を作成する場
合は、ａ_R＝1．2、ａ_G＝1．0、ａ_B＝0．8、青みの艶を
作成する場合には、ａ_R＝0．8、ａ_G＝1．0、ａ_B＝1．
2、の定数を用いる。

【００３７】また、実際の着色パール光沢顔料の艶色シ
ミュレーションを行う場合には、黒の人工皮革や黒いド
ール等に塗布し、その画像の艶部分のＲＧＢの値を配分
割合として、ａ_R、ａ_G、ａ_Bを算出してもよい。発明者
らは、上記ａ_R＝Ｒ／（Ｒ＋Ｇ＋Ｂ）、ａ_G＝Ｇ／（Ｒ＋
Ｇ＋Ｂ）、ａ_B＝Ｂ／（Ｒ＋Ｇ＋Ｂ）とする算出方法で
実施した結果良好な結果を得ている。

【００３８】こうして、色あるいは明るさが変更された
表面顔画像データ（Ｅ−３）と、化粧データが施された
内部化粧顔データ（Ｄ）とを合成し（＋）、被験者の化
粧後の顔画像として出力する。

【００３９】ファンデーションの重ね塗りのシミュレー
ションを行う場合には、このような処理を複数回行うこ
とになり、化粧後の被験者の内部顔画像データと表面顔
画像データとを分離抽出し、表面顔画像データについて
は、艶色シミュレーション処理を施し、重ね塗りする化
粧データと合成することで、化粧後の顔画像を生成す
る。

【００４０】そして、本発明実施例では、表面反射光に
ついてＲＧＢの配分処理を変更して色相を変更するの
で、アドバイザは、表示装置２に表示された被験者の顔
画像の色合いに応じて対応する色合いの化粧品をアドバ
イスする。このような変更された色合いを出すファンデ
ーションとして、反射光成分が既知の化粧品データとそ
の配合比による色合いのデータは既知であるので、その
データを参照して、表示される化粧後のＲＧＢの配分割
合に応じた化粧品をすすめることができる。

【００４１】化粧後の色相感覚を変化させることができ
る化粧品の配合成分として上述のパール光沢顔料があ
る。パール光沢顔料の配合割合は、色変換用配合割合を
あらかじめ計測しておき、表示される化粧後のＲＧＢの
配合割合を実現するパール剤の配合比を求めておく。例
えば化粧後のＲＧＢの配合割合（ａ_R, ａ_G,ａ_B）_after
を実現する配合比ｂ_(i)を次の連立方程式から求めれば
よい。 ａ_R(after)＝Σ｛b_(i)・ａ_R(i)｝＝ｂ₍₁₎・ａ_R(1)＋b
₍₂₎・ａ_R(2)＋ｂ₍₃₎・ａ _R(3) ａ_G(after)＝Σ｛b_(i)・ａ_G(i)｝＝ｂ₍₁₎・ａ_G(1)＋b
₍₂₎・ａ_G(2)＋ｂ₍₃₎・ａ _G(3) ａ_B(after)＝Σ｛b_(i)・ａ_B(i)｝＝ｂ₍₁₎・ａ_B(1)＋b
₍₂₎・ａ_B(2)＋ｂ₍₃₎・ａ _B(3)

【００４２】なお、本実施例の化粧シミュレーション装
置は、カメラ装置１と表示装置２とが接続された汎用の
情報処理装置に、化粧シミュレーションを実行するプロ
グラムをインストールすることで、当該情報処理装置を
実施例の制御部３、メモリ４として機能させることがで
きる。このプログラムは、プログラムを記録した記録媒
体あるいは通信回線を介して提供することができる。

【００４３】

【発明の効果】以上、説明したように、本発明によれ
ば、被験者の顔画像の光沢についてもシミュレーション
を行うことで、自然な光沢感のある化粧後の顔画像を生
成することができ、被験者に対する化粧アドバイスに資
することができる。

【図面の簡単な説明】

【図１】本発明実施例の化粧シミュレーション装置の要
部ブロック構成図。

【図２】本発明実施例の表面顔画像データと内部顔画像
データとを処理して合成する手順を説明する図。

【図３】内部反射光の抽出を説明する図。

【図４】表面反射光の抽出を説明する図。

【符号の説明】

１ カメラ装置 ２ 表示装置 ３ 制御部 ４ メモリ １０、１１、１２ 偏光板

Claims (5)

【特許請求の範囲】
1. 【請求項１】 被験者の顔を撮影するカメラ装置と、 前記被験者の顔の表面で反射された反射光成分からなる
   表面顔画像データと内部で反射された反射光成分からな
   る内部顔画像データとを分離して抽出する手段と、 前記抽出された前記表面顔画像データに色または強度の
   変化を与える表面光修正手段と、 前記内部顔画像データと前記表面光修正手段で変化が与
   えられた表面顔画像データとを合成する手段と、 顔画像を表示する表示装置と を備えたことを特徴とする化粧シミュレーション装置。
2. 【請求項２】 被験者の前記内部顔画像データに仮想的
   に化粧を施す手段を含む請求項１記載の化粧シミュレー
   ション装置。
3. 【請求項３】 化粧を施した顔の変化を表す化粧データ
   が複数蓄積され、 前記仮想的に化粧を施す手段は、被験者の前記内部顔画
   像データに前記蓄積された化粧データのいずれかを選択
   して前記被験者の内部顔画像データと合成する手段を含
   む請求項２記載の化粧シミュレーション装置。
4. 【請求項４】 前記抽出する手段は、被験者に一方向に
   偏光した光を入射光とし、入射光の偏光方向が保存され
   た反射光と偏光方向が保存されていない反射光とを検出
   して、表面反射光成分と内部反射光成分とを分離する請
   求項１記載の化粧シミュレーション装置。
5. 【請求項５】 被験者の顔を撮影し、表面から反射され
   た反射光成分からなる表面顔画像データと内部から反射
   された反射光成分からなる内部顔画像データとに分離し
   て抽出し、 抽出された前記表面顔画像データの色または光強度を変
   更し、 この変更後の表面顔画像データと内部顔画像データとを
   合成して化粧後の被験者の顔画像を出力する化粧シミュ
   レーション方法。