JP2006023921A - 化粧シミュレーション装置および方法 - Google Patents

Abstract

【課題】 化粧後の顔画像を合成して生成する際に、従来技術と比較してさらに現実感を有する顔画像を合成して生成する。
【解決手段】 被験者の化粧前の肌画像に施す仮想の化粧膜を化粧膜の表面で反射される表面反射光成分、化粧膜の内部で散乱して表面に現れる内部散乱光成分、化粧膜を透過する透過成分の３つの分光光学特性に分け、この３つの成分を、被験者の素肌画像について皮膚の艶を表現する表面反射光画像と肌の色味を表す内部反射光画像とに分離して抽出された被験者の顔画像に合成する。
【選択図】 図１

Description

本発明は被験者の顔画像を撮影して所望の化粧を施した画像を生成する化粧シミュレーション装置に利用する。本発明は所望の顧客の仕上がりを仮想の化粧膜を施すことで予測し、化粧アドバイスシステムに利用するものである。

出願人は、被験者の顔画像を撮影し、この撮影した顔画像に仮想的な化粧を施すシミュレーションを行ってその結果を出力し化粧のアドバイスを行う化粧シミュレーションに関する発明を下記の特許文献１、２、３、４として出願した。

特許文献１の提案は、化粧を施したモデルの顔画像を撮影し、この顔画像から前記モデルの化粧前顔画像を減算することで化粧データを抽出し、この化粧データを異なる特徴を有する顔のタイプ別にそれぞれ分類してメモリに蓄積しておき、これらの化粧データの中から顧客の顔の画像に適合するような化粧データを選択するとともに、この化粧データを顧客の顔に合わせて変形させて、顧客の撮影された顔画像と合成し、顧客の化粧後の画像を生成するものである。

また特許文献２の提案は、モデルの化粧前後の顔画像を偏光を用いて撮影することで、化粧データとして表面反射光成分画像と内部反射光成分画像を分離して抽出し、被験者の化粧前の顔画像にそれらの抽出された化粧データを合成することで、より自然な化粧シミュレーションを行うとするものであった。

さらに特許文献３の提案は、化粧後の自然な光沢を表現するため、化粧を施す前の被験者の顔画像を偏光を用いて表面反射光データと内部反射光データとに分離して抽出し、表面反射光データには艶色の処理を施し、内部反射光データには、化粧データを合成し、表面反射顔画像と内部反射顔画像とを合成してシミュレーションを行うものであった。

特許文献４では、被塗布体の塗布形成前の測色値と塗膜形成後の測定色との回帰線から、化粧前後の色変化を一次関数で表現することで、被験者の化粧前の顔画像に化粧を施すことを行っている。また、被験者の３次元形状を取得することで、化粧光沢のシミュレーションも行っている。
特開２０００−１９４８３５号公報 特開２００１−２３８７２７号公報 特開２００３−２５６８１２号公報 特開２０００−１９３５２７号公報 特公平１−４７７２６号公報 特開２００１−８４２８８号公報

一般に、ファンデーション、アイシャドウ、口紅等のメイクアップ化粧料を皮膚に塗布した場合の仕上がり評価において、ある化粧料を皮膚に塗布した場合に皮膚の素肌色がどの程度カバーされるか、あるいはどのように着色された化粧肌色が得られるのか、また、しみやそばかすなどの素肌の色むらがどのように目立たなくなるのか、さらに、素肌の艶が化粧塗膜によってどのように変化するのかが重要な評価項目として挙げられる。

しかし、従来の仮想の化粧膜を被験者の素肌に塗布して化粧後の状態を模擬するシミュレーション技術においては、その仮想化粧膜を化粧前後の画像の差分や、被塗布体への塗布形成前後の測色値の推定で作成していたので、塗布された化粧膜から素肌の色味や艶がどのようにカバーされ、あるいはどの程度現れるかについては十分な考慮がなかった。

なお、特許文献５には、素肌の分光波長と化粧膜分光成分から化粧後の分光波長を予測する試みがクベルカームンクの式を用いて行われているが、単なる色変化の予測のみであり、化粧シミュレーションで全体の仕上がり評価を行うには十分な技術ではない。

また、三次元形状と材質の分光反射率を用いて三次元画像を作成する技術として、例えば、特許文献６のような技術が提案されている。しかし、人間らしさを規定している色むら等の要因まで忠実に再現することは難しい。特に化粧顔の評価のような観察者の関わり度合いが高い場合には、単なるＣＧ技術のみで作成した画像では十分ではなかった。

本発明は、このような背景の下に行われたものであって、化粧後の顔画像を合成して生成する際に、従来技術と比較してさらに現実感を有する顔画像を合成して生成することができる化粧シミュレーション装置および方法を提供することを目的とする。

本発明は、被験者の化粧前の肌画像（素肌画像という）に施す仮想の化粧膜を化粧膜の表面で反射される表面反射光成分、化粧膜の内部で散乱して表面に現れる内部反射光成分（膜成分）、化粧膜を透過する透過成分の３つの化粧膜光学データに分け、この３つの成分を表面反射光画像と内部反射光画像とに分離された被験者の素肌画像に合成することで、自然な感じの化粧後の顔画像を得ることができるようにしたことを特徴とする。また、化粧膜光学データを作成する際に変角分光測定器から得られた光学物性を基にし、かつ化粧膜と素肌画像との合成も光学理論に基づくことで、より現実に近い化粧顔画像の作成が可能になっている。

本発明は、特に、化粧膜分光データの透過成分を考慮することで、化粧後の顔画像に素肌の艶や肌色が表現されたシミュレーションを行うことができる。

すなわち、本発明の第一の観点は、化粧を施す前の被験者の顔画像を撮影するカメラ装置と、この撮影した顔画像から、顔の表面で反射された反射光成分からなる外部顔画像データと内部で反射された内部反射光成分からなる内部顔画像データとを抽出する手段と、被験者の３次元形状を、顔画像撮影と同時もしくは別途に測定することで取得する手段と、化粧膜の表面で反射される表面反射光成分と化粧膜の内部で散乱されて反射される膜色成分と化粧膜を透過する透過成分とからなる化粧膜光学データを保持する手段と、前記化粧膜光学データと前記３次元形状を基に前記外部顔画像データおよび内部顔画像データに合成して化粧後の顔画像を生成する手段とを備えたことを特徴とする化粧シミュレーション装置である。

ここで、顔の表面で反射された表面反射光成分は、顔の艶を表す要因である。また、顔の内部で反射された内部反射光成分は、顔の色味を表す要因である。一方で、化粧膜の表面で反射される表面反射光成分は、化粧膜の艶を表す要因である。また、化粧膜の内部で散乱されて反射される膜色成分は、化粧膜の色味を表す要因である。また、化粧膜を透過する透過成分は、化粧膜を通して見える素肌の見え方を表す要因である。

このシミュレーション装置を用いることで、既存の化粧膜光学データの表面反射光成分・膜色成分・透過成分に基づく化粧顔の作成ができるのと同時に、化粧膜光学データの各成分を適当に作成して合成することにより、現実に存在していない化粧剤についても化粧後の顔画像の生成が可能になり表現に幅広いバリエーションを持たせることができるようになるのと同時に化粧方法の研究あるいは化粧剤の研究開発に有用な化粧後の顔画像を生成することができる。

前記化粧膜光学データの３つの成分の少なくとも１成分を変化させて化粧膜光学データを作成する手段を備えることができる。これにより、化粧膜の艶や色味、化粧膜を通した素肌の見え方をそれぞれ変化させることが出来る。

また、第一の化粧膜光学データおよび第二の化粧膜光学データにおける前記３つの成分の値に基づいて二つの化粧膜のそれぞれの成分を内挿した化粧膜または外挿した化粧膜光学データを作成する手段を備えることができる。

すなわち、前記３つの成分の値がそれぞれ異なる２つの化粧膜光学データを用意することにより、これら２つの化粧膜光学データの変域内に含まれる値を用いて化粧膜光学データを作成することができる（内挿法）。これにより、所望する条件を満足する化粧後の顔画像を効率良く得ることができる。

あるいは、前記３つの成分の値がそれぞれ異なる２つの化粧膜分光データを用意することにより、これら２つの化粧膜光学データの変域外にある値を推定することで新たな化粧膜光学データを作成することができる（外挿法）。これにより、所望する条件を満足する化粧後の顔画像を効率良く得ることができる。

例えば、所望する条件に近似する２つの化粧膜光学データを用意しておき、この２つの化粧膜光学データに、前記内挿法あるいは前記外挿法を施すことにより、所望する条件に合致する１つの化粧顔画像を効率良く得ることができる。

また前記化粧膜光学データとして、化粧膜の表面で反射される表面反射光成分と化粧膜の内部で散乱されて反射される膜色成分と化粧膜を透過する直進透過成分と化粧膜を透過する拡散透過成分を保持することが出来る。

ここで、透過成分の内、直進透過成分は、化粧膜を透過して素肌に到達した光が、そのまま再び化粧膜を透過して反射される成分である。この成分により、素肌の艶が化粧後にも部分的に反映されることが出来るため、化粧後の顔画像における艶の見え方が変わる。また、化粧膜中に入射波長に対して選択的に直進透過量を変化させることが出来るパール材等の粉体が多く使用されている際は、シミやソバカスを目立たなくすることもできる。これは、シミやソバカスの色成分と補色の関係にある色を選択的に直進透過させることにより生じる効果である。また、透過成分の内、拡散透過成分は、素肌が化粧膜により隠されて見える成分である。これらの成分により化粧後の顔画像におけるシミやソバカスの隠蔽効果や肌色の変化に関係する。これらの成分を操作して被験者の顔画像の表面反射光成分（素肌の艶）および内部反射光成分（素肌の色味）と合成することにより、化粧膜を通して見える素肌の艶やシミ、ソバカスの隠蔽状態を自由に調整することができる。

また、人の顔には、いわゆる化粧の乗りのよい部位と化粧の乗りの悪い部位とがある。これは、素肌の張りや皺などの要因による凹凸の分布に起因すると考えられる。一般的に、凸部が多い部位と比較すると凹部の多い部位の方が化粧の乗りがよいために化粧膜が厚くなる傾向がある。その反対に、凹部が多い部位と比較すると凸部の多い部位の方が化粧の乗りが悪いために化粧膜が薄くなる傾向がある。

例えば、オデコや鼻の頭や顎の先などは、張りが有るために、凹部よりも凸部が多いので化粧の乗りが悪いが、頬は柔軟であるために、凸部よりも凹部が多いので化粧の乗りがよい。

このような状態をシミュレーションで実現しようとする場合には、化粧膜が薄くなりがちな部位の方が、化粧膜が厚くなりがちな部位よりも直進透過成分が多いように調整することにより、素肌の艶の現れ具合を調整することができる。これにより、現実味を帯びた化粧後の顔画像を合成することができる。

前記化粧膜光学データを作成する手段は、化粧膜の膜厚変化に対応するように、前記表面反射光成分、膜色成分および透過成分を変化させて化粧膜光学データを作成する手段を備えることができる。

すなわち、化粧膜の膜厚に対応して化粧膜の反射特性・透過特性が変化する場合には、その操作に対して化粧膜光学データを変化させる。

本発明の第二の観点は、あらかじめ色の異なる少なくとも２種の被塗布体に塗布した化粧膜について、分光反射率を測定したデータから、化粧膜の表面で反射される表面反射光成分と、内部で散乱して反射される膜色成分と、化粧膜を透過する透過成分とを化粧膜光学データとして作成し、化粧を施す前の被験者の顔を撮影して被験者の顔の表面で反射された表面反射光成分と内部で反射された内部反射光成分とに分離した顔画像データを抽出し、前記抽出された顔画像データに前記３つの成分からなる化粧膜光学データを合成して化粧後の顔画像を生成することを特徴とする化粧シミュレーション方法である。

あらかじめ色の異なる少なくとも２種の被塗布体に塗布した化粧膜について、分光反射率を測定する理由は、例えば、白色と黒色の布に化粧膜を塗布し、それぞれの反射光成分を入射角度に対して１８０度の分布で測定したときに、入射角度と同じ角度で反射される部分（正反射方向）は表面反射成分が主成分であり、入射角度と違う角度で測定された成分は拡散反射成分が主成分となるが、被塗布体が黒色の場合は、透過成分は吸収されてしまう。これに対し、被塗布体が白色の場合は、透過成分も反射される。したがって、同じ角度で測定した反射成分の強度の差分を調べることにより、化粧膜の透過成分を求めることができる。

この際に、前記化粧膜光学データの３つの成分の少なくとも１成分を変化させることができる。

第一の化粧膜および第二の化粧膜における前記３つの成分からなる化粧膜光学データを求め、２つの化粧膜のそれぞれの成分を内挿した化粧膜光学データまたは外挿した化粧膜光学データを用いることができる。

また、化粧膜の透過成分を直進透過成分と拡散透過成分とに分離した化粧膜光学データを求め、４つの成分からなる該化粧膜光学データを前記抽出された顔画像データに合成して化粧後の顔画像を生成することができる。

また、化粧膜の膜厚変化に対応するように、前記表面反射光成分、拡散反射光成分および透過成分を変化させて化粧後の顔画像を生成することができる。

本発明によれば、化粧後の顔画像を合成して生成する際に、従来技術と比較してさらに現実感を有する顔画像を合成して生成することができる。

本発明実施例の化粧シミュレーション装置の構成を図１を参照して説明する。図１は本実施例の化粧シミュレーション装置のブロック構成図である。

本実施例は、図１に示すように、化粧を施す前の被験者の顔画像を撮影するカメラ装置１と、この撮影した顔画像から、顔の表面で反射された反射光成分からなる外部顔画像データと内部で反射された内部反射光成分からなる内部顔画像データとを抽出する素肌画像データ抽出部２と、被験者の３次元形状を、顔画像撮影と同時もしくは別途測定し取得する手段と、化粧膜の表面で反射される表面反射光成分と化粧膜の内部で散乱されて反射される膜色成分と化粧膜を透過する透過成分とからなる化粧膜光学データを保持する化粧膜光学データ保持部３と、前記化粧膜データを前記外部顔画像データおよび内部顔画像データに合成して化粧後の顔画像を生成する化粧顔画像生成部４とを備えたことを特徴とする化粧シミュレーション装置である。

化粧顔画像生成部４により生成された化粧後の顔画像は表示部５に表示される。また、カメラ装置１、素肌画像データ抽出部２、化粧膜光学データ保持部３、化粧顔画像生成部４は、操作部６、３次元形状測定装置８により操作される。また、被験者には光源７から撮影用の光が照射される。

ここで、特許文献２に開示されている外部顔画像データと内部顔画像データとを分離する方法について図２を参照して簡単に説明する。図２（ａ）に示すように、偏光板３０を通過した光は、一定の偏光を有する。この偏光を有する光は、一旦、肌の内部に到達し、肌の内部により反射されると、その偏光は失われる。一方、図２（ｂ）に示すように、偏光板３０を通過した光は、肌の表面で反射されると、その偏光が保存される。

したがって、内部顔画像データを取得する場合は、偏光板３０とは異なる偏光方向の偏光板を用意し、この偏光板を通過した光を撮影することにより、内部顔画像データを得ることができる。また、外部顔画像データを取得する場合は、偏光板３０と同一の偏光方向の偏光板を用意し、この偏光板を通過した光を撮影することにより、外部顔画像データを得ることができる。

次に、化粧膜光学データの作成方法について図３を参照して説明する。図３は化粧膜光学データの生成方法を説明するための図である。本実施例では、図３に示すように、あらかじめ色の異なる少なくとも２種の被塗布体１４および１５に塗布した化粧膜について、分光反射率を測定することで、化粧膜の表面で反射される表面反射光成分１１および１１′と、内部で散乱して反射される拡散反射成分１２および１２′と、化粧膜を透過する透過成分とを求める。

すなわち、図３に示すように、白色の被塗布体１４と黒色の被塗布体１５とを用意し、これに化粧膜１３を塗布する。ここで、化粧塗膜の分光データを精度良く測定するには、１）均一な塗膜かつ２）再現性がある塗膜を多数作成する必要があるため、同じ圧力で化粧粉体を被塗付体に塗布出来る塗布機を開発することで対応した。そして、この
塗布機を用いて、１０ｍｇの化粧剤を白、黒色のウレタン布地１１０×５５ｍｍ^２に均一かつ平滑に化粧剤を塗布した。

この化粧膜１３に対し、入射光１０を照射して変角分光反射率を測定した。具体的には 村上色彩製ＧＣＭＳ４を用いて、肌色ウレタン布地については入射角を０〜６０度まで１０度間隔、反射角：−６０〜６０度まで１０度間隔、あおり角：０〜６０度まで２０度間隔で３９４点測定することで、角度依存および波長依存した変角分光反射率を測定した。これらの得られたデータを用いて表面反射光成分、膜色成分、透過成分を求めた。

・表面反射成分、膜色成分、透過成分の導出
測定された変角分光反射率から、０度入射・６０度受光の反射率を引いた反射率を表面反射光成分１１および１１′とした。

測定される反射成分には、大きく分けて表面反射光成分と拡散反射成分の２つがある（２色性反射モデル）。表面反射光成分は化粧塗膜内の粉体表面で光が反射し被塗付体である下地色に影響されない反射状態だと考えている。そして、この表面反射光成分は正反射方向で強く、逆に正反射方向からはずれた角度で小さくなる。拡散反射成分は反射角度依存が小さいため完全等方反射と考え、表面反射光成分の影響がもっとも小さい角度での反射率を拡散反射成分と定義した。よって、０度入射、６０度受光の反射率を拡散反射率とし、変角分光反射率から拡散反射率を引いた反射率を表面反射光成分とした。ここで、表面反射光成分の角度依存性は艶の広がりを表し、波長依存性は艶の色を示している。

白および黒ウレタン布地に化粧剤を塗布したサンプルに対して拡散反射成分と表面反射光成分を求めて反射率を比較した所、白および黒ウレタン布地からそれぞれ得られた表面反射光成分はほぼ同じ値になり、下地色に依存しないことが確認出来た。また、白色の被塗布体１４は化粧膜１３の透過成分を反射するため白ウレタン布地からの拡散反射成分には膜色成分と透過成分が含まれているが、黒色の被塗布体１５は化粧膜１３の透過成分を吸収するため黒ウレタン布地からの拡散反射成分には膜色成分しか含まれていないため、拡散反射成分１２と１２′との強度の差分を計算することにより、透過成分を求めることができる。

具体的には特許文献５でも記載されているクベルカ−ムンク方程式を用いることで膜色成分および透過成分を求める。

まず、化粧剤を塗布していない白および黒ウレタン布地の拡散反射率と化粧剤を塗布している白・黒ウレタン布地の拡散反射率から化粧塗膜の散乱係数×膜厚・吸収係数を求めることが出来る。確認として、求めた散乱・吸収係数を値から肌色布地に化粧剤を仮想的に塗布した時の反射率を推定した。その結果を、肌色布地に化粧剤を塗布し測定した拡散反射率と比較し良い一致を得ることが出来た。また、クベルカームンク理論から得られる拡散反射率は、散乱係数、吸収係数、下地の反射率で記述出来る方程式であるが、物理現象を考慮すると、化粧膜の透過率、化粧膜の膜色反射率と下地の拡散反射率の多重反射方程式で記述できるため（数１）、膜色成分と透過成分を求めることが出来る。

さらに、塗膜の厚みを定義することで、膜厚に依存しない散乱係数と吸収係数を得ることも出来るため、膜厚を仮想的に増減させた時の膜色成分や透過成分を求めることが出来る。

以上により、化粧塗膜体の変角分光反射率データから化粧膜分光データとして表面反射光成分、膜色成分、透過成分に得ることが出来る。

このようにして測定された表面反射光成分１１または１１′、膜色成分、透過成分の３つの成分と撮影時の被験者の顔の３次元形状、撮影時の光源条件を基に、化粧を施す前の被験者の顔を撮影して被験者の顔の表面で反射された表面反射光成分と内部で反射された内部反射光成分とに分離した顔画像データとを合成して化粧後の顔画像を生成する。

すなわち、本実施例における化粧後の顔画像は、
素肌画像×透過成分＋（膜色成分＋表面反射光成分）×光源強度 …（１）
として表される。すなわち、被験者の化粧前の顔画像である素肌画像に、透過成分を乗じることにより、化粧膜を透過して見える素肌画像の度合いを設定することができる。その上に、化粧膜の色味を表す膜色成分を加算し、さらに、化粧膜の艶を表す表面反射光成分１１または１１′を加算することによって、化粧後の顔画像を生成する。

クベルカームンク理論では多重反射まで考慮した形式になっているが、検討の結果下地による１回反射で十分な近似であることが分かった。
素肌画像は、
素肌の表面反射光成分＋素肌の内部反射光成分
として表される。すなわち、素肌の艶を表す表面反射光成分と素肌の色味を表す内部反射光成分とを加算することにより、素肌画像を生成することができる。

この時素肌成分に乗じる透過成分は、表面反射光成分と内部反射光成分に対して同じ透過成分である必要はなく、化粧状態に応じて変えることが出来る。すなわち、透過成分も直進透過成分と拡散透過成分に分けることが出来るため、それぞれを状況に応じて使い分ける必要がある。

例えば、化粧塗膜が厚い場合には直進透過成分は小さくなるため素肌の表面反射光成分は見えてこなくなる。そこで、素肌の表面反射光成分に対する直進透過率は０であると考えて、素肌の内部反射成分と化粧膜の拡散透過成分により化粧顔を作成することが望ましい。具体的には、
素肌画像＝素肌内部反射光成分×拡散透過成分＋（膜色成分＋表面反射光成分）×光源強度
となる。

本実施例では、膜色成分と表面反射光成分にそれぞれ光源７の光源強度を乗じている。これは異なる場所で異なる光源を用いて撮影を行う場合には、光源の強度は様々であることや被験者の顔の３次元形状に応じて素肌に照射される光の強度が顔の位置によって異なるためである。また、素肌画像を撮影する際には、より好ましい素肌画像を撮影するために、カメラのシャッタースピードや絞りを変化させる場合があるが、この場合はカメラのＣＣＤに入射する光の強度を状況に応じて変化しているので、この影響を補正するためにも光源強度を調整するのがよい。また、化粧膜光学データと素肌画像とは、通常、照明やカメラのシャッタースピード等が異なる条件下で計測されることが多いので、この場合には光源強度の整合を図ることを要する。

（第一実施例）
第一実施例は、化粧膜の３つの成分である表面反射光成分１１または１１′、膜色成分、透過成分の少なくとも１成分を変化させることによりシミュレーションを実施する例を説明する。

まず発明を実施するための最良の形態で示した流れに沿って、化粧膜光学データを作成し、そのデータと化粧前画像とを合成により化粧後画像の生成を行う。
Ｉ）化粧膜光学データの表面反射光成分、膜色成分、透過成分を求める。
１）白および黒ウレタン布地にファインフィト１１５（花王社製）１０ｍｇを白、黒色のウレタン布地１１０×５５ｍｍ^２に均一かつ平滑に塗布。
２）村上色彩製ＧＣＭＳ４を用いて、入射角を０〜６０度まで１０度間隔、反射角：−６０〜６０度まで１０度間隔、あおり角：０〜６０度まで２０度間隔で３９４点測定。
３）０度入射、６０度受光の反射率を拡散反射率とし、変角分光反射率から拡散反射率を引いた反射率を表面反射光成分とした。
塗布前の白および黒ウレタン布地の拡散反射率と、塗布後の白および黒ウレタン布地の拡散反射率は図４のようになる。図４のグラフは横軸に波長（ｎｍ）をとり、縦軸に拡散反射率をとる。また、生データも併せて示した。白および黒ウレタン布地に化粧剤を塗布したサンプルの表面反射率を強度分布（Ｙ値）で比較すると図５のようになり、表面反射光と拡散反射の分離は出来ていることが分かる。図５のグラフは横軸に受光角（度）をとり、縦軸に強度分布（Ｙ値）をとる。また、黒ウレタン布地に化粧剤を塗布したサンプルの表面反射率の結果として、入射角１０度に固定し受光角を−３０度〜６０度まで変角させた結果を図６により示す。図６のグラフは横軸に波長（ｎｍ）をとり、縦軸に表面反射率をとる。
４）塗布前の白および黒ウレタン布地の拡散反射率と、塗布後の白および黒ウレタン布地の拡散反射率からクベルカ−ムンクの式により、膜のみの反射率Ｒ⁰ _ef（膜色成分）と透過率Ｔ（透過成分）を波長に対して求めると図７のようになる。図７のグラフは横軸に波長（ｎｍ）をとり、縦軸に反射率および透過率をとる。
５）この得られた、表面反射成分、膜色成分、透過成分は波長表示（３９０−７３０ｎｍにおける値）であるため、実際に素肌画像と合成するには表面反射成分、膜色成分と透過成分を数２の式を用いてＸＹＺ色空間に変換する。

表１では、膜色成分と透過成分についてＸＹＺ色空間表示をした結果を示す。

次に、ＸＹＺ色空間からＲＧＢ色空間への色変換は白色光の色度とカメラ３原色の色度により求めることが出来、具体的には以下（数３）の線形変換で結ばれている。

II）素肌画像と表面反射光成分、膜色成分と透過成分を合成し化粧顔を作成する。
今回は化粧塗膜を厚く塗布しているため、化粧顔の作成は、前述した
素肌画像＝素肌内部反射光成分×拡散透過成分＋（膜色成分＋表面反射光成分）×光源強度
に基づいて合成していくが、素肌画像のＲＧＢ値はＣＣＤへの入射光量に比例していないため、入射光量に比例したＲＧＢ値に変換する必要がある。この変換関数は、マクベスチャートのような反射率特性が既知なサンプルを撮影することにより求めることが出来る。

また、膜色成分と表面反射光成分にそれぞれ光源強度を乗じている。これは異なる場所で異なる光源を用いて撮影を行う場合には、光源の強度は様々であることや被験者の顔の３次元形状に応じて素肌に照射される光の強度が顔の位置によって異なるためである。また、素肌画像を撮影する際には、より好ましい素肌画像を撮影するために、カメラのシャッタースピードや絞りを変化させるため、カメラのＣＣＤに入射する光の強度を状況に応じて変化させている。従って、この影響を補正するためにも光源強度は調整されなくてはならない。

これ以後の化粧画像作成の手法は従来のコンピューターグラフィックで用いられている手法と同じもので行うことが出来る。

この得られた画像に対して、艶の現れ具合を検証するための化粧後の顔画像を生成したいときには、艶の主な要因である表面反射光成分１１または１１′を変化させる。

例えば、図６にある表面反射率を全体的に２倍にすることで艶を増加した画像を作成することや、逆に表面反射率を０．５倍することで艶を減少した画像を作成することが出来る。

また、化粧膜の膜色成分は、化粧膜の色味を表す。したがって、色味の現れ具合を検証するための化粧後の顔画像を生成したいときには、膜色成分を変化させる。例えば、図７にある膜のみの反射率を２倍にすることで色味を濃くした画像を作成することや、逆に０．５倍にすることで色味を薄く調整することが出来る。

また、化粧膜の透過成分は、化粧膜を透過して見える素肌の度合いを表す。したがって、素肌の見え具合を検証するための化粧後の顔画像を生成したいときには、透過成分を変化させる。例えば、図７にある透過率を２倍にすることで素肌の度合いを増加した画像を作成することや、逆に０．５倍にすることで素肌の色味を隠蔽した画像を作成することが出来る。

第一実施例の化粧シミュレーション手順を示すフローチャートを図８に示す。図８に示すように、化粧シミュレーションにおいて、検証したい事項を選択する（Ｓ１）。検証したい事項が艶の現れ具合であれば（Ｓ２）、式（１）における表面反射光成分を変化させる（Ｓ３）。その結果として所望する画像が得られたら（Ｓ４）、処理を終了する。また、検証したい事項が色味の現れ具合であれば（Ｓ５）、式（１）における膜色成分を変化させる（Ｓ６）。その結果として所望する画像が得られたら（Ｓ７）、処理を終了する。また、検証したい事項が素肌の見え具合であれば（Ｓ８）、式（１）における透過成分を変化させる（Ｓ９）。その結果として所望する画像が得られたら（Ｓ１０）、処理を終了する。

実際の作業手順としては、順番に、表面反射光成分、膜色成分、透過成分を１つずつ徐々に変化させてゆき、所望する画像を得る。図８の例では、１回のフローで一つの検証事項を選択する例を示したが、艶と色味、艶と素肌の見え具合、色味と素肌の見え具合など、同時に複数の検証事項を組み合わせて選択することもできる。

（第二実施例）
第二実施例は、第一の化粧膜および第二の化粧膜における表面反射光成分１１または１１′、膜色成分、透過成分の値に基づいて二つの化粧膜のそれぞれの成分を内挿した化粧膜または外挿した化粧膜を用いて化粧シミュレーションを実施する例を図９ないし図１２を参照して説明する。

図９は内挿法を説明するための図である。図９は横軸に受光角（度）をとり縦軸に強度分布（Ｙ値）をとる。図９に示すように、第一の化粧膜と第二の化粧膜とを設定する。これらの化粧膜は、それぞれ異なる特徴を有する化粧膜とする。例えば、所望する化粧後の顔画像の条件として、艶は欲しいがテカリは押さえたい場合に、第一の化粧膜として、表面反射光成分の大きな化粧膜光学データを用意する。また、第二の化粧膜として、表面反射光成分の小さい化粧膜光学データを用意する。

そしてこのような異なる特徴を有する２つの化粧膜からなる化粧後の顔画像を表示部５に表示させておき、表面反射光成分の大きさをこれら２つの化粧膜光学データの間で変化させることで新たに顔画像を生成する。このようにして生成された複数の化粧後の顔画像の中から所望する画像に近いものを選択する。膜色成分、透過成分についても同様の考え方で行う。

図９の例は、内挿法により推定された化粧膜をＲとし、第一の化粧膜をＲ１とし、第二の化粧膜をＲ２としたときに、内挿設定値ｘ＝０．２の場合の例である。図９のグラフは、
Ｒ＝ｘＲ１＋（１−ｘ）Ｒ２
の数式に基づくものである。

図１０は、内挿法を用いた画像生成手順を示すフローチャートである。図１０に示すように式（１）を用いて、第一および第二の化粧膜光学データから化粧後の顔画像を生成し（Ｓ１１、Ｓ１２）、この二つの化粧後の顔画像を基にして内挿法により新たな化粧膜光学データを作成し化粧後の顔画像を生成する（Ｓ１３）。所望する化粧後の顔画像が得られるように（Ｓ１４）、内挿設定値（０〜１の実数）を変更する（Ｓ１５）。内挿法は、既存の化粧品の範囲内の特性を表現したいが最適な条件が見つけ難い場合に用いるのが望ましい。

図１１は外挿法を説明するための図である。図１１は横軸に受光角（度）をとり、縦軸に強度分布（Ｙ値）をとる。図１１に示すように、第一の化粧膜と第二の化粧膜とを設定する。これらの化粧膜は、それぞれ異なる特徴を有する化粧膜とする。例えば、所望する化粧後の顔画像の条件が、非常に艶が強い化粧顔であるがそのような条件を満足する化粧品が現実に存在しない場合に、第一の化粧膜として、表面反射光成分の大きな化粧膜を用意する。また、第二の化粧膜として、表面反射光成分の小さい化粧膜を用意する。このような異なる特徴を有する二つの化粧膜からなる化粧後の顔画像を表示部５に表示させておき、表面反射光成分の大きさをこれら２つの化粧膜光学データの範囲を超えて変化させることで新たに顔画像を生成する。ただし、不自然な艶にならないように、第一の化粧膜と第二の化粧膜の表面反射光成分の変化の延長線上にあるものを選択することが望ましく、図１１のような外挿を行う。このようにして生成された複数の化粧後の顔画像の中から所望する画像に近いものを選択する。外挿法は、既存の化粧品の特性を越えてはいるが、現行の特性の延長線上のものを見つけたい場合に望ましい方法である。

図１１の例は、外挿法により推定された化粧膜をＲとし、第一の化粧膜をＲ１とし、第二の化粧膜をＲ２としたときに、外挿設定値ｘ＝０．５の場合の例である。図１１のグラフは、
Ｒ＝ｘ（Ｒ１−Ｒ２）＋Ｒ１
の数式に基づくものである。

図１２は、外挿法を用いた画像生成手順を示すフローチャートである。図１２に示すように、第一および第二の化粧後の顔画像を生成し（Ｓ２１、Ｓ２２）、この２つの化粧後の顔画像を基にして外挿法により新たな化粧膜光学データを作成し化粧後の顔画像を生成する（Ｓ２３）。所望する化粧後の顔画像が得られるように（Ｓ２４）、外挿設定値（０以上の実数）を変更する（Ｓ２５）。

（第三実施例）
第三実施例は、化粧膜光学データの透過成分を直進透過成分と拡散透過成分とに分離し、それぞれの成分を被験者の顔画像の表面反射光成分および内部反射光成分と合成することにより化粧シミュレーションを実施する例を図１３ないし図１６を参照して説明する。図１３は、直進透過成分と拡散透過成分とを分離する方法を説明するための図である。

図１３に示すように、透明板１６の上に化粧膜１３を塗布し、入射光１０を照射する。このときに、入射光１０が直進して透明板１６を透過した出射光２１は、直進透過成分である。直進透過成分は、化粧膜を透過すると素肌に反射して再び化粧膜を透過して外に出るため、シミュレーションでは、素肌の艶（光沢）の見え方に関係する。

また、この直進透過成分以外の透過成分２２は、拡散透過成分である。シミュレーションでは、拡散透過成分は、シミやソバカスの隠蔽効果に関係する。図１４は第三実施例の化粧シミュレーション手順を示すフローチャートである。第三実施例の化粧シミュレーション手順は、図８に示した第一実施例の化粧シミュレーション手順のフローチャートにおけるステップＳ９の内部手順である。

すなわち、素肌の見え方を検証するときには（Ｓ８）、素肌を生かすメイクアップのような薄付化粧に対して見え具合を検証する場合と（Ｓ９１）、シミやソバカスの隠蔽（カバー）効果を検証する場合とがあり（Ｓ９３）、素肌を生かすメイクアップでは素肌の艶の見え具合が重要になるため（Ｓ９１）、直進透過成分を変化させることにより素肌の艶の見え具合を調整することができる（Ｓ９２）。また、シミやソバカスの隠蔽効果を検証する場合には（Ｓ９２）、拡散透過成分を変化させることによりシミやソバカスの隠蔽効果を調整することができる（Ｓ９３）。

このようにして、直進透過成分と拡散透過成分とを分けて調整することにより、所望する化粧後の顔画像を効率良く得ることができる。

また、直進透過成分の測定が難しい場合にも以下の考え方により、素肌の艶の特性を生かした化粧顔の作成が可能になる。

直進透過成分に起因する要因として化粧顔において化粧粉体に覆われていない割合（素肌率）と化粧膜を構成している粉体の特性がある。これは、素肌の上に薄く化粧剤を塗布すると直接素肌に到達する光の量が増大する現象と、たとえ素肌上に粉体が塗布されていたとしても粉体での光散乱が小さく透過性が高いため素肌に直進的に到着する光の量が維持される現象を意味している。

実際に化粧現象を観察すると、化粧粉体が素肌上に連続的にではなく素肌の凹凸（皮丘または皮溝）の形状に応じて離散的に被覆していることが確認出来るため、化粧粉体の素肌上の素肌率がＤＳＡ等の手段により測定された際には、化粧肌画像を以下の式で近似的に求めることも可能になる。

素肌画像＝素肌率×素肌画像＋（１−素肌率）×（素肌内部反射光成分×拡散透過成分＋（膜色成分＋表面反射光成分）×光源強度）
この効果を見るために、薄付（化粧塗膜の膜厚が薄い）化粧顔画像を「化粧塗膜光学データの透過成分を直進透過成分と拡散透過成分に分離して素肌画像と作成した場合」と、「化粧塗膜光学データの透過成分を分離しないで素肌画像と作成した場合」で比較した。その結果、「化粧塗膜光学データの透過成分を直進透過成分と拡散透過成分に分離した場合」の方が、素肌自身の艶の影響を強く反映させることが出来るため、現実に近い化粧顔を達成することが出来た。

（第四実施例）
第四実施例は、化粧膜の膜厚を変化に対応するように、前記表面反射光成分、膜色成分および透過成分を変化させて化粧膜光学データを作成し化粧顔画像を生成する化粧シミュレーションの実施例を説明する。

表面反射光成分についてはパール材を含有する化粧膜を例として考える。この場合には、膜厚が変化することで化粧膜中のパール材の量が増減するためパール光沢の強度が変化し表面反射光成分も変化する。よって、この含有量の変化に比例して表面反射光成分を変化させることで化粧膜光学データを作成し化粧顔画像を生成することが出来る。

また、膜色成分や透過成分は、前述したクベルカームンクの理論に基づいて膜厚変化に応じて作成する。そして、この作成した化粧膜光学データを用いて化粧顔画像を生成する。例えば第一実施例で用いたファンデーションの膜色成分（膜のみの反射率）と透過成分（透過率）は膜厚変化（相対値）に対して図１５および図１６のような振る舞いをする。図１５のグラフは横軸に膜厚（相対値）をとり、縦軸に膜色成分をとる。図１６のグラフは横軸に膜厚（相対値）をとり、縦軸に透過率をとる。

（第五実施例）
本実施例は、汎用の情報処理装置にインストールすることにより、その情報処理装置に本実施例の化粧シミュレーション装置に相応する機能を実現させるプログラムとして実現することができる。このプログラムは、記録媒体に記録されて情報処理装置にインストールされ、あるいは通信回線を介して情報処理装置にインストールされることにより当該情報処理装置に、図１に示す素肌画像データ抽出部２、化粧膜光学データ保持部３、化粧顔画像生成部４にそれぞれ相応する機能を実現させることができる。また、並列処理チップを備えた情報処理装置を用いることで、リアルタイムで化粧顔画像を作成することもでき、店頭でのアドバイスシステムとしても利用出来る。

本発明によれば、化粧後の顔画像を合成して生成する際に、従来技術と比較してさらに現実感を有する顔画像を合成して生成することができるため、化粧品の研究開発あるいは化粧方法の研究に利用することができる。

本実施例の化粧シミュレーション装置のブロック構成図。 外部顔画像データと内部顔画像データとを分離する方法を説明するための図。 化粧膜光学データの生成方法を説明するための図。 化粧膜の塗布前の白・黒ウレタン布地の拡散反射率と、塗布後の白・黒ウレタン布地の拡散反射率とを示す図。 白・黒ウレタン布地に化粧剤を塗布したサンプルの表面反射率を強度分布（Ｙ値）で比較する図。 黒ウレタン布地に化粧剤を塗布したサンプルの表面反射率の結果として、入射角１０度に固定し受光角を−３０度〜６０度まで変角させた結果を示す図。 膜のみの反射率Ｒ⁰ _ef（膜色成分）と透過率Ｔ（透過成分）を波長に対して求めた結果を示す図。 第一実施例の化粧シミュレーション手順を示すフローチャート。 内挿法を説明するための図。 内挿法を用いた画像生成手順を示すフローチャート。 外挿法を説明するための図。 外挿法を用いた画像生成手順を示すフローチャート。 直進透過成分と拡散透過性分とを分離する方法を説明するための図。 第四実施例の化粧シミュレーション手順を示すフローチャート。 ファンデーションの膜色成分（膜のみの反射率）の膜厚変化（相対値）に対する振る舞いを説明する図。 ファンデーションの透過成分（透過率）の膜厚変化（相対値）に対する振る舞いを説明する図。

符号の説明

１ カメラ装置
２ 素肌画像データ抽出部
３ 化粧膜光学データ保持部
４ 化粧顔画像生成部
５ 表示部
６ 操作部
７ 光源
8 ３次元形状測定装置
１０ 入射光
１１、１１′ 表面反射光成分
１２、１２′ 拡散反射成分
１３ 化粧膜
１４ 被塗布体（白色）
１５ 被塗布体（黒色）
１６ 透明板
２１ 出射光
２２ 透過成分
３０ 偏光板

Claims (10)

1. 化粧を施す前の被験者の顔画像を撮影するカメラ装置と、
   この撮影した顔画像から、顔の表面で反射された表面反射光成分からなる外部顔画像データと内部で反射された内部反射光成分からなる内部顔画像データとを抽出する手段と、
   前記被験者の顔の３次元形状を測定する手段と、
   化粧膜の表面で反射される表面反射光成分と化粧膜の内部で散乱されて反射される膜色成分と化粧膜を透過する透過成分とからなる化粧膜光学データを保持する手段と、
   前記化粧膜光学データと前記被験者の顔の３次元形状を前記外部顔画像データおよび内部顔画像データに合成して化粧後の顔画像を生成する手段と
   を備えたことを特徴とする化粧シミュレーション装置。
2. 前記化粧膜の３つの成分の少なくとも１成分を変化させて化粧膜光学データを作成する手段を備えた請求項１記載の化粧シミュレーション装置。
3. 第一の化粧膜および第二の化粧膜における前記３つの成分の値に基づいて二つの化粧膜のそれぞれの成分を内挿した化粧膜光学データまたは外挿した化粧膜光学データを作成する手段を備えた請求項１記載の化粧シミュレーション装置。
4. 前記保持する手段は、化粧膜の表面で反射される表面反射光成分と化粧膜の内部で散乱されて反射される膜色成分と化粧膜を透過する直進透過成分と化粧膜を透過する拡散透過成分とからなる化粧膜光学データを保持するものである請求項１記載の化粧シミュレーション装置。
5. 前記作成する手段は、化粧膜の膜厚変化に対応するように、前記表面反射光成分、膜色成分および透過成分を変化させて化粧膜光学データを作成するものである請求項２記載の化粧シミュレーション装置。
6. 色の異なる少なくとも２種の被塗布体に塗布した化粧膜の分光反射率から、化粧膜の表面で反射される表面反射光成分と、内部で散乱して反射される膜色成分と、化粧膜を透過する透過成分とからなら化粧膜光学データを求め、
   化粧を施す前の被験者の顔を撮影して被験者の顔の表面で反射された表面反射光成分と内部で反射された内部反射光成分とに分離した顔画像データを抽出し、
   前記抽出された顔画像データに前記３つの成分からなる化粧膜光学データを合成して化粧後の顔画像を生成する
   ことを特徴とする化粧シミュレーション方法。
7. 前記化粧膜光学データ膜の３つの成分の少なくとも１成分を変化させる請求項６記載の化粧シミュレーション方法。
8. 第一の化粧膜および第二の化粧膜における前記３つの成分からなる化粧膜光学データを求め、二つの化粧膜のそれぞれの成分を内挿した化粧膜光学データまたは外挿した化粧膜光学データを、前記抽出された顔画像データに合成して化粧後の顔画像を生成する請求項６記載の化粧シミュレーション方法。
9. 前記透過成分をさらに直進透過成分と拡散透過成分とに分離した化粧膜光学データを求め、これら４つの成分からなる該化粧膜光学データを前記抽出された顔画像データに合成して化粧後の顔画像を生成する請求項６記載の化粧シミュレーション方法。
10. 化粧膜の膜厚変化に対応するように、前記表面反射光成分、膜色成分および透過成分を変化させる請求項７記載の化粧シミュレーション方法。

Images