JP2010198382A - シミュレーション装置、シミュレーション方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】ツヤ有りタイプ、及びツヤ無しタイプのメイクアップ化粧料を皮膚に塗布する場合の仕上がりを、自然な質感を有するシミュレーション画像として模擬することが可能なシミュレーション装置、シミュレーション方法、及びコンピュータプログラムを提供する。
【解決手段】本発明のシミュレーション装置は、化粧料の塗布による質感の変化を被験者の素顔の画像に与えるための重み付け係数を、事前処理により決定する。事前処理として、化粧前及び化粧後のモデルの肌画像を、ウェーブレット変換によるサブバンド分解により異なる周波数成分を有する画像に分解し、分解画像の標準偏差に基づいて重み付け係数を決定するとともに、当該標準偏差に基づいて、化粧料がツヤ有りタイプと判定すると、決定した当該重み付け係数の一部を補正する。
【選択図】図１

Description

本発明は、シミュレーション装置、シミュレーション方法及びコンピュータプログラムに関するものである。

一般的に、顧客がファンデーション等のメイクアップ化粧料を購買する場合には、化粧料を皮膚へ塗布することにより、毛穴、しみ、及びそばかす等がどのように目立たなくなるか、及び、素肌のツヤがどのように変化するかが重要な評価項目となっている。そのような項目を顧客が実際に評価するためには、メイクアップ化粧料を皮膚へ塗布した場合の仕上がりを確認する必要がある。

メイクアップ化粧料を皮膚に塗布した場合の仕上がりは、化粧料そのものの色のみならず、素肌の色の影響を受ける。これは、人の皮膚が主として皮膚表面（角層）及び皮膚内部（表皮、真皮、皮下組織）の２層に分かれており、これらが各々異なる散乱係数や吸収係数を有していることに起因している。すなわち、皮膚表面での光の反射、及び、皮膚内部での光の吸収、反射、透過等の影響によって、皮膚に化粧料を塗布した場合の色合いは、化粧料固有の色合いとは異なったものになる。従って、顧客は、メイクアップ化粧料そのものの色合いのみで仕上がりを確認することはできないため、実際に化粧料を皮膚に塗布して確認する必要がある。

これに対し、化粧料を皮膚に塗布した場合の仕上がりを、実際に化粧料を塗布することなく簡易に確認可能とするため、その仕上がりをコンピュータ上でシミュレーションするための手法が従来より検討されている。

例えば、特許文献１では、クベルカ・ムンクの式を化粧料塗膜に適用し、化粧肌の肌色を推定する手法が提案されている。特許文献２では、塗膜の表面反射光成分、内部散乱光成分、及び透過光成分を予め計測し、それらを用いてクベルカ・ムンクの式により、塗膜の内部散乱光成分や透過光成分を推定し、化粧顔を合成する方法が提案されている。特許文献３では、偏光を用いて顔画像を撮影して得た画像データを、独立成分分析によりメラニン成分内部反射光画像とヘモグロビン成分内部反射光画像とに分解し、メラニン成分内部反射光画像に対するウェーブレット変換により得られる各周波数成分のコントラストを選択的に変化させることにより、肌の色ムラを変化させるシミュレーション方法が提案されている。また、特許文献４では、偏光を用いて顔画像を撮影して得た画像データから、独立成分分析により鏡面反射光成分のデータを取り出して、ウェーブレット変換による多重解像度解析により得られる各周波数成分データに変更操作を施した後、当該データを再合成する手法が提案されている。

特開平１−４７７２６号公報 特開２００６−２３９２１号公報 特開２００５−２９３２１４号公報 特開２００５−４４６８号公報

しかしながら、近年、ファンデーション等のメイクアップ化粧料には、マット（ツヤ無し）タイプ、光沢（ツヤ有り）タイプ等の様々な種類のメイクアップ化粧料が販売されている。そのような様々なメイクアップ化粧料を皮膚に塗布した場合の仕上がりを、上述の従来技術によりシミュレーションする場合、以下のような問題がある。

例えば、特許文献１では、クベルカ・ムンクの式に基づく化粧肌の推定によって、肌色の模擬はある程度可能であるものの、ツヤ有りタイプの化粧料を塗布した場合の質感を表現することはできない。特許文献２では、化粧肌を推定する際に、化粧膜が薄くなりやすい部分の透過光成分が多くなるように調整することで、素肌のツヤの現れ具合を調整する手法が開示されているが、ツヤ感を高めると不自然なシミュレーション結果となりやすく、また、画素ごとに色推定を行うため、処理時間が多くなってしまう。特許文献３では、色ムラに関してある程度の模擬は可能だが、ツヤ有りタイプの化粧料を塗布した場合のように、質感を変化させた場合のシミュレーションは実現できていない。また、特許文献４では、ウェーブレット変換後の高周波成分を増減させることにより、肌の質感を変化させる手法が開示されているが、ツヤ有り及びツヤ無しタイプ等のメイクアップ化粧料に応じて化粧肌を模擬する具体的な手法は開示されていない。

上述のように、提案手法ではツヤ有りタイプのメイクアップ化粧料を皮膚に塗布する場合の仕上がりを、自然な質感が表現されたシミュレーション画像として模擬することができないという問題がある。

本発明は、上述の問題に鑑みてなされたものであり、ツヤ有りタイプのメイクアップ化粧料を皮膚に塗布する場合の仕上がりを、自然な質感を有するシミュレーション画像として模擬することができるシミュレーション装置、シミュレーション方法、及びコンピュータプログラムを提供することを目的としている。

上記の課題を解決するために、本発明は、例えば、シミュレーション装置として実現できる。シミュレーション装置は、被験者の化粧前の顔画像に画像処理を施して化粧後の仕上がりをシミュレーションするものであって、化粧料の塗布による質感の変化を当該顔画像に対して与えるための重み付け係数を、当該化粧料を事前に評価することにより決定する。すなわち、シミュレーション装置は、大きく分けて、化粧料を評価するための事前処理と、事前処理における評価結果を用いて被験者の化粧後の顔画像をシミュレーションするシミュレーション処理とを実行する。

シミュレーション装置は、化粧料を予め評価するための事前処理手段と、事前処理手段における評価結果を用いて被験者の化粧後の顔画像をシミュレーションするシミュレーション手段とを備える。事前処理手段は、モデルの素肌に対して化粧料を塗布していない状態を撮影して取得した画像データから肌領域のデータである第１の画像データを抽出し、化粧料を塗布した状態を撮影して取得した画像データから肌領域のデータである第２の画像データを抽出する抽出手段と、第１の画像データ及び第２の画像データをそれぞれウェーブレット変換によるサブバンド分解により異なる周波数成分に対応した複数レベルの第１の分解画像データ及び第２の分解画像データに分解する第１の分解手段と、第１の分解画像データ及び第２の分解画像データにおける、各画素値の標準偏差を算出する算出手段と、第１の分解画像データ及び第２の分解画像データにおける各レベルの標準偏差の比率から、各レベルに与える重み付け係数を決定する決定手段と、異なる周波数成分のうち高周波成分に対応する所定の範囲に属するレベルについて、第２の分解画像データの標準偏差が第１の分解画像データの標準偏差よりも大きいか否かを判定する判定手段と、判定手段により、所定の範囲に属するレベルの全てについて、第２の分解画像データの標準偏差が第１の分解画像データの標準偏差よりも大きいと判定されると、所定の範囲に属するレベルにおける重み付け係数を補正する補正手段とを備えることを特徴とする。また、シミュレーション手段は、被験者の化粧料塗布後の顔画像のシミュレーションにおいて、事前処理手段により決定された重み付け係数を用いて化粧料の塗布による質感の変化をシミュレーションすることを特徴とする。

本発明によれば、例えば、ツヤ有りタイプのメイクアップ化粧料を皮膚に塗布する場合の仕上がりを、自然な質感を有するシミュレーション画像として模擬することが可能なシミュレーション装置、シミュレーション方法、及びコンピュータプログラムを提供できる。

本発明の実施形態に係るシミュレーション装置のブロック構成例を示す図である。 本発明の実施形態に係るシミュレーション装置における事前処理の手順を示すフローチャートである。 本発明の実施形態に係るシミュレーション装置におけるシミュレーション処理の手順を示すフローチャートである。 、 、 事前処理において用いる、モデルの素肌に化粧料を塗布していない状態及び塗布した状態における頬部の各サンプル画像である。 、 、 事前処理において用いる、モデルの素肌に化粧料を塗布していない状態及び塗布した状態における口横部の各サンプル画像である。 頬部のサンプル画像データを分解した各レベルの分解画像における画素値（Ｇ値）の標準偏差を示す図である。 口横部のサンプル画像データを分解した各レベルの分解画像における画素値（Ｇ値）の標準偏差を示す図である。 被験者の頬部分の素肌画像であって、本実施例に係る画像処理を施す前の画像を示す図である。 被験者の頬部分の素肌画像に対して、補正前の重み付け係数を用いて画像処理を施した場合のシミュレーション画像を示す図である。 被験者の頬部分の素肌画像に対して、補正後の重み付け係数を用いて画像処理を施した場合のシミュレーション画像を示す図である。

以下では、図１乃至図７を参照して、本発明における実施形態について説明する。

＜シミュレーション装置の構成＞
図１は、本発明の実施形態に係るシミュレーション装置１００のブロック構成例を示す図である。シミュレーション装置１００は、大きく分けて、事前処理部１０１、撮影部１０２、画像処理部１０３、表示部１０４及び操作部１０５を備える。また、画像処理部１０３は、記憶部１１１、分離部１１２、色変換部１１３、画像変換部１１４、及び合成部１１５を備える。

シミュレーション装置１００は、撮影部１０２において被験者の素顔を撮影し、取得した顔画像の画像データに対して画像処理部１０３で所定の画像処理を施すことにより、被験者の顔にメイクアップ化粧料（以下では、「化粧料」と称する。）を塗布した場合の仕上がりをシミュレーションする。さらに、シミュレーション装置１００は、シミュレーション結果の画像を表示部１０４に表示することにより、被験者が当該画像を確認できるようにする。

（事前処理部１０１）
事前処理部１０１は、シミュレーション対象の化粧料に関する特性を評価することにより、シミュレーションにおいて必要となるデータを取得するための事前処理を実行する。具体的には、被験者の顔画像（素顔画像データ）に対して化粧料を施した場合の質感の変化を付加するための重み付け係数を、化粧料の評価結果に基づいて決定する。さらに、決定した重み付け係数を記憶部１１１へ記憶させる。

（記憶部１１１）
記憶部１１１は、事前処理部１０１が決定した化粧料ごとの重み付け係数を記憶する。また、記憶部１１１は、シミュレーションが実行される場合に、操作部１０５を用いた操作者の操作に基づいて選択された化粧料の重み付け係数を、画像変換部１１４に与える。なお、色変換部１１３における処理に必要な化粧料に関する種々のデータに関しても、記憶部１１１は予め記憶しておく。

（撮影部１０２）
撮影部１０２は、被験者の顔画像を撮影するための装置であり、例えばデジタルスチルカメラやデジタルビデオカメラとして構成することができる。撮影部１０２において、化粧を施していない被験者の素顔の全体が、所定のサイズ及び解像度で撮影されることにより、ＲＧＢ値等の形式でデジタル化された顔画像データが取得される。当該顔画像データに対して画像処理部１０３において画像処理が施されることによって、被験者の顔に化粧料を塗布した場合のシミュレーション画像が生成される。なお、撮影部１０２で一度撮影された顔画像データを、記憶部１１１やネットワーク上のデータベース等に記憶しておくことで、新たに撮影部１０２で顔画像を撮影することなく、それらからデータを取得できるようにしてもよい。

（分離部１１２）
分離部１１２は、取得された素顔画像データを、肌の部分（肌領域）の画像データである肌画像データと、肌領域以外の部分の画像データとに分離する。なお、肌領域以外の領域は、顔部分以外の背景領域と、目、髪の毛、眉毛、鼻の穴、唇等のパーツ領域とから成る。分離方法は、例えば、画像の中心部から、外側に向けて画像を走査し、肌領域と肌領域以外の領域との境界部分における画素値の変化を検出し、当該検出結果に基づいて分離することによって実現できる。分離された肌画像データは、色変換部１１３及び画像変換部１１４において、所定の画像処理が施される。一方、背景領域及びパーツ領域の画像データは、合成部１１５において、顔画像データを合成するために用いられる。

（色変換部１１３）
色変換部１１３は、まず、分離された肌画像データの各画素の基本色を、化粧料に応じて素肌色から化粧肌色に変換する。ここで、素肌色とは、化粧料塗膜の下地となっている皮膚の色であり、化粧肌色とは、化粧料を塗布した皮膚の色をいう。

具体的には、色変換部１１３は、肌画像データにおいて所定の肌領域における各画素値（R, G, B）をＲ、Ｇ、Ｂそれぞれについて平均し、素顔の基本色（R_n, G_n, B_n）を算出する。色変換部１１３は、肌画像データの全領域の各画素（R, G, B）について、素肌の基本色（R_n, G_n, B_n）と化粧肌色の基本色（R_f, G_f, B_f）を用い、次の式（１）により、変換後の各画素値（R', G', B'）を求める。

これにより、肌画像データの各画素において、肌表面の形状を反映した陰影情報が残された状態で、素肌色から化粧肌色に変換される。ここで、化粧肌色の基本色（R_f, G_f, B_f）は、化粧料を塗布した被験者の肌（化粧料塗布肌）の分光反射率R_a(λ)が推定されることにより、以下のように求められる。

１）化粧料塗布肌の分光反射率R_a(λ)の推定
化粧料塗布肌の分光反射率R_a(λ)は、クベルカ・ムンク理論に基づいて求められる。具体的には、分光反射率R_a(λ)は、素肌層の分光反射率R_b(λ)、化粧料の散乱係数S_f(λ)及び吸収係数K_f(λ)、皮膚に塗布された化粧料層の厚みD_f、並びに化粧料層表面と空気層の境界面反射率R_i(λ)から求められる。まず、化粧料層の分光反射率R_f(λ)及び分光透過率T_f(λ)が、化粧料の散乱係数S_f(λ)、吸収係数K_f(λ)、及び厚みD_fを用いて次式により求められる。

さらに、化粧料塗布肌の分光反射率R_a(λ)は、R_b(λ)、R_i(λ)、並びに式（２）により求めたR_f(λ)及びT_f(λ)に基づいて、次式により推定される。

ここで、化粧料の散乱係数S_f(λ)及び吸収係数K_f(λ)に関しては、下地の色を完全に遮蔽する十分厚い塗膜の分光反射率R_∞(λ)、下地が透けるような薄い塗膜の分光反射率R₀(λ)及びその厚みD₀、並びに下地の分光反射率R_g(λ)に基づいて、次式により予め求めておく。

なお、素肌層の分光反射率R_b(λ)に関しては、測色計を用いて、被験者の素肌を計測しておく必要がある。そのためには、例えば、被験者の肌で事前に計測した値を、被験者の肌の色情報としてシミュレーション装置１００に入力できるようにすればよい。あるいは、一度入力された値を記憶部１１１に記憶させておき、その値をシミュレーションで再利用できるようにしてもよい。また、化粧料固有の各分光反射率R_∞(λ)、R₀(λ)、及びR_g(λ)に関しても、予め計測しておく必要がある。これらの値についても、予め各化粧料に関して測色計を用いて計測し、計測値を記憶部１１１に記憶させておくことにより、シミュレーションで利用できるようにすればよい。

一方、化粧料層の厚みD_fは人により塗り方や好みにより個人差が大きく、また、塗膜表面と空気層の境界面反射率R_i(λ)は化粧料を塗布する前の皮膚の滑らかさや化粧のり加減によって変わる。従って、D_f及びR_i(λ)を実際に計測することは困難である。そこで、例えば、シミュレーション装置１００への入力により、D_f及びR_i(λ)として大よその値を設定してもよいし、予めデフォルト値を設定してもよい。また、被験者に対するアンケート等により、当該デフォルト値をインタラクティブに調整できるようにしてもよい。

２）化粧料塗布肌の分光反射率R_a(λ)に基づく変換処理
色変換部１１３は、推定した分光反射率R_a(λ)に基づいて、化粧肌色の基本色（R_f, G_f, B_f）を求める。R_a(λ)は、色の表示に用いる光源下におけるＣＩＥＸＹＺ表色系の三刺激値ＸＹＺに変換された後、式（５）の線形変換により、ＲＧＢ値へ変換される。なお、色の表示に用いる光源は、光源の分光分布Ｓ(λ)が既知であれば、標準光源でなくても問題ない。

ＲＧＢ値への色変換は、表示部１０４（ディスプレイ）の色再現特性に合わせて、補正を行う必要がある。例えば、式（６）に完全拡散反射面の三刺激値(X_n, Y_n, Z_n)及び、色の表示に用いる光源の分光分布Ｓ(λ)、ＸＹＺ表色系における等色関数(x(λ), y(λ), z(λ))を代入することで得られるC_x、C_y、C_zで補正する。なお、式（６）における分光分布及び等色関数には、可視光領域４００〜７００（ｎｍ）の範囲でＮ（ｎｍ）ごとの波長λ_pでサンプリングした情報を用いる。Ｎは使用する測色計の仕様に合わせる。

（画像変換部１１４）
画像変換部１１４は、化粧肌色に変換された肌画像データを、ウェーブレット変換によるサブバンド分解によって複数の周波数成分に分解する。さらに、各周波数成分に対して所定の処理を施した後、それらに基づいて肌画像データを再構成する。より具体的には、画像変換部１１４では以下の処理が実行される。

まず、画像変換部１１４は、肌画像データを、ウェーブレット変換によるサブバンド分解により複数の空間周波数帯域に対応する複数レベル画像データに分解する。ここで、サブバンド分解とは、解析対象の画像を、複数の帯域に分割する一般的な手法である。画像は２次元のデータであるため、画像データを対象に、ウェーブレット変換によるサブバンド分解を行うことは、一方向に対して元信号を高周波成分と低周波成分に分割し、更に、その結果を別方向から高周波成分と低周波成分に分解する操作を繰り返すことと等価であるため、多重解像度解析とも呼ばれる。本実施形態では２次元の離散ウェーブレット変換を用いるとともに、ウェーブレット基底はドベシィ（Ｄａｕｂｅｃｈｉｅｓ）関数を用いる。ドベシィのウェーブレット変換では、次数Ｎが大きくなるほど低周波領域と高周波領域との遮断特性（分離の度合い）が強くなり、一般的にはＮ＝２〜１０が用いられる。なお、本願で用いた解像度の肌画像データでは、Ｎを８以上に設定しても実施結果に大きな差がないことを確認しているため、本実施形態ではＮ＝８としている。

所定のサイズの画像データに対してサブバンド分解が１回実行されると、当該画像データは、レベル１のデータとして、低周波の空間周波数成分を含むＬＬ成分と、高周波の空間周波数成分を含むＬＨ、ＨＬ、ＨＨの３成分に分解される。ＬＨは水平成分の高周波成分、ＨＬは垂直成分の高周波成分、ＨＨは対角成分の高周波成分を示している。さらに、レベル１のデータにおける低周波のＬＬ成分に対してのみサブバンド分解を実行すると、レベル２のデータとして、１つの低周波成分と、３つの高周波成分に分解される。以上のサブバンド分解が所定の回数繰り返されることにより、肌画像データは、複数レベルの周波数成分のデータに分解される、またレベルが大きくなるほど低周波成分の寄与が大きくなる。

分解された各レベルのデータは、肌画像データにおける異なる周波数成分を表現している。当該データにおいて、低周波の周波数成分は、被験者の顔全体の立体的な形状を表す成分であり、高周波の周波数成分は、肌表面に存在するキメ、毛穴といった細かい凹凸、及び形状を表す成分である。そこで、画像変換部１１４は、化粧料を肌に塗布した場合の仕上がりの質感を肌画像データに付加するために、周波数成分ごとに、シミュレーション対象の化粧料に応じて値を変化させる。すなわち、画像変換部１１４は、シミュレーション対象の化粧料の重み付け係数を記憶部１１１から読み出すとともに、分解したレベルごとに、高周波の３つの成分に含まれる全てのデータに対し、当該重み付け係数を一様に乗算する。なお、サブバンド分解及び重み付け処理は、各画素のＲＧＢ値の各値について実行される。

その後、画像変換部１１４は、重み付け処理を施した各レベルのデータを用いてウェーブレット逆変換を実行することにより、肌画像データを再構成する。

（合成部１１５）
合成部１１５は、再構成された肌画像データに対して、分離部１１２で分離した背景領域及びパーツ領域の画像データを合成する。これにより、被験者の顔画像全体のシミュレーション画像が生成される。

（表示部１０４）
表示部１０４は、合成されたシミュレーション画像をシミュレーション結果として表示する。これにより、被験者は、自らの素顔に対してシミュレーション対象の化粧料を塗布した場合の仕上がりを、シミュレーション結果として確認することができる。

＜事前処理の手順＞
次に、図２を参照して、本発明における大きな特徴の一つである事前処理部１０１における事前処理の詳細と、その処理手順について説明する。図２は、本発明の実施形態に係るシミュレーション装置１００における事前処理の手順を示すフローチャートである。

ステップＳ１０１で、事前処理部１０１は、撮影部１０２が撮影した被塗布体のモデルの肌に化粧料を塗布していない状態の素顔の画像を顔画像データとして取得する。また、同様に、事前処理部１０１は、撮影部１０２が撮影した、モデルの素肌に対して評価対象の化粧料を塗布した状態の顔画像も顔画像データとして取得する。その後、ステップＳ１０２へ移行する。

ステップＳ１０２で、事前処理部１０１は、化粧料を塗布していない状態の素顔画像データから、肌領域の一部分の画像データ（第１の画像データ）を所定のサイズで抽出する。また、事前処理部１０１は、化粧料を塗布した状態の顔画像データからも、同様に、同一部位の画像データ（第２の画像データ）を所定のサイズで抽出する。なお、ステップＳ１０２における肌領域の一部分としては、例えば、モデルの頬部や口横部等が選択される。その後、ステップＳ１０３へ移行する。

ステップＳ１０３で、事前処理部１０１は、第１の画像データに対して、ウェーブレット変換により、サブバンド分解を実行する。また、第２の画像データに対しても同様に、サブバンド分解を実行する。各々の画像データは、サブバンド分解により、異なる空間周波数帯域に対応する複数のレベル画像（成分データ）に分解される。その後、ステップＳ１０４へ移行する。ここで、サブバンド分解として、画像変換部１１４における処理と同様、ドベシィのウェーブレットに基づく２次元離散ウェーブレット変換が用いられる。なお、後述する具体例では、各画像データをレベル１〜８の８つのレベルに分解している。なお、画像データの各画素値はＲＧＢ値の各値（Ｒ値、Ｇ値、及びＢ値）から成るため、事前処理部１０１は、ステップＳ１０３以降の処理を当該値ごとに実行する。

ステップＳ１０４で、事前処理部１０１は、第１の画像データのレベルごとに、低周波のＬＬ成分のデータを全て０にして、ウェーブレット逆変換によるサブバンド合成を実行し、画像を再構成する。これにより、事前処理部１０１は、高周波の３つの成分データのみを取り出した各レベルの分解画像データ（第１の分解画像データ）を生成する。また、事前処理部１０１は、第２の画像データに対しても同様の処理を施すことにより、各レベルの分解画像データ（第２の分解画像データ）を生成する。その後、ステップＳ１０５へ移行する。

ステップＳ１０５で、事前処理部１０１は、各レベルの第１の分解画像データに含まれる画素値の標準偏差を算出する。また、事前処理部１０１は、各レベルの第２の分解画像データに関しても、同様の処理を実行する。その後、ステップＳ１０６へ移行する。ここで、標準偏差は、分解画像データに含まれる画素値のばらつきの度合いを示し、これは、肌表面の凹凸及び形状を反映した陰影の鮮明さの度合いを示している。従って、標準偏差は、化粧肌及び素肌がどのような状態（質感）を有するかを把握するための指標となる。

ステップＳ１０６で、事前処理部１０１は、各レベルにおける第１の分解画像データの標準偏差と第２の分解画像データの標準偏差とに基づいて、各レベルにおける比率を算出する。さらに、算出した各比率を、各レベルにおける重み付け係数と決定する。すなわち、素肌の状態から化粧肌の状態への標準偏差の変化は、化粧料を塗布したことによる質感の変化に相当するため、事前処理部１０１は、これを被験者の肌画像データに乗算する重み付け係数と決定する。

一般的に、肌の質感を調整することは、ファンデーション類の化粧料にとって非常に重要である。この肌の質感は、ツヤのないマットな仕上がりと、ツヤのある仕上がりの２種類に大きく分けられる。ツヤのある仕上がりとすることが可能なファンデーションは、肌への入射光を一定方向へ強く反射させることにより肌に奥行き感を出して明るく見せるとともに、立体感のある見え方とする効果がある。また、化粧肌の質感がツヤのある仕上がりの場合には、肌表面の皮溝や皮丘（キメ）がはっきりした状態となっている。

ところが、ツヤ有りタイプの化粧料の場合、ステップＳ１０６で決定した標準偏差の比率に基づく重み付け係数をそのまま重み付け処理に使用すると、肌表面のキメ又は毛穴を反映した陰影が過度に強調されたり、またノイズが発生する結果となり、不自然な画像が生成される問題がある。そのため、事前処理部１０１は、その後のステップＳ１０７以降で、評価対象の化粧料がツヤ有りタイプか否かを判定し、ツヤ有りタイプであると判定した場合には、重み付け係数を補正する。一方で、当該化粧料がツヤ無しタイプであると判定した場合には、重み付け係数を補正せず、標準偏差の比率のまま重み付け処理に使用する。

ステップＳ１０７で、事前処理部１０１は、高周波数帯域に対応する所定の範囲に属する各レベルにおいて、第２の分解画像データの標準偏差と第１の分解画像データの標準偏差とを比較し、第２の分解画像データの標準偏差の方が大きいか否かを判定する。ここで、所定の範囲に属するレベルとは、キメ又は毛穴の大きさに対応する高周波成分の各レベルに相当する。評価対象の化粧料がツヤ有りタイプの場合、肌表面のキメがはっきりとした状態へ変化することから、当該レベルにおいて標準偏差も増加する。従って、事前処理部１０１は、当該レベルにおいて化粧料の塗布前後で標準偏差が増加しているか否かにより、評価対象の化粧料がツヤ有りタイプか否かを判定することが可能である。

なお、化粧料の判定は細かな陰影情報変化を捉えやすいＧ値又はＢ値で行うことが望ましい。当該判定処理の結果、化粧料がツヤ有りタイプ場合はステップＳ１０８へ移行し、ツヤ無しタイプの場合はステップＳ１０９へ移行する。

なお、高周波成分に対応する何れのレベルが肌表面のキメ又は毛穴に対応するかは、画像の解像度に依存する。このため、ステップＳ１０７で判定するレベルの範囲は、撮影条件に応じて予め定められる。また、設定した全てのレベルにおいて標準偏差が大きいと判定した場合に、事前処理部１０１は、ツヤ有りタイプの化粧料であると判定する。

ステップＳ１０８で、事前処理部１０１は、判定処理を実行した所定の各レベルにおける、ステップＳ１０６で決定した重み付け係数を補正する。具体的には、事前処理部１０１は、当該所定のレベルにおいて、その重み付け係数を低減する補正を実行する。当該補正においては、事前処理部１０１に対し、化粧料に応じてレベルごとに所定の値が設定されるとともに、事前処理部１０１は、それらの値によって重み付け係数を減算することによって補正することが望ましい。また、それらの設定値は、化粧料ごとに異なっていてもよいし、複数の化粧料で共通であってもよい。なお、重み付け処理後のシミュレーション画像にノイズが発生しない重み付け係数の範囲の上限値を、レベルごとに予め事前処理部１０１に記憶させておき、ステップＳ１０６で計算された重み付け係数が当該上限値を超えない範囲へ補正するようにしてもよい。当該補正処理の後、ステップＳ１０９へ移行する。

ここで、画像データのＲＧＢ値において、Ｒ値は肌全体の明るさを、Ｇ値及びＢ値は肌の細かな陰影情報、及び局所的に現れるツヤ（ハイライト）による明度差によって生じる陰影情報を表す傾向があるため、Ｒ値に関する重み付け係数を１程度とし、Ｇ値及びＢ値に関する高周波の所定の範囲に属するレベルの重み付け係数のみを補正するようにしてもよい。

また、化粧料の訴求点にニキビ等の肌トラブルをカバーする効果（カバー効果）がある場合、その肌トラブルに対応するＧ値又はＢ値のレベルの重み付け係数を、１未満の値へ補正することが望ましい。

さらに、所定の範囲に属するレベル以外の低周波の周波数成分は、化粧料の塗布前後における肌の質感の変化における影響が少ないため、対応する各レベルにおける重み付け係数を１としてもよい。これにより、当該レベルにおける重み付け処理に係る乗算を省略することができる。

ステップＳ１０９で、事前処理部１０１は、決定した各レベルの重み付け係数を記憶部１１１へ記憶し、事前処理を終了する。

＜シミュレーション処理の手順＞
次に、上述のシミュレーション装置１００における、事前処理で決定した重み付け係数を用いるシミュレーション処理について、その流れを簡単に説明する。図３は、本発明の実施形態に係るシミュレーション装置１００におけるシミュレーション処理の手順を示すフローチャートである。

ステップＳ２０１で、シミュレーション装置１００は、シミュレーションに用いる被験者の素顔の顔画像データを取得する。シミュレーション装置１００は、操作部１０５を用いた操作者の操作に基づいて撮影部１０２で被験者の素顔を撮影することにより、顔画像データを取得することができる。なお、記録媒体を介してシミュレーション装置１００に入力したり、ネットワークを介してデータベース等からダウンロードすることにより、顔画像データを取得するようにしてもよい。その後、ステップＳ２０２以降の、画像処理部１０３における画像処理へ移行する。

ステップＳ２０２で、分離部１１２は、被験者の顔画像データを、肌画像データと、肌領域以外の領域である背景領域及びパーツ領域とに分離する。さらに、ステップＳ２０３で、色変換部１１３は、クベルカ・ムンク理論に基づく上述の処理により、肌画像データの各画素値を化粧肌色に変換する。その後、ステップＳ２０４へ移行する。なお、背景領域及びパーツ領域の画像データはステップＳ２０７において用いられる。

ステップＳ２０４で、画像変換部１１４は、まず、化粧肌色変換後の肌画像データに対してウェーブレット変換によるサブバンド分解を実行する。これにより、画像変換部１１４は、異なる周波数帯域に対応した各レベルの成分データをＲＧＢ値ごとに取得する。画像変換部１１４は、ステップＳ２０５で、取得したＲＧＢ値ごとの各レベルの成分データの各々に対して、重み付け係数を個別に乗算することにより、重み付け処理を実行する。これにより、肌画像データに対して、化粧料を肌に塗布することによる質感の変化が与えられる。その後、ステップＳ２０６で、画像変換部１１４は、各レベルのＲＧＢ値ごとの成分データを、ウェーブレット逆変換により、肌画像データへ再構成する。その後、ステップＳ２０７へ移行する。

ステップＳ２０７で、合成部１１５は、質感の変化が与えられた肌画像データと、背景領域及びパーツ領域の画像データとを合成することにより、化粧後の顔画像データを生成する。シミュレーション装置１００は、生成された顔画像データを表示部１０４で表示することが可能である。なお、表示部１０４は、各種光源下での色再現が可能なように、キャリブレーションされている。被験者は、生成されたシミュレーション画像を確認することにより、実際に化粧料を自らの肌に塗布することなく、化粧後の仕上がりを知ることができる。

次に、具体的な実施例を挙げて本発明について説明する。

＜事前処理（化粧料の評価）＞
本実施例では、ツヤ有りタイプのファンデーション（化粧料１）と、ツヤ無しタイプのファンデーション（化粧料２）とを、被験者の素顔に塗布した場合の仕上がりをシミュレーションする。事前処理として、被塗布体のモデルの肌に対し、化粧料１と化粧料２をそれぞれ一定の厚さで塗布し、それらを評価する。

まず、モデルの素肌に化粧料を塗布していない状態と、化粧料１を塗布した状態及び、化粧料２を塗布した状態の顔画像をデジタルカメラで撮影する。さらに、取得した各顔画像データの肌領域から、頬部及び口横部における所定のサイズの画像データ（２５６×２５６ピクセル、２４ビットフルカラー、ＢＭＰ形式）を抽出し、それらをサンプル画像データとする。なお、本実施例では、約０．２（ｍｍ／１ピクセル）の解像度でモデルのサンプル画像データを取得する。

なお、撮影の際に、所定の解像度で撮影するために、モデル及び被験者にスケールを持たせて撮影する。これにより、若干のブレ等に起因して、解像度に誤差が生じる場合があるが、本実施例では、解像度が０．１９２〜０．２５（ｍｍ／１ピクセル）に収まるように、サンプル画像を撮影している。

一般的に、人の皮溝間隔は約０．２〜０．８（ｍｍ）であるため、当該サンプル画像データをサブバンド分解した場合、レベル１〜３はキメ情報（皮丘、皮溝に基づく陰影情報）に対応し、レベル４は比較的大きな毛穴に対応する。すなわち、当該撮影条件によれば、取得したサンプル画像データにおけるレベル１〜４は、ファンデーションの効果が現れやすいキメ、毛穴に対応する。従って、本実施例に係る事前処理では、化粧料がツヤ有りタイプか否かを判定するレベルを１〜４と定める。

ここで、図４Ａ乃至図４Ｃは、事前処理において用いる、モデルの素肌に化粧料を塗布していない状態及び塗布した状態における頬部の各サンプル画像である。同様に、図５Ａ乃至図５Ｃは、同様に、口横部の各サンプル画像である。ここで、図４Ａ及び図５Ａは化粧料を塗布していない素肌の状態、図４Ｂ及び図５Ｂは、化粧料１（ツヤ有りタイプ）を塗布した状態、並びに図４Ｃ及び図５Ｃは、化粧料２（ツヤ無しタイプ）を塗布した状態を示している。これらのサンプル画像データを用いて、化粧料１及び化粧料２がツヤ有りタイプかツヤ無しタイプか判定する。

本実施例では、これらのサンプル画像データに対して、次数Ｎ＝８のドベシィのウェーブレット変換によるサブバンド分解を実行することにより、レベル１〜８の周波数成分のデータを取得する。また、取得した各レベルの周波数成分のデータに基づいて分解画像を再構成するととともに、各分解画像に含まれる各画素のＲＧＢ値ごとの標準偏差を算出する。さらに、上述のように、素肌及び化粧肌の画像の各レベルにおける各画素のＲＧＢ値ごとの標準偏差の比率（化粧肌画像の各レベルにおける標準偏差／素肌画像の各レベルにおける標準偏差）を算出し、これをシミュレーション処理で用いる重み付け係数と決定する。

図６Ａは、頬部のサンプル画像データを分解した各レベルの分解画像における画素値（Ｇ値）の標準偏差を示す図である。また、同様に、図６Ｂは、口横部のサンプル画像データにおける標準偏差を示す図である。図６Ａ及び図６Ｂより、頬部及び口横部の何れにおいても、ツヤ有りタイプの標準偏差は、素肌の標準偏差と比較して、レベル１〜４の高周波成分の何れにおいて大きな値となっている。従って、事前処理において、化粧料１は、ツヤ有りタイプの化粧料であると判定されるとともに、決定した重み付け係数におけるレベル１〜４の値に対して、補正処理が行われる。

さらに、対象とする化粧料がツヤ有りタイプと判定した場合において、レベル１〜４の重み付け係数が事前に決定した各レベルにおける上限値を超える場合には、レベル１〜４の重み付け係数に対して、上述の補正処理を行う。

なお、図６Ａ及び図６Ｂでは、頬部及び口横部の標準偏差に差異が見られるが、検討の結果、何れのサンプル画像データを用いても、算出される比率はほとんど変わらないことが明らかとなっている。従って、以下では、頬部のサンプル画像データを用いた場合の補正処理について説明する。

本例では、重み付け係数が一定値以上に大きくなると、生成画像にノイズが発生する場合を想定している。表１は、本例に対応する重み付け係数の上限値をテーブル化したものであり、この上限値を超えた値が重み付け係数となる場合、シミュレーション処理により生成される画像にノイズが発生するので、上限値より小さくなるように補正をかける。表２及び表３は、化粧料１がツヤ有りタイプと判定された場合における、各レベルにおける補正前及び補正後の重み付け係数を示す表である。

表３に示すように、レベル１〜４において、補正前の重み付け係数（表２）と比較して、補正後の重み付け係数は、上限値（表１）より小さい値に低減される。また、本実施例では、当該補正は、化粧料に応じてレベルごとに予め定められた値によって、重み付け係数を減算することにより実現されている。

なお、本実施例では、化粧料のカバー効果が反映されるように、レベル３〜４の重み付け係数を１未満の値に補正した。また、化粧料の塗布による質感の変化にほとんど影響しないレベル５〜８の低周波成分について、補正後の重み付け係数を１としている。Ｒ値は肌全体の明るさを示すため、１とした。以上の処理により、化粧料１及び化粧料２の重み付け係数が決定され、これらの重み付け係数は、以下のシミュレーション処理において被験者の肌画像データに対して適用される。

＜シミュレーション処理＞
シミュレーション処理において、まず、化粧料を塗布していない被験者の素顔をデジタルカメラで撮影し、サンプル画像データ（７０４×９２８ピクセル、２４ビットフルカラー、ＢＭＰ形式）とする。なお、撮影する際の解像度は、事前処理においてモデルの顔画像を撮影する際と同様である。

このサンプル画像データから背景領域と目、髪の毛、眉毛、鼻の穴、唇等の部分画像を分離する。分離された肌領域の肌画像データの各画素を、素肌色から化粧肌色へ変換する。

まず、目尻を通る垂直線と鼻の下端を通る水平線の交点付近の肌領域（２０×２０ピクセル）から、ＲＧＢ値ごとの平均値（素肌の基本色：R_n, G_n, B_n）を求めておく。次に、シミュレーション対象の化粧料を被験者の素肌に塗布した場合の当該肌領域の化粧肌色の基本色（R_f, G_f, B_f）を、上述のクベルカ・ムンク理論に基づいて推定する。これらを用いて上述した式（１）により、変換後の各画素値（R', G', B'）を求める。本実施例では、化粧料塗布肌の分光反射率R_a(λ)の推定に必要な、上述の各分光反射率の計測には、コニカミノルタ社製、分光測色計ＣＭ−２６００ｄ（直径８ｍｍ）を使用している。また、本実施例では、R_i(λ)及びD_fを変数として推定した分光反射率R_a'(λ)と、予めモデルの肌を利用して実測した分光反射率R_a(λ)との誤差εを次式により算出し、最小誤差が得られるR_i(λ)及びD_fをデフォルト値として設定する。ただし、計測する分光反射率は、予めサンプルで可視光領域４００〜７００（ｎｍ）の範囲で１０（ｎｍ）おき（計測データは３１次元情報）として計測している。

肌色の変換処理の後、肌画像データは、図３のステップＳ２０４〜Ｓ２０７に従って、サブバンド分解とともに質感を付加するための重み付け処理を施される。図７Ａは、被験者の頬部分の素肌画像であって、本実施例に係る画像処理を施す前の画像を示す図である。また、図７Ｂは、被験者の頬部分の素肌画像に対して、補正前の重み付け係数を用いて画像処理を施した場合のシミュレーション画像を示す図である。一方、図７Ｃは、補正後の重み付け係数を用いた場合のシミュレーション画像を示す図である。なお、図７Ｂ及び図７Ｃは、ツヤ有りタイプの化粧料（化粧料１）に関するシミュレーション結果を示している。事前処理における補正前の重み付け係数を用いた場合、図７Ｂに示すように、図７Ａの素肌画像と比較すると陰影が強調されすぎており、またノイズが発生していることにより不自然な質感となってしまっている。一方で、図７Ｃに示すように、補正後の重み付け係数を用いる場合、図７Ｂと比較すると、陰影が強調されすぎず、より自然な質感が表現されている。従って、本実施例に係るシミュレーション処理により、ツヤ有りタイプのファンデーション（化粧料１）について、自然な質感を有するシミュレーション画像の生成が可能であることがわかる。

以上説明したように、本実施形態に係るシミュレーション装置は、被験者の化粧前の顔画像に画像処理を施して化粧後の仕上がりをシミュレーションする場合に、化粧料の塗布による質感の変化を当該顔画像に対して与えるための重み付け係数を、当該化粧料を事前に評価することにより決定する。具体的には、化粧料を塗布していない状態及び塗布した状態のモデルの肌画像を、サブバンド分解によって、異なる周波数成分を有する複数の画像に分解し、各画像の標準偏差の比率を重み付け係数に決定する。その際、質感の変化に対応する高周波の標準偏差が、化粧料の塗布前の画像よりも塗布後の画像で増加している場合、当該周波数に対応する重み付け係数を低減させる補正処理を実行する。シミュレーション装置は、取得した被験者の顔画像をサブバンド分解により分解し、各周波数成分に対して化粧料に応じた重み付け係数を乗算することにより、化粧料を塗布することによる質感の変化を当該画像に付加する。これにより、シミュレーション装置は、ツヤ有りタイプの化粧料の重み付け係数による、高周波成分における過度な強調を抑制することで、自然な質感を有し、現実感のあるシミュレーション画像を生成することができる。

［他の実施形態］
以上の処理（例えば上記実施形態では図２、図３に示したフローチャートに従った処理）をプログラムとしてＣＤ−Ｒ、ＤＶＤ−Ｒ、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、フラッシュメモリ等の記憶媒体に記憶させ、この記憶媒体に記憶されているプログラムをコンピュータに読み込ませる（インストール、もしくはコピーさせる）ことで、このコンピュータは以上の処理を行うことができる。よって、このようなプログラムや記憶媒体も本発明の範疇にあることは明白である。

１００：シミュレーション装置
１０１：事前処理部
１０２：撮影部
１０３：画像処理部
１０４：表示部
１０５：操作部
１１１：記憶部
１１２：分離部
１１３：色変換部
１１４：画像変換部
１１５：合成部

Claims (9)

1. 被験者の素顔画像の画像データを画像処理して、化粧料の塗布後の顔画像をシミュレーションするシミュレーション装置であって、
   前記化粧料を予め評価するための事前処理手段と、前記事前処理手段における評価結果を用いて被験者の化粧後の顔画像をシミュレーションするシミュレーション手段とを備え、
   前記事前処理手段は、
   モデルの素肌に対して前記化粧料を塗布していない状態を撮影して取得した画像データから肌領域のデータである第１の画像データを抽出し、前記化粧料を塗布した状態を撮影して取得した画像データから肌領域のデータである第２の画像データを抽出する抽出手段と、
   前記第１の画像データ及び前記第２の画像データをそれぞれウェーブレット変換によるサブバンド分解により異なる周波数成分に対応した複数レベルの第１の分解画像データ及び第２の分解画像データに分解する第１の分解手段と、
   前記第１の分解画像データ及び前記第２の分解画像データにおける、各画素値の標準偏差を算出する算出手段と、
   前記第１の分解画像データ及び前記第２の分解画像データにおける各レベルの前記標準偏差の比率から、各レベルに与える重み付け係数を決定する決定手段と、
   前記異なる周波数成分のうち高周波成分に対応する所定の範囲に属するレベルについて、前記第２の分解画像データの標準偏差が前記第１の分解画像データの標準偏差よりも大きいか否かを判定する判定手段と、
   前記判定手段により、前記所定の範囲に属するレベルの全てについて、前記第２の分解画像データの標準偏差が前記第１の分解画像データの標準偏差よりも大きいと判定されると、該所定の範囲に属するレベルにおける前記重み付け係数を補正する補正手段とを備え、
   前記シミュレーション手段は、
   前記重み付け係数を用いて、前記画像処理を実行することにより、前記被験者の化粧後の顔画像をシミュレーションすることを特徴とするシミュレーション装置。
2. 前記シミュレーション手段は、
   被験者の化粧前の素顔画像を撮影して、デジタル化した顔画像データを取得する取得手段と、
   前記顔画像データを、肌領域の部分の画像データである肌画像データと、肌領域以外の部分の画像データとに分離する分離手段と、
   前記肌画像データの各画素値を、素肌色に対応する元の値から、前記被験者の素肌に前記化粧料を塗布した場合の化粧肌色に対応する値へ変換する変換手段と、
   変換された前記肌画像データに対してサブバンド分解を実行し、異なる周波数成分に対応した複数レベルの成分データに分解する第２の分解手段と、
   前記重み付け係数を前記成分データに対してレベルごとに乗算することにより、前記成分データに対して重み付けする重み付け手段と、
   補正された前記成分データに基づいて、前記肌画像データをウェーブレット逆変換によるサブバンド合成によって再構成する再構成手段と、
   再構成された前記肌画像データと、前記分離手段により分離された肌領域以外の部分の画像データとから、化粧後の顔画像を合成する合成手段と
   を備えることを特徴とする請求項１に記載のシミュレーション装置。
3. 前記変換手段は、
   前記被験者の素肌に対して前記化粧料を塗布した化粧肌の分光反射率を推定する推定手段を備え、
   前記推定手段により推定した前記分光反射率に基づいて、前記肌画像データの各画素値を化粧肌色に変換することを特徴とする請求項２に記載のシミュレーション装置。
4. 前記所定の範囲に属するレベルとは、
   キメ又は毛穴による肌表面の陰影情報を表現する高周波の周波数成分に対応する複数のレベルであって、
   前記補正手段は、
   少なくとも前記所定の範囲に属するレベルの前記重み付け係数を低減させることを特徴とする請求項２又は３に記載のシミュレーション装置。
5. 前記重み付け係数は、
   画像データの各画素値に含まれるＲ値、Ｇ値及びＢ値ごとの前記成分データに対して、各レベルにおいて個別に乗算するための係数を含み、
   前記補正手段は、
   前記所定の範囲に属するレベルの前記重み付け係数のうち、Ｇ値及びＢ値に対応する係数のみを低減させることにより、該重み付け係数を補正することを特徴する請求項４に記載のシミュレーション装置。
6. 前記補正手段は、
   前記重み付け係数から、前記化粧料について前記レベルごとに予め定められた値を減算することにより、該重み付け係数を低減させる補正を行うことを特徴とする請求項４又は５に記載のシミュレーション装置。
7. 前記補正手段は、
   前記重み付け係数が、前記レベルごとに予め定められた上限値を下回る値となるように前記補正を行うことを特徴とする請求項６に記載のシミュレーション装置。
8. 被験者の素顔画像の画像データを画像処理して、化粧料の塗布後の顔画像をシミュレーションするシミュレーション方法であって、
   前記化粧料を予め評価するための事前処理ステップと、前記事前処理ステップにおける評価結果を用いて被験者の化粧後の顔画像をシミュレーションするシミュレーションステップとを備え、
   前記事前処理ステップでは、
   モデルの素肌に対して前記化粧料を塗布していない状態を撮影して取得した画像データから肌領域のデータである第１の画像データを抽出し、前記化粧料を塗布した状態を撮影して取得した画像データから肌領域のデータである第２の画像データを抽出する抽出ステップと、
   前記第１の画像データ及び前記第２の画像データをそれぞれウェーブレット変換によるサブバンド分解により異なる周波数成分に対応した複数レベルの第１の分解画像データ及び第２の分解画像データに分解する第１の分解ステップと、
   前記第１の分解画像データ及び前記第２の分解画像データにおける、各画素値の標準偏差を算出する算出ステップと、
   前記第１の分解画像データ及び前記第２の分解画像データにおける各レベルの前記標準偏差の比率から、各レベルに与える重み付け係数を決定する決定ステップと、
   前記異なる周波数成分のうち高周波成分に対応する所定の範囲に属するレベルについて、前記第２の分解画像データの標準偏差が前記第１の分解画像データの標準偏差よりも大きいか否かを判定する判定ステップと、
   前記判定ステップにより、前記所定の範囲に属するレベルの全てについて、前記第２の分解画像データの標準偏差が前記第１の分解画像データの標準偏差よりも大きいと判定されると、該所定の範囲に属するレベルにおける前記重み付け係数を補正する補正ステップとが実行され、
   前記シミュレーションステップでは、
   前記重み付け係数を用いて、前記画像処理を実行されることにより、前記被験者の化粧後の顔画像がシミュレーションされることを特徴とするシミュレーション装置。
9. 請求項８に記載のシミュレーション方法における各ステップを、コンピュータにより実行させるためのコンピュータプログラム。