JP2010073222A - メイクアップシミュレーション方法 - Google Patents

Abstract

【課題】被験者が所定の化粧アイテムを使用し、素顔から化粧顔を完成させていく様子を、簡便に、リアリティ高く表すことのできるメイクアップシミュレーション方法を提供する。
【解決手段】化粧をしている被験者の顔画像を取得し、被験者の顔画像の肌色領域、眉領域、目領域又は唇領域の形状と位置を取得し、被験者の素顔のシミュレーション画像を形成し、その素顔のシミュレーション画像に、化粧アイテムごとのシミュレーション画像用パターンを順次重ね、化粧顔のシミュレーション画像を形成する。素顔のシミュレーション画像は、（１）肌領域のコントラストを上げる、（２）眉領域に、被験者の顔画像から取得した肌色を重ねる、（３）唇領域の彩度を下げる、（４）目領域の外周部分をぼかす、の少なくとも一つの画像処理を行うことにより形成する。
【選択図】図１

Description

本発明は、被験者の素顔に種々の化粧アイテムを順次施し、メイクアップが次第に完成していく様子を被験者に実感させることのできるメイクアップシミュレーション方法に関する。

化粧品店等の店頭等においては、メイクアップアドバイザーが被験者に化粧方法や化粧料のアドバイスをするにあたり、被験者の顔画像を撮り、それをディスプレイに表示し、被験者の要望をききながら、顔画像中の眉、目、唇の形状や色、肌の色等を変更し、化粧顔のシミュレーション画像を形成することがなされている。このようなシミュレーション画像を形成するシステムでは、通常、眉ずみ、口紅、チークカラー等の化粧アイテムごとに、それらの形状や色が予めパターン化して記憶されており、シミュレーション画像の形成時に或る化粧アイテムについて形状や色が指定されると、その形状や色を有するパターンが被験者の顔画像上の所定の部位に表示されるようになっている（特許文献１）。

特開昭６４−４１８９号公報

ところで、被験者は通常化粧をして店頭等を訪れるため、従来の化粧顔のシミュレーション方法では、シミュレーション画像の元となる画像が被験者の化粧顔の画像となる。そのため、化粧顔のシミュレーション画像の形成過程において、被験者は、当初の化粧顔の画像から、肌の色、眉の形や色、目の輪郭、唇等の形や色等が突然に置き換えられた画像を見ることとなり、複数の化粧アイテムによって素顔から化粧顔を徐々に完成させていく様子を実感することができない。

これに対し、本発明は、被験者が所定の化粧アイテムを使用し、素顔から化粧顔を完成させていく様子を、簡便に、リアリティ高く表すことのできるメイクアップシミュレーション方法を提供することを目的とする。

本発明者は、化粧をしている被験者が異なる化粧をした場合のシミュレーション画像を形成するにあたり、化粧をしている被験者の顔画像に基づいて、一旦被験者の素顔のシミュレーション画像を形成し、次いで、その素顔のシミュレーション画像に基づき、素顔に複数の化粧アイテムを順次使用していった場合のシミュレーション画像を逐次形成することにより、被験者がリアリティのあるメイクアップシミュレーションを実感できることを見出した。

即ち、本発明は、化粧をしている被験者の顔画像を取得し、
被験者の顔画像の肌領域、眉領域、目領域又は唇領域の形状と位置を取得し、
次の（１）〜（４）
（１）肌領域のコントラストを上げる
（２）眉領域に、被験者の顔画像から取得した肌色を重ねる
（３）唇領域の彩度を下げる
（４）目領域の外周部分をぼかす
の少なくとも一つの画像処理を行うことにより素顔のシミュレーション画像を形成し、
該素顔のシミュレーション画像に、化粧アイテムごとのシミュレーション画像用パターンを順次重ね、化粧顔のシミュレーション画像を形成するメイクアップシミュレーション方法を提供する。

また、本発明は、被験者の顔画像を取得する画像形成手段、
化粧アイテムごとのシミュレーション画像用パターンを記憶する機能、被験者の顔画像において、肌領域、眉領域、目領域及び唇領域の形状と位置を取得する機能、顔画像中の所定領域についてコントラスト又は彩度を調整する機能、画像中の任意の領域から色を取得し、取得した色を所定領域への重ね合わせる機能、及びぼかし機能を備え、被験者の素顔のシミュレーション画像を形成すると共に、該素顔のシミュレーション画像に、化粧アイテムごとのシミュレーション画像用パターンを順次重ねて化粧顔のシミュレーション画像を形成する演算手段、及び
被験者の顔画像、素顔のシミュレーション画像及び化粧顔のシミュレーション画像を、同時に又は切り替えて表示するディスプレイ
を備えたメイクアップシミュレーションシステムを提供する。

本発明のメイクアップシミュレーション方法によれば、被験者の素顔のシミュレーション画像に、化粧アイテムごとのシミュレーション画像用パターンを順次重ね、化粧顔のシミュレーション画像を形成するので、被験者は、自らの素顔に所定の化粧アイテムを順次使用し、化粧顔を完成させていく様子を実感することができる。

したがって、被験者は、所期の化粧顔を作るメイクアップテクニックを、リアリティ高いシミュレーション画像により習得することができる。

さらに、本発明のメイクアップシミュレーション方法によれば、化粧をしている被験者の顔画像から素顔のシミュレーション画像を形成するので、被験者に化粧を落として素顔になってもらうことは不要である。よって、本発明のメイクアップシミュレーション方法は、店頭等において多くの人が手軽に利用できるものとなる。

また、本発明のメイクアップシミュレーションシステムによれば、上述のメイクアップシミュレーション方法を実施することができる。

メイクアップシミュレーション方法の流れ図である。 メイクアップシミュレーションシステムのブロックである。 被験者の顔画像上での顔の位置、目の位置、口の位置、顔の中心の取得方法の説明図である。 被験者の顔画像上での肌色領域、眉領域、目領域、唇領域の取得方法の説明図である。 Ｔゾーンにコントロールカラーを塗布した状態のシミュレーション画像である。 Ｔゾーン、目の下、顎にコントロールカラーを塗布した状態のシミュレーション画像である。 ファンデーションを塗布したシミュレーション画像の形成に使用するマスクである。 ファンデーションを塗布した状態のシミュレーション画像である。 アイシャドウを塗布した状態のシミュレーション画像である。 化粧前の顔画像と化粧顔のシミュレーション画像を同時に表示した画像である。

以下、図面を参照しつつ、本発明を詳細に説明する。なお、各図中、同一符号は同一又は同等の構成要素を表している。

図１は、本発明のメイクアップシミュレーション方法の一実施例を示す流れ図であり、図２には、このメイクアップシミュレーション方法を実施するメイクアップシミュレーションシステム１０の一例のブロック図である。

このシステム１０は、撮像装置１、パソコン本体２、ディスプレイ３からなっており、パソコン本体２には、必要に応じてイメージスキャナ４、プリンタ５等が接続されている。

撮像装置１は、被験者の顔画像を撮る画像形成手段として設けられており、市販のカラーデジタルカメラを使用することができる。

パソコン本体２は、化粧アイテムごとのシミュレーション画像用パターン、被験者の顔画像、素顔のシミュレーション画像、化粧顔のシミュレーション画像等の記憶手段として、また、素顔のシミュレーション画像や化粧顔のシミュレーション画像を形成する演算手段として設けられており、指定した領域に対し、画像の色相、明度、彩度等を調整する機能、コントラスト、ぼかし等を調整する機能、顔画像中の任意の領域から色を取得する機能、取得した色又は指定した色を所定の不透明度で顔画像中の所定の領域に重ね合わせる機能などの画像処理機能を備えている。かかる個々の画像処理機能は、例えば、アドビシステム社製フォトショップ等の市販のイメージ処理ソフトをパソコン本体２に搭載することでもにより得ることができる。

このシステム１０を用いたメイクアップシミュレーション方法では、まず、メイクアップアドバイザーが撮像装置１で被験者の顔画像を撮り、それをディスプレイ３に表示する。なお、顔画像の取得は、イメージスキャナ４を用いて被験者の顔写真を読み込むことによってもよく、インターネット等の通信回線を利用して取得してもよい。

取得した被験者の顔画像にメイクアップシミュレーションを行うにあたり、本発明では、被験者が化粧をしている場合に、まず、被験者の顔画像に基づいて被験者の素顔のシミュレーション画像を形成し、得られた素顔のシミュレーション画像に基づいて化粧顔のシミュレーション画像を形成していく。なお、被験者が化粧をしていない場合には、その素顔の顔画像に基づいて化粧顔のシミュレーション画像を形成していく。

被験者の顔画像に基づいて素顔のシミュレーション画像を形成する場合でも、被験者が化粧をしていない場合に被験者の顔画像に基づいて化粧顔のシミュレーション画像を形成する場合でも、まず、被験者の顔画像において、肌領域Ａ１、眉領域Ａ２、目領域Ａ３及び唇領域Ａ４の形状と位置を取得する。例えば、図３に示すように、ディスプレイ画面上でラインＬ１、Ｌ２、Ｌ３を用いて被験者の顔の位置、目の位置、口の位置、顔の中心を演算手段に認識させ、次いで図４に破線で示すように、肌領域Ａ１、眉領域Ａ２、目領域Ａ３、唇領域Ａ４を指定することにより、これらの領域を演算手段に認識させる。このような領域の指定は、トリミング処理等の画像処理で行ってもよく、あるいはこのシステム１０を操作するオペレータが手動で領域を指定することで行ってもよい。

こうして形状と位置が取得された各領域は、素顔のシミュレーション画像の形成あるいは化粧顔のシミュレーション画像の形成において、例えば、目領域Ａ３や唇領域Ａ４に肌色が入らないようにしたり、目領域Ａ３にアイシャドウ等が入らないようにしたりすると共に、化粧アイテムごとのパターンの形状や大きさを被験者に適合させるために用いられる。

次に、化粧をしている被験者の顔画像に対し、次の（１）〜（４）
（１）肌領域のコントラストを上げる
（２）眉領域に、被験者の顔画像から取得した肌色を重ねる
（３）唇領域の彩度を下げる
（４）目領域の外周部分をぼかす
の少なくとも一つの画像処理を行うことにより被験者の素顔のシミュレーション画像を形成する。より具体的には、例えば、まず、ファンデーションが塗布されている顔画像からファンデーションを除去した素肌の顔画像を形成する場合、肌領域Ａ１の肌色の明度の中心レベルを定め、次に肌領域Ａ１全体のコントラストを上げる。これにより、ファンデーションで見えにくくなっていたシミ、ソバカス、毛穴、小皺等が強調されるので、簡便に素肌の画像を再現することが可能となる。コントラストをどの程度上げるかは、被験者又はオペレータが画面を観察しながら、適宜定めればよい。

ファンデーションが塗布されている肌の色味と被験者の素肌の色味とが目視観察により明らかに異なる場合には、さらに肌領域Ａ１全体の彩度を下げる。即ち、ファンデーションは、くすんだ素肌の肌色を鮮やかな肌色に見せるためにも使用されるため、肌領域Ａ１全体の彩度を下げることにより、ファンデーションの除去に相当する素肌のシミュレーションを行うことができる。

なお、ファンデーションの除去に相当する素肌のシミュレーションを行うにあたり、肌領域Ａ１全体について、色相を変化させることは好ましくない。一般に、消費者は、ファンデーションとして、塗布後の肌色が素肌の肌色とできるだけ変わらないものを選択するため、ファンデーションが塗布されている化粧顔の色味と、ファンデーションを除去した素顔の色味とは略同じであると考えられるところ、肌領域Ａ１全体について色相を変化させると、元画像と素顔のシミュレーション画像とで全体的な肌の色味が異なってしまう。

被験者がアイシャドウやチークをしているために、それらの塗布領域の色味が他の肌領域の色味と異なっている場合には、被験者の画像中で素肌色に近いと思われる領域（例えば、首領域等）から肌色を取得し、その取得した肌色を適当な不透明度でアイシャドウやチークの塗布領域に段階的に重ねる画像処理を行う。これにより、アイシャドウやチークの塗布領域を被験者自身の素肌色に変更する素肌化を簡便に行うことが可能となる。この場合、必要に応じて、肌色を重ねた領域とその周囲の領域との境界をぼかすぼかし処理をしてもよい。ぼかし処理の具体的な手法としては、例えば、各画素について、注目点の画素とその周囲の２５画素に対して１〜５の重み付ぼかしフィルタを使用して輝度の平均値を出力する。ぼかしの程度は、被験者又はオペレータが画面を観察しつつ適宜定めればよく、ぼかし処理を必要に応じて複数回行っても良い。

被験者が眉ずみを使用している場合には、眉領域Ａ２よりやや広い領域（例えば、当初の眉領域Ａ２の１．２〜６．０倍の面積を含む領域）に対して、アイシャドウやチークの塗布領域の素肌化と同様に、被験者の画像中で素肌色に近いと思われる領域（例えば、首領域等）から肌色を取得し、その取得した肌色を適当な不透明度で段階的に重ねていき、本人の眉の色に近づける。ここで、素肌化の領域を眉領域Ａ２よりやや広い領域とするのは、眉ずみの塗布領域とその周囲の肌色領域との境界をきれいにかつ自然に消すためである。ここで、グラデーションをかけることによってさらに自然な見え方にすることができる。

眉ずみの除去に相当する素肌化の終点の色は、被験者又はオペレータが画面を観察しながら適宜定めればよいが、例えば、首領域の素肌色のＬ^*ａ^*ｂ^*表色系のＬ^*値が６５の場合に、眉ずみの除去領域のＬ値を３６〜５６程度とすることが好ましい。眉領域Ａ２を過度に首領域の素肌色に近づけるとかえって不自然な画像となる。

被験者が口紅を使用している場合には、唇領域Ａ４よりやや広い領域（例えば、当初の唇領域Ａ４の１．２〜２．０倍の面積を含む領域）の部分の彩度を下げる。くすんだ唇の色が口紅によって鮮やかな色に化粧されていた場合に、このように彩度を下げることにより唇領域の素顔化を図ることができる。ここでも、彩度を下げる領域を唇領域Ａ４よりもやや広い領域とするのは、口紅の塗布領域とその周囲の肌色領域との境界をきれいにかつ自然に消すためである。また、グラデーションをかけることによってさらに自然な仕上がりにすることができる。

口紅により、唇領域Ａ４の色が本来の唇色と異なった色味に化粧されている場合には、唇領域Ａ４よりやや広い領域の彩度を下げると共に、唇に隣接している肌色を口紅の塗布領域に重ねる。この口紅の除去に相当する素肌化の終点の色も、被験者又はオペレータが画面を観察しながら適宜定めればよいが、例えば、口紅の塗布領域のＬ^*ａ^*ｂ^*表色系のａ^*値が８１、唇に隣接している肌色のａ^*値が１１の場合に、口紅の除去領域のａ^*値を１９〜２９程とすることが好ましい。

被験者がマスカラを使用している場合には、目の外周部分にぼかし処理を施す。これにより、マスカラで強調されていた睫毛を目立たなくし、本来の睫毛の見え方に簡便に近づけることができる。

この他、素顔のシミュレーション画像の形成では、必要に応じて、顔画像の任意の箇所に対し、被験者の画像から取得した肌色や任意のサンプル色を重ねることにより色相を変更するができる。この場合変更後の色は、被験者の画像中で当該箇所の素肌色に近い思われる領域、例えば首領域の肌色に近づけることが好ましい。

こうして素顔のシミュレーション画像を形成した後は、素顔のシミュレーション画像に基づいて、また、被験者が化粧をしていなかった場合には、被験者の素顔の顔画像に基づいて、実際の化粧手順に従い、次のように化粧顔のシミュレーション画像を形成する。

まず、化粧アイテムとしてコントロールカラーをＴゾーンに塗布する場合、パソコン本体２に記憶されているＴゾーンのパターンに対してオペレータが色を指定する。この色の指定は、ディスプレイ上のカラーサンプルやカラー調整ボタンなどによってオペレータが行う。

オペレータが、指定した色のコントロールカラーをＴゾーンに塗布する旨をシステム１０に指示すると、図５に示すように、被験者の素顔のシミュレーション画像のレイヤーにＴゾーンのパターンのレイヤーが重なり、その重なり部分が素肌にコントロールカラーを塗布した色となり、Ｔゾーン塗布後のシミュレーション画像がディスプレイ３に表示される。

なお、このシステム１０では、被験者の顔画像から取得した肌領域Ａ１、眉領域Ａ２、目領域Ａ３の形状と位置の情報に基づいて、Ｔゾーンのパターンが当該被験者のＴゾーンに適合するように、形状、大きさ及び位置が自動制御され、さらに必要に応じて手動でもそれらを制御できるようにしている。自動制御の手法としては、Ｔゾーンのパターンに外接する矩形を想定し、そのパターンが被験者の肌領域Ａ１、眉領域Ａ２、目領域Ａ３の情報から算出されるＴゾーンに適合するように、矩形を縦方向又は横方向に拡大縮小又は回転する。

パソコン本体２は、目の下や顎用にもコントロールカラーのパターンを記憶しており、Ｔゾーンと同様に色を指定し、塗布する旨を指示することにより、パターンの形状、大きさ、位置が肌色領域Ａ１、目領域Ａ３、唇領域４の形状と位置の情報に基づいて自動制御され、図６に示すように、素顔にコントロールカラーを塗布した後のシミュレーション画像が表示される。

コントロールカラーの塗布後、ファンデーションを塗布する場合、塗布するファンデーションの色を、ディスプレイ上のカラーサンプル、つや調整ボタン等によってオペレータが指定し、これを塗布する旨をシステム１０に指示する。これにより、図７に示すように、被験者の顔画像から取得した肌領域Ａ１が、指定したファンデーションの色を有するマスクとなり、このマスクのレイヤーがコントロールカラーを塗布した後のシミュレーション画像のレイヤーに重なり、図８に示すように、ファンデーションを塗布した後のシミュレーション画像が形成される。ファンデーションを塗布した後のシミュレーション画像の肌色領域は、指定したファンデーションの色に、下地となる素肌の色又はコントロールカラーを塗布した肌の色が反映された色となるので、ファンデーションを塗布した後のシミュレーション画像は、コントロールカラーの塗布効果を確認できるリアリティの高いものとなる。

ファンデーションの塗布後、アイシャドウを塗布する場合には、パソコン本体２に記憶されているアイシャドウのパターンを表示させる。このパターンは目の縁から眉毛方向に段階的に色を変えられるパターンとなっており、オペレータはこのパターンに使用する１又は２以上の色を指定する。色の指定は、ディスプレイ上のカラーサンプル、つや調整ボタン等により行い、これを塗布する旨をシステム１０に指示する。これにより、図９に示すように、ファンデーションを塗布した後のシミュレーション画像のレイヤーに、指定した色のアイシャドウのパターンのレイヤーが重なり、アイシャドウを塗布したシミュレーション画像が形成される。なお、このパターンも形状、大きさ、位置は、演算手段により自動制御される。

アイライナー、アイブロウ、マスカラ、口紅、チークカラー等の化粧アイテムについても、同様に、パソコン本体２に記憶されているそれぞれのパターンを選択し、色を指定し、指定した色のパターンのレイヤーをそれまでに形成されているシミュレーション画像に重ねていく。

こうして、被験者は、素肌顔に任意の化粧アイテムを使用し、徐々にメイクを完成させていく状態をシミュレーション画像により実感することが可能となる。

なお、使用する化粧アイテムは、メイクアップアドバイザーのアドバイスや被験者の希望により適宜選択することができ、化粧アイテムを使用する順序も任意に定めることができるが、より効果的にメイクアップをするためには、通常は、メイクアップアドバイザーが推奨する順序で化粧アイテムを使用することが好ましい。

形成された化粧顔のシミュレーション画像は、図１０に示すように、当初の被験者の顔画像、あるいは素顔のシミュレーション画像と同時に、または適宜切り替えてディスプレイ３に表示することが好ましい。これにより、被験者は、化粧前と化粧後の相違をはっきりと認識することができる。

また、このパソコン本体２には、化粧顔のシミュレーション画像の形成に使用する各化粧アイテムと実際の化粧品との対応を記憶させておくことが好ましく、得られた化粧顔のシミュレーション画像に対して、実際にその化粧顔になるために使用することが望ましい化粧品や化粧方法をディスプレイに表示できるようにすることが好ましい。これにより、被験者は、化粧顔のシミュレーション画像を実際に再現することが容易となる。

本発明のメイクアップシミュレーション方法及びメイクアップシミュレーションシステムは、一般消費者に対する化粧方法の提案、メイクアップアドバイザーの教育ツール、メイク理論の啓蒙等に有用となる。

１ 撮像装置
２ パソコン本体
３ ディスプレイ
４ イメージスキャナ
５ プリンタ
１０ メイクアップシミュレーションシステム

Claims (6)

1. 化粧をしている被験者の顔画像を取得し、
   演算手段を用いて、被験者の顔画像の肌領域、眉領域、目領域又は唇領域の形状と位置を取得し、
   次の（１）〜（４）
   （１）肌領域のコントラストを上げる
   （２）眉領域に、被験者の顔画像から取得した肌色を重ねる
   （３）唇領域の彩度を下げる
   （４）目領域の外周部分をぼかす
   の少なくとも一つの画像処理を行うことにより素顔のシミュレーション画像を形成し、
   該素顔のシミュレーション画像に、実際の化粧手順に従い化粧アイテムごとのシミュレーション画像用パターンを順次重ね、化粧顔のシミュレーション画像を形成するメイクアップシミュレーション方法。
2. 肌領域全体について色相中心を変えることなく素顔のシミュレーション画像を形成する請求項１記載のメイクアップシミュレーション方法。
3. 被験者の顔画像の肌領域の彩度を下げて素顔のシミュレーション画像を形成する請求項１又は２記載のメイクアップシミュレーション方法。
4. 被験者の顔画像のアイシャドウ塗布領域又はチーク塗布領域又は口紅塗布領域に被験者の顔画像から取得した肌色を重ねて素顔のシミュレーション画像を形成する請求項１〜３のいずれかに記載のメイクアップシミュレーション方法。
5. 化粧アイテムごとのシミュレーション画像用パターンの形状と大きさを、被験者の肌領域、眉領域、目領域又は唇領域の形状と位置の情報に基づいて自動調整し、顔画像に重ねる請求項１〜４のいずれかに記載のメイクアップシミュレーション方法。
6. 請求項１記載のメイクアップシミュレーション方法に使用されるメイクアップシミュレーションシステムであって、
   被験者の顔画像を取得する画像形成手段、
   化粧アイテムごとのシミュレーション画像用パターンを記憶する機能、被験者の顔画像において、肌領域、眉領域、目領域及び唇領域の形状と位置を取得する機能、顔画像中の所定領域についてコントラスト又は彩度を調整する機能、画像中の任意の領域から色を取得し、取得した色を所定領域に重ね合わせる機能、及びぼかし機能を備え、化粧をしている被験者の顔画像に、請求項１記載の（１）〜（４）の少なくとも一つの画像処理を行うことにより被験者の素顔のシミュレーション画像を形成すると共に、該素顔のシミュレーション画像に、化粧アイテムごとのシミュレーション画像用パターンを順次重ねて化粧顔のシミュレーション画像を形成する演算手段、及び
   被験者の顔画像、素顔のシミュレーション画像及び化粧顔のシミュレーション画像を、同時に又は切り替えて表示するディスプレイ
   を備えたメイクアップシミュレーションシステム。

Images