JP2021144582A - メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム - Google Patents
メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム Download PDFInfo
- Publication number
- JP2021144582A JP2021144582A JP2020044055A JP2020044055A JP2021144582A JP 2021144582 A JP2021144582 A JP 2021144582A JP 2020044055 A JP2020044055 A JP 2020044055A JP 2020044055 A JP2020044055 A JP 2020044055A JP 2021144582 A JP2021144582 A JP 2021144582A
- Authority
- JP
- Japan
- Prior art keywords
- makeup
- make
- face image
- color
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000004088 simulation Methods 0.000 title claims abstract description 73
- 238000001514 detection method Methods 0.000 claims abstract description 83
- 239000002537 cosmetic Substances 0.000 claims abstract description 51
- 239000000203 mixture Substances 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 33
- 239000002131 composite material Substances 0.000 abstract description 12
- 210000001508 eye Anatomy 0.000 description 52
- 238000013500 data storage Methods 0.000 description 25
- 210000004709 eyebrow Anatomy 0.000 description 16
- 230000006870 function Effects 0.000 description 12
- 230000007717 exclusion Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 6
- 210000005252 bulbus oculi Anatomy 0.000 description 5
- 101000699781 Homo sapiens Retrotransposon Gag-like protein 4 Proteins 0.000 description 4
- 101001094545 Homo sapiens Retrotransposon-like protein 1 Proteins 0.000 description 4
- 102100029131 Retrotransposon Gag-like protein 4 Human genes 0.000 description 4
- 102100035123 Retrotransposon-like protein 1 Human genes 0.000 description 4
- 239000011248 coating agent Substances 0.000 description 4
- 238000000576 coating method Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 101001094537 Homo sapiens Retrotransposon Gag-like protein 3 Proteins 0.000 description 2
- 101001073409 Homo sapiens Retrotransposon-derived protein PEG10 Proteins 0.000 description 2
- 102100035122 Retrotransposon Gag-like protein 3 Human genes 0.000 description 2
- 102100035844 Retrotransposon-derived protein PEG10 Human genes 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004237 neck muscle Anatomy 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得手段と、
前記化粧顔画像から化粧情報を検出する化粧情報検出手段と、
化粧に用いたい化粧品の色を選択する化粧品色選択手段と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、
前記化粧品色選択手段によって選択された前記化粧品の色に変更することによって、第2の化粧顔画像を生成する化粧顔画像合成生成手段と、
前記第2の化粧顔画像を表示する表示手段と、
を備えることを特徴とするメイクアップシミュレーション装置。
なおここで、以下に示す実施の形態において「メイク」とは、「化粧」(メイクアップ)の仕方(種類)を示し、塗付濃度及び、塗付範囲を少なくとも含むものとする。
また、メイク色とは化粧品(肌用化粧剤)の色を示し、例えば、アイシャドウや口紅(以下において「リップ」ともいう。)等の色味を少なくとも含むものとする。
なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
図1に示すように、メイクアップシミュレーション装置1は、操作部10と、表示部20と、撮影部30と、制御装置50と、を備えている。
本実施形態のメイクアップシミュレーション装置1は、例えば化粧品売り場の店頭等に配置され、ユーザや接客を行う店員等が用いるものである。
メイクアップシミュレーション装置1は、例えばタブレット型のパーソナルコンピュータ(以下において「PC」とする。)やノート型のPC、据置型のPC等で構成されている。なお、メイクアップシミュレーション装置1の構成は特に限定されず、専用の筐体を備える装置であってもよい。
操作部10は、例えば表示部20の表面に一体的に設けられたタッチパネルである。
表示部20に構成されるタッチパネルには、後述する表示制御部516の制御にしたがって各種の操作画面が表示され、ユーザはタッチパネルへのタッチ操作によって各種の入力・設定等の操作を行うことができる(図6参照)。
なお、各種の入力・設定等の操作を行う操作部10はタッチパネルである場合に限定されない。例えば各種の操作ボタンやキーボード、ポインティングデバイス等が操作部10として設けられていてもよい。
なお、前述のように、表示部20の表面に各種の入力を行うためのタッチパネルが一体的に構成されていてもよい。この場合には、タッチパネルが操作部10として機能する。
本実施形態では、表示部20の表示画面には、各種の案内画面等が表示される他、後述するように、例えば、ユーザがメイクを施したいメイク領域を選択・設定して当該メイク領域に配置する色(メイク色)を選択・設定するためのメイク色選択画面21が表示される。
さらに、表示部20には、ユーザのメイク顔画像(化粧顔画像)から生成された顔モデルや、顔モデルのメイク領域に所望のメイク色のメイクが配置された合成顔画像(第2の化粧顔画像、図9(b)参照)等が適宜表示されるようになっている。
なお、合成顔画像を表示部20に表示させる場合には、各メイク領域についてユーザが選択したメイク色の識別番号(例えば、アイシャドウであればブルー系の何番の色、リップであればピンク系の何番の色等)や当該メイク色に対応する商品番号(例えば〇番のアイシャドウ、〇番のリップ)等を合わせて表示させてもよい。これにより、自分に似合う色の番号を確認したり、合成顔画像と同じメイクをするために必要な商品をユーザが知ることができる。
表示部20は、後述する表示制御部516によって、その表示動作が制御される。
なお、本実施形態では後述するように、メイクをした状態のユーザの顔を撮影部30において撮影し、メイク顔画像(化粧顔画像)を取得する。
この撮影部30で取得される肌色情報は、例えば、RGBやHSV(色相/彩度/明度)である。
また、本実施形態では、メイクをしていないユーザの顔を撮影部30において撮影し、素肌顔画像を取得してもよい。そして、素肌顔画像を取得した場合には、素肌顔画像から、メイクをしていない部分のユーザの肌の色である肌色情報が取得される。なお、後述するように、肌色情報は素肌顔画像から取得される場合に限定されず、本実施形態において素肌顔画像を取得することは必須ではない。
この撮影部30は、後述する制御装置50の撮影制御部511によって制御される。
撮影装置31によって撮影された画像(メイク顔画像、素肌顔画像等)は、撮影制御部511において取得される。
なお、撮影部30によって撮影された画像の画像データは、後述する記憶部52に記憶されてもよい。
プログラム記憶領域521には、例えばメイクアップシミュレーション処理を行うためのプログラム等、メイクアップシミュレーション装置1を動作させるための各種プログラム等が格納されている。ここに言うプログラムは、例えば各種画像処理用のソフトウエアプログラム等を含む。制御部51がこれらのプログラムを例えばRAMの作業領域に展開して、プログラムが制御部51において実行されることによって、メイクアップシミュレーション装置1の各部が統括制御されるようになっている。
本実施形態では、撮影部30により取得された当該メイク顔画像や素肌顔画像は、撮影制御部511に送られる。撮影制御部511は、こうしたメイク顔画像を取得するメイク顔画像取得手段、素肌顔画像を取得する素肌顔画像取得手段として機能する。なお、撮影制御部511はメイク顔画像や素肌顔画像を記憶部52に記憶させてもよい。
例えば、撮影部30の撮影装置31によってユーザを撮影する代わりに、ユーザのメイク顔画像や素肌顔画像のデータをUSB等の図示しないインターフェース経由で読み込んだり、ユーザの携帯端末装置(スマートフォン等)に保存されている画像データの中からユーザのメイク顔画像や素肌顔画像のデータを各種通信手段を介してメイクアップシミュレーション装置1に送信する等の手法により、制御部51が取得してもよい。さらに、メイクアップシミュレーション装置1に各種イメージスキャナ等の画像読取装置を接続させることができる場合には、ユーザによって提供されたユーザのメイク顔画像や素肌顔画像(例えばメイク顔や素肌顔を撮影した写真)を画像読取装置を介してメイクアップシミュレーション装置1の制御装置50に読み込んでもよい。
なお、ユーザの素肌顔画像は、後述するようにユーザの肌色情報を得るために必要なものである。このため、他の手法で肌色情報を得ることができる場合には、撮影部30等によりユーザの素肌顔画像を取得することは必須ではない。すなわち、例えばメイクアップシミュレーション装置1に各種測色計等を接続させることができる場合には、顔のうちメイクをしていない箇所や、顔の肌色に比較的近似している首筋等の肌の色を測色計等で検出し、この検出結果を制御部51が取得することでユーザの肌色情報を取得してもよい。
なお、メイクアップシミュレーション装置1は、画像処理部512として、GPU(Graphics Processing Unit)等、画像処理に特化した専用のプロセッサにより構成された処理装置を備えていてもよい。
すなわち、顔モデルは、メイクアップシミュレーション処理によって仮想的にメイクを施す際にベースとなるユーザの顔の形状の情報である。
顔モデルは、二次元的な画像であってもよいし、三次元的な画像であってもよい。
本実施形態では、顔モデル生成部513が、顔モデルとして三次元的な(立体的な)画像を生成する場合を例として説明する。
顔モデルを立体的なものとすることにより、後にメイクを合成した際に、よりリアリティのある表示を行うことができ、所望の色でメイクした場合の完成状態を、ユーザがイメージしやすくなるため好ましい。
すなわち、顔モデル生成部513は、例えば、機械学習等の手法により、ユーザのメイク顔画像から、顔の輪郭の特徴点及び顔の各特徴的な部位(例えば、目、口、鼻等)を検出し、ユーザの顔の3Dモデル(顔モデル)を生成する。
このような3Dモデル(顔モデル)からは、これに対応した顔画像のテクスチャ(後述するメイクテクスチャ)を生成することが可能である。テクスチャの座標は3Dモデル(顔モデル)のポリゴンの各頂点と対応する。このため、例えばテクスチャにおいて、後述するメイク領域に配置されている色を所望のメイク色に変更(編集)すると、テクスチャにおいて行ったこうしたメイク色の変更等を3Dモデル(顔モデル)に反映させ、変更された状態で表示部20等に出力させることが可能となる。
顔モデル生成部513によって生成された顔モデルは、記憶部52のデータ保存領域522に保存される。
顔パーツ検出部514によって検出される主要な顔のパーツとしては、例えば目、鼻、口、眉等があげられる。顔パーツ検出部514は、こうしたものをすべて検出してもよいし、これらのうちの一部のみ検出するのでもよいし、これ以外のパーツを検出してもよい。
顔パーツ検出部514による具体的な検出手法は特に限定されず、一般的に用いられる画像処理技術によることができる。
例えば、顔パーツ検出部514は、元画像であるメイク顔画像に対して所定の微分フィルタ(例えば、ハイパスフィルタ等)を用いて微分演算を行い、輝度値や色や濃度に急峻な変化があるところをエッジとして検出するエッジ検出処理を行う。そして、顔パーツ検出部514は、この検出結果に基づいて、目、鼻、口、眉等、顔の各パーツを特定する。
なお、顔の各パーツの検出、どのエッジが顔のどのパーツに対応するか等の特定には、顔モデル生成部513による機械学習等の手法を用いた特徴点の検出等の手法を用いてもよい。
メイク情報検出部515により検出されるメイク情報は、少なくともメイクの位置を示すメイク領域の情報及び塗布色の濃淡情報を含んでいる。濃淡情報は、例えばグラデーション、むら、ぼかし等の塗布色の塗り方に関するものであり、メイクの技法・技量に関わる情報である。またメイク情報はメイクの色情報を含んでいてもよい。
なお、メイク情報検出部515によるメイク情報の検出手法の詳細については後述する。
なお、メイクテクスチャとしては、カラーマップ(ディフューズマップ)が想定される。なお、本実施形態では、メイクテクスチャとして、メイク情報検出部515による検出結果を顔モデル(顔の3Dモデル)に適用するための出力用のメイクテクスチャと、検出したメイク情報を保存するためのデータ保存用のメイクテクスチャとが用意される。
メイク情報は各顔パーツと対応付けられてデータ保存用のメイクテクスチャに書き込まれ、記憶部52のデータ保存領域522等に保存される。これにより、ユーザが次回以降メイクアップシミュレーション装置1を使用する際には、データ保存用のメイクテクスチャに書き込まれているメイク情報を用いることができ、メイクアップシミュレーション処理をより迅速かつ簡易に利用することができる。
メイク色選択手段として制御部51が受け付け、選択したメイク色の情報は、出力用のメイクテクスチャにおける各メイク領域に適用される。
本実施形態の表示制御部516は、顔モデル生成部513によって生成された顔モデルに、メイク色選択手段としての制御部51によって選択されたメイク色をメイク情報に基づいて重畳し合成顔画像(第2の化粧顔画像)を生成する化粧顔画像合成生成手段として機能する。
具体的には、顔モデル生成部513によって生成された顔モデルに、メイク色の情報が書き込まれた出力用のメイクテクスチャを適用して、表示部20に出力する表示用のデータを生成する。
この表示用のデータに基づいて、表示部20には、ユーザ所望の色で、ユーザ自身の施したメイクの技法・技量により施されたメイクが、顔モデルに重畳された合成顔画像SF(第2の化粧顔画像、図9(c)参照)が表示される。
本実施形態のメイクアップシミュレーション装置1を用いてメイクアップシミュレーション処理を行う場合には、ユーザは、メイクアップシミュレーション装置1の操作部10等を操作して電源を入れ起動させる。
操作部10等から装置を利用するユーザ名やID等が入力されると、制御部51は、当該ユーザについてすでに記憶部52のデータ保存領域522等に保存されている顔モデルがあるか否かを判断する(ステップS1)。
すでに顔モデルが記憶されている場合(ステップS1;YES)には、制御部51は、記憶部52のデータ保存領域522等に保存されているメイクテクスチャがあるか否かを判断する(ステップS2)。
具体的には、例えば何年何月に保存したメイク情報を今回のメイクアップシミュレーション処理に用いるか否かをユーザに問い合わせるメッセージ等を表示部20の表示画面等に表示させ、OKボタンの操作等により了承の意思表示がされたか否かを判断する。
なお、ユーザのメイクの技術や技量、好み等は経時的に変化するため、所定の期間以上前に得られたメイク情報では、現在のユーザの技術・技量等を適切に反映した結果が得られないことも考えられる。このため、保存されているメイク情報が所定の期間以上前のものである場合には、自動的に使用しないとの判断を行うようにしてもよい。
具体的には、撮影制御部511が撮影部30を制御してユーザのメイクアップ状態の顔を撮影させ、その画像であるメイク顔画像を取得する(ステップS4)。なお、撮影は正面からのみでもよし、正面と左右両側面等、複数取得してもよい。
メイク顔画像FIを取得すると、制御部51はさらに、保存されている肌色情報があるか否かを判断する(ステップS5)。肌色情報がすでに記憶部52のデータ保存領域522等に保存されている場合(ステップS5;YES)には、当該保存されている肌色情報を記憶部52から読み出す(ステップS6)。
他方、保存されている肌色情報がない場合(ステップS5;NO)には、肌色情報を取得する(ステップS7)。前述のように、肌色情報は、メイクしていない状態のユーザを撮影して素肌顔画像を取得し、この素肌顔画像から検出してもよいし、測色計等で首や顔のメイクしていない部分の肌の色を測色することで取得してもよい。また、メイク顔画像のメイクをほとんどしていない部分から肌色を推定することにより肌色情報を取得してもよい。
そして、記憶部52等から肌色情報を読み出した場合又は新たに肌色情報を取得した場合には、制御部51はメイク情報の検出処理を行う(ステップS8)。
図3に示すように、メイク情報の検出を行う場合には、まず制御部51(顔モデル生成部513)が、メイク顔画像FIに基づいて顔モデルを生成する(ステップS21)。
また、制御部51(顔パーツ検出部514)が、メイク顔画像FIに基づいて顔パーツの情報を検出する(ステップS22)。
図5(b)は、図5(a)に示すメイク顔画像FIの要部を拡大して、図5(a)に示すメイク顔画像FIにおける顔パーツの例を示したものである。
図5(b)では、顔パーツとして、右目FP1、右眉毛FP2、左目FP3、右眉毛FP4、口FP5を検出する例を示している。図示はしていないが、他に頬等の部位を顔パーツとして検出してもよい。また、顔パーツとしては、顔の構成部のうち特徴点となり得るものをすべて抽出してもよいが、特にメイクとの対応付けを行わない部分(すなわち、ほとんどメイクを行わない部分)については検出しなくてもよく、例えば図5(b)において、鼻部分は特に顔パーツとして検出していない。
メイク情報検出部515が検出するメイク情報は、メイクの位置を示すメイク領域とメイクの色情報、濃淡情報を含んでおり、メイク情報検出部515は、これらのメイク情報を各メイク領域Mar1〜Mar4についてそれぞれ検出する。
濃淡情報は、例えば、各メイクに表現されるグラデーションやぼかし等であり、メイクをするユーザのメイクの技術・技量・好み等が反映される。
図5(c)は、メイク種類が、右目FP1のアイシャドウ、左目FP3のアイシャドウ、口FP5の上唇のリップと下唇のリップである場合に、それぞれのメイクの位置を示すメイク領域がメイク領域Mar1〜Mar4である場合を示している。
すなわち、メイク情報検出部515は、まず、メイク種類ごとに検出対象領域Ar1(図6(b)参照)を設定する(ステップS23)。
検出対象領域Ar1は、例えばメイク種類がアイシャドウであれば目のおよその周辺領域、リップであれば唇のおよその周辺領域を設定した後、さらに領域を絞り込んで設定される。
図6(a)及び図6(b)では、メイク情報検出部515が右目FP1周辺に施されるアイシャドウを検出する場合を例示している。
図6(a)は、右目FP1及び右眉毛FP2周辺領域を大まかに切り出した状態を示したものであり、図6(b)では、図6(a)に示す領域をさらに絞り込んで、アイシャドウを検出するために必要な領域(図中太枠で囲んだ領域)を検出対象領域Ar1として設定した状態を示している。
なお、除外領域Ex1,Ex2を設定するにあたっては、前述の顔パーツ検出部514が顔パーツを検出する場合と同様に、元画像であるメイク顔画像に対して所定の微分フィルタ(例えば、ハイパスフィルタ等)を用いて微分演算を行い、輝度値や色や濃度に急峻な変化があるところをエッジとして検出するエッジ検出処理を行う。なお、顔パーツ検出部514による検出結果を利用して目の輪郭、眉毛の輪郭等を特定し、除外領域Ex1,Ex2を設定してもよい。
また、除外領域Ex1,Ex2の設定の仕方は図示例に限定されない。例えば、右目FP1の上側の境界を検出してそれより下の部分はすべて除外領域Ex1としてもよい。同様に右眉毛FP2の下側の境界を検出してそれより上の部分はすべて除外領域Ex2としてもよい。
また、除外領域Ex1,Ex2を設定するにあたっても、除外すべき領域が予め規定されていてもよい。例えば、アイシャドウであれば眼球と眉毛が除外領域となり、アイラインであれば、アイラインを検出するためのアイラインの検出対象領域はアイシャドウの検出対象領域Ar1と類似の領域に設定されても、除外領域としては眼球及び眉毛の他、眼球と眉毛との間のまぶたの領域で眉毛寄りの上側部分を含めることが好ましい。これにより、目の際に施されるアイラインのメイク情報のみを的確に検出することができる。
例えば、本実施形態では、ユーザの肌色情報と、メイク顔画像におけるメイク情報の検出領域内の輝度や明度とを比較したときにその差分の大きな部分を、メイクを施しているメイク領域であると検出する。
すなわち、メイク情報検出部515は、メイク顔画像における検出対象領域Ar1内で、例えば1画素ごとに、当該画素のメイク顔画像における色情報と、ユーザの肌色情報との色の差分を求める(ステップS25)。
当該画素がメイクを施された領域の画素である場合には、メイク情報検出部515は、当該画素におけるメイクの色情報を、例えばRGB(すなわちRED、GREEN、BLUE)値でデータ保存用のメイクテクスチャFT(図7参照)の該当箇所にセットする(ステップS28)。
図7は、データ保存用のメイクテクスチャの一例を示したものである。
例えば、図7に示すアイシャドウが施されたメイク領域では、濃い青から薄い青まで複数段階でグラデーションがかかっている。そこで、各色のレベルに応じて、例えば「B1」から「B4」までの色情報が書き込まれる。これに対して、リップが施されたメイク領域は均一な濃さで塗られているため、リップのメイク領域内の画素には例えばすべて「R2」の色情報が書き込まれる。
なお、図7では模式的にしか表現していないが、こうした濃淡情報を含む色情報は、メイク情報検出部515によって例えば1画素ごとに検出され、詳細にデータ保存用のメイクテクスチャに書き込まれる。
データ保存用のメイクテクスチャの初期状態のα値はすべて0とし、メイクが施されていない部分(図7においてメイクなし領域NMar)のα値は0のままである。
これに対して左右のアイシャドウに対応するメイク領域Mar1,Mar2には「α=0.1」が設定され、上唇と下唇のリップに対応するメイク対象領域Mar3,Mar4には「α=0.3」が設定されている。この他、図示は省略するが、例えば頬部分のチークに対応するメイク対象領域には例えば「α=0.2」等が設定されてもよい。
メイク情報検出部515は、メイク領域に対応するメイク種類との対応付けα値をセットする(ステップS29)。
類似色の領域検出は、各種の画像編集・処理用のソフトウエアプログラムにおいて用いられる色域を選択する手法等を適用することによって実現することができる。
色域とは、例えば、HSV等の色空間で、それぞれの成分ごとのヒストグラムから対象色の閾値を指定することによって求められる。
このように類似色の領域を検出する場合には、1画素ずつ検出する場合よりも処理速度の向上が期待できる。
そしてまだ全画素の検出処理が終了していない場合(ステップS30;NO)には、ステップS25に戻って次の画素について同様の処理を繰り返す。
他方、全画素の検出処理が終了している場合(ステップS30;YES)には、メイク情報検出部515はさらに、他に検出対象領域があるか否かを判断する(ステップS31)。そして他にも検出処理を行っていない検出対象領域がある場合(ステップS31;YES)には、ステップS24に戻って次の検出対象領域について同様の処理を繰り返す。
他方、すべての検出対象領域についての検出処理が終了している場合(ステップS31;YES)には、メイク情報の検出処理を終了する。
なお、ユーザの素肌顔画像や肌色情報等も記憶部52のデータ保存領域522に保存されることが好ましい。
ユーザのメイク情報や、肌色情報等を記憶させておくことにより、次回以降はメイク情報や肌色情報等を取得する手間を省いて簡易・迅速にメイクアップシミュレーション処理を行うことが可能となる。
図4は、メイクアップシミュレーション提示処理(ステップS10)の詳細を説明するフローチャートである。
具体的には、表示制御部516がメイク色選択画面21を表示部20の表示画面に表示させる。
図8は、メイク色選択画面の一例を示す画面例である。
図8に示すように、メイク色選択画面21には、例えばユーザの画像が表示されたユーザ表示欄21aや、各メイク領域に塗布したいメイク色候補が一覧に並べられた候補色選択欄21b等が表示されるようになっている。
ユーザ表示欄21aに表示される画像は、例えばメイク顔画像から取得されたメイクの色情報のRGB値が各メイク領域(メイク対応箇所)に書き込まれた出力用のメイクテクスチャを立体的な顔モデルに適用したものであり、このメイクテクスチャに書き込まれているRGB値をHSV空間等に変換して表示用データとして出力させることで、ユーザのメイク顔画像が立体的な画像として表示部20の表示画面に表示される。
なお、表示部20に表示される画像は、ユーザのものではない一般的・平均的な顔モデルが示されてもよい。
図9(a)は、右目のアイシャドウのメイク領域Mar1、左目のアイシャドウのメイク領域Mar2、上下のリップのメイク領域Mar3,Mar4にそれぞれ図5(c)に示したものとは異なるメイク色が設定された様子を示した図である。
その上で出力用のメイクテクスチャを用意し、その該当箇所に色調補正後のRGB値を書き込む(ステップS44)。
さらに、制御部51は、出力用のメイクテクスチャの該当箇所のα値を変更して透過設定を解除する(ステップS44)。
そこで、制御部51は、出力用のメイクテクスチャのうち、色調補正後のRGB値が書き込まれた箇所について順次α値を「0」から各メイク種類を示す値に変更する。例えばアイシャドウ部分であれば、「α=0」を「α=0.1」に変更する。これにより表示部20の表示画面上でアイシャドウ部分の色が、ユーザが設定したメイク色に変更される。
そして、これに基づいて、メイク情報に含まれる色情報がユーザにより設定されたメイク色に変更された合成顔画像SFを表示部20に表示させる。
図9(b)は、表示部20に表示される合成顔画像SFの一例を示したものであり、図9(c)は、図9(b)における各顔パーツ周辺を拡大して示したものである。
図9(b)及び9(c)に示すように、本実施形態では、元のメイク顔画像に表されるユーザ本人のメイクの技術・技量(例えば図5(a)及び5(b)参照)はそのままに、色のみを変更した状態を表示部20の表示画面上で再現し、確認することができる。
これにより、試してみたい色の化粧品等を実際に顔にメイクをして試さなくても、ユーザ自身の技術や技量に応じて用いた場合にどのような仕上がりとなるのかを、表示部20の表示画面上で確認することができる。このため、実際の仕上がりをイメージしやすく、ユーザ自身で使いこなすことのできない色の化粧品を購入してしまう失敗を回避することができる。
このため、過去の画像等から読み込むよりも、より現状のレベル等に応じた結果を確認することができる。
さらに、過去に取得されたメイク情報を保存しておいた場合には、例えば、メイクアップシミュレーションを体験する際にはその都度新たにメイク情報等を取得してそれに基づく表示を行うものとし、新たに取得されたメイク情報と過去のメイク情報とを比較できるようにすることも可能となる。この場合には、ユーザのメイクの仕方、技術や技量の変化、向上等をメイク情報の変化から確認することができる。
またこのような出力を行う場合、各メイク領域においてユーザが選択したメイク色の識別番号(例えば、アイシャドウであればブルー系の何番の色、リップであればピンク系の何番の色等)や当該メイク色に対応する品番(例えば〇番のアイシャドウ、〇番のリップ)等も合わせて出力させてもよい。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得手段と、
前記化粧顔画像から化粧情報を検出する化粧情報検出手段と、
化粧に用いたい化粧品の色を選択する化粧品色選択手段と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、前記化粧品色選択手段によって選択された前記化粧品の色に変更することによって、第2の化粧顔画像を生成する化粧顔画像合成生成手段と、
前記第2の化粧顔画像を表示する表示手段と、
を備えることを特徴とするメイクアップシミュレーション装置。
<請求項2>
さらに、化粧を施された前記ユーザの顔を撮影する撮影手段を備え、
前記化粧顔画像取得手段は、前記撮影手段により撮影された化粧顔画像を取得することを特徴とする請求項1に記載のメイクアップシミュレーション装置。
<請求項3>
さらに、ユーザの化粧を施していない肌の肌色情報を取得する肌色情報取得手段を備え、
前記肌色情報は、化粧を施していないユーザの素肌顔画像から取得されることを特徴とする請求項1又は請求項2に記載のメイクアップシミュレーション装置。
<請求項4>
前記化粧顔画像に基づいて、化粧をシミュレーションする顔モデルを生成する顔モデル生成手段を備え、前記顔モデルとして立体的な画像を生成することを特徴とする請求項1から請求項3のいずれか一項に記載のメイクアップシミュレーション装置。
<請求項5>
前記顔モデル及び前記化粧情報を記憶する記憶部を備えていることを特徴とする請求項4に記載のメイクアップシミュレーション装置。
<請求項6>
前記化粧情報は少なくとも化粧の位置を示す化粧領域の情報及び塗布色の濃淡情報を含んでいることを特徴とする請求項1から請求項5のいずれか一項に記載のメイクアップシミュレーション装置。
<請求項7>
化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得工程と、
前記化粧顔画像から化粧情報を検出する化粧情報検出工程と、
化粧に用いたい化粧品の色を選択する化粧品色選択工程と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、前記化粧品色選択工程によって選択された前記化粧品の色に変更することによって、第2の化粧顔画像を生成する化粧顔画像合成生成工程と、
前記第2の化粧顔画像を表示手段に表示させる表示工程と、
を含むことを特徴とするメイクアップシミュレーション方法。
<請求項8>
コンピュータに、
化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得機能と、
前記化粧顔画像から化粧情報を検出する化粧情報検出機能と、
化粧に用いたい化粧品の色を選択する化粧品色選択機能と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、前記化粧品色選択機能によって選択された前記化粧品の色に変更することによって、第2の化粧顔画像を生成する化粧顔画像合成生成機能と、
前記第2の化粧顔画像を表示手段に表示させる表示機能と、
を実現させることを特徴とするプログラム。
20 表示部
30 撮影部
51 制御部
52 記憶部
511 撮影制御部
512 画像処理部
513 顔モデル生成部
514 顔パーツ検出部
515 メイク情報検出部
516 表示制御部
521 プログラム記憶領域
522 データ保存領域
Claims (8)
- 化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得手段と、
前記化粧顔画像から化粧情報を検出する化粧情報検出手段と、
化粧に用いたい化粧品の色を選択する化粧品色選択手段と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、前記化粧品色選択手段によって選択された前記化粧品の色に変更することによって、第2の化粧顔画像を生成する化粧顔画像合成生成手段と、
前記第2の化粧顔画像を表示する表示手段と、
を備えることを特徴とするメイクアップシミュレーション装置。 - さらに、化粧を施された前記ユーザの顔を撮影する撮影手段を備え、
前記化粧顔画像取得手段は、前記撮影手段により撮影された化粧顔画像を取得することを特徴とする請求項1に記載のメイクアップシミュレーション装置。 - さらに、ユーザの化粧を施していない肌の肌色情報を取得する肌色情報取得手段を備え、
前記肌色情報は、化粧を施していないユーザの素肌顔画像から取得されることを特徴とする請求項1又は請求項2に記載のメイクアップシミュレーション装置。 - 前記化粧顔画像に基づいて、化粧をシミュレーションする顔モデルを生成する顔モデル生成手段を備え、前記顔モデルとして立体的な画像を生成することを特徴とする請求項1から請求項3のいずれか一項に記載のメイクアップシミュレーション装置。
- 前記顔モデル及び前記化粧情報を記憶する記憶部を備えていることを特徴とする請求項4に記載のメイクアップシミュレーション装置。
- 前記化粧情報は少なくとも化粧の位置を示す化粧領域の情報及び塗布色の濃淡情報を含んでいることを特徴とする請求項1から請求項5のいずれか一項に記載のメイクアップシミュレーション装置。
- 化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得工程と、
前記化粧顔画像から化粧情報を検出する化粧情報検出工程と、
化粧に用いたい化粧品の色を選択する化粧品色選択工程と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、前記化粧品色選択工程によって選択された前記化粧品の色に変更することによって、第2の化粧顔画像を生成する化粧顔画像合成生成工程と、
前記第2の化粧顔画像を表示手段に表示させる表示工程と、
を含むことを特徴とするメイクアップシミュレーション方法。 - コンピュータに、
化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得機能と、
前記化粧顔画像から化粧情報を検出する化粧情報検出機能と、
化粧に用いたい化粧品の色を選択する化粧品色選択機能と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、前記化粧品色選択機能によって選択された前記化粧品の色に変更することによって、第2の化粧顔画像を生成する化粧顔画像合成生成機能と、
前記第2の化粧顔画像を表示手段に表示させる表示機能と、
を実現させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020044055A JP7463774B2 (ja) | 2020-03-13 | 2020-03-13 | メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020044055A JP7463774B2 (ja) | 2020-03-13 | 2020-03-13 | メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021144582A true JP2021144582A (ja) | 2021-09-24 |
JP7463774B2 JP7463774B2 (ja) | 2024-04-09 |
Family
ID=77766821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020044055A Active JP7463774B2 (ja) | 2020-03-13 | 2020-03-13 | メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7463774B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114119154A (zh) * | 2021-11-25 | 2022-03-01 | 北京百度网讯科技有限公司 | 虚拟化妆的方法及装置 |
WO2023056333A1 (en) * | 2021-09-30 | 2023-04-06 | L'oreal | Augmented reality cosmetic design filters |
FR3130423A1 (fr) * | 2021-12-15 | 2023-06-16 | L'oreal | Filtres de dessin cosmétique en réalité augmentée |
CN117495664A (zh) * | 2023-12-25 | 2024-02-02 | 成都白泽智汇科技有限公司 | 一种智能辅助化妆系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014149696A (ja) * | 2013-02-01 | 2014-08-21 | Panasonic Corp | メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム |
JP2018109842A (ja) * | 2016-12-28 | 2018-07-12 | パナソニックIpマネジメント株式会社 | 化粧品提示システム、化粧品提示方法、及び化粧品提示サーバ |
-
2020
- 2020-03-13 JP JP2020044055A patent/JP7463774B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014149696A (ja) * | 2013-02-01 | 2014-08-21 | Panasonic Corp | メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム |
JP2018109842A (ja) * | 2016-12-28 | 2018-07-12 | パナソニックIpマネジメント株式会社 | 化粧品提示システム、化粧品提示方法、及び化粧品提示サーバ |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023056333A1 (en) * | 2021-09-30 | 2023-04-06 | L'oreal | Augmented reality cosmetic design filters |
CN114119154A (zh) * | 2021-11-25 | 2022-03-01 | 北京百度网讯科技有限公司 | 虚拟化妆的方法及装置 |
FR3130423A1 (fr) * | 2021-12-15 | 2023-06-16 | L'oreal | Filtres de dessin cosmétique en réalité augmentée |
CN117495664A (zh) * | 2023-12-25 | 2024-02-02 | 成都白泽智汇科技有限公司 | 一种智能辅助化妆系统 |
CN117495664B (zh) * | 2023-12-25 | 2024-04-09 | 成都白泽智汇科技有限公司 | 一种智能辅助化妆系统 |
Also Published As
Publication number | Publication date |
---|---|
JP7463774B2 (ja) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109690617B (zh) | 用于数字化妆镜的系统和方法 | |
JP2021144582A (ja) | メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム | |
JP4753025B2 (ja) | メイクアップシミュレーション方法 | |
JP4760999B1 (ja) | 画像処理装置、画像処理方法、および制御プログラム | |
JP4862955B1 (ja) | 画像処理装置、画像処理方法、および制御プログラム | |
US9563975B2 (en) | Makeup support apparatus and method for supporting makeup | |
US8884980B2 (en) | System and method for changing hair color in digital images | |
JP5463866B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
KR101363691B1 (ko) | 메이크업 시뮬레이션 시스템, 메이크업 시뮬레이션 장치,메이크업 시뮬레이션 방법 및 메이크업 시뮬레이션프로그램 | |
JP3779570B2 (ja) | 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
US20190026954A1 (en) | Virtually trying cloths on realistic body model of user | |
WO2018221092A1 (ja) | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム | |
US20100189357A1 (en) | Method and device for the virtual simulation of a sequence of video images | |
TWI421781B (zh) | Make-up simulation system, make-up simulation device, make-up simulation method and make-up simulation program | |
JP5261586B2 (ja) | メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム | |
JP2010211308A (ja) | メイクアップアドバイス装置、メイクアップアドバイス方法及びプログラム | |
CN112308944A (zh) | 仿真唇妆的扩增实境显示方法 | |
KR20210032489A (ko) | 신체 영역 상의 메이크업 제품의 렌더링의 시뮬레이션 방법 | |
JP2011022733A (ja) | メーキャップシミュレーション装置、メーキャップシミュレーションプログラム及び対面販売支援方法 | |
JP5029852B2 (ja) | メイクアップシミュレーション方法 | |
JP4372494B2 (ja) | 画像処理装置、画像処理方法、プログラム、記録媒体 | |
JP4323910B2 (ja) | 画像合成装置及び方法 | |
CN114155569B (zh) | 一种化妆进度检测方法、装置、设备及存储介质 | |
JP4487961B2 (ja) | メイクアップシミュレーション方法 | |
JP2007299113A (ja) | ヘアカラー・メイクアップシミュレーションシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7463774 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |