JP2010211308A - メイクアップアドバイス装置、メイクアップアドバイス方法及びプログラム - Google Patents

Abstract

【課題】ユーザが顔を正面から撮影した画像を入力するだけで、自動的にユーザに似合う色を用いた適切なメイクを施した画像を生成することができる。
【解決手段】ユーザの顔が撮影された入力画像から顔領域を抽出し（ステップＳ１２）、肌の色（ステップＳ１６）、顔の特徴点（ステップＳ１８）、頭頂近辺の髪の色（ステップＳ２４）、衣服の色（ステップＳ２６）を検出し、あらかじめ装置に記憶された色データに基づいてユーザに合う化粧品の色を検出する（ステップＳ３０）。あらかじめ装置に記憶された形状データに基づいて、入力画像の所定の位置にユーザに合う色を重ねた加工画像を生成し（ステップＳ３２）、ユーザの端末に送信する（ステップＳ３６）。
【選択図】 図１１

Description

本発明はメイクアップアドバイス装置、メイクアップアドバイス方法及びプログラムに係り、特に被写体の画像に基づいてメイクアップのアドバイスを行うメイクアップアドバイス装置、メイクアップアドバイス方法及びプログラムに関する。

現在、利用者の顔画像を利用したり、利用者が質問に答えたりして、利用者が期待するメイクを行った状態に顔画像を加工したり、アドバイスを出力したりするシステムが広く提供されている。

特許文献１には、顧客が選択したメイクパターンや顧客情報から得た年齢や好みにあわせてシステムが決定したメイクパターンを用いて、被写体の顔画像に仮想的にメイクアップを施したシミュレーション画像を生成するメイクアップアドバイスの提供方法が記載されている。

特許文献２には、利用者に質問をし、その結果を解析してメイクなどのアドバイスを行うシステムが記載されている。

特許文献３には、利用者の顔写真を入力すると、各部位に対応したメイクアップ方法を決定し、文書でアドバイスを出力したり、アドバイス適用後の利用者の画像データを生成したりするメイクアップアドバイス情報提供システムが記載されている。

特許文献４には、利用者の顔写真と、顔の理想形とを比較して必要な化粧を判断し、化粧の手順をアドバイスする化粧アドバイス装置が記載されている。

特許文献５には、利用者が選んだ化粧品を用いて、被写体の顔画像に色彩の更新処理を施し、その結果を時系列に配置した動画を生成する化粧品ガイダンスシステムが記載されている。

特許文献６には、利用者が選んだ化粧品でメイクをした顔画像を作成し、プリントして販売する装置が記載されている。

特開２００２−９２１３２号公報 特開２００３−１２２８２５号公報 特開２００２−３２４１２６号公報 特開２００２−１２３５８５号公報 特開２００５−４４２８３号公報 特開２００４−２２８８８８号公報

しかしながら、現在提供されているシステムでは、多数の質問に答えたり、目標となるモデルの顔を用意したり、使いたい化粧品を指定したりする等、利用者は事前に多くの情報を準備する必要がある。

例えば、特許文献１に記載の発明では、シミュレーション画像を生成するにあたり、顧客が年齢などの顧客情報や好みのメイクパターンを入力しなればならないという問題点がある。また、特許文献１に記載の発明では、顧客の肌や髪の色、洋服の色まで加味したアドバイスはおこなっていない。

特許文献２に記載の発明では、顔の要素や配置に関する質問を行い、その回答を基に顔の印象を解析するものであり、利用者の顔画像を解析していないため、利用者の顔に応じたメイクアップアドバイスが行なえないという問題点がある。

特許文献３〜６に記載の発明では、アドバイスできるのはメイクアップ方法のみであり、利用者に似合う色をアドバイスすることはできないという問題点がある。

本発明はこのような事情に鑑みてなされたもので、利用者が顔を正面から撮影した画像を入力するだけで、自動的に利用者に似合う色を用いた適切なメイクを施した画像を生成することができるメイクアップアドバイス装置、メイクアップアドバイス方法及びプログラムを提供することを目的とする。

請求項１に記載のメイクアップアドバイス装置は、メイクアップ時の１乃至複数の化粧品の色情報又は化粧品の商品情報をネットワークを介してユーザ端末に送信するメイクアップアドバイス装置であって、前記ユーザ端末から顔領域の画像を含むユーザ画像を受信する受信手段と、前記受信手段により受信したユーザ画像から顔領域の画像を抽出する顔検出手段と、前記顔検出手段により抽出された顔領域の画像の肌の色を検出する肌色検出手段と、肌の色をキーとして当該肌の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報が登録されたデータベースと、前記肌色検出手段により検出された肌の色に基づいて前記データベースから当該肌の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報を検索する検索手段と、前記検索手段により検索された１乃至複数の化粧品の色情報又は化粧品の商品情報を前記ユーザ端末に送信する送信手段と、を備えたことを特徴とする。

請求項１に記載のメイクアップアドバイス装置によれば、ユーザ端末から顔領域の画像を含むユーザ画像を受信し、受信したユーザ画像から顔領域の画像を抽出し、抽出された顔領域の画像の肌の色を検出する。データベースには肌の色をキーとして当該肌の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報が登録されており、検出された肌の色に基づいて当該肌の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報をデータベースから検索し、検索した１乃至複数の化粧品の色情報又は化粧品の商品情報をユーザ端末に送信する。これにより、利用者に手間を掛けさせること無く、利用者に似合う化粧品の色を利用者に提案することができる。

請求項２に記載のメイクアップアドバイス装置は、ユーザ画像に化粧を施した加工画像をネットワークを介してユーザ端末に送信するメイクアップアドバイス装置であって、前記ユーザ端末から顔領域の画像を含むユーザ画像を受信する受信手段と、前記受信手段により受信したユーザ画像から顔領域の画像を抽出する顔検出手段と、前記顔検出手段により抽出された顔領域の画像の肌の色を検出する肌色検出手段と、肌の色をキーとして当該肌の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報が登録されたデータベースと、前記肌色検出手段により検出された肌の色に基づいて前記データベースから当該肌の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報を検索する検索手段と、前記検索手段により検索された１乃至複数の化粧品の色情報又は化粧品の商品情報に対応する化粧品により前記受信したユーザ画像に化粧を施した加工画像を生成する加工画像生成手段と、前記加工画像生成手段により生成された加工画像を前記ユーザ端末に送信する送信手段と、を備えたことを特徴とする。

請求項２に記載のメイクアップアドバイス装置によれば、ユーザ端末から顔領域の画像を含むユーザ画像を受信し、受信したユーザ画像から顔領域の画像を抽出し、抽出された顔領域の画像の肌の色を検出する。データベースには肌の色をキーとして当該肌の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報が登録されており、検出された肌の色に基づいて当該肌の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報をデータベースから検索し、検索した１乃至複数の化粧品の色情報又は化粧品の商品情報に対応する化粧品により前記受信したユーザ画像に化粧を施した加工画像を生成し、生成した加工画像をユーザ端末に送信する。これにより、利用者に手間を掛けさせること無く、利用者に似合う化粧品の色を利用者に提案することができる。また、利用者に似合う色で化粧された加工画像を見ることにより、利用者は自分に合う化粧のイメージを容易に把握することができる。

請求項３に記載のメイクアップアドバイス装置は、請求項１又は２に記載のメイクアップアドバイス装置において、カラーの画像信号のホワイトバランスを補正するオートホワイトバランス補正手段を備え、前記受信手段は、前記ユーザ端末から任意の化粧品の色を撮影した画像とともに、該化粧品の商品情報を受信し、前記ホワイトバランス手段は、前記受信した化粧品の色を撮影した画像と該化粧品の商品情報とに基づいて前記ユーザ画像のホワイトバランスを補正することを特徴とする。

請求項３に記載のメイクアップアドバイス装置によれば、ユーザ端末から任意の化粧品の色を撮影した画像とともに、該化粧品の商品情報を受信すると、化粧品の色を撮影した画像と該化粧品の商品情報とに基づいてユーザ画像のホワイトバランスを補正する。なお、化粧品の色を撮影した画像は、化粧が施されたユーザ画像でもよいし、化粧品のみが撮影された画像でもよい。これにより、ユーザ画像に正確なホワイトバランス補正を施すことができる。したがって、肌の色を正確に検出することができる。

請求項４に記載のメイクアップアドバイス装置は、請求項１から３のいずれかに記載のメイクアップアドバイス装置において、前記受信手段により受信したユーザ画像から頭髪領域の画像を抽出する頭髪領域検出手段と、前記頭髪領域検出手段により抽出された頭髪領域の画像の髪の色を検出する髪色検出手段と、を備え、前記データベースには、肌の色及び髪の色をキーとして当該肌の色及び髪の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報が登録され、前記検索手段は、前記肌色検出手段及び髪色検出手段によりそれぞれ検出された肌の色及び髪の色に基づいて前記データベースから当該肌の色及び髪の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報を検索することを特徴とする。

請求項４に記載のメイクアップアドバイス装置によれば、ユーザ画像から頭髪領域の画像を抽出し、抽出された頭髪領域の画像の髪の色を抽出する。データベースには肌の色及び髪の色をキーとして当該肌の色及び髪の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報が登録されており、抽出された肌の色及び髪の色に基づいて当該肌の色及び髪の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報をデータベースから検索する。これにより、利用者により似合う色を利用者に提案することができる。

請求項５に記載のメイクアップアドバイス装置は、請求項４に記載のメイクアップアドバイス装置において、前記受信手段により受信したユーザ画像から衣服の画像を抽出する衣服領域検出手段と、前記衣服領域検出手段により抽出された衣服領域の画像の衣服の色を検出する衣服色検出手段と、を備え、前記データベースには、肌の色、髪の色及び衣服の色をキーとして当該肌の色、髪の色及び衣服の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報が登録され、前記検索手段は、前記肌色検出手段、髪色検出手段及び衣服色検出手段によりそれぞれ検出された肌の色、髪の色及び衣服の色に基づいて前記データベースから当該肌の色、髪の色及び衣服の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報を検索することを特徴とする。

請求項５に記載のメイクアップアドバイス装置によれば、顔ユーザ画像から衣服の画像を抽出し、抽出した衣服領域の画像の衣服の色を検出する。データベースには、肌の色、髪の色及び衣服の色をキーとして当該肌の色、髪の色及び衣服の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報が登録されており、検出された肌の色、髪の色及び衣服の色に基づいて当該肌の色、髪の色及び衣服の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報をデータベースから検索する。これにより、利用者により似合う色を利用者に提案することができる。

請求項６に記載のメイクアップアドバイス装置は、請求項５に記載のメイクアップアドバイス装置において、前記衣服色判定手段は、前記衣服領域内の全ての色を当該色が検出された画素数と共に検出する手段と、前記検出された色の中から背景と判断できる色を除去する手段と、前記除去する手段により除去されなかった色について、前記検出された画素数に基づいて衣服の色を判定する手段と、を有することを特徴とする。

請求項６に記載のメイクアップアドバイス装置によれば、衣服領域内に出現する全ての色を当該色が検出された画素数と共に検出し、検出された色の中から背景と判断できる色を除去し、除去されなかった色の画素数に基づいて衣服の色を判定する。これにより、衣服の色を適切に判定することができる。

請求項７に記載のメイクアップアドバイス装置は、請求項１から６のいずれかに記載のメイクアップアドバイス装置において、前記化粧品は、ベースメイク用の化粧品とポイントメイク用の化粧品とを含むことを特徴とする。

請求項８に記載のメイクアップアドバイス装置は、請求項７に記載のメイクアップアドバイス装置において、前記ポイントメイク用の化粧品は、口紅、アイシャドー、アイブロー、アイライナー及びチークの少なくとも１つを含むことを特徴とする。

請求項９に記載のメイクアップアドバイス装置は、請求項１に記載のメイクアップアドバイス装置において、前記検索手段により検索された１乃至複数の化粧品の色情報又は化粧品の商品情報に対応する化粧品により前記受信したユーザ画像に化粧を施した加工画像を生成する加工画像生成手段を備え、前記送信手段は、前記加工画像生成手段により生成された加工画像を前記ユーザ端末に送信することを特徴とする。

請求項１０に記載のメイクアップアドバイス装置は、請求項２に記載のメイクアップアドバイス装置において、前記送信手段は、前記検索手段により検索された１乃至複数の化粧品の色情報又は化粧品の商品情報を前記ユーザ端末に送信することを特徴とする。

請求項１１に記載のメイクアップアドバイス装置は、請求項２又は９に記載のメイクアップアドバイス装置において、化粧方法を記憶する化粧方法記憶手段を備え、前記加工画像生成手段は、前記化粧方法記憶手段に記憶された化粧方法に基づいて前記受信したユーザ画像に化粧を施した加工画像を生成することを特徴とする。

請求項１１に記載のメイクアップアドバイス装置によれば、化粧方法記憶手段には化粧方法が記憶されており、この記憶された化粧方法に基づいて受信したユーザ画像に化粧を施した加工画像を生成する。これにより、利用者に似合う化粧品の色のみでなく、利用者に合ったバランスのよいメイクアップ方法も利用者に提案することができる。

請求項１２に記載のメイクアップアドバイス装置は、請求項１１に記載のメイクアップアドバイス装置において、前記顔検出手段は、前記抽出した顔領域から眉と、目尻及び小鼻の位置情報とを抽出し、前記化粧方法記憶手段は、眉の化粧方法として、前記顔検出手段により抽出された目尻及び小鼻の位置情報に基づいた化粧方法を記憶することを特徴とする。

請求項１２に記載のメイクアップアドバイス装置によれば、眉の化粧方法として、顔領域から抽出した目尻及び小鼻の位置情報とに基づいた化粧方法を記憶するため、加工画像の眉を理想的な形状にすることができる。

請求項１３に記載のメイクアップアドバイス装置は、請求項１１又は１２に記載のメイクアップアドバイス装置において、前記顔検出手段は、目と、目の輪郭とを抽出し、前記化粧方法記憶手段は、目の化粧方法として、前記顔検出手段により抽出された目の輪郭に基づいた化粧方法を記憶することを特徴とする。

請求項１３に記載のメイクアップアドバイス装置によれば、目の化粧方法として、顔領域手段により抽出した目の輪郭に基づいた化粧方法を記憶するため、利用者の目の輪郭に応じたメイクアップ方法で目をメイクアップした加工画像を生成することができる。

請求項１４に記載のメイクアップアドバイス装置は、請求項１１から１３のいずれかに記載のメイクアップアドバイス装置において、前記顔検出手段は、口と、唇の形状とを抽出し、前記化粧方法記憶手段は、前記顔検出手段により抽出された口の化粧方法として、前記顔検出手段により抽出された唇の形状に基づいた化粧方法を記憶することを特徴とする。

請求項１４に記載のメイクアップアドバイス装置によれば、口の化粧方法として、顔検出手段により抽出された唇の形状に基づいた化粧方法を記憶するため、利用者の目の輪郭に応じたメイクアップ方法で口をメイクアップした加工画像を生成することができる。

請求項１５に記載のメイクアップアドバイス装置は、請求項１１から１４のいずれかに記載のメイクアップアドバイス装置において、前記顔検出手段は、目、鼻及び口の位置情報と、顔の輪郭とを抽出し、前記化粧方法記憶手段は、頬の化粧方法として、前記顔検出手段により抽出された目、鼻及び口の位置情報と、顔の輪郭とに基づいた化粧方法を記憶することを特徴とする。

請求項１５に記載のメイクアップアドバイス装置によれば、頬の化粧方法として、顔検出手段により抽出された目、鼻及び口の位置情報と、顔の輪郭とに基づいた化粧方法を記憶するため、理想的なメイクアップ方法で頬をメイクアップした加工画像を生成することができる。

請求項１６に記載のメイクアップアドバイス装置は、請求項１１から１５のいずれかに記載のメイクアップアドバイス装置において、前記受信手段は、被写体が自分で化粧した時の顔領域の画像を含む画像を前記ユーザ画像として受信し、前記ユーザ画像と前記加工画像と比較し、当該比較した結果に基づいてアドバイスを生成するアドバイス生成手段を備え、前記送信手段は、前記アドバイス生成手段により生成されたアドバイスを送信することを特徴とする。

請求項１６に記載のメイクアップアドバイス装置によれば、被写体が自分で化粧した時の顔領域の画像を受信した場合には、被写体が自分で化粧した時の顔領域の画像と加工画像と比較し、当該比較した結果に基づいてアドバイスを生成する。これにより、利用者に適切なアドバイスをすることができる。

請求項１７に記載のメイクアップアドバイス装置は、請求項１６に記載のメイクアップアドバイス装置において、前記顔検出手段は、前記ユーザ画像と、前記加工画像とから顔を構成する所定の部位を抽出し、前記アドバイス生成手段は、前記顔検出手段により前記ユーザ画像と、前記加工画像とからそれぞれ抽出された所定の部位を比較してアドバイスを生成することを特徴とする。

請求項１７に記載のメイクアップアドバイス装置によれば、ユーザ画像と加工画像とからそれぞれ抽出された所定の部位を比較してアドバイスを生成することにより、利用者に適切かつ詳細なアドバイスをすることができる。

請求項１８に記載のメイクアップアドバイス方法は、ユーザ端末から顔領域の画像を含むユーザ画像を受信するステップと、前記受信したユーザ画像から顔領域の画像を抽出するステップと、前記抽出された顔領域の画像の肌の色を検出するステップと、前記検出された肌の色に基づいて、肌の色をキーとして当該肌の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報が登録されたデータベースから当該肌の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報を検索するステップと、前記検索された１乃至複数の化粧品の色情報又は化粧品の商品情報を前記ユーザ端末に送信するステップと、を含むことを特徴とする。

請求項１９に記載のプログラムは、請求項１８に記載のメイクアップアドバイス方法を演算装置に実行させる。

本発明によれば、利用者が顔を正面から撮影した画像を入力するだけで、自動的に利用者に似合う色を用いた適切なメイクを施した画像を生成することができる。

本発明の第１の実施の形態のメイクアップアドバイスシステム１の概略図である。 特徴点について説明する図である。 上記メイクアップアドバイスシステム１のメイクアップアドバイス装置１０の色ＤＢ１７に記憶されたデータの一例である。 上記メイクアップアドバイス装置１０の形状ＤＢ１８に記憶された眉の化粧方法についてのデータの一例である。 上記メイクアップアドバイス装置１０の形状ＤＢ１８に記憶された目の形状パターンの一例である。 上記メイクアップアドバイス装置１０の形状ＤＢ１８に記憶された目の形状パターン毎のアイラインの引き方パターンの一例である。 上記メイクアップアドバイス装置１０の形状ＤＢ１８に記憶された目の形状パターン毎のアイシャドーの入れ方パターンの一例である。 上記メイクアップアドバイス装置１０の形状ＤＢ１８に記憶された頬の化粧方法についてのデータの一例である。 上記メイクアップアドバイス装置１０の形状ＤＢ１８に記憶された口の形状パターンと、口の形状パターン毎の口紅の塗り方パターンの一例である。 上記メイクアップアドバイス装置１０の商品情報ＤＢ１９に記憶されたデータの一例である。 上記メイクアップアドバイス装置１０の処理の流れを示すフローチャートである。 上記メイクアップアドバイス装置１０の色決定部１５が生成するリストの一例である。 上記メイクアップアドバイス装置１０の加工画像生成部１６が生成する加工画像の一例である。 メイクアップアドバイス装置１０が利用者端末２０又は利用者携帯端末３０に出力する画像の一例である。 ユーザ画像と加工画像との比較を行う場合の概念を示す図である。 アーティスト別のデータが記憶された形態のメイクアップアドバイスシステム１’の概略図である。 上記メイクアップアドバイスシステム１’のメイクアップアドバイス装置１０’の形状ＤＢ１８’に記憶されたデータの一例である。

＜第１の実施の形態＞
図１は、第１の実施の形態に係るメイクアップアドバイスシステム１の全体構造の概略図である。メイクアップアドバイスシステム１は、主として、メイクアップアドバイス装置１０と、利用者端末２０と、利用者携帯端末３０と、インターネット４０とで構成される。図１では、利用者用の端末として利用者端末２０及び利用者携帯端末３０が記載されているか、利用者端末２０及び利用者携帯端末３０のどちらかでよい。

メイクアップアドバイス装置１０は、主として、送受信部１１と、顔検出部１２と、制御部１３と、色検出部１４と、色決定部１５と、加工画像生成部１６と、色データベース（ＤＢ）１７と、形状データベース（ＤＢ）１８と、商品情報データベース（ＤＢ）１９とで構成される。

利用者端末２０は、図示しないインターフェースを介してデジタルカメラ、ＰＣ、携帯機器等の外部機器や記憶媒体から利用者の顔が正面から撮影された画像を取得し、インターネット４０を介してメイクアップアドバイス装置１０へ出力する。また、キーボード等の入力手段を用いて利用者が使用している化粧品の情報を利用者端末２０へ入力すると、利用者端末２０は、インターネット４０を介して入力された化粧品の情報をメイクアップアドバイス装置１０へ出力する。

利用者携帯端末３０は、利用者の正面顔を含む画像を撮影し、撮影された画像をインターネット４０を介してメイクアップアドバイス装置１０へ出力する。また、テンキー等の入力手段を用いて利用者が使用している化粧品の情報を利用者携帯端末３０へ入力すると、利用者端末２０は、インターネット４０を介して入力された化粧品の情報をメイクアップアドバイス装置１０へ出力する。

次に、メイクアップアドバイス装置１０の詳細について説明する。

送受信部１１は、利用者端末２０や利用者携帯端末３０から送信された画像や化粧品の情報を受信し、メイクアップアドバイス装置１０の内部に入力する。また、加工画像生成部１６が生成した加工画像を利用者端末２０や利用者携帯端末３０へ送信する。

顔検出部１２は、送受信部１１を介して入力された画像（以下、ユーザ画像という）から顔領域を抽出する。この顔領域の抽出は、たとえば、画像から肌色データを抽出し、肌色範囲と判断された測光点のクラスタを顔として抽出することにより行われる。この他、画像から顔領域を抽出する方法としては、測光データを色相と彩度に変換し、変換した色相・彩度の二次元ヒストグラムを作成し、解析することで顔領域を判断する方法や、人の顔の形状に相当する顔候補領域を抽出し、その領域内の特徴量から顔領域を決定する方法、画像から人の顔の輪郭を抽出し、顔領域を決定する方法、複数の顔の形状をしたテンプレートを用意し、そのテンプレートと画像との相関を計算し、この相関値により顔候補領域とすることで人の顔を抽出する方法等が知られており、これらの方法を用いて抽出することができる。

また、顔検出部１２は、図２に示すように、抽出された顔領域から特徴点を抽出する。特徴点は、たとえば、ユーザ画像内の黒色とその他の色との境界を求めることにより特徴点を算出する。この方法により、主として、目頭、目尻、黒目の境界、眉頭、眉尻、小鼻、口角、唇の略中央部、顔の輪郭が抽出される。

さらに、顔検出部１２は、抽出された顔領域の周辺領域から、カラー情報に基づいて画像内の黒部分の最上部を検出すると共に、その最上部を含む連続した黒部分領域のパターンを取得し、このパターンと予め顔検出部１２のメモリ領域に格納された基準パターンとパターンマッチングを行うことにより頭髪部を抽出する。そして、抽出された頭髪部の最上部の点を頭頂部として検出する。この他、画像から頭髪部を抽出する方法としては、楕円形状の検出や、パターンマッチングによる手法等の様々な公知のアルゴリズムが知られており、これらの方法を用いて抽出することができる。

制御部１３は、メイクアップアドバイス装置１０の全体の動作を統括制御する制御手段として機能するとともに、各種の演算処理を行う演算手段として機能する。また、制御部１３はメモリ領域を有し、メモリ領域にはメイクアップアドバイス装置１０が実行する制御プログラム等が保存されている。

また、制御部１３は、ユーザ画像のホワイトバランスを補正する。制御部１３は、１画面を複数のエリア（例えば、１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の色別の平均積算値を算出し、得られたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランスを補正する。

色検出部１４は、顔検出部１２により検出された顔領域の肌色データから利用者の肌の色を検出する。また、色検出部１４は、顔検出部１２により検出された頭頂部の色データから利用者の髪の色を検出する。また、色検出部１４は、顔検出部１２により検出された顔領域の下に所定の大きさの衣服色検出領域を設定し、衣服色検出領域の色をその画素数と共に検出し、最も画素数の多い色を利用者が着用している服の色として検出する。なお、利用者が着用している服の色を検出する方法はこれに限定されない。

色決定部１５は、色検出部１４が検出した利用者の肌の色、髪の色及び服の色と、色ＤＢ１７に記憶されたデータとに基づいて、利用者に最も合う化粧品の色を決定する。また、色決定部１５は、商品情報ＤＢ１９を参照し、決定した色に最も近い化粧品から順番に複数の化粧品を抽出し、化粧品のリストを生成する。色決定部１５が利用者に最も合う化粧品の色を決定する方法及び化粧品のリストを生成する方法については、後に詳述する。

加工画像生成部１６は、形状ＤＢに記憶された化粧方法に基づいて、色決定部１５で決定した色に最も近い化粧品を用いてユーザ画像に色を重ねた加工画像を生成する。加工画像生成部１６が囲う画像を生成する方法については後に詳述する。

色ＤＢ１７には、図３に示すように、利用者の色（肌の色、髪の色、衣服の色）と、その利用者の色に最適な化粧品の色（眉の色、ファンデーションの色、口紅の色、アイシャドーの色、チークの色、アイラインの色）のデータが複数記憶されている。例えば、肌の色が黄みがかった色の場合には、口紅は朱赤、アイシャドーならターコイズブルーが合い、肌の色が青みがかった色の場合には、口紅は紫みの赤、アイシャドーは青紫が合う等、肌の色と似合う化粧品の色とは密接な関連がある。髪の色及び衣服の色は、基本的に肌の色に合うように選択されているが、肌の色が同じであっても、髪の色や衣服の色が異なれば似合う化粧品の色も異なる。そのため、利用者の色として肌の色、髪の色及び衣服の色とを組み合わせ、それに応じて最適な化粧品の色の組み合わせを記録しておくことにより、色決定部１５が利用者に最適な化粧品の色を選ぶことができる。

なお、色ＤＢ１７には、図３に示すような肌の色、髪の色及び衣服の色と、それに最適な化粧品の色のデータ以外に、肌の色及び髪の色と、その肌の色及び髪の色に最適な化粧品の色のデータ、及び肌の色とその肌の色に最適な化粧品の色のデータが記憶されている。

形状ＤＢ１８には、眉、目、頬、口の各部位についての化粧方法が化粧品の種類毎に記憶されている。これらの化粧方法は、形状ＤＢ１８にあらかじめ記憶されている。以下、形状ＤＢ１８に登録されている各部位の化粧方法について説明する。

（１）眉（アイブロー）の化粧方法
眉については、顔検出部１２が検出した目頭、目尻及び小鼻を示す特徴点に基づいた化粧方法を用いる。

形状ＤＢ１８には、図４に示すように、（ｉ）まず眉頭の縦方向の位置を目頭を示す特徴点の縦方向の位置と一致させ、（ｉｉ）黒目の外側の所定の位置に眉山を設定し、（ｉｉｉ）眉尻の横方向の位置と眉頭の横方向の位置が一致し、かつ眉尻の縦方向の位置が小鼻を示す特徴点と目尻を示す特徴点とを結んだ線上にくるように眉尻を設定し、（ｉｖ）眉頭と眉山とを略同一の太さで書き、眉山と眉尻とを太さが徐々に細くなるように書く、という眉の化粧方法が記憶されている。

（２）目（アイライン、アイシャドー）の化粧方法
目については、顔検出部１２が検出した目頭、目尻、黒目の境界を示す特徴点から生成可能な目の輪郭の形状に基づいた化粧方法を用いる。

形状ＤＢ１８には、図５（ａ）〜（ｅ）に示すように、５つの特徴的な目の輪郭の形状及び、アイライン及びアイシャドーの色を重ねる位置及び色の濃度についての５つの特徴的な目の輪郭の形状毎のパターンが記憶されている。以下、アイライン及びアイシャドーの色を重ねる位置及び色の濃度について説明する。なお、図６はアイラインを引く位置を示し、図７はアイシャドーを入れる位置及び濃度を示す。

（Ａ）丸い目の場合（図５（ａ）参照）
図６（ａ）に示すように、目の上側の輪郭に沿って細い線でアイラインを引く。

また、図７（ａ）に示すように、目の上側の輪郭と並行に所定の太さで薄い色を塗り、かつ黒目の外側から目尻にかけての目の上側の輪郭沿いが一番濃く、外側斜め上方向に徐々に色が薄くなるように色を塗るように、アイシャドーを入れる。

（Ｂ）細い目（図５（ｂ）参照）
図６（ｂ）に示すように、目の上側及び下側の輪郭にそって、目尻寄りを太めにアイラインを引く。

また、図７（ｂ）に示すように、目の上側の輪郭にそって黒目の上がいちばん広くなるように薄い色を塗ると共に目の下側の目尻近傍に薄い色を塗り、目の上側の輪郭にそって太く濃い色を塗るように、アイシャドーを入れる。

（Ｃ）上がり目（吊り目）（図５（ｃ）参照）
図６（ｃ）に示すように、目の上側の輪郭に沿って細い線でアイラインを引くと共に、目尻より外側に目の上側の輪郭を延ばすようにアイラインを引く。

また、図７（ｃ）に示すように、目の下側の輪郭の外側３分の１位から目じりにかけて、目の下側の輪郭沿いが一番濃く、外側水平方向に徐々に色が薄くに色を塗るように、アイシャドーを入れる。

（Ｄ）下がり目（垂れ目）（図５（ｄ）参照）
図６（ｄ）に示すように、目の上側の輪郭に沿って細い線でアイラインを引くと共に、目尻より外側に斜め上にはね上げるようにアイラインを引く。

また、図７（ｄ）に示すように、目の上側の輪郭の外側３分の１位から目じりにかけて、目の下側の輪郭沿いが一番濃く、外側斜め上方向に徐々に色が薄くなるように色を塗るように、アイシャドーを入れる。

（Ｅ）はれぼったい目（図５（ｅ）参照）
図６（ｅ）に示すように、目頭側を太めにし、目尻に行くに従って徐々に細くなるように、目の上側の輪郭に沿ってアイラインを引く。

また、図７（ｅ）に示すように、黒目の上がいちばん広くなるように薄く色を重ね、目の上側の輪郭と並行に所定の太さで濃く色を塗るように、アイシャドーを入れる。

（３）頬（チーク）の化粧方法
頬については、顔検出部１２が検出した目頭、目尻、小鼻及び顔の輪郭を示す特徴点に基づいた化粧方法を用いる。

形状ＤＢ１８には、図８に示すように、（ｉ）まず眉頭と目尻との中央まっすぐ垂直に引き下ろしたライン（図８のライン１）と、小鼻を示す特徴点から略水平に伸ばしたライン（図８のライン２）とを引き、（ｉｉ）図８のライン１の外側、ライン２の上側かつ顔の輪郭の内側の空間に、外側が略４５°斜め上に傾いた略楕円形に色を塗るという頬の化粧方法が記憶されている。

（４）口（口紅）の化粧方法
口に付いては、顔検出部１２が検出した口角、唇の略中央部を示す特徴点から生成可能な唇の形状に基づいた化粧方法を用いる。

形状ＤＢ１８には、図９（ａ）〜（ｇ）に示すように、７つの特徴的な唇の形状及び、口紅を塗る範囲についての７つの特徴的な唇の形状毎のパターンが記憶されている。以下、口紅を塗る位置について説明する。なお、図９は、一番左が顔検出部１２により検出された唇であり、一番右が形状ＤＢ１８に記憶された口紅を塗る範囲についてのパターンであり、中央は顔検出部１２により検出された唇の形状を実線で、口紅を塗る範囲の外側の輪郭を点線で書いたものである。

（Ａ）薄い唇（図９（ａ）参照）
上下の唇の厚さが厚くなるように輪郭を描き、その内側を塗りつぶすように口紅を塗る。

（Ｂ）薄い上唇（図９（ｂ）参照）
下唇の厚さと上唇の厚さが略同一となるように上唇の輪郭を大きく描き、その内側を塗りつぶすように口紅を塗る。

（Ｃ）薄い下唇（図９（ｃ）参照）
下唇の厚さと上唇の厚さが略同一となるように下唇の輪郭を大きく描き、その内側を塗りつぶすように口紅を塗る。

（Ｄ）弓形の唇（図９（ｄ）参照）
口角を外側に移動させ、唇の両側を広げるように輪郭を描き、その内側を塗りつぶすように口紅を塗る。

（Ｅ）大きくて厚い唇（図９（ｅ）参照）
上下の唇の輪郭を小さく描き、その内側を塗りつぶすように口紅を塗る。

（Ｆ）小さい口と小さい唇（図９（ｆ）参照）
口角を外側に移動させ、唇の両側を広げると共に、上下の唇の厚さが厚くなるように輪郭を描き、その内側を塗りつぶすように口紅を塗る。

（Ｇ）両端の下がった唇（図９（ｇ）参照）
口の両端を持ち上げるように輪郭を描き、その内側を塗りつぶすように口紅を塗る。

商品情報ＤＢ１９には、図１０に示すように、商品名とその化粧品を使用する部位と、その化粧品の色とが関連付けられたデータがあらかじめ記憶されている。

このように構成されたメイクアップアドバイスシステム１の作用について説明する。図１１は、利用者用の端末（利用者端末２０又は利用者携帯端末３０）から利用者の顔が撮影された画像と化粧品の情報とが入力されたときのメイクアップアドバイス装置１０の処理の流れを示すフローチャートである。

まず、利用者端末２０又は利用者携帯端末３０は、利用者が入力した写真をメイクアップアドバイス装置１０に送信する。それと共に、利用者が自分でメイクアップした画像を送信する場合には、利用者は画像と共に化粧品の情報を入力し、利用者端末２０又は利用者携帯端末３０は化粧品の情報をメイクアップアドバイス装置１０に送信する。利用者がメイクアップしていない画像を送信する場合には、顔を撮影したのと同じ状況下で任意の化粧品を撮影し、利用者端末２０又は利用者携帯端末３０は撮影した化粧品の画像と撮影に用いた化粧品の情報とを送信する。

送受信部１１は、利用者端末２０又は利用者携帯端末３０から送信された画像や化粧品の情報等を受信し（ステップＳ１０）、受信した画像（ユーザ画像）を顔検出部１２に出力する。そして、顔検出部１２は、ユーザ画像から顔領域を抽出する（ステップＳ１２）。

制御部１３は、顔検出部１２によりユーザ画像から顔領域が抽出されたか否かを判断する（ステップＳ１４）。ユーザ画像から顔領域が抽出されなかった場合（ステップＳ１４でＮＯ）には、処理を行わない（ステップＳ３８）。

ユーザ画像から顔領域が抽出された場合（ステップＳ１４でＹＥＳ）には、制御部１３がホワイトバランスの補正を行う。

ユーザ画像として利用者が自分でメイクアップした顔が撮影された画像が受信され、それと共に化粧品の情報が受信された場合には、制御部１３は、化粧品の情報と、商品情報ＤＢ１９に記憶された情報とに基づいてその化粧品の色の情報を取得し、当該取得した色と、ユーザ画像中のその化粧品が用いられた部分の色と同じとなるように、ホワイトバランスを補正する。例えば、化粧品の情報として口紅の情報が受信された場合には、メイクアップした顔が撮影された画像から化粧品の色として口紅の色を取得し、口紅の情報からその口紅の色の情報を取得し、画像中の口紅の色が取得した口紅の色の情報が示す色と一致するようにホワイトバランスを補正する。これにより、より正確にホワイトバランスを補正することができる。

ユーザ画像としてメイクアップしていない顔（素顔）が撮影された画像を受信され、それと共に化粧品の画像及び化粧品の情報が受信された場合には、制御部１３は、化粧品の情報と、商品情報ＤＢ１９に記憶された情報とに基づいてその化粧品の色の情報を取得し、当該取得した色と、化粧品の画像のその化粧品が用いられた部分の色と同じとなるように、ホワイトバランスの調整値を算出し、算出された調整値を用いてユーザ画像のホワイトバランスを補正する。

ユーザ画像のみでもホワイトバランスの補正は可能であるが、化粧品の情報等を入力することにより、より正確にホワイトバランスの補正を行うことができる。

制御部１３は、ホワイトバランスの補正が終わった画像を色検出部１４に入力し、色検出部１４は、ステップＳ１２で抽出された顔領域の肌の色を検出する（ステップＳ１６）。

顔検出部１２は、ステップＳ１２で抽出された顔領域から目頭、目尻、黒目の境界、眉頭、眉尻、小鼻、口角、唇の略中央部、顔の輪郭等の特徴点を抽出する（ステップＳ１８）とともに、ステップＳ１２で抽出された顔領域の周辺領域から頭髪部を抽出する（ステップＳ２０）。

制御部１３は、顔検出部１２で頭髪部が検出されたか否かを判断する（ステップＳ２２）。頭髪部が検出された（ステップＳ２２でＹＥＳ）場合には、顔検出部１２は、抽出された頭髪部の最上部の点を頭頂部として検出し、色検出部１４は頭頂部の色を髪の色として検出する（ステップＳ２４）。

頭髪部が検出されていない（ステップＳ２２）場合及び髪の色を検出した（ステップＳ２４）場合には、色検出部１４は、利用者が着用している服の色を検出する（ステップＳ２６）。

色決定部１５は、ステップＳ１６で検出された肌の色と、ステップＳ２４で検出された髪の色（ステップＳ２４が行われた場合のみ）と、ステップＳ２６で検出された服の色との組み合わせを色ＤＢ１７に記憶されたデータから検索し、この肌の色、髪の色及び服の色をキーとして、その肌の色、髪の色及び服の色に最適な化粧品の色（眉の色、ファンデーションの色、口紅の色、アイシャドーの色、チークの色、アイラインの色）を抽出し、これを利用者に最も合う化粧品の色と決定する（ステップＳ２８）。

なお、ステップＳ２８において、ステップＳ１６で検出された肌の色と、ステップＳ２４で検出された髪の色（ステップＳ２４が行われた場合のみ）と、ステップＳ２６で検出された服の色との組み合わせが色ＤＢ１７に記憶されたデータ内に無い場合には、色決定部１５は、ステップＳ１６で検出された肌の色と、ステップＳ２４で検出された髪の色との組み合わせを色ＤＢ１７に記憶された肌の色及び髪の色と、その肌の色及び髪の色に最適な化粧品の色のデータから検索し、この肌の色及び髪の色に最適な化粧品の色（眉の色、ファンデーションの色、口紅の色、アイシャドーの色、チークの色、アイラインの色）を抽出し、これを利用者に最も合う化粧品の色と決定する。

また、ステップＳ２８において、ステップＳ１６で検出された肌の色と、ステップＳ２４で検出された髪の色との組み合わせが色ＤＢ１７に記憶されたデータ内に無い場合には、色決定部１５は、色ＤＢ１７に記憶された肌の色とその肌の色に最適な化粧品の色のデータからステップＳ１６で検出された肌の色に最適な化粧品の色（眉の色、ファンデーションの色、口紅の色、アイシャドーの色、チークの色、アイラインの色）を抽出し、これを利用者に最も合う化粧品の色と決定する。

色決定部１５は、ステップＳ２８で決定した色に近い色の化粧品を、ステップＳ２８で決定した色に最も近い色から順に商品情報ＤＢ１９から抽出し、化粧品のリストを生成する（ステップＳ３０）。

例えば、ステップＳ２８で決定した眉の色が（ｒ１，ｇ１，ｂ１）である場合には、色決定部１５は、商品情報ＤＢ１９に記憶されたデータ（図１０参照）のなかから使用部位が「眉」であるデータを検索する。そして、（ｒ１，ｇ１，ｂ１）と同じ色がある場合には、（ｒ１，ｇ１，ｂ１）の色を有する商品を利用者に最も合う化粧品と決定する。（ｒ１，ｇ１，ｂ１）と同じ色がない場合には、（ｒ１，ｇ１，ｂ１）に最も近い色の商品を利用者に最も合う化粧品と決定する。同様にして、２番目に合う化粧品を決定する。この処理は、ステップＳ２８で決定した色を中心とした所定の範囲内の色の化粧品を全て抽出するまで行う。

そして、色決定部１５は、図１２に示すように、眉、目、口、頬の各部位及び肌について抽出された適切な化粧品のリストを生成する。図１２に示すリストにおいては、一番上が最も合う化粧品であり、下に行くにつれて２番目、３番目・・・と順位が低くなるように、化粧品の種類毎に抽出された化粧品の商品名（図１０の「商品名」と同じ）が並べられる。

加工画像生成部１６は、ステップＳ３０で決定された利用者に最も合う化粧品を用いて、形状ＤＢ１８に記憶された化粧方法に基づいてユーザ画像に色を重ねた加工画像（図１３参照）を生成する（ステップＳ３２）。

「眉」については、ステップＳ３０で商品「アイブロー１」が利用者に最も合う化粧品として決定された。したがって、加工画像生成部１６は、図４に示す方法で、ユーザ画像の図４に示す位置に商品「アイブロー１」の色（Ｒ１１，Ｇ１１，Ｂ１１）を重ねる。

「肌」については、ステップＳ３０で商品「ファンデーション１」が利用者に最も合う化粧品として決定された。したがって、加工画像生成部１６は、顔検出部１２で検出された肌色範囲に商品「ファンデーション１」の色（Ｒ１３，Ｇ１３，Ｂ１３）を重ねる。

「口」については、ステップＳ３０で商品「口紅１」が利用者に最も合う化粧品として決定された。加工画像生成部１６は、顔検出部１２で検出された口と、形状ＤＢ１８に記憶された図９（ａ）〜（ｇ）に示す７つの特徴的な唇の形状とを比較し、顔検出部１２で検出された口がどのパターンに当てはまるかを判断する。そして、加工画像生成部１６は、そのパターンの唇の形状についての口紅を塗る範囲にしたがって、ユーザ画像に商品「口紅１」の色（Ｒ１７，Ｇ１７，Ｂ１７）を重ねる。例えば、図２に示すユーザ画像の口は、図９（ｂ）の一番右の図のようなパターンに当てはまるため、図９（ｂ）の一番右の図のようなパターンにしたがってユーザ画像に商品「口紅１」の色（Ｒ１７，Ｇ１７，Ｂ１７）を重ねる。

「目」については、ステップＳ３０で商品「アイシャドー１」及び「アイライン１」が利用者に最も合う化粧品として決定された。加工画像生成部１６は、顔検出部１２で検出された目と、形状ＤＢ１８に記憶された図５（ａ）〜（ｅ）に示す７つの特徴的な目の形状とを比較し、顔検出部１２で検出された目がどのパターンに当てはまるかを判断する。そして、加工画像生成部１６は、そのパターンの目の形状についてのアイシャドーを塗る範囲及びアイラインを引く範囲にしたがって、ユーザ画像に商品「アイシャドー１」の色（Ｒ１５，Ｇ１５，Ｂ１５）及び「アイライン１」の色（Ｒ２１，Ｇ２１，Ｂ２１）をそれぞれ重ねる。例えば、図２に示すユーザ画像の目は、図５（ｃ）のパターンに当てはまるため、図６（ｃ）のようなパターンにしたがってユーザ画像に商品「アイライン１」の色（Ｒ２１，Ｇ２１，Ｂ２１）を重ね、図７（ｃ）のようなパターンにしたがってユーザ画像に商品「アイシャドー１」の色（Ｒ１５，Ｇ１５，Ｂ１５）を重ねる。

「頬」については、ステップＳ３０で商品「チーク１」が利用者に最も合う化粧品として決定された。したがって、加工画像生成部１６は、図８に示す方法で、ユーザ画像の図８に示す位置に商品「チーク１」の色（Ｒ１９，Ｇ１９，Ｂ１９）を重ねる。

これにより、図２に示すユーザ画像に対して、図１３に示すような加工画像を生成することができる。なお、ユーザ画像の眉の位置が、図４に示す位置からはずれている場合が考えられるが、この場合には、ユーザ画像の図４に示す位置に商品「アイブロー１」の色（Ｒ１１，Ｇ１１，Ｂ１１）を重ねるのに加えて、ユーザ画像の眉のうち図４に示す位置からはずれた位置に「ファンデーション１」の色（Ｒ１３，Ｇ１３，Ｂ１３）を重ねる加工を追加してもよい。

制御部１３は、ステップＳ３０で生成されたリストと、ステップＳ３２で生成された加工画像とを図示しない利用者情報ＤＢに保存する（ステップＳ３４）。送受信部１１は、ステップＳ３４で利用者情報ＤＢに保存されたリスト及び加工画像を利用者端末２０又は利用者携帯端末３０に送信する（ステップＳ３６）。

本実施の形態によれば、利用者は自分の顔が撮影された画像を入力するだけであるため、利用者に手間を掛けさせること無く、利用者に似合う化粧品の色を利用者に提案することができる。また、似合う化粧品のみでなく、利用者に合ったバランスのよいメイクアップ方法も利用者に提案することができる。

また、本実施の形態によれば、利用者の肌の色や髪の色、衣服の色も考慮して利用者に似合う化粧品を利用者に提案するため、利用者にとって最適な色を利用者に提案することができる。

なお、本実施の形態では、ステップＳ３６において、リスト及び加工画像を利用者端末２０又は利用者携帯端末３０に送信したが、リストのみを出力するようにしてもよいし、加工画像のみを出力するようにしてもよい。リストが出力されれば、利用者は、どの化粧品を用いればよいかという情報を知ることができる。また、加工画像が出力されれば、利用者は、自分に合った色で化粧した場合にどのような結果になるのかを直感的に認識することができる。

また、本実施の形態では、ステップＳ３６において、ステップＳ３０で生成したリストを出力したが、リストではなく、ステップＳ３０で利用者に最も合う化粧品等の色情報、を出力してもよい。また、ステップＳ３０で利用者に最も合う化粧品等ではなく、ステップＳ２８で決定した化粧品の色情報を出力してもよい。この場合には、図３に示す色ＤＢ１７でよく、図１０に示す商品情報ＤＢは無くてもよい。

また、本実施の形態では、ステップＳ３６において、利用者に合う順に化粧品を並べたリストを利用者端末２０又は利用者携帯端末３０に送信したが、リストを出力するだけでなく、商品情報ＤＢ１９のデータに優先度をつけ、優先度の高い順から並べたリストを作成するなどにより、メイクアップ商品の販促を行うようにしてもよい。また、優先度の高い商品のみを表示するようにしてもよい。また、リストの上位に表示された商品ほど高い広告料を設定し、メーカーから代金を徴収することもできる。

また、本実施の形態では、商品情報ＤＢ１９に１種類のデータを登録したが、メーカー別、季節別、新商品のみ等の複数のデータを設置し、所望のデータを用いてリストを生成したり、利用者に最も合う商品を決定したりしてもよい。この所定の商品情報は、あらかじめ設定しておいてもよいし、利用者の選択により設定してもよい。

また、本実施の形態において、ユーザ画像として利用者が自分でメイクアップした顔が撮影された画像が受信された場合には、メイクアップアドバイス装置１０は、ユーザ画像と加工画像とを交互に表示させる、ユーザ画像と加工画像とを並べて表示させる（図１４参照）等、ユーザ画像（自分でメイクアップした顔）と加工画像（理想的なメイクの状態）とが比較できるような態様でユーザ画像と加工画像とを利用者端末２０又は利用者携帯端末３０に送信するようにしてもよい。また、ユーザ画像及び加工画像から眉などの所望の部位のみを切り出し、切り出した画像同士を比較できるようにしてもよい。

また、図１５に示すように、メイクアップアドバイス装置１０にユーザ画像と加工画像とを比較する手段を設け、ユーザ画像と加工画像との色や色が重ねられている位置の違いを求め、その結果を加工画像等と一緒に利用者端末２０又は利用者携帯端末３０に送信するようにしてもよい。また、ユーザ画像と加工画像とを比較する手段にメイクの改善ポイントのテキスト情報等を記憶しておき、ユーザ画像と加工画像とを比較した結果に基づいたテキスト情報を利用者端末２０又は利用者携帯端末３０に送信するようにしてもよい。このアドバイスは、ユーザ画像、加工画像の全体を比較することにより生成してもよいし、所望の部位のみを切り出し、切り出した部位同士を比較することにより生成してもよい。

また、本実施の形態では、ユーザ画像としてユーザが自分でメイクアップしたときの顔が撮影された顔が入力された場合には、ステップＳ１６で検出される顔領域の肌の色は、利用者の本当の肌の色ではなく、ファンデーションの色である可能性がある。したがって、この場合には、ステップＳ１６において、顔領域の肌の色を検出する変わりに、首の肌色部分の色を抽出するようにしてもよい。なお、首の肌色部分の色を抽出する方法は公知の方法を用いることができるため説明を省略する。

また、本実施の形態では、色ＤＢ１７に１種類のデータを記憶し、形状ＤＢ１８に各部位毎に１種類の化粧方法を示す形状データ（例えば、眉や頬なら１通りの化粧方法、目や口なら各パターン毎に１パターンの化粧方法）を記憶したが、図１６に示すように、メイクアップアーチスト毎に色データや形状パターンを色ＤＢや形状ＤＢに記憶し、メイクアップアーチスト毎に加工画像を生成し、利用者端末２０又は利用者携帯端末３０に送信するようにしてもよい。これにより、利用者は、複数のメイクアップアーチストからの提案を同時に受けることができる。

例えば、アーティスト１はソフトなイメージ、アーティスト２はシャープなイメージのアーティストであるとする。形状ＤＢ１８’には、例えば図５（ａ）に示す丸い目の場合のパターンとして、図１７に示すように、アーティスト１のデータとして、まぶた全体に薄い色を重ね、目の輪郭の上側に沿って濃い色を重ねるパターンを記憶し、アーティスト２のデータとして、まぶた全体に薄い色を重ね、さらにアイホールに沿って濃い色を重ねるパターンを記憶しておく。この場合には、利用者は、ソフトなイメージの加工画像と、シャープなイメージの加工画像を見ることができる。

また、利用者が選択したアーティストのみの加工画像を生成するようにしてもよい。これにより、利用者は、希望するメイクアップアーチストからの提案を受けることができる。なお、メイクアップアーチスト別のデータは、色データだけでもよいし、形状データだけでもよい。

また、本実施の形態では、被写体の正面顔を含む画像をユーザ画像としたが、被写体の向きが正面でない場合（例えば斜めを向いている場合）にも利用者に似合う化粧品が何であるかを利用者に提案することができる。ただし、誤った化粧方法をアドバイスしないためには、ユーザ画像中の被写体の顔が正面を向いていることが望ましい。

また、本実施の形態では、ユーザ画像の肌の色と、髪の色と、服の色とに基づいて色決定部１５が利用者に最適な化粧品の色を決定したが、最も重要なのは肌の色であり、肌の色が抽出できれば本発明は実施可能である。したがって、最低限、肌の色と、肌の色に最適な化粧品の色とが色ＤＢに記憶されていればよい。

本発明は、メイクアップアドバイス装置１０と利用者用の端末（利用者端末２０、利用者携帯端末３０）とを備えたメイクアップアドバイスシステムに限らず、メイクアップアドバイスシステム１と利用者用の端末との機能を備えた装置として適用してもよい。また、装置やシステムに限らず、装置やシステムに適用するプログラムとして提供することもできる。

１、２、３：メイクアップアドバイスシステム、１０：メイクアップアドバイス装置、１１：送受信部、１２：顔検出部、１３：制御部、１４：色検出部、１５：色決定部、１６：加工画像生成部、１７：色ＤＢ、１８：形状ＤＢ、１９：商品情報ＤＢ、２０：利用者端末、３０：利用者携帯端末、４０：インターネット

Claims (19)

1. メイクアップ時の１乃至複数の化粧品の色情報又は化粧品の商品情報をネットワークを介してユーザ端末に送信するメイクアップアドバイス装置であって、
   前記ユーザ端末から顔領域の画像を含むユーザ画像を受信する受信手段と、
   前記受信手段により受信したユーザ画像から顔領域の画像を抽出する顔検出手段と、
   前記顔検出手段により抽出された顔領域の画像の肌の色を検出する肌色検出手段と、
   肌の色をキーとして当該肌の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報が登録されたデータベースと、
   前記肌色検出手段により検出された肌の色に基づいて前記データベースから当該肌の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報を検索する検索手段と、
   前記検索手段により検索された１乃至複数の化粧品の色情報又は化粧品の商品情報を前記ユーザ端末に送信する送信手段と、
   を備えたことを特徴とするメイクアップアドバイス装置。
2. ユーザ画像に化粧を施した加工画像をネットワークを介してユーザ端末に送信するメイクアップアドバイス装置であって、
   前記ユーザ端末から顔領域の画像を含むユーザ画像を受信する受信手段と、
   前記受信手段により受信したユーザ画像から顔領域の画像を抽出する顔検出手段と、
   前記顔検出手段により抽出された顔領域の画像の肌の色を検出する肌色検出手段と、
   肌の色をキーとして当該肌の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報が登録されたデータベースと、
   前記肌色検出手段により検出された肌の色に基づいて前記データベースから当該肌の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報を検索する検索手段と、
   前記検索手段により検索された１乃至複数の化粧品の色情報又は化粧品の商品情報に対応する化粧品により前記受信したユーザ画像に化粧を施した加工画像を生成する加工画像生成手段と、
   前記加工画像生成手段により生成された加工画像を前記ユーザ端末に送信する送信手段と、
   を備えたことを特徴とするメイクアップアドバイス装置。
3. カラーの画像信号のホワイトバランスを補正するオートホワイトバランス補正手段を備え、
   前記受信手段は、前記ユーザ端末から任意の化粧品の色を撮影した画像とともに、該化粧品の商品情報を受信し、
   前記ホワイトバランス手段は、前記受信した化粧品の色を撮影した画像と該化粧品の商品情報とに基づいて前記ユーザ画像のホワイトバランスを補正することを特徴とする請求項１又は２に記載のメイクアップアドバイス装置。
4. 前記受信手段により受信したユーザ画像から頭髪領域の画像を抽出する頭髪領域検出手段と、
   前記頭髪領域検出手段により抽出された頭髪領域の画像の髪の色を検出する髪色検出手段と、を備え、
   前記データベースには、肌の色及び髪の色をキーとして当該肌の色及び髪の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報が登録され、
   前記検索手段は、前記肌色検出手段及び髪色検出手段によりそれぞれ検出された肌の色及び髪の色に基づいて前記データベースから当該肌の色及び髪の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報を検索することを特徴とする請求項１から３のいずれかに記載のメイクアップアドバイス装置。
5. 前記受信手段により受信したユーザ画像から衣服の画像を抽出する衣服領域検出手段と、
   前記衣服領域検出手段により抽出された衣服領域の画像の衣服の色を検出する衣服色検出手段と、を備え、
   前記データベースには、肌の色、髪の色及び衣服の色をキーとして当該肌の色、髪の色及び衣服の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報が登録され、
   前記検索手段は、前記肌色検出手段、髪色検出手段及び衣服色検出手段によりそれぞれ検出された肌の色、髪の色及び衣服の色に基づいて前記データベースから当該肌の色、髪の色及び衣服の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報を検索することを特徴とする請求項４に記載のメイクアップアドバイス装置。
6. 前記衣服色判定手段は、
   前記衣服領域内の全ての色を当該色が検出された画素数と共に検出する手段と、
   前記検出された色の中から背景と判断できる色を除去する手段と、
   前記除去する手段により除去されなかった色について、前記検出された画素数に基づいて衣服の色を判定する手段と、
   を有することを特徴とする請求項５に記載のメイクアップアドバイス装置。
7. 前記化粧品は、ベースメイク用の化粧品とポイントメイク用の化粧品とを含むことを特徴とする請求項１から６のいずれかに記載のメイクアップアドバイス装置。
8. 前記ポイントメイク用の化粧品は、口紅、アイシャドー、アイブロー、アイライナー及びチークの少なくとも１つを含むことを特徴とする請求項７に記載のメイクアップアドバイス装置。
9. 前記検索手段により検索された１乃至複数の化粧品の色情報又は化粧品の商品情報に対応する化粧品により前記受信したユーザ画像に化粧を施した加工画像を生成する加工画像生成手段を備え、
   前記送信手段は、前記加工画像生成手段により生成された加工画像を前記ユーザ端末に送信することを特徴とする請求項１に記載のメイクアップアドバイス装置。
10. 前記送信手段は、前記検索手段により検索された１乃至複数の化粧品の色情報又は化粧品の商品情報を前記ユーザ端末に送信することを特徴とする請求項２に記載のメイクアップアドバイス装置。
11. 化粧方法を記憶する化粧方法記憶手段を備え、
    前記加工画像生成手段は、前記化粧方法記憶手段に記憶された化粧方法に基づいて前記受信したユーザ画像に化粧を施した加工画像を生成することを特徴とする請求項２又は９に記載のメイクアップアドバイス装置。
12. 前記顔検出手段は、前記抽出した顔領域から眉と、目尻及び小鼻の位置情報とを抽出し、
    前記化粧方法記憶手段は、眉の化粧方法として、前記顔検出手段により抽出された目尻及び小鼻の位置情報に基づいた化粧方法を記憶することを特徴とする請求項１１に記載のメイクアップアドバイス装置。
13. 前記顔検出手段は、目と、目の輪郭とを抽出し、
    前記化粧方法記憶手段は、目の化粧方法として、前記顔検出手段により抽出された目の輪郭に基づいた化粧方法を記憶することを特徴とする請求項１１又は１２に記載のメイクアップアドバイス装置。
14. 前記顔検出手段は、口と、唇の形状とを抽出し、
    前記化粧方法記憶手段は、前記顔検出手段により抽出された口の化粧方法として、前記顔検出手段により抽出された唇の形状に基づいた化粧方法を記憶することを特徴とする請求項１１から１３のいずれかに記載のメイクアップアドバイス装置。
15. 前記顔検出手段は、目、鼻及び口の位置情報と、顔の輪郭とを抽出し、
    前記化粧方法記憶手段は、頬の化粧方法として、前記顔検出手段により抽出された目、鼻及び口の位置情報と、顔の輪郭とに基づいた化粧方法を記憶することを特徴とする請求項１１から１４のいずれかに記載のメイクアップアドバイス装置。
16. 前記受信手段は、被写体が自分で化粧した時の顔領域の画像を含む画像を前記ユーザ画像として受信し、
    前記ユーザ画像と前記加工画像と比較し、当該比較した結果に基づいてアドバイスを生成するアドバイス生成手段を備え、
    前記送信手段は、前記アドバイス生成手段により生成されたアドバイスを送信することを特徴とする請求項１１から１５のいずれかに記載のメイクアップアドバイス装置。
17. 前記顔検出手段は、前記ユーザ画像と、前記加工画像とから顔を構成する所定の部位を抽出し、
    前記アドバイス生成手段は、前記顔検出手段により前記ユーザ画像と、前記加工画像とからそれぞれ抽出された所定の部位を比較してアドバイスを生成することを特徴とする請求項１６に記載のメイクアップアドバイス装置。
18. ユーザ端末から顔領域の画像を含むユーザ画像を受信するステップと、
    前記受信したユーザ画像から顔領域の画像を抽出するステップと、
    前記抽出された顔領域の画像の肌の色を検出するステップと、
    前記検出された肌の色に基づいて、肌の色をキーとして当該肌の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報が登録されたデータベースから当該肌の色に最適な１乃至複数の化粧品の色情報又は化粧品の商品情報を検索するステップと、
    前記検索された１乃至複数の化粧品の色情報又は化粧品の商品情報を前記ユーザ端末に送信するステップと、
    を含むことを特徴とするメイクアップアドバイス方法。
19. 請求項１８に記載のメイクアップアドバイス方法を演算装置に実行させることを特徴とするプログラム。