JP2006048393A - メイクアップシミュレーションシステムおよびメイクアップシミュレーションプログラム - Google Patents

Abstract

【課題】 ユーザが所有する化粧品を用いて、手軽にメイクアップシミュレーションを行うことができるメイクアップシミュレーションシステムおよびメイクアップシミュレーションプログラムを提供する。
【解決手段】 メイクアップシミュレーションの対象となる画像を入力する画像入力部と、ユーザ操作に基づいて、２種類の化粧品データを取得する取得部と、取得部が取得した化粧品データを記憶する記憶部と、ユーザ操作に応じて、少なくとも２種類の化粧品データを記憶部から選択する選択部と、画像入力部により入力された画像に対して、選択部により選択された少なくとも２種類の化粧品データに基づいて画像処理を施す演算部と、演算部により画像処理が施された画像を表示する画像表示部とを備え、記憶部は、選択部により選択された少なくとも２種類の化粧品データの組み合わせをさらに記憶する。
【選択図】 図２

Description

本発明は、メイクアップシミュレーションを行うためのメイクアップシミュレーションシステムおよびメイクアップシミュレーションプログラムに関する。

近年、画像処理の手法を用いたメイクアップシミュレーションシステムが考えられている（例えば、特許文献１）。このようなメイクアップシミュレーションシステムでは、顔の画像に対して、予め定められた形状および色パターンの画像処理を施してメイクアップシミュレーションを行っている。
特開昭６３−８０６９２号公報

しかし、化粧品や化粧方法は日々変化するため、予め定められた形状および色パターンでは不十分である。また、一般のユーザが所有している化粧品および新たに購入した化粧品を自由に組み合わせて、有効にメイクアップシミュレーションを行うことができないという問題もあった。
本発明は、ユーザが所有する化粧品を用いて、手軽にメイクアップシミュレーションを行うことができるメイクアップシミュレーションシステムおよびメイクアップシミュレーションプログラムを提供することを目的とする。

請求項１に記載のメイクアップシミュレーションシステムは、メイクアップシミュレーションの対象となる画像を入力する画像入力部と、ユーザ操作に基づいて、少なくとも２種類の化粧品データを取得する取得部と、前記取得部が取得した前記化粧品データを記憶する記憶部と、ユーザ操作に応じて、少なくとも２種類の前記化粧品データを前記記憶部から選択する選択部と、前記画像入力部により入力された前記画像に対して、前記選択部により選択された少なくとも２種類の前記化粧品データに基づいて画像処理を施す演算部と、前記演算部により画像処理が施された画像を表示する画像表示部とを備え、前記記憶部は、前記選択部により選択された少なくとも２種類の前記化粧品データの組み合わせをさらに記憶することを特徴とする。

請求項２に記載のメイクアップシミュレーションシステムは、請求項１に記載のメイクアップシミュレーションシステムにおいて、ネットワークに接続可能であり、前記ネットワークを介して、新規の前記化粧品データを取得する通信部をさらに備え、前記記憶部は、前記通信部が取得した前記化粧品データを記憶することを特徴とする。
請求項３に記載のプログラムは、請求項１または請求項２に記載のメイクアップシミュレーションシステムによる制御をコンピュータで実現させるためのプログラムであって、メイクアップシミュレーションの対象となる画像を入力する画像入力手順と、ユーザ操作に基づいて、少なくとも２種類の化粧品データを取得する取得手順と、前記取得手順で取得した前記化粧品データを記憶する記憶手順と、ユーザ操作に応じて、少なくとも２種類の化粧品データを前記記憶手順で記憶した前記化粧品データから選択する選択手順と、前記画像入力手順で入力された前記画像に対して、前記選択手順で選択された少なくとも２種類の前記化粧品データに基づいて画像処理を施す演算手順と、前記演算手順で画像処理が施された画像を表示する画像表示手順と、前記選択手順で選択された少なくとも２種類の前記化粧品データの組み合わせを記憶する組み合わせ記憶手順とをコンピュータで実現することを特徴とする。

本発明によれば、ユーザが所有する化粧品を用いて、手軽にメイクアップシミュレーションを行うことができるメイクアップシミュレーションシステムおよびメイクアップシミュレーションプログラムを提供することができる。

以下、図面に基づいて、本発明の実施形態について詳細に説明する。
なお、本実施形態では、コンピュータとカメラとからなるメイクアップシミュレーションシステムを例に挙げて説明を行う。コンピュータは、本発明のプログラムを予め記憶しているものとする。
メイクアップシミュレーションシステム１は、図１に示すように、液晶モニタなどの画像表示部２、制御部３、マウス４、キーボード５を備えたコンピュータ１０とカメラ６とからなる。

なお、カメラ６は、動画の撮像が可能な撮像装置であり、不図示の駆動部によって撮影角度およびズーム倍率を変更可能である。カメラ６は、制御部３の指示にしたがって動作を行う。
また、メイクアップシミュレーションシステム１は、図２のブロック図に示すように、カメラ６により生成される画像や後述する化粧品データなどを記憶する記憶部７、画像処理の手法を用いてメイクアップシミュレーションを行う演算部８、ネットワークに接続して情報を取得する通信部９を備える。

なお、制御部３、カメラ６は、請求項の「画像入力部」に対応し、制御部３、マウス４、キーボード５は、請求項の「取得部」および「選択部」に対応する。また、制御部３、記憶部７は、請求項の「記憶部」に対応し、制御部３、演算部８は、請求項の「演算部」に対応する。また、画像表示部２、制御部３は、請求項の「画像表示部」に対応する。
まず、メイクアップシミュレーションの対象となる画像の入力について説明する。ユーザは、マウス４およびキーボード５を介して操作を行って、カメラ６により自身の顔部分を撮像する。制御部３は、この撮像により得られた画像を、記憶部７に記憶する。

次に、ユーザの所有する化粧品データの登録について説明する。ユーザは、マウス４およびキーボード５を介して操作を行って、化粧品の種類、商品名、メーカー名、色番、購入日などの化粧品データを登録する。さらに、カメラ６により化粧品を撮像する。制御部３は、登録された化粧品データと撮像により得られた化粧品の画像とを、記憶部７に記憶する。

以上説明したメイクアップシミュレーションの対象となる画像の入力および化粧品データの登録は事前準備である。次に、メイクアップシミュレーションにおける制御部３の動作について、図３に示すフローチャートを用いて説明する。
まず、制御部３は、記憶部７から、メイクアップシミュレーションの対象となる画像を読み出す（ステップＳ１）。

次に、制御部３は、化粧品の選択が行われたか否かを判定する（ステップＳ２）。化粧品の選択は、マウス４およびキーボード５に対するユーザ操作によって行われる。制御部３は、画像表示部２に化粧品の一覧を表示し、ユーザは、画像表示部２を目視しながら、マウス４およびキーボード５を介して、メイクアップシミュレーションに使用したい化粧品データを選択する。なお、制御部３は、化粧品データの一覧として、種類別やメーカー別の一覧などを、ユーザ操作に応じて画像表示部２に表示する。図４に種類別の一覧の表示例を示し、図５にメーカー別の一覧の表示例を示す。図４の表示例では、上部のウィンドウＡに化粧品の種類を示し、下部のウィンドウＢに化粧品の種類別の一覧を示している。ユーザが、上部のウィンドウＡに表示された化粧品の種類の何れかを選択すると、制御部３は、下部のウィンドウＢに、選択された種類の化粧品の化粧品データを化粧品の画像とともに記憶部７から読み出し、その化粧品の一覧を表示する。また、図５の表示例では、上部のウィンドウＡにメーカーを示し、下部のウィンドウＢにメーカー別の化粧品の一覧を示している。ユーザが、上部のウィンドウＡに表示されたメーカーの何れかを選択すると、制御部３は、選択されたメーカーの化粧品の化粧品データ、化粧品の画像を記憶部７から読み出し、下部のウィンドウＢにその化粧品の一覧を表示する。ユーザは、図４、図５のような表示一覧の中から所望の化粧品を選択する。なお、このような化粧品の選択においては、例えば、口紅を１種類、マスカラを１種類というように、いくつかの化粧品が組み合わせて選択されても良い。

次に、制御部３は、演算部８を介して、ステップＳ１で読み出した画像に対して、ステップＳ２で選択された化粧品データに基づいてメイクアップシミュレーションを行い、シミュレーション画像を生成する（ステップＳ３）。演算部８は、選択された化粧品の種類ごとに、予め定められた位置に、予め定められた方法でシミュレーションを繰り返し行う。例えば、口紅については、ステップＳ１で読み出した画像に対して顔認識を行い、唇の部分に、選択された口紅の情報に基づいて彩色を施す。なお、詳細な位置や、化粧の濃さなどについては、ユーザ操作に応じて指定可能にすると良い。

なお、ステップＳ２において、例えば、２種類の化粧品が選択された場合、演算部８は、最初に選択された化粧品についてメイクアップシミュレーションを行い、得られた画像に対して、次に選択された化粧品についてメイクアップシミュレーションを行う。したがって、前述したように口紅が１種類、マスカラが１種類選択された場合には、メイクアップシミュレーションの結果、唇の部分と眼の部分にメイクアップシミュレーションが行われることになる。

次に、制御部３は、ステップＳ３で行ったメイクアップシミュレーションにより生成されたシミュレーション画像を、画像表示部２に表示する（ステップＳ４）。このとき、ステップＳ１で読み出したメイクアップシミュレーションの対象である画像と、ステップＳ３で行ったメイクアップシミュレーションにより生成されたシミュレーション画像とを、並べて画像表示部２に表示するようにしても良い。

次に、制御部３は、メイク指導を実行するか否かを判定する（ステップＳ５）。ユーザは、画像表示部２に表示されたメイクアップシミュレーションにより生成されたシミュレーション画像を確認し、化粧品の選択が適切であるかを判断する。そして、選択した化粧品を使用したメイク指導を実行したい場合には、マウス４およびキーボード５を介して、実行を指示する。ユーザによりメイク指導の実行が指示されない場合、制御部３は、ステップＳ２に戻り、化粧品データの選択からの動作をやり直す。

一方、ユーザによりメイク指導の実行が指示されると、制御部３は、メイク指導を実行する（ステップＳ６）。
制御部３は、まず、使用する化粧品の化粧品データおよび化粧品の画像と化粧方法とをメイク手順にしたがって画像表示部２に表示するとともに、カメラ６によるユーザの顔部分の撮像を開始する。カメラ６による撮像画像は、後述する指導画像Dとして用いられる。撮像は、動画撮像でも良いし、一定時間間隔の静止画撮像でも良い。図６に、使用する化粧品の化粧品データおよび化粧品の画像と化粧方法との表示例を示す。図６の表示例では、右側のウィンドウＡに全体の手順を示し、左側のウィンドウＢに使用する化粧品の化粧品データＣと、指導画像Ｄと、目標画像Ｅとを示している。指導画像Ｄとは、この手順における化粧方法を説明する静止画または動画である。この指導画像Ｄは、ユーザの顔画像（例えば、メイクアップシミュレーションの対象となる画像として記憶部７に記憶された画像）に対して顔認識を行い、この手順における化粧の対象となる顔の部分（手順１の段階では、例えば、マスカラを使用する場合には眼の部分が対象）の画像に、化粧方法を示す図などを重ねて表示した画像である。
図６には、化粧方法を示す表示として、矢印を用いた静止画の例を示す。図６では、マスカラをまつげの付け根から先端に向かって塗ることを矢印を用いて説明している。なお、化粧方法を示すための図、矢印などや、各手順における化粧の対象となる顔の部分についての情報は、記憶部７に予め記憶されている。

制御部３は、現在のメイクアップの手順に応じて、これらの情報を読み出し、ユーザ画像に対して顔認識を行い、この手順における化粧の対象となる顔の部分を判別して化粧方法を示す図などを重畳表示させる。
また、目標画像Ｅとは、ステップＳ３で行ったメイクアップシミュレーションにより生成された画像である。

なお、指導画像が小さく目視が困難な場合、制御部３は、ユーザ操作に応じて指導画像を拡大表示する。図７に拡大表示の例を示す。図７の表示例では、全体の手順Ａおよび使用する化粧品の化粧品データＣを縮小表示し、指導画像の部分拡大図Ｄを表示している。また、制御部３は、カメラ６により撮像された現在のユーザの顔画像Ｆを左右反転して表示している。このように左右反転して表示することにより、ユーザは鏡と同様に画像表示部２を観察することができる。

このようにして、例えば、手順１のメイクアップが終了すると、ユーザはマウス４やキーボード５などを操作して、手順２の画像を画像表示部２上に表示させて、手順２のメイクアップを行う。以下、順次、これに続く手順のメイクアップを行う。なお、手順２以降で指導画像Ｄとして用いられる画像としては、１つ前の手順のメイクアップが終了した段階の撮像画像を用いることが好ましい。

制御部３は、すべてのメイク手順における表示を終了すると、ユーザ指示に基づいて、カメラ６を介して、メイク指導によるメイク終了後のユーザの顔を撮像する。そして、メイクアップシミュレーションやメイク指導が行われた日付、使用された化粧品、メイク終了後に撮像したユーザの画像などを関連づけて、記憶部７に記憶する。
ユーザが、後日メイクアップシミュレーションシステム１を用いる際には、制御部３は、ユーザ操作に応じて、メイクアップシミュレーションの履歴やメイク指導の履歴を記憶部７から読み出して、画像表示部２に表示する。図８にメイク指導の履歴の表示例を示す。図８の表示例では、メイク指導が行われた日時、使用された化粧品のデータ、メイク指導終了後に撮像したユーザの画像が表示されている。なお、どのような情報を表示するかは、ユーザにより設定可能にすると良い。また、図９に示すように、メイクアップシミュレーションにより生成された画像やメイク指導終了後の画像の一覧を表示し、その一覧から履歴を検索するようにしても良いし、日付や使用した化粧品などの条件を指定して履歴を検索するようにしても良い。また、図４および図５を用いて説明した化粧品データの一覧を表示する際に、図４中に示すようなボタンａを設け、ユーザによりこのボタンａが選択されると、その化粧品を用いたメイクアップシミュレーションの履歴やメイク指導の履歴を記憶部７から読み出して、画像表示部２に表示するようにしても良い。

さらに、メイクアップシミュレーションシステム１をネットワークにつないだ場合の使用方法について説明する。
図１０に、メイクアップシミュレーションシステム１を、ネットワークを介して、管理サーバ１１および情報提供者２０に接続する例を示す。情報提供者２０とは、例えば、雑誌社や化粧品メーカーなどである。情報提供者２０は、通信部２４を介して管理サーバ１１に接続し、記憶部２３に予め蓄積した最新の化粧品の情報や化粧方法を送信する。管理サーバ１１は、通信部１４を介してこの情報を取得し、記憶部１３に蓄積する。

ユーザは、最新の化粧品情報や化粧方法を取得する場合には、メイクアップシミュレーションシステム１の通信部９を介して管理サーバ１１の通信部１４に接続し、記憶部１３から所望の情報を選択して取得する。そして、取得した化粧品の情報や化粧方法を新たに記憶部７に記憶する。
なお、情報を取得する際に、メイクアップシミュレーションの対象となる画像を、管理サーバ１１に送信し、管理サーバ１１において、その画像に対して、ユーザが選択した最新の化粧品情報や化粧方法に基づいたメイクアップシミュレーションを行い、その結果をユーザが確認してから情報を取得するようにしても良い。

また、メイクアップシミュレーションシステム１の記憶部７に記憶されている化粧品のデータをデータベース情報として管理サーバ１１に送信し、そのデータベース情報に基づいて最適あるいは適当な化粧方法などを取得するようにしても良い。
また、メイクアップシミュレーションシステム１のカメラ６と通信部９によるネットワークへの接続を利用して、前述した化粧品データの登録を簡便化しても良い。すなわち、カメラ６を用いて、化粧品についているバーコードを読み込み、そのバーコード情報を用いて、ネットワークを通じて化粧品データを取得すれば良い。また、バーコード読みとり機を別に備えるようにしても良い。また、前述したバーコードに管理サーバ１１の接続先情報を含み、カメラ６で撮像されたバーコードの画像からこの接続先情報を読み取って、自動的に管理サーバ１１に接続して化粧品データを得る構成とすればより好適である。

以上説明したように、本実施形態によれば、メイクアップシミュレーションの対象となる画像を入力するとともに、ユーザ操作に基づいて、化粧品データを取得して記憶する。そして、ユーザ操作に応じて選択された化粧品データに基づいて画像処理を施すことによりメイクアップシミュレーションを行って画像を表示するとともに、選択された化粧品データの組み合わせを記憶する。したがって、所有する化粧品をデータベース化して管理するとともに、それらの化粧品を自由に組み合わせて手軽にメイクアップシミュレーションを行うことができる。特に、複数の化粧品メーカーの化粧品をデータベース化して管理するとともに、それらの化粧品を自由に組み合わせてメイクアップシミュレーションを行うことができるので、化粧品メーカーの店頭プロモーションなどを想定した場合と異なり、ユーザが所有する化粧品および新たに購入した化粧品を自由に組み合わせて有効に利用することができる。

また、カメラなどを用いてユーザ自身の顔部分の画像を入力し、その画像を用いてメイクアップシミュレーションを行うことができる。
また、本実施形態によれば、ネットワークに接続可能であり、ネットワークを介して、新規の化粧品データを取得して記憶する。したがって、最新の化粧品の情報や化粧方法を取得して、メイクアップシミュレーションに用いることができる。また、商品を購入する前に所有する化粧品と組み合わせての使用などについて検討することができる。

なお、本実施形態では、カメラ６を用いてメイクアップシミュレーションの対象となる画像を入力する例を示したが、ほかの方法を用いても良い。例えば、スキャナなどの画像入力装置を用いても良いし、ネットワークを通じて画像を取得しても良い。
また、帽子やサングラスなどの小物を、シミュレーションに追加するようにしても良い。

メイクアップシミュレーションシステム１の全体図である。 メイクアップシミュレーションシステム１の構成を示すブロック図である。 メイクアップシミュレーションシステム１の動作を示すフローチャートである。 化粧品データの一覧の表示例を示す図である。 化粧品データの一覧の別の表示例を示す図である。 使用する化粧品の情報と化粧方法との表示例を示すである。 拡大表示例を示すである。 メイク指導の履歴の表示例を示す図である。 メイクアップシミュレーションにより生成された画像やメイク指導終了後の画像の一覧の表示例を示す図である。 メイクアップシミュレーションシステム１を、ネットワークを介して、管理サーバ１１および情報提供者２０に接続する例を示す。

符号の説明

１ メイクアップシミュレーションシステム
２ 画像表示部
３，１２，２２ 制御部
４ マウス
５ キーボード
６ カメラ
７，１３，２３ 記憶部
８ 演算部
９，１４，２４ 通信部
１０ コンピュータ
１１ 管理サーバ
２０ 情報提供者

Claims (3)

1. メイクアップシミュレーションの対象となる画像を入力する画像入力部と、
   ユーザ操作に基づいて、少なくとも２種類の化粧品データを取得する取得部と、
   前記取得部が取得した前記化粧品データを記憶する記憶部と、
   ユーザ操作に応じて、少なくとも２種類の前記化粧品データを前記記憶部から選択する選択部と、
   前記画像入力部により入力された前記画像に対して、前記選択部により選択された少なくとも２種類の前記化粧品データに基づいて画像処理を施す演算部と、
   前記演算部により画像処理が施された画像を表示する画像表示部とを備え、
   前記記憶部は、前記選択部により選択された少なくとも２種類の前記化粧品データの組み合わせをさらに記憶する
   ことを特徴とするメイクアップシミュレーションシステム。
2. 請求項１に記載のメイクアップシミュレーションシステムにおいて、
   ネットワークに接続可能であり、前記ネットワークを介して、新規の前記化粧品データを取得する通信部をさらに備え、
   前記記憶部は、前記通信部が取得した前記化粧品データを記憶する
   ことを特徴とするメイクアップシミュレーションシステム。
3. 請求項１または請求項２に記載のメイクアップシミュレーションシステムによる制御をコンピュータで実現させるためのプログラムであって、
   メイクアップシミュレーションの対象となる画像を入力する画像入力手順と、
   ユーザ操作に基づいて、少なくとも２種類の化粧品データを取得する取得手順と、
   前記取得手順で取得した前記化粧品データを記憶する記憶手順と、
   ユーザ操作に応じて、少なくとも２種類の化粧品データを前記記憶手順で記憶した前記化粧品データから選択する選択手順と、
   前記画像入力手順で入力された前記画像に対して、前記選択手順で選択された少なくとも２種類の前記化粧品データに基づいて画像処理を施す演算手順と、
   前記演算手順で画像処理が施された画像を表示する画像表示手順と、
   前記選択手順で選択された少なくとも２種類の前記化粧品データの組み合わせを記憶する組み合わせ記憶手順と
   をコンピュータで実現するためのプログラム。
   
   
   

Images