JP2011008397A - 美粧支援装置、美粧支援方法、美粧支援プログラム、及び携帯端末装置 - Google Patents

Abstract

【課題】 ユーザの化粧や、眉毛、髭、頭髪等を整える美粧を支援する。
【解決手段】 インカメラ部で撮像されるカメラスルー画像に対して、ユーザが希望する部位のテンプレート画像を重ねて表示する。そして、ユーザの顔角度が変化した場合は、この変化した顔角度に対応するテンプレート画像を形成し直して、該ユーザの顔画像に重ねて表示する。これにより、ユーザの顔の動きにリアルタイムで追従してテンプレート画像を重ねて表示することができ、ユーザが、様々な角度から化粧等の施され具合を確認しながらの化粧を可能とすることができる。また、ユーザの目、又は眉が表示部の略中央に所定以上近づけられた場合に、該目、又は眉の拡大画像を表示部に表示制御する。これにより、目、又は眉等の細かな部位の化粧も行い易くすることができ、ユーザの化粧をより支援することができる。
【選択図】 図４

Description

本発明は、例えば携帯電話機、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機、ノート型やデスクトップ型のパーソナルコンピュータ装置等に適用して好適な美粧支援装置、美粧支援方法、美粧支援プログラム、及び携帯端末装置に関する。
特には、面倒な繰り返しの撮像作業を必要とすることなく、ユーザの顔の動きに対してリアルタイムに追従して、お手本となる画像とユーザの現在の顔の撮像画像とを重ね合わせて表示することで、ユーザの化粧や、眉毛、髭、頭髪等を整える美粧を支援可能とした美粧支援装置、美粧支援方法、美粧支援プログラム、及び携帯端末装置に関する。

従来より、女性用のファッション雑誌には、化粧の仕方を紹介している頁が含まれている場合が多い。この化粧の仕方を紹介している頁には、モデルの顔写真と共に、使用している化粧品や、化粧の仕方等が掲載されている。ユーザは、このモデルの化粧と同じ化粧を自分に施す場合、ファッション雑誌に掲載されているモデルの写真と、鏡に写る自分の顔を交互に見比べながら化粧を行う。これにより、ファッション雑誌に掲載されているモデルの化粧と略々同様の化粧を自分に対して施すことができる。

しかし、このようにファッション雑誌を見ながら化粧を行う場合、ファッション雑誌に掲載されているモデルは自分ではないため、その化粧を自分に施した場合の完成像がイメージし難い。また、ファッション雑誌に掲載されているモデルの写真と、鏡に写る自分の顔を交互に見比べながら化粧を行うのは大変面倒である。このため、ファッション雑誌のモデルの写真（お手本）を参考にしつつも、結局は、自己流の化粧になってしまうのが現状である。

ここで、化粧に関する装置等の先行技術文献として、特開２００８−０２２１５４号の公開特許公報（特許文献１）に、化粧の手間を軽減するとともに、化粧を行うための支援を行うことを目的とした化粧支援装置が開示されている。この化粧支援装置の場合、化粧コンパクトに、ＣＣＤカメラ、ＬＣＤ、ＣＰＵ、顔パーツ識別検出部、画像補正部、化粧範囲一致判定部を有している。

この化粧支援装置を用いて化粧を行う場合、ユーザは、自分の顔に眉描きを施し、上記ＣＣＤカメラで自分の顔を撮影する。顔パーツ識別検出部は、このＣＣＤカメラで撮影された画像データに対して、顔パーツ検出データを付加してＲＡＭに記憶する。

次に、上記ＲＡＭに画像データを記憶させた翌日に、ユーザが自分の顔を撮影すると、顔パーツ識別検出部は、この撮影した画像データに顔パーツ検出データを付加してバッファメモリに記憶する。画像補正部は、上記ＲＡＭに記憶している画像データと、上記バッファメモリに記憶した画像データとの間におけるユーザの目のサイズが一致するように、上記バッファメモリに記憶した画像データをサイズ補正する。

そして、ＣＰＵは、ＲＡＭに記憶している画像データと、上記補正を施した画像データとを、ユーザの目の位置が一致するように重ねてＬＣＤに表示する。これにより、ユーザは、ＬＣＤを見るだけで、前日に施した化粧と現在施している化粧との違いを容易に認識可能となっている。

特開２００８−０２２１５４号（第６頁〜第７頁、図４）

しかし、この特許文献１に開示されている化粧支援装置の場合、前日に撮影した画像と、翌日に撮影した画像とを、該各画像のサイズ合わせを行ったうえで重ねて表示し、ユーザは、この重ねて表示される画像（＝重ね合わせ画像）に基づいて、前日に施した化粧と現在施している化粧との違いを認識するようになっている。

このため、前日に撮像した顔画像が比較基準（お手本）の顔画像となるため、この前日に撮像した顔画像の撮像角度（＝顔角度）と同じ撮像角度で翌日の撮像を行わないと、該両日の各顔画像同士を正確に比較できない問題がある。

すなわち、化粧を行う場合、ユーザは、様々な角度から鏡を見ることで該化粧の施され具合を確認しながら該化粧を行うものであるが、特許文献１に開示されている化粧支援装置で、この様々な角度からの確認を可能とするためには、まず、お手本となる様々な角度からの複数枚の顔画像を前日に撮像しておき、さらに、翌日に、化粧を施しながら様々な角度から顔画像を撮像して、上記前日に撮像したお手本となる顔画像とそれぞれ比較する必要がある。これは大変面倒な作業である。

また、特許文献１に開示されている化粧支援装置を用いて、例えば少しずつ確認しながら眉墨を引く場合、まず、眉墨を少し引いた状態で撮像を行い、この眉墨の状態を上記重ね合わせ画像により確認し、再度、眉墨を少し引いた状態で撮像を行い、この眉墨の状態を上記重ね合わせ画像により確認する作業を繰り返し行うこととなる。これも大変面倒な作業である。

本発明は、上述の課題に鑑みてなされたものであり、面倒な繰り返しの撮像作業を必要とすることなく、ユーザの顔の動きに対してリアルタイムに追従して、お手本となる画像とユーザの現在の顔の撮像画像とを重ね合わせて表示することで、ユーザの化粧や、眉毛、髭、頭髪等を整える美粧を支援することができるような美粧支援装置、美粧支援方法、美粧支援プログラム、及び携帯端末装置の提供を目的とする。

本発明は、上述の課題を解決するために、
所望の美粧が施された各顔画像が記憶された顔画像記憶部と、
上記顔画像記憶部に記憶されている各顔画像に施された美粧に使用されている美粧道具を示す使用美粧道具情報が記憶された使用美粧道具情報記憶部と、
美粧を行うユーザが所有する美粧道具を示す所有美粧道具情報が記憶された所有美粧道具情報記憶部と、
上記所有美粧道具情報記憶部に記憶されている上記ユーザが所有する美粧道具を示す所有美粧道具情報と、上記使用美粧道具情報記憶部に記憶されている上記各使用美粧道具情報とを比較することで、上記顔画像記憶部に記憶されている各顔画像のうち、上記ユーザが施すことが可能な美粧に対応する顔画像を検出し、該各顔画像の一覧を表示部に表示する美粧パターン表示部と、
上記美粧パターン表示部により表示された上記各顔画像の一覧の中から選択された顔画像の各部位のうち、ユーザにより指定された部位の外形を象ったテンプレート画像を、顔認識処理により形成するテンプレート画像形成部と、
美粧を行うユーザの顔の動画像を撮像するカメラ部と、
上記カメラ部で撮像されたユーザの顔の動画像に対して顔認識処理を施すことで、該ユーザの顔の各部位のうち、上記テンプレート画像形成部で形成された上記テンプレート画像に対応する部位を検出すると共に、該ユーザの顔の顔角度を検出する美粧部位検出部と、
上記テンプレート画像形成部で形成されたテンプレート画像を所定の透明度のテンプレート画像とし、この所定の透明度のテンプレート画像を、上記ユーザの顔の動画像上における上記美粧部位検出部で検出された部位に対して重ね合わせて表示部に表示すると共に、上記美粧部位検出部で上記ユーザの顔の顔角度の変化が検出された場合に、この変化したユーザの顔の顔角度に対応したテンプレート画像に該テンプレート画像を形成し直して、上記ユーザの顔の動画像に重ね合わせて表示する重ね合わせ表示処理部と
を有する。

このような本発明は、カメラ部で撮像される動画像に対して、ユーザが希望する部位のテンプレート画像を重ねて表示する。そして、ユーザの顔角度が変化した場合は、この変化した顔角度に対応するテンプレート画像を形成し直して、該ユーザの顔画像に重ねて表示する。これにより、ユーザの顔の動きにリアルタイムで追従してテンプレート画像を重ねて表示することができ、ユーザが、様々な角度から施され具合を確認しながらの美粧を可能とすることができる。

本発明は、面倒な繰り返しの撮像作業を必要とすることなく、ユーザの顔の動きに対してリアルタイムに追従して、お手本となる画像とユーザの現在の顔の動画像とを重ね合わせて表示することで、ユーザの化粧や、眉毛、髭、頭髪等を整える美粧を支援することができる。

本発明を適用した実施例となる携帯電話機のブロック図である。 実施例となる携帯電話機の各情報の取得形態を説明するための図である。 実施例となる携帯電話機の美粧支援プログラム実行時における各表示例を示す図である。 実施例となる携帯電話機の美粧支援プログラムの各処理を示すフローチャートである。 実施例となる携帯電話機の美粧支援プログラムに基づく拡大処理等を説明するための図である。

本発明は、カメラ機能を備えた携帯電話機に適用することができる。

［携帯電話機の構成］
この本発明を適用した実施例となる携帯電話機は、図１に示すように無線基地局との間で音声通話、テレビ電話通話、電子メール、Ｗｅｂデータ（Web：World Wide Web）等の無線通信を行うアンテナ１及び通信回路２と、受話音声や後述する美粧を行うための音声ガイダンス等を出力するためのスピーカ部３と、送話音声等を集音するためのマイクロホン部４と、操作メニュー、電子メール、画像（静止画像及び動画像）の他、後述する美粧を行うためのお手本となる形状を示すテンプレート画像、及びユーザの現在の顔画像を重ね合わせた画像等を表示するための表示部５と、所望のメニューの選択操作や所望の文字の入力操作等を行うための操作部６とを有している。

また、この携帯電話機は、発着信等を光でユーザに通知するための発光部７（LED：Light Emitting Diode）と、テレビ電話通話時や後述する美粧支援プログラムの実行時等に、当該携帯電話機を所有するユーザの顔等を撮像するためのインカメラ部８と、所望の被写体の静止画像や動画像を撮像するためのメインカメラ部９と、当該携帯電話機の筐体を振動させて発着信等をユーザに通知するためのバイブレーションユニット１０と、現在時刻を計時するタイマ１１と、当該携帯電話機の筐体の移動や振動等を検出するモーションセンサ１２と、通信距離が例えば５０ｃｍ等の非接触無線通信を行うための非接触無線通信アンテナ１３及び非接触無線通信ユニット１４とを有している。

また、この携帯電話機は、通信距離が例えば１０ｍ程度の近距離無線通信を行うための近距離無線通信アンテナ１５及び近距離無線通信ユニット１６と、赤外線通信を行うための赤外線通信ユニット１７と、外部入力インターフェイス部１８（外部入力ＩＦ部）及び外部出力インターフェイス部１９（外部出力ＩＦ部）と、無線基地局を介した無線通信を行うためのコミュニケーションプログラムの他、複数のアプリケーションプログラム、及び各アプリケーションプログラムで取り扱われるデータ等が記憶されたメモリ２０と、当該携帯電話機全体の動作を制御する制御部２１とを有している。

この携帯電話機の場合、上記インカメラ部８は、上記表示部５が設けられている面部と同じ面部に設けられている。また、上記メインカメラ部９と、上記表示部５が設けられている面部に対して表裏の関係にある反対側の面部に設けられている。メインカメラ部９は、主に、所望の被写体を撮像する際に用いられるカメラ部となっているが、インカメラ部８は、テレビ電話の通話時に、当該携帯電話機を所有しているユーザの顔等を撮像するカメラ部となっている。このため、インカメラ部８は、テレビ電話の通話を行う際に、当該携帯電話機を所有しているユーザが、表示部５に表示される通話相手の画像を見ながら自分の顔も撮像可能なように、表示部５が設けられている面部と同じ面部に設けられている。

後述するが、この携帯電話機の場合、美粧支援プログラムを実行する際に、ユーザの顔等を撮像して表示部５に表示するようになっている。このため、ユーザが表示部５に表示される自分の顔を見ながら、該現在の顔等の状態を撮像可能なように、美粧支援プログラムの実行時における撮像は、上記インカメラ部８が用いられるようになっている。

メモリ２０には、上記コミュニケーションプログラムの他、ユーザの化粧や、眉毛、髭、頭髪等を整える美粧を支援するための美粧支援プログラム（顔認識処理プログラムを含む）、各カメラ部８，９の撮像制御を行うカメラ制御プログラム、電子メールの作成や送受信を制御するための電子メール管理プログラム、ユーザのスケジュールが登録されたスケジュール帳の管理を行うためのスケジュール帳管理プログラム、所望のＷｅｂページの閲覧を行うためのＷｅｂブラウジングプログラム、電話帳の管理を行うための電話帳管理プログラム、音楽データの再生を行うための音楽プレーヤプログラム等の各種アプリケーションプログラムが記憶されている。

また、このメモリ２０には、当該携帯電話機のユーザのスケジュールが登録されるスケジュール帳、ユーザの知人や友人等のユーザ名、静止画像（顔写真等）、住所、電話番号、電子メールアドレス、生年月日等が登録された電話帳、音楽プレーヤプログラムに基づいて再生される音楽データ、カメラ制御プログラムのビューワ機能に基づいて再生される静止画像データ及び動画像データ、送受信された電子メールデータ、電話及び電子メールの発着信履歴が記憶されている。

また、このメモリ２０には、美粧支援プログラムを実行時に用いられる、当該携帯電話機の所有者であるユーザが所有している口紅、アイシャドウ、頬紅、マスカラ、眉墨、ハサミ、毛抜き等の美粧道具を示す所有美粧道具情報と、美粧のお手本となるモデル等の顔写真や、この顔写真の化粧に使用されている美粧道具を示す情報や、この顔写真から抽出された、例えば眉や口等の各部位のテンプレート情報等が記憶された美粧パターンフォルダとが記憶されている。

［美粧支援動作］
このような携帯電話機は、メモリ２０に記憶されている美粧支援プログラムに基づいて、ユーザの化粧や、眉毛、髭、頭髪等を整える美粧を支援可能となっている。なお、以下、ユーザがこの美粧支援プログラムに基づいて化粧を行う場合を例として説明を行う。

〔所有美粧道具情報の入力〕
まず、この美粧支援プログラムに基づいて化粧を行う場合、ユーザは、図２に示すように自分が所有している口紅、アイシャドウ、頬紅、マスカラ、眉墨、ハサミ、毛抜き等の美粧道具を示す所有美粧道具情報の入力を行う。

具体的には、ユーザにより操作部６を介して美粧支援プログラムが起動操作されると、制御部２１は、図３（ａ）に示すように美粧支援メニューとして、所有美粧道具情報の入力画面の表示メニュー（所有美粧道具入力）、お手本となる化粧が施されたモデルの顔写真の入力メニュー（お手本写真入力）、及び美粧の実行を指定するための美粧実行メニュー（美粧実行）の各メニュー項目を表示部５に表示すると共に、該各メニュー項目の中から所望のメニュー項目を指定するためのカーソルＣＲを表示部５に表示する。

ユーザは、操作部６の上下キーを操作することで、所望のメニュー項目の表示位置までカーソルＣＲを移動操作し、決定キーを操作する。この場合、ユーザは、「所有美粧道具入力」のメニュー項目の表示位置にカーソルＣＲを移動操作して、決定キーを操作する。この決定キーの操作がなされると、制御部２１は、ユーザが所有している所有美粧道具情報の入力画面の表示が指定されたものと認識し、例えば図３（ｂ）に示す所有美粧道具情報の入力画面を表示部５に表示制御する。

この図３（ｂ）に示す例は、表示部５に対して口紅、アイシャドウ、頬紅、マスカラ、眉墨、ハサミ、毛抜き等の美粧道具の一覧と、各美粧道具の選択の有無を示しチェックボックスと、所望の美粧道具を選択するためのカーソルＣＲが表示された例である。ユーザは、操作部６を介してカーソルＣＲを移動操作して、自分が所有している美粧道具に対するチェックボックスに対してチェックを入れる。これにより、制御部２１は、チェックボックスに対してチェックが入れられて化粧道具を、ユーザが所有している化粧道具として認識する。そして、制御部２１は、このユーザによりチェックが入れられた化粧道具を示す所有美粧道具情報（主に、美粧道具名の文字情報と、美粧道具の識別コード）をメモリ２０に記憶制御する。

この例では、美粧道具の一覧の中からユーザが所有している美粧道具を選択することとしたが、この他、ユーザが所有している美粧道具名を文字入力してもよいし、美粧道具の識別コードを入力してもよいし、美粧道具に付されているバーコード等を入力してもよい。

美粧道具名が文字入力された場合、制御部２１は、図２に示すように各美粧道具名、及び該各美粧道具名に対応する識別コード等のデータベース３０を備えた所定のネットワーク３１上のサーバ装置３２に、通信回路２及び無線基地局３３を介してアクセスし、ユーザにより入力された美粧道具名に対応する識別コードを取得する。そして、このユーザにより入力された美粧道具名、及び上記サーバ装置から取得した、この美粧道具の識別コード等を上記所有美粧道具情報としてメモリ２０に記憶制御する。

また、美粧道具の識別コードが入力された場合、制御部２１は、上記通信回路２及び無線基地局３３を介してサーバ装置３２にアクセスし、ユーザにより入力された識別コードに対応する美粧道具名等を取得する。そして、このユーザにより入力された識別コード、及び上記サーバ装置３２から取得した美粧道具名等を上記所有美粧道具情報としてメモリ２０に記憶制御する。

また、美粧道具に付されているバーコードが入力された場合、制御部２１は、このバーコードを解析し、該バーコードで示される上記ネットワーク上のサーバ装置３２にアクセスする。そして、このサーバ装置３２から、上記バーコードに対応する美粧道具名、及び識別コード等を取得し、これらを上記所有美粧道具情報としてメモリ２０に記憶制御する。

このように、ネットワーク３１上のサーバ装置３２から所有美粧道具情報を取得可能とすることで、図３（ｂ）に示した美粧道具の一覧の中に、ユーザが所有している美粧道具が含まれていない場合でも、該ユーザが所有している美粧道具を簡単に入力可能とすることができる。

なお、この例では、ネットワーク３１上のサーバ装置３２から所有美粧道具情報を取得することとしたが、上記データベース３０を当該携帯電話機内に設け、制御部２１が、当該携帯電話機内に設けたデータベースを検索するようにしてもよい。

〔お手本写真入力〕
次に、この美粧支援プログラムに基づいて化粧を行う場合、ユーザは、予めお手本となる化粧が施されたモデルの顔写真、及びこのモデルの化粧で使用されている美粧道具の入力を行う。

一例ではあるが、ファッション雑誌等には、図２に示すように化粧が施されたモデルの顔写真、その化粧に使用されている美粧道具や化粧の仕方の紹介文、及びこの美粧道具等の情報を配信しているサーバ装置３２のＵＲＬ情報（Uniform Resource Locator）を含む二次元コード等が掲載されている。

図３（ａ）に示した美粧支援メニューの各メニュー項目のうち、お手本写真入力メニューがユーザにより選択操作されると、制御部２１は、メインカメラ部９を起動制御し、例えば「雑誌に掲載されている二次元コードを写してください」等の、上記二次元コードの撮像を促すメッセージを表示部５に表示制御する。

このメッセージに対応して上記二次元コードの撮像がなされると、制御部２１は、この撮像された二次元コードを解析し、上記サーバ装置３２のＵＲＬ情報を抽出する。そして、制御部２１は、このＵＲＬ情報に基づいて上記サーバ装置３２にアクセスするように、通信回路２を通信制御する。

サーバ装置は、上記ＵＲＬ情報に基づくアクセスがなされると、当該ＵＲＬ情報に対応する顔写真、使用されている美粧道具を示す情報、及びガイドテロップ情報（或いは音声ガイド情報）を携帯電話機に配信する。制御部２１は、この顔写真、使用されている美粧道具を示す情報、及びガイドテロップ情報（或いは音声ガイド情報）が通信回路２を介して受信されると、該顔写真、上記使用されている美粧道具を示す情報、及びガイドテロップ情報（或いは音声ガイド情報）をそれぞれ関連付けてメモリ２０の美粧パターンフォルダに記憶制御する。

このようなお手本写真の入力作業を繰り返し行うことで、メモリ２０の美粧パターンフォルダには、当該携帯電話機のユーザが気に入っている各化粧毎に、モデルの顔写真、使用されている美粧道具を示す情報、及びガイドテロップ情報（或いは音声ガイド情報）がそれぞれ記憶されることとなる。

ここで、この例では、ファッション雑誌に掲載されている二次元コードに基づいて、上記サーバ装置３２にアクセスし、該サーバ装置３２から上記モデルの顔写真や使用している美粧道具を示す情報等を取得することとしたが、上記メインカメラ部９等でファッション雑誌等に掲載されているモデルの顔写真を撮像することで、所望の化粧が施されたモデルの顔写真を取得してもよいし、所望のＷｅｂサイトから所望の化粧が施されたモデルの顔写真をダウンロードして取得してもよい。

また、使用している美粧道具を示す情報は、ユーザが手入力で行ってもよいし、上記二次元コードに、使用している美粧道具を示す情報が含まれており、この二次元コードを上述のように撮像すると、該二次元コードが解析され、使用している美粧道具を示す情報が自動的に入力されるようにしてもよい。

また、ガイドテロップ情報（或いは音声ガイド情報）は、上記二次元コードに、ガイドテロップ情報が含まれており、この二次元コードを上述のように撮像すると、該二次元コードが解析され、ガイドテロップ情報が自動的に入力されるようにしてもよい。

〔美粧実行モード〕
次に、ユーザが所有している所有美粧道具情報の入力、及び所望の顔写真、美粧道具を示す情報、及びガイドテロップ情報（或いは音声ガイド情報）の入力が完了すると、該入力した顔写真のモデルに施されている化粧と同じ化粧となるように、当該携帯電話機のユーザの化粧を支援することが可能となる。この支援を受けながら化粧を行う場合、ユーザは、図３（ａ）に示した美粧支援メニューの各メニュー項目のうち、「美粧実行」のメニュー項目を選択操作する。制御部２１は、この「美粧実行」のメニュー項目の選択操作を検出すると、メモリ２０に記憶されている美粧支援プログラムを起動制御し、この美粧支援プログラムに基づいて、図４のフローチャートに示す各処理を実行制御する。

すなわち、制御部２１は、上記美粧支援プログラムを起動制御すると、図４のフローチャートのステップＳ１に処理を進め、メモリ２０に記憶されているユーザの所有美粧道具情報と、美粧パターンフォルダに記憶されている各モデルの化粧に対応する美粧道具を示す情報とを比較することで、そのユーザが選択可能な美粧パターンを検出して表示部５に表示する。

詳述すると、ユーザがその化粧を実行可能か否かは、そのユーザが所有している美粧道具で決まるものである。例えば、モデルに施されている化粧がアイシャドウを用いた化粧であるにも関わらず、ユーザがアイシャドウを所有していない場合、該ユーザは、そのモデルと同じ化粧を行うことは困難となる。同様に、モデルに施されている化粧が所定の色の口紅を必要とするにも関わらず、ユーザがその色の口紅を所有していない場合、該ユーザは、そのモデルと同じ化粧を行うことは困難となる。

このため、制御部２１は、最初に、メモリ２０に記憶されているユーザの所有美粧道具情報と、美粧パターンフォルダに記憶されている各モデルの化粧に対応する美粧道具を示す情報とを比較する。上述のように、美粧パターンフォルダには、各顔写真、使用されている美粧道具を示す情報、及び各部位のテンプレート画像がそれぞれ関連付けされて記憶されている。制御部２１は、上記比較を行うことで、ユーザが所有している美粧道具で実行可能な化粧に対応する顔写真を上記美粧パターンフォルダから読み出し、この各顔写真のサムネイル画像の一覧を、例えば図３（ｃ）に示すように、ユーザが現在、選択可能な美粧パターンとして表示部５に表示制御して、処理をステップＳ２に進める。

ユーザは、このように一覧表示された美粧パターン（この例の場合、それぞれ化粧が施された各モデルの顔写真）の中から所望の美粧パターンを、操作部６を介して選択操作するのであるが、制御部２１は、ステップＳ２において、この操作部６の操作状況を監視することで、ユーザにより所望の美粧パターンの選択操作がなされたか否かを判別する。そして、ユーザにより所望の美粧パターンの選択操作がなされたものと判別したタイミングで処理をステップＳ３に進める。

ステップＳ３では、制御部２１が、例えば図３（ｄ）に示すような化粧の支援を希望する部位（自分が化粧を行いたい部位）の選択画面を表示部５に表示制御する。この図３（ｄ）は、上記選択画面に対してアイライン、眉、まつ毛、リップ、チーク等の各部位の一覧が表示されている例である。ユーザは、操作部６を介してカーソルＣＲを移動操作して、上記一覧の中から、例えば眉、或いはアイライン等の化粧の支援を希望する部位を選択操作する。制御部２１は、ステップＳ４において、操作部６の操作状況を監視することで、この化粧の支援を希望する部位の選択操作がなされたか否かを判別し、該部位の選択操作がなされたものと判別したタイミングで、処理をステップＳ５に進める。

ステップＳ５では、制御部２１が、上記ステップＳ３でユーザにより選択された美粧パターンに対応する顔写真データを、メモリ２０の美粧パターンフォルダから読み出す。そして、美粧支援プログラムに含まれる顔認識処理プログラム基づいて、上記顔写真に写っているモデルの顔認識処理を行い、上記ステップＳ３でユーザにより選択された化粧の支援を希望する部位を抽出し、この抽出した部位の形状に沿ったテンプレート画像を形成して処理をステップＳ６に進める。

制御部２１は、この形成したテンプレート画像を、上記ステップＳ３でユーザにより選択された美粧パターンに対応する顔写真に関連付けてメモリ２０の美粧パターンフォルダに記憶しておく。そして、次回、同じ顔写真の美粧パターンが選択され、かつ、化粧の支援を行う部位として同じ部位が選択された場合に、上述の顔認識処理プログラムに基づくテンプレート画像の形成動作を行うことなく、上記美粧パターンフォルダに記憶しておいたテンプレート画像を読み出して用いる。これにより、次回、同じ顔写真の美粧パターンが選択され、かつ、化粧の支援を行う部位として同じ部位が選択された場合には、以下に説明するテンプレート画像の表示を高速化することができる。

次に、ステップＳ６に処理を進めると、制御部２１は、上記表示部５と同じ面側に設けられているカメラ部であるインカメラ部８を起動制御する。ユーザは、このインカメラ部８で、自分の顔を撮像することとなる。制御部２１は、このインカメラ部８の例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ（CMOS：Complementary Metal Oxide Semiconductor）等から１５frame/sec等の読み出し速度で読み出されるユーザの顔の動画像データを取得して、処理をステップＳ７に進める。

なお、このステップＳ６で制御部２１が取得する動画像データは、メモリ２０には保存されず、直接的に表示部５に表示される動画像データである。以下、このメモリ２０には保存されず、直接的に表示部５に表示される動画像データを「カメラスルー画像データ」の呼び名で記載する。

次に、ステップＳ７に処理を進めると、制御部２１は、ユーザにより選択された化粧パターンのテンプレート画像である、上記ステップＳ５で形成したテンプレート画像を、例えば当該テンプレート画像と上記カメラスルー画像とを重ね合わせて表示した場合に、該テンプレート画像を介してユーザの顔の部位も視認可能となる程度の透明度のテンプレート画像とする。具体的には、上記ステップＳ５で形成したテンプレート画像が、例えば眉のテンプレート画像であったとすると、制御部２１は、この眉のテンプレート画像に基づいて、図４（ｅ）に示すように上記所定の透明度の眉のテンプレート画像を形成する。

また、制御部２１は、このステップＳ７において、例えば図４（ｆ）に示すように現在、インカメラ部８で撮像されているカメラスルー画像からユーザの顔画像の顔画像サイズを、上記顔認識処理プログラムに基づいて検出する。そして、制御部２１は、上記所定の透明度としたテンプレート画像の画像サイズを、図４（ｇ）に示すように上記検出したユーザの顔画像サイズに対応するサイズとしたうえで、図４（ｈ）に示すように該テンプレート画像を該ユーザの顔画像に重ね合わせて表示部５に表示制御する。

これによりユーザは、表示部５に表示された自分の顔と共に、該自分の顔の上に重ねて表示された例えば眉のテンプレート画像を視認することとなり、このテンプレート画像に沿って、例えば眉墨を引き、口紅を塗る等の所望の部位に対して化粧を施すこととなる。

次に、制御部２１は、ステップＳ８において、上記美粧パターンフォルダに記憶されているガイドテロップ情報（或いは音声ガイド情報）のうち、ユーザにより選択された上記美容パターンの顔写真に関連付けられているガイドテロップ情報（或いは音声ガイド情報）を読み出し、これを図４（ｉ）に示すように表示部５に表示制御する。これにより、ユーザは、上記テンプレート画像に基づいた化粧を行いながら、上記表示部５に表示されたガイドテロップ情報を読むことで、化粧の施し方を認識することができる。

なお、この例は、美粧パターンフォルダからガイドテロップ情報が読み出された例であるが、美粧パターンフォルダから音声ガイド情報を読み出した場合、制御部２１は、この音声ガイド情報を、図示しない外部出力用スピーカ部を介して出力制御する。これにより、ユーザは、上記テンプレート画像に基づいた化粧を行いながら、上記外部出力用スピーカ部を介して出力される音声ガイドを聞くことで、化粧の施し方を認識することができる。

次に、制御部２１は、テンプレート画像をユーザの顔画像に重ね合わせて表示している間、上記顔認識処理プログラムに基づいて、ステップＳ９に示すようにユーザの顔角度の変化の有無を監視する。そして、ユーザの顔角度の変化を検出した場合には、処理をステップＳ１２に進める。ステップＳ１２では、制御部２１が、上記変化したユーザの顔角度に対応するようにテンプレート画像を回転させ、このテンプレート画像をユーザの顔画像に重ねて表示する。

具体的には、制御部２１は、上記顔認識処理により認識しているユーザの顔角度が、例えば図５（ａ）に示すユーザの正面の顔角度から、図５（ｂ）に示すユーザの略右側面の顔角度に変化したものと認識した場合、この図５（ｂ）に示すように、例えば眉のテンプレート画像を、このユーザの略右側面の顔角度に対応するテンプレート画像となるように形成し直し、これを上記顔角度が変化したユーザの顔画像に重ねて表示する。

制御部２１は、このようにユーザの顔角度に対応するテンプレート画像を形成し直して、該ユーザの顔画像に重ねて表示する制御を、ユーザの顔角度の変化を検出する毎に繰り返し行う。これにより、ユーザの顔角度の変化にリアルタイムで追従するかたちで、テンプレート画像の表示を行うことができる。

化粧を行う場合、ユーザは、様々な角度から化粧の施され具合を確認しながら該化粧を行うものである。このため、ユーザの顔角度の変化にリアルタイムに追従させてテンプレート画像の表示を行うことで、上記様々な角度からの化粧の施され具合を確認し易くすることができ、該化粧を行い易くすることができる。

次に、制御部２１は、後述するステップＳ１０の処理を介してステップＳ１１に処理を進めると、操作部６の操作状況を監視することで、ユーザにより当該美粧支援プログラムの実行の終了を指定する終了操作がなされたか否かを判別する。そして、終了操作がなされたものと判別した場合は、インカメラ部８を停止制御し、表示部５に着信待ち受け画面を表示する等の終了制御を行い、この図４のフローチャートに示す全処理を終了する。

これに対して、終了操作がなされていないものと判別した場合、制御部２１は、処理を上記ステップＳ７に戻し、上述したようにユーザの顔画像に対してテンプレート画像を重ねて表示する動作を繰り返し行う。

（所望の部位の自動拡大表示制御）
次に、化粧は、全体的な見た目、及び部分的な見た目の両方を満足させるように施すことが好ましい。このため、通常時にはユーザの顔全体を表示しながらも、必要なときには、ユーザの所望の顔の部位を拡大して表示できれば、ユーザの化粧を、より支援することが可能となる。ただ、この所望の部位の拡大表示を行う際に、例えば拡大表示指定用のボタン操作等の面倒な操作をユーザに対して強いるのは、ユーザが表示部５に表示されている顔画像を見ながら化粧を行っていることを考えれば好ましいことではない。このため、制御部２１は、以下に説明するユーザの所定の動作を検出した際に、ユーザが希望する部位を自動的に拡大表示するようになっている。

具体的には、図４のフローチャートのステップＳ９を介してステップＳ１０に処理を進めると、制御部２１は、上記顔認識処理プログラムに基づいて、ユーザの目、又は眉が表示部５の略中央に移動し、かつ、表示部５とユーザの目、又は眉との間の距離が例えば２０ｃｍ等の所定の距離以下となったか否かを判別する。すなわち、目や眉の化粧は細かな作業が必要となるため、該目や眉の化粧を行っているユーザは、鏡の略中央に対して目や眉を近づけることで、映し出される目や眉をより大きくして視認しようとする動作を行うものである。

このため、制御部２１は、上記ステップＳ１０において、上記顔認識処理プログラムに基づいて、図５（ｃ）に示すようにユーザの目、又は眉が表示部５の略中央に移動したか否かを判別すると共に、ユーザが表示部５に対して目、又は眉を近づけることで、インカメラ部８で撮像されているユーザの目、又は眉の大きさが、所定以上の大きさとなったか否かを判別することで、表示部５とユーザの目、又は眉との間の距離が例えば２０ｃｍ等の所定の距離以下となったか否かを判別する。そして、制御部２１は、ユーザの目、又は眉が表示部５の略中央に移動し、かつ、表示部５とユーザの目、又は眉との間の距離が例えば２０ｃｍ等の所定の距離以下となったものと判別した際に、処理をステップＳ１３に進める。

ステップＳ１３では、制御部２１が、図５（ｄ）に示すようにユーザの目、又は眉の部位の画像を拡大処理する。また、制御部２１は、目、又は眉のテンプレート画像も、これに合わせて拡大処理して、上記拡大処理したユーザの目、又は眉の部位の画像に重ねて表示部５に表示制御する。これにより、ユーザは、表示部５の略中央に対して目や眉を近づける動作を行うだけで、化粧中に面倒なボタン操作等を行うことなく、該目や眉の拡大表示画像を得ることができ、上記テンプレート画像に基づいて、目や眉の細かな化粧を容易に行うことができる。

また、制御部２１は、ユーザの目、又は眉が表示部５の略中央に所定以上近づけられた場合にのみ、この拡大表示制御を行い、これ以外の場合は、ユーザの顔全体を表示部５に表示制御する。このため、通常時にはユーザの顔全体を表示しながらも、必要なときには、ユーザの所望の顔の部位を拡大して表示することができ、ユーザが、全体的な見た目、及び部分的な見た目の両方を満足させるように化粧を施すことを可能とすることができる。

（自動拡大表示制御の変形例）
この例では、ユーザの目、又は眉が表示部５の略中央に移動し、かつ、インカメラ部８で撮像されているユーザの目、又は眉の大きさが、所定以上の大きさとなったことを検出した際に、表示部５とユーザの目、又は眉との間の距離が所定の距離以下となったものと判別することとしたが、これは、距離センサで表示部５とユーザの顔との間の距離を検出し、この距離センサで検出された表示部５とユーザの顔との間の距離が上記所定の距離以下となった際に、上述の拡大処理を行うようにしてもよい。

また、一例としてユーザの目、又は眉を拡大表示することとしたが、これは、例えば唇や耳等の他の部位でもよい。この場合、制御部２１は、表示部５の略中央に表示されている部位が、所定以上の大きさとなったことを検出した際に、表示部５の略中央に表示されている部位と、該表示部５との間の距離が所定の距離以下となったものと判別し、上述の拡大処理を行うこととなる。

［実施例の効果］
以上の説明から明らかなように、この実施例の携帯電話機は、インカメラ部８で撮像されるカメラスルー画像に対して、ユーザが希望する部位のテンプレート画像を重ねて表示する。また、ユーザの顔角度が変化した場合は、この変化した顔角度に対応するテンプレート画像を形成し直して、該ユーザの顔画像に重ねて表示する。これにより、ユーザの顔の動きにリアルタイムで追従してテンプレート画像を重ねて表示することができ、ユーザが、様々な角度から化粧の施され具合を確認しながら該化粧を行うことを可能とすることができ、該化粧を行い易くすることができる。

また、この実施例の携帯電話機は、ユーザの目、又は眉が表示部５の略中央に所定以上近づけられた場合に、該目、又は眉の拡大画像を表示部５に表示制御する。これにより、目、又は眉等の細かな部位の化粧も行い易くすることができ、ユーザの化粧をより支援することができる。

［変形例］
上述の実施例の説明では、本発明を携帯電話機に適用することとしたが、本発明を、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機、デジタルカメラ装置、ノート型やデスクトップ型のパーソナルコンピュータ装置等の他の機器に適用してもよい。いずれの場合も上述と同様の効果を得ることができる。

ノート型のパーソナルコンピュータ装置に本発明を適用した場合には、該ノート型のパーソナルコンピュータ装置の筐体に設けられているカメラ部、或いは該ノート型のパーソナルコンピュータ装置に対して外部接続されたカメラ部でユーザの顔を撮像することとなる。同様に、デスクトップ型のパーソナルコンピュータ装置に本発明を適用した場合には、該デスクトップ型のパーソナルコンピュータ装置に対して外部接続されたカメラ部でユーザの顔を撮像することとなる。いずれの場合も上述と同様の効果を得ることができる。

最後に、上述の実施例は、本発明の一例である。このため、本発明は上述の実施例に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。

１ アンテナ、２ 通信回路、３ スピーカ部、４ マイクロホン部、５ 表示部、６ 操作部、７ 発光部（ＬＥＤ）、８ インカメラ部、９ メインカメラ部、１０ バイブレーションユニット、１１ タイマ、１２ モーションセンサ、１３ 非接触無線通信アンテナ、１４ 非接触無線通信ユニット、１５ 近距離無線通信アンテナ、１６ 近距離無線通信ユニット、１７ 赤外線ユニット、１８ 外部入力インターフェイス部、１９ 外部出力インターフェイス部、２０ メモリ、２１ 制御部

Claims (6)

1. 所望の美粧が施された各顔画像が記憶された顔画像記憶部と、
   上記顔画像記憶部に記憶されている各顔画像に施された美粧に使用されている美粧道具を示す使用美粧道具情報が記憶された使用美粧道具情報記憶部と、
   美粧を行うユーザが所有する美粧道具を示す所有美粧道具情報が記憶された所有美粧道具情報記憶部と、
   上記所有美粧道具情報記憶部に記憶されている上記ユーザが所有する美粧道具を示す所有美粧道具情報と、上記使用美粧道具情報記憶部に記憶されている上記各使用美粧道具情報とを比較することで、上記顔画像記憶部に記憶されている各顔画像のうち、上記ユーザが施すことが可能な美粧に対応する顔画像を検出し、該各顔画像の一覧を表示部に表示する美粧パターン表示部と、
   上記美粧パターン表示部により表示された上記各顔画像の一覧の中から選択された顔画像の各部位のうち、ユーザにより指定された部位の外形を象ったテンプレート画像を、顔認識処理により形成するテンプレート画像形成部と、
   美粧を行うユーザの顔の動画像を撮像するカメラ部と、
   上記カメラ部で撮像されたユーザの顔の動画像に対して顔認識処理を施すことで、該ユーザの顔の各部位のうち、上記テンプレート画像形成部で形成された上記テンプレート画像に対応する部位を検出すると共に、該ユーザの顔の顔角度を検出する美粧部位検出部と、
   上記テンプレート画像形成部で形成されたテンプレート画像を所定の透明度のテンプレート画像とし、この所定の透明度のテンプレート画像を、上記ユーザの顔の動画像上における上記美粧部位検出部で検出された部位に対して重ね合わせて表示部に表示すると共に、上記美粧部位検出部で上記ユーザの顔の顔角度の変化が検出された場合に、この変化したユーザの顔の顔角度に対応したテンプレート画像に該テンプレート画像を形成し直して、上記ユーザの顔の動画像に重ね合わせて表示する重ね合わせ表示処理部と
   を有する美粧支援装置。
2. 上記表示部と上記ユーザの顔との間の距離を検出する距離検出部を有し、
   上記表示処理部は、上記距離検出部で検出された上記表示部と上記ユーザの顔との間の距離が所定の距離以下となった際に、上記表示部の略中央に表示している部位及び該部位に対応するテンプレート画像を拡大処理して該表示部に表示する
   請求項１に記載の美粧支援装置。
3. 上記距離検出部は、上記テンプレート画像が重ね合わされて上記表示部に表示されている上記ユーザの顔の部位が、上記表示部の略中央に移動し、かつ、上記カメラ部で撮像されている上記表示部の略中央に移動した上記部位が、所定以上の大きさで撮像されることとなった際に、上記表示部と上記ユーザの顔との間の距離が所定の距離以下となったものと判別して、上記表示部の略中央に表示している部位及び該部位に対応するテンプレート画像を拡大処理して該表示部に表示する
   請求項２に記載の美粧支援装置。
4. 美粧パターン表示部が、所有美粧道具情報記憶部に記憶されている、ユーザが所有する美粧道具を示す所有美粧道具情報と、使用美粧道具情報記憶部に記憶されており、顔画像記憶部に記憶されている各顔画像に施された美粧に使用されている美粧道具を示す各使用美粧道具情報とを比較することで、上記顔画像記憶部に記憶されている各顔画像のうち、上記ユーザが施すことが可能な美粧に対応する顔画像を検出し、該各顔画像の一覧を表示部に表示する美粧パターン表示ステップと、
   テンプレート画像形成部が、上記美粧パターン表示ステップで表示された上記各顔画像の一覧の中から選択された顔画像の各部位のうち、ユーザにより指定された部位の外形を象ったテンプレート画像を顔認識処理により形成するテンプレート画像形成ステップと、
   カメラ部が、美粧を行うユーザの顔の動画像を撮像する動画像撮像ステップと、
   美粧部位検出部が、上記動画像撮像ステップで撮像されたユーザの顔の動画像に対して顔認識処理を施すことで、該ユーザの顔の各部位のうち、上記テンプレート画像形成ステップで形成された上記テンプレート画像に対応する部位を検出すると共に、該ユーザの顔の顔角度を検出する美粧部位検出ステップと、
   重ね合わせ表示処理部が、上記テンプレート画像形成ステップで形成されたテンプレート画像を所定の透明度のテンプレート画像とし、この所定の透明度のテンプレート画像を、上記ユーザの顔の動画像上における上記美粧部位検出ステップで検出された部位に対して重ね合わせて表示部に表示すると共に、上記美粧部位検出ステップで上記ユーザの顔の顔角度の変化が検出された場合に、この変化したユーザの顔の顔角度に対応したテンプレート画像に該テンプレート画像を形成し直して、上記ユーザの顔の動画像に重ね合わせて表示する重ね合わせ表示ステップと
   を有する美粧支援方法。
5. 所有美粧道具情報記憶部に記憶されている、ユーザが所有する美粧道具を示す所有美粧道具情報と、使用美粧道具情報記憶部に記憶されており、顔画像記憶部に記憶されている各顔画像に施された美粧に使用されている美粧道具を示す各使用美粧道具情報とを比較することで、上記顔画像記憶部に記憶されている各顔画像のうち、上記ユーザが施すことが可能な美粧に対応する顔画像を検出し、該各顔画像の一覧を表示部に表示する美粧パターン表示部としてコンピュータを機能させ、
   コンピュータを上記美粧パターン表示部として機能させることで表示された上記各顔画像の一覧の中から選択された顔画像の各部位のうち、ユーザにより指定された部位の外形を象ったテンプレート画像を顔認識処理により形成するテンプレート画像形成部としてコンピュータを機能させ、
   美粧を行うユーザの顔の動画像を撮像するようにカメラ部を制御する動画像撮像制御部としてコンピュータを機能させ、
   上記動画像撮像制御部としてコンピュータを機能させることで上記カメラ部により撮像されたユーザの顔の動画像に対して顔認識処理を施し、該ユーザの顔の各部位のうち、コンピュータを上記テンプレート画像形成部として機能させることで形成された上記テンプレート画像に対応する部位を検出すると共に、該ユーザの顔の顔角度を検出する美粧部位検出部としてコンピュータを機能させ、
   コンピュータを上記テンプレート画像形成部として機能させることで形成された上記テンプレート画像を所定の透明度のテンプレート画像とし、この所定の透明度のテンプレート画像を、上記ユーザの顔の動画像上における、コンピュータを上記美粧部位検出部として機能させることで検出された部位に対して重ね合わせて表示部に表示すると共に、コンピュータを上記美粧部位検出部として機能させることで、上記ユーザの顔の顔角度の変化が検出された場合に、この変化したユーザの顔の顔角度に対応したテンプレート画像に該テンプレート画像を形成し直して、上記ユーザの顔の動画像に重ね合わせて表示する重ね合わせ表示処理部としてコンピュータを機能させる
   美粧支援プログラム。
6. 所望の美粧が施された各顔画像が記憶された顔画像記憶部と、
   上記顔画像記憶部に記憶されている各顔画像に施された美粧に使用されている美粧道具を示す使用美粧道具情報が記憶された使用美粧道具情報記憶部と、
   美粧を行うユーザが所有する美粧道具を示す所有美粧道具情報が記憶された所有美粧道具情報記憶部と、
   表示部と、
   上記所有美粧道具情報記憶部に記憶されている上記ユーザが所有する美粧道具を示す所有美粧道具情報と、上記使用美粧道具情報記憶部に記憶されている上記各使用美粧道具情報とを比較することで、上記顔画像記憶部に記憶されている各顔画像のうち、上記ユーザが施すことが可能な美粧に対応する顔画像を検出し、該各顔画像の一覧を上記表示部に表示する美粧パターン表示部と、
   上記美粧パターン表示部により表示された上記各顔画像の一覧の中から選択された顔画像の各部位のうち、ユーザにより指定された部位の外形を象ったテンプレート画像を、顔認識処理により形成するテンプレート画像形成部と、
   美粧を行うユーザの顔の動画像を撮像するカメラ部と、
   上記カメラ部で撮像されたユーザの顔の動画像に対して顔認識処理を施すことで、該ユーザの顔の各部位のうち、上記テンプレート画像形成部で形成された上記テンプレート画像に対応する部位を検出すると共に、該ユーザの顔の顔角度を検出する美粧部位検出部と、
   上記テンプレート画像形成部で形成されたテンプレート画像を所定の透明度のテンプレート画像とし、この所定の透明度のテンプレート画像を、上記ユーザの顔の動画像上における上記美粧部位検出部で検出された部位に対して重ね合わせて表示部に表示すると共に、上記美粧部位検出部で上記ユーザの顔の顔角度の変化が検出された場合に、この変化したユーザの顔の顔角度に対応したテンプレート画像に該テンプレート画像を形成し直して、上記ユーザの顔の動画像に重ね合わせて表示する重ね合わせ表示処理部と
   を有する携帯端末装置。

Images