JP2018151769A - 化粧支援プログラム、化粧支援装置、及び化粧支援方法 - Google Patents

Abstract

【課題】顔のバランスを配慮した化粧ガイド画像を表示できる化粧支援プログラムの提供。【解決手段】人物の顔を含む撮像画像を取得し、取得した前記撮像画像における、顔の１又は複数の部位に対応する位置を検出し、前記撮像画像上に、検出した前記１又は複数の部位に対応する位置を通る線を表示する、処理をコンピュータに実行させる化粧支援プログラムである。【選択図】図２３

Description

本発明は、化粧支援プログラム、化粧支援装置、及び化粧支援方法に関する。

近年、スマートフォンなどの携帯端末にカメラが搭載され、多数の人に撮像画像が取得されるようになると共に、撮像画像を処理する画像処理技術が発達してきている。この撮像画像を処理する画像処理技術を用いて、化粧を支援する装置や方法などに関する様々な提案がされている。

例えば、モデルやタレントの化粧などを参考にする目的で、ユーザ自身の顔を撮影した画像の特定部位と、参考にする画像の特定部位とを重ね合わせて表示する装置が提案されている（例えば、特許文献１参照）。
また、眉毛のテンプレート画像の中で好みのテンプレート画像を選択し、自分の顔の撮像画像の眉毛に合成して表示し、眉毛を描画する領域と眉毛を剃る領域を明示する装置が提案されている（例えば、特許文献２参照）。

特開２０１３−２２３００１号公報 特開２００７−２９３６４９号公報

しかしながら、特許文献１に記載の技術において、顔の特定部位同士を重ね合わせて表示するだけでは、どのように化粧をしていいのかがわかりにくく、特にユーザが化粧の参考にする参考画像が他人の顔の画像であれば、顔の特定部位同士を重ね合わせても顔のバランスをどのようにしていいのかがわかりにくい場合があるという問題がある。
また、特許文献２に記載の技術においては、顔のバランスを確認できないため、流行により顔全体に対する眉毛の位置が変わったときには対応できない場合があるという問題がある。

一つの側面では、顔のバランスを配慮した化粧ガイド画像を表示できる化粧支援プログラムを提供することを目的とする。

一つの実施態様では、化粧支援プログラムは、人物の顔を含む撮像画像を取得し、取得した前記撮像画像における、顔の１又は複数の部位に対応する位置を検出し、前記撮像画像上に、検出した前記１又は複数の部位に対応する位置を通る線を表示する、処理をコンピュータに実行させる。

一つの側面では、顔のバランスを配慮した化粧ガイド画像を表示できる化粧支援プログラムを提供することができる。

図１は、本発明の化粧支援装置が設置された化粧台の一例を示す説明図である。 図２は、化粧支援装置の一例を示す概略外観図である。 図３は、化粧支援装置を有するシステムの構成の一例を示すブロック図である。 図４は、化粧支援装置の機能構成の一例を示すブロック図である。 図５は、画像ＤＢに格納される参考画像の情報の一例を示す説明図である。 図６は、画像ＤＢに格納されるカメラ画像の情報の一例を示す説明図である。 図７は、記憶部に格納される検出対象部位情報の一例を示す説明図である。 図８は、記憶部に格納される補助線描画情報の一例を示す説明図である。 図９は、記憶部に格納される分割部位情報の一例を示す説明図である。 図１０は、化粧支援装置の画面の一例を示す説明図である。 図１１は、化粧支援装置の画面の他の一例を示す説明図である。 図１２は、化粧支援装置の画面の他の一例を示す説明図である。 図１３は、化粧支援装置の画面の他の一例を示す説明図である。 図１４は、化粧支援装置の画面の他の一例を示す説明図である。 図１５は、化粧支援装置の画面の他の一例を示す説明図である。 図１６は、化粧支援装置の画面の他の一例を示す説明図である。 図１７は、化粧支援装置の画面の他の一例を示す説明図である。 図１８は、化粧支援装置の画面の他の一例を示す説明図である。 図１９は、化粧支援装置の画面の他の一例を示す説明図である。 図２０は、化粧支援装置の画面の他の一例を示す説明図である。 図２１は、化粧支援装置の画面の他の一例を示す説明図である。 図２２は、化粧支援装置のハードウェア構成の一例を示すブロック図である。 図２３は、参考画像に補助線及びマークを表示するとともに、化粧前のユーザのカメラ画像に補助線及びマークを表示する流れの一例を示すフローチャートである。 図２４は、動画のカメラ画像と連動して参考画像を拡大表示する流れの一例を示すフローチャートである。 図２５は、化粧支援装置が設置された化粧台の他の一例を示す説明図である。 図２６は、化粧支援装置が設置された化粧台の他の一例を示す説明図である。

以下、本発明の一実施例を説明するが、本発明は、この実施例に何ら限定されるものではない。
なお、本発明の「化粧支援装置」における制御部の各部が行う制御は、本発明の「化粧支援方法」を実施することと同義であるので、本発明の「化粧支援装置」の説明を通じて本発明の「化粧支援方法」の詳細についても明らかにする。また、本発明の「化粧支援プログラム」は、ハードウェア資源としてのコンピュータ等を用いることにより、本発明の「化粧支援装置」として実現させることから、本発明の「化粧支援装置」の説明を通じて本発明の「化粧支援プログラム」の詳細についても明らかにする。

（化粧支援装置）
図１は、本発明の化粧支援装置１００が設置された化粧台３００の一例を示す説明図である。なお、化粧支援装置１００には化粧支援プログラムが内蔵されており、化粧支援装置１００を実施すると化粧支援方法が実施される。
図１に示すように、化粧支援装置１００は、本実施例では、いわゆるタブレット端末装置であり、化粧台３００の三面鏡２００のユーザの正面に位置する鏡の上部に設置され、ユーザに対して化粧をガイドする化粧ガイド画像を表示する。

図２は、化粧支援装置１００の一例を示す概略外観図である。
図２に示すように、化粧支援装置１００は、化粧ガイド画像を表示するディスプレイ１０５を有する。ディスプレイ１０５は、ユーザが参考としたいモデルなどの人物の顔を含む撮像画像（以下、「参考画像」と称することがある）を表示する参考画像表示領域１０５ａと、カメラ１０３ａが取得した化粧前あるいは化粧中のユーザの撮像画像（以下、「カメラ画像」と称することがある）を表示するカメラ画像表示領域１０５ｂと、を有する。
参考画像表示領域１０５ａには、化粧支援装置１００は、参考画像を取得し、取得した参考画像における、顔の１又は複数の部位に対応する位置を検出し、参考画像上に、検出した１又は複数の部位に対応する位置を通る線Ａ０、及び、検出した１又は複数の部位に対応する位置を基準に定まる化粧部位を示すマークＢ０の少なくともいずれかを表示する。これにより、ユーザが参考にしたい人物の顔のバランスを配慮した化粧ガイド画像を示すことで、ユーザの化粧を支援する。

ここで、顔の１又は複数の部位としては、本実施例では、目、鼻、口、眉、及び耳のうち少なくとも１つを含む。
また、化粧部位としては、本実施例では、ノーズシャドウ、ハイライト、チーク、アイライン及びアイシャドウである。
なお、１又は複数の部位に対応する位置を通る線を「補助線」と称することもある。

カメラ画像表示領域１０５ｂには、化粧支援装置１００は、コンピュータが備える撮像装置としてのカメラ１０３ａにより撮像されたユーザの顔を含む他の撮像画像、即ち、カメラ画像を、参考画像と並べて表示する。これにより、参考画像とカメラ画像とをユーザが比較しやすくなる。

更に、化粧支援装置１００は、カメラ画像における、顔の１又は複数の部位に対応する位置を検出し、カメラ画像上に、検出した１又は複数の部位に対応する補助線Ａ１、及び、検出した１又は複数の部位に対応する位置を基準に定まる化粧部位を示すマークＢ１のうち少なくともいずれかを表示することができる。これにより、参考画像から検出した化粧部位を示すマークＢ０を、カメラ画像の補助線Ａ１に対応させてマークＢ１としてカメラ画像上に表示し、ユーザの顔のバランスを配慮した化粧ガイド画像を示すことで、ユーザの化粧を支援する。
本実施例では、補助線は直線であり、マークは所定の範囲を示す囲いマークである。これにより、化粧をする位置をユーザに対し明確に示すことができる。
なお、カメラ画像は、本実施例では、ユーザの指示により静止画像か動画かを選択することができる。また、カメラ画像が動画であっても、公知の画像の特徴点を抽出する技術などにより、顔の動きに追従して、補助線Ａ１及びマークＢ１を表示することができる。

ユーザの指示によりカメラ画像が動画に選択された場合には、化粧支援装置１００は、カメラ画像に含まれるユーザの顔画像が、ユーザの顔のうち特定の部位に寄ったことを検知すると、特定の部位に対応する参考画像に含まれる顔の部分が表示領域に含まれるように、参考画像を表示する。これにより、ユーザが両手に化粧道具を持っていても、確認したい参考画像の特定の部位を手間なく視認しやすくすることができる。
また、参考画像を表示する処理は、参考画像を拡大させる処理を含む。これにより、参考画像の特定の部位を更に視認しやすくすることができる。
ここで、特定の部位とは、目、鼻、口を含む複数の顔の部位のうち少なくとも１つに基づいて定義された部位であり、例えば、右眉毛及び右目の組合せとした部位、口のみの部位などである。

また、化粧支援装置１００は、上述したユーザの顔のうち特定の部位に寄ったことを検知したときと同様に、カメラ画像が、カメラ画像に含まれるユーザの髪画像部分またはユーザの服装画像部分に寄ったことを検知すると、髪画像部分または服装画像部分に対応する参考画像に含まれる髪画像部分または服装画像部分が表示領域に含まれるように参考画像を表示する。これにより、参考画像の髪画像部分である髪型、または参考画像の服装画像部分であるネクタイの結び目などを手間なく視認しやすくすることができる。
なお、本実施例では、ユーザの顔のうち特定の部位に寄ったこと、あるいはユーザの髪画像部分またはユーザの服装画像部分に寄ったことを検知するようにしたが、これに限ることなく、例えば、ユーザの視線や音声を検知するようにしてもよい。

図３は、化粧支援装置１００を有するシステム１０の構成の一例を示すブロック図である。
図３に示すように、システム１０は、化粧支援装置１００と、画像を格納している情報処理装置４００とを有する。化粧支援装置１００は、ネットワーク５００を介して情報処理装置４００と通信可能に接続されており、インターネット上の画像を参考画像として取得する。なお、情報処理装置４００は、サーバ装置と称することもあり、複数存在してもよい。

図４は、化粧支援装置１００の機能構成の一例を示すブロック図である。
図４に示すように、化粧支援装置１００は、通信部１０１と、記憶部１０２と、制御部１０３と、入力部１０４と、出力部１０５と、を有する。

通信部１０１は、制御部１０３の指示に基づき、図３に示した情報処理装置４００にネットワーク５００を介して各種情報や要求を送受信する手段である。
通信部１０１は、本実施例では、ユーザにより指定された参考画像のデータ送信要求を、情報処理装置４００に出力すると共に、要求に応じた参考画像の情報を情報処理装置４００から受信する。

記憶部１０２は、制御部１０３の指示に基づき、化粧支援装置１００にインストールされた各種プログラムや、プログラムを実行することにより生成されるデータ等を記憶する手段である。
記憶部１０２は、本実施例では、画像データベース１０２ａを有する。
画像データベース１０２ａには、通信部１０１が受信した参考画像の情報、及び、制御部１０３が取得したユーザのカメラ画像の情報が格納される。以下、データベースを「ＤＢ」と称することもある。
また、記憶部１０２には、検出対象部位情報、補助線描画情報、及び分割部位情報が格納される。

図５は、画像ＤＢ１０２ａに格納される参考画像の情報の一例を示す説明図である。
図５に示すように、本実施例では、画像ＤＢ１０２ａには参考画像を「ファイル名、取得日時、取得方法」の項目の情報を対応付けて格納する。

「ファイル名」は、画像ＤＢ１０２ａに格納された当該参考画像のファイル名である。
「取得日時」は、当該参考画像の情報を取得した日時の情報である。
「取得方法」は、当該参考画像の情報を取得した方法の情報である。

図６は、画像ＤＢ１０２ａに格納されるカメラ画像の情報の一例を示す説明図である。
図６に示すように、本実施例では、画像ＤＢ１０２ａにはカメラ画像を「ファイル名、取得日時、取得方法」の項目の情報を対応付けて格納する。カメラ画像の各項目の情報については、上述した参考画像の項目の情報の説明と同様であるため、説明を省略する。

図７は、記憶部１０２に格納される検出対象部位情報の一例を示す説明図である。
検出対象部位情報は、本実施例では、参考画像あるいはカメラ画像において顔の１又は複数の部位を検出するために予め設定されている情報であり、図７に示すように、記憶部１０２に「部位名称、詳細部位１、詳細部位２、詳細部位３」の項目の情報を対応付けて格納される。

「部位名称」は、動画のカメラ画像において検出する顔の部位を示す情報である。
「詳細部位１」、「詳細部位２」及び「詳細部位３」は、動画のカメラ画像の顔の部位において詳細に抽出する各箇所の情報である。

図８は、記憶部１０２に格納される補助線描画情報の一例を示す説明図である。
補助線描画情報は、本実施例では、参考画像あるいはカメラ画像に補助線を描画するために予め設定されている情報であり、図８に示すように、記憶部１０２に「順番、線の種類、線の色、線の太さ、描画ルール」の項目の情報を対応付けて格納される。

「順番」は、補助線を描画する順番の情報である。
「線の種類」は、当該補助線の種類の情報である。
「線の色」は、当該補助線の色の情報である。
「線の太さ」は、当該補助線の太さの情報である。
「描画ルール」は、当該補助線を描画するルールを示す情報である。

図９は、記憶部１０２に格納される分割部位情報の一例を示す説明図である。
分割部位情報は、本実施例では、参考画像あるいはカメラ画像を特定の部位ごとに分割して識別するために予め設定されている情報であり、図９に示すように、記憶部１０２に「分割範囲識別番号、部位１、部位２」の項目の情報を対応付けて格納される。

「分割範囲識別番号」は、分割する範囲を識別するための番号の情報である。
「部位１」及び「部位２」は、当該分割範囲に含まれる部位の情報である。

＜制御部＞
制御部１０３は、記憶部１０２に記憶された各種プログラムを実行し、化粧支援装置１００全体を制御し、本実施例では、以下に説明するような機能を有する。

制御部１０３は、参考画像及びカメラ画像を取得する。
具体的には、制御部１０３は、インターネット上の画像情報、即ち、図３に示すネットワーク５００を介して情報処理装置４００が格納している画像情報を、図１０の参考画像表示領域１０５ａに示すような参考画像の情報として取得し、画像ＤＢ１０２ａに格納する（図２３のＳ１０１参照）。また、制御部１０３は、カメラ１０３ａにより、図１１のカメラ画像表示領域１０５ｂに示すような化粧前のユーザのカメラ画像を取得する（図２３のＳ１０２参照）。

また、制御部１０３は、参考画像あるいはカメラ画像における、顔の１又は複数の部位に対応する位置を検出する。
具体的には、制御部１０３は、図７に示した検出対象部位情報に基づき、ユーザにより選択された参考画像から、顔の部位を検出すると共に、ノーズシャドウやチークなどの化粧部位の位置情報を検出する（図２３のＳ１０３参照）。また、制御部１０３は、図７に示した検出対象部位情報に基づき、カメラ画像表示領域１０５ｂに表示している化粧前のユーザのカメラ画像の顔の部位を検出する（図２３のＳ１０６参照）。

更に、制御部１０３は、参考画像上あるいはカメラ画像上に、補助線あるいはマークを表示する手段である。
具体的には、参考画像及びカメラ画像の両方の画像に補助線及びマークを表示する際の手順を説明すると、まず、制御部１０３は、図１０に示すように、ユーザにより選択された参考画像を出力部１０５の参考画像表示領域１０５ａに表示すると共に（図２３のＳ１０１参照）、図１１に示すように、取得したユーザのカメラ画像をカメラ画像表示領域１０５ｂに表示し、ユーザにより選択された参考画像を並べて表示する（図２３のＳ１０２参照）。
次に、制御部１０３は、図１２に示すように、参考画像表示領域１０５ａに表示している参考画像に、図８に示した補助線描画情報に基づいて補助線Ａ０を表示する（図２３のＳ１０４参照）。制御部１０３は、図１３に示すように、制御部１０３が検出した化粧部位の位置情報に基づき、参考画像にマークＢ０を表示する（図２３のＳ１０５参照）。また、制御部１０３は、図１４に示すように、図８に示した補助線描画情報に基づいて補助線Ａ１を表示する（図２３のＳ１０６参照）。更に、制御部１０３は、図１５に示すように、参考画像から検出した化粧部位に対応する化粧部位を、Ｓ１０６で表示した補助線Ａ１に対応させ、化粧前のユーザのカメラ画像にマークＢ１として表示する（図２３のＳ１０７参照）。

動画のカメラ画像と連動して参考画像を拡大表示する場合には、まず、制御部１０３は、図９に示した分割部位情報に基づき、図１７に示すように、各囲み線Ｃ０により参考画像を特定の部位ごとに分割し、分割した画像を記憶部１０２に記憶させる（図２４のＳ２０１参照）。次に、制御部１０３は、Ｓ２０１と同様に、図９に示した分割部位情報に基づき、図１８に示すように、各囲み線Ｃ１により動画のカメラ画像を特定の部位ごとに分割し、分割した画像を記憶部１０２に時系列で順次記憶させる（図２４のＳ２０２参照）。そして、制御部１０３は、時系列で隣接する分割した画像の差分を求め、ユーザの顔がカメラに近づいたか否かを判定し（図２４のＳ２０３参照）、ユーザの顔がカメラに近づいたと判定すると、カメラ画像の中心近傍に存在するユーザの特定の部位を検出し、特定の部位を判定する（図２４のＳ２０４参照）。

続いて、制御部１０３は、取得した撮像画像に含まれる人の顔画像が、人の顔のうち特定の部位に寄ったことを検知すると、特定の部位に対応する参考画像に含まれる顔の部分が表示領域に含まれるように、参考画像を表示する。
具体的には、制御部１０３は、参考画像に含まれる特定の部位が表示領域に含まれるように参考画像を拡大表示する、即ち、図１９〜２１に示すように、動画のカメラ画像でユーザの特定の部位がカメラに近づいたことに連動して、参考画像の特定の部位（右眉毛及び右目）を拡大表示する（図２４のＳ２０５参照）。

なお、顔の部位及び特定の部位を検出する方法としては、特に制限はなく、目的に応じて公知の方法を選択することができ、例えば、エッジ抽出などが挙げられる。

なお、図１に示すように、化粧支援装置１００はユーザの顔より上方に設置されているため、化粧支援装置１００に搭載されているカメラでユーザの顔を撮影すると斜め上からユーザの顔が撮影される。このため、本実施例では、公知の角度補正の技術を用いて、化粧支援装置１００の出力部であるディスプレイにはユーザの顔を正面から撮影したように表示する。

入力部１０４は、制御部１０３の指示に基づき、化粧支援装置１００に対する各種指示を受け付ける手段であり、本実施例では、ディスプレイである出力部１０５上に配置された図示しないタッチパッドを有し、タッチパネル機能によりユーザの接触による入力を受け付けるほか、音声入力部１０４ａと、視線検出部１０４ｂと、を有する。
音声入力部１０４ａは、ユーザの音声による入力を受け付ける。
視線検出部１０４ｂは、出力部１０５上のユーザの視線を検出し、ユーザの視線による入力を受け付ける。

出力部１０５は、制御部１０３の指示に基づき、化粧支援装置１００の内部状態の表示を行う手段であり、本実施例では、参考画像表示領域１０５ａと、カメラ画像表示領域１０５ｂと、を有する。
参考画像表示領域１０５ａは参考画像を表示し、カメラ画像表示領域１０５ｂは化粧前のユーザの顔を撮影したカメラ画像、又はユーザの顔を動画で撮影しているカメラ画像を表示する。

図２２は、化粧支援装置１００のハードウェア構成の一例を示すブロック図である。
図２２に示すように、化粧支援装置１００は、本実施例では、通信部１０１と、記憶部１０２と、制御部１０３と、カメラ１０３ａと、入力部１０４と、出力部１０５と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０６と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０７と、を有する。なお、化粧支援装置１００の各手段は、バス１０８を介してそれぞれ通信可能に接続されている。

通信部１０１は、図３に示した情報処理装置４００と通信可能に接続されていれば特に制限はなく、適宜公知のものを用いることができる。

記憶部１０２は、各種情報を記憶できれば特に制限はなく、目的に応じて適宜選択することができ、例えば、ソリッドステートドライブ、ハードディスクドライブなどのほか、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）ドライブ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）ドライブなどの可搬記憶装置であってもよく、ネットワーク上のコンピュータ群であるクラウドの一部であってもよい。

制御部１０３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などが挙げられる。ソフトウェアを実行するプロセッサはハードウェアである。

入力部１０４は、本実施例では、出力部１０５上に図示しないタッチパッドを有し、更に、マイク１０４ａと、視線センサ１０４ｂと、を有する。
タッチパッド、マイク１０４ａ、及び視線センサ１０４ｂは、特に制限はなく、適宜公知のものを用いることができる。

出力部１０５は、本実施例では、ディスプレイである。

ＲＯＭ１０６は、記憶部１０２に記憶された各種プログラムを制御部１０３が実行するために必要な各種プログラム、データ等を記憶する。具体的には、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＥＦＩ（Ｅｘｔｅｎｓｉｂｌｅ Ｆｉｒｍｗａｒｅ Ｉｎｔｅｒｆａｃｅ）等のブートプログラムなどを記憶する。

ＲＡＭ１０７は、主記憶装置であり、記憶部１０２に記憶された各種プログラムが制御部１０３によって実行される際に展開される作業領域として機能する。ＲＡＭ１０７としては、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などが挙げられる。

次に、本実施例において、化粧支援装置１００が行う各処理のフローについて説明する。

図２３は、参考画像に補助線Ａ０及びマークＢ０を表示するとともに、化粧前のユーザのカメラ画像に補助線Ａ１及びマークＢ１を表示する流れの一例を示すフローチャートである。
以下、図２３に示すフローチャートにしたがって図７〜８及び図１０〜１６を参照しながら、化粧支援装置１００が、化粧前のユーザのカメラ画像に、図８に示した補助線描画情報に基づいて補助線を表示すると共に、参考画像において検出した化粧部位に対応する化粧部位を併せて表示する流れについて説明する。なお、化粧前のユーザのカメラ画像は静止画像とする。

ステップＳ１０１では、まず、制御部１０３は、制御部１０３が予め取得した参考画像の情報を画像ＤＢ１０２ａから読み出し、複数の参考画像を出力部１０５に表示する。制御部１０３は、表示した複数の参考画像のうち１つの参考画像がユーザにより入力部１０４を介して選択されたと判定すると、図１０に示すように、選択された参考画像を出力部１０５の参考画像表示領域１０５ａに表示して処理をＳ１０２に移行させる。

ステップＳ１０２では、制御部１０３は、カメラ１０３ａにより、化粧前のユーザのカメラ画像を取得して画像ＤＢ１０２ａに格納する。制御部１０３は、図１１に示すように、取得したユーザのカメラ画像をカメラ画像表示領域１０５ｂに表示し、ユーザにより選択された参考画像を並べて表示すると処理をＳ１０３に移行させる。

ステップＳ１０３では、制御部１０３は、図７に示した検出対象部位情報に基づき、ユーザにより選択された参考画像から、顔の部位を検出すると共に、ノーズシャドウやチークなどの化粧部位の位置情報を検出すると処理をＳ１０４に移行させる。

ステップＳ１０４では、制御部１０３は、図１２に示すように、参考画像表示領域１０５ａに表示している参考画像に、図８に示した補助線描画情報に基づいて補助線Ａ０を表示すると処理をＳ１０５に移行させる。

ステップＳ１０５では、制御部１０３は、図１３に示すように、制御部１０３が検出した化粧部位の位置情報に基づき、参考画像にマークＢ０を表示すると処理をＳ１０６に移行させる。

ステップＳ１０６では、制御部１０３は、図７に示した検出対象部位情報に基づき、カメラ画像表示領域１０５ｂに表示している化粧前のユーザのカメラ画像の顔の部位を検出する。次に、制御部１０３は、図１４に示すように、図８に示した補助線描画情報に基づいて補助線Ａ１を表示すると処理をＳ１０７に移行させる。

ステップＳ１０７では、制御部１０３は、図１５に示すように、参考画像から検出した化粧部位に対応する化粧部位を、Ｓ１０６で表示した補助線Ａ１に対応させ、化粧前のユーザのカメラ画像にマークＢ１として表示すると本処理を終了させる。

以上説明したように、本発明では、人物の顔を含む撮像画像を取得し、取得した撮像画像における、顔の１又は複数の部位に対応する位置を検出し、撮像画像上に、検出した１又は複数の部位に対応する位置を通る線を表示することにより、顔のバランスを配慮した化粧ガイド画像を示すことができ、化粧ガイド画像に基づき、図１６に示すようにユーザが化粧をすることができる。

図２４は、動画のカメラ画像と連動して参考画像を拡大表示する流れの一例を示すフローチャートである。
以下、図２４に示すフローチャートにしたがって図９及び図１７〜２１を参照しながら、化粧支援装置１００が、動画のカメラ画像に含まれるユーザの顔画像において、例えば、ユーザがカメラに近づいて特定の部位である右眉毛及び右目が拡大されて表示されたことを検知すると参考画像も連動し、参考画像における人物の右眉毛及び右目が表示領域に含まれるように拡大表示する流れについて説明する。

ステップＳ２０１では、制御部１０３は、図９に示した分割部位情報に基づき、図１７に示すように、各囲み線Ｃ０により参考画像を特定の部位ごとに分割し、分割した画像を記憶部１０２に記憶させると処理をＳ２０２に移行させる。

ステップＳ２０２では、制御部１０３は、Ｓ２０１と同様に、図９に示した分割部位情報に基づき、図１８に示すように、各囲み線Ｃ１により動画のカメラ画像を特定の部位ごとに分割し、分割した画像を記憶部１０２に時系列で順次記憶させると処理をＳ２０３に移行させる。

ステップＳ２０３では、制御部１０３は、時系列で隣接する分割した画像の差分を求め、ユーザの顔がカメラに近づいたか否かを判定する。制御部１０３は、図１９に示すように、ユーザの顔がカメラに近づいたと判定すると処理をＳ２０４に移行させ、ユーザの顔がカメラに近づいていないと判定すると処理をＳ２０３に戻す。

ステップＳ２０４では、制御部１０３は、図２０に示すように、カメラ画像の中心近傍に存在するユーザの特定の部位が右眉毛及び右目であることを検出し、特定の部位を判定すると処理をＳ２０５に移行させる。

ステップＳ２０５では、制御部１０３は、参考画像に含まれる右眉毛及び右目が表示領域に含まれるように参考画像を拡大表示する、即ち、図１９〜２１に示すように、動画のカメラ画像でユーザの右眉毛及び右目がカメラに近づいたことに連動して、参考画像の右眉毛及び右目を拡大表示すると本処理を終了させる。

以上説明したように、本発明では、動画のカメラ画像に含まれるユーザの顔画像が、ユーザの顔のうち特定の部位である右眉毛及び右目に寄ったことを検知すると、特定の部位に対応する参考画像に含まれる右眉毛及び右目が表示領域に含まれるように、参考画像を表示することにより、参考画像の確認したい箇所を手間なく視認しやすくし、ユーザの化粧を支援することができる。

なお、本実施例では、化粧台の三面鏡における正面の鏡の上部に化粧支援装置を設置する態様としたが、これに限ることなく、例えば、図２５に示すように、化粧台３００の三面鏡２００における横の鏡に化粧支援装置１００を設置する態様としてもよい。この場合、ユーザの顔を横方向から撮影するため、この方向に合わせて公知の角度補正の技術を用いて、化粧支援装置１００の出力部にはユーザの顔が正面から撮影したように表示する。
また、別の態様としては、例えば、図２６に示すように、化粧台３００の三面鏡２００における正面の鏡の一部をマジックミラー２０１とし、マジックミラー２０１の裏にカメラ１０３ａを配置してもよい。この場合、公知の角度補正の技術を用いることなく、ユーザの顔を正面方向から撮影することができる。
更に、参考画像は、本実施例では、ユーザが参考としたいモデルなどの人物の顔を含む撮像画像としたが、これに限ることなく、過去に化粧がうまく行えたユーザのカメラ画像であってもよい。

以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
人物の顔を含む撮像画像を取得し、
取得した前記撮像画像における、顔の１又は複数の部位に対応する位置を検出し、
前記撮像画像上に、検出した前記１又は複数の部位に対応する位置を通る線を表示する、
処理をコンピュータに実行させることを特徴とする化粧支援プログラム。
（付記２）
前記コンピュータが備える撮像装置により撮像された人物の顔を含む他の撮像画像を取得した前記撮像画像と並べて表示する、
ことを特徴とする付記１に記載の化粧支援プログラム。
（付記３）
前記他の撮像画像における、前記１又は複数の部位に対応する位置を検出し、
前記他の撮像画像上に、検出した前記１又は複数の部位に対応する位置を通る線を表示する、
ことを特徴とする付記２に記載の化粧支援プログラム。
（付記４）
前記１又は複数の部位に対応する位置を通る線は、直線である、
ことを特徴とする付記１から３のいずれか１項に記載の化粧支援プログラム。
（付記５）
人物の顔を含む撮像画像を取得し、
取得した前記撮像画像における、顔の１又は複数の部位に対応する位置を検出し、
前記撮像画像上に、検出した前記１又は複数の部位に対応する位置を基準に定まる化粧部位を示すマークを表示する、
処理をコンピュータに実行させることを特徴とする化粧支援プログラム。
（付記６）
前記コンピュータが備える撮像装置により撮像された人物の顔を含む他の撮像画像を取得した前記撮像画像と並べて表示する、
ことを特徴とする付記５に記載の化粧支援プログラム。
（付記７）
前記他の撮像画像における、前記１又は複数の部位に対応する位置を検出し、
前記他の撮像画像上に、検出した前記１又は複数の部位に対応する位置を基準に定まる化粧部位を示すマークを表示する、
ことを特徴とする付記６に記載の化粧支援プログラム。
（付記８）
前記マークは、所定の範囲を示す囲いマークである、
ことを特徴とする付記５から７のいずれか１項に記載の化粧支援プログラム。
（付記９）
前記１又は複数の部位は、目、鼻、口、眉、及び耳のうち少なくとも１つを含む、
ことを特徴とする付記１から８のいずれか１項に記載の化粧支援プログラム。
（付記１０）
人物の顔を含む撮像画像を取得し、
取得した前記撮像画像における、顔の１又は複数の部位に対応する位置を検出し、
前記撮像画像上に、検出した前記１又は複数の部位に対応する位置を通る線を表示する、
処理を実行する制御部を有することを特徴とする化粧支援装置。
（付記１１）
人物の顔を含む撮像画像を取得する取得し、
取得した前記撮像画像における、顔の１又は複数の部位に対応する位置を検出する検出し、
前記撮像画像上に、検出した前記１又は複数の部位に対応する位置を基準に定まる化粧部位を示すマークを表示する、
処理を実行する制御部を有することを特徴とする化粧支援装置。
（付記１２）
人物の顔を含む撮像画像を取得する取得し、
取得した前記撮像画像における、顔の１又は複数の部位に対応する位置を検出する検出し、
前記撮像画像上に、検出した前記１又は複数の部位に対応する位置を通る線を表示する、
処理をコンピュータが実行することを特徴とする化粧支援方法。
（付記１３）
人物の顔を含む撮像画像を取得する取得し、
取得した前記撮像画像における、顔の１又は複数の部位に対応する位置を検出する検出し、
前記撮像画像上に、検出した前記１又は複数の部位に対応する位置を基準に定まる化粧部位を示すマークを表示する、
処理をコンピュータが実行することを特徴とする化粧支援方法。

１０ システム
１００ 化粧支援装置
１０１ 通信部
１０２ 記憶部
１０３ 制御部（ＣＰＵ）
１０３ａ カメラ（撮像装置）
１０４ 入力部
１０５ 出力部（ディスプレイ）
３００ 化粧台

Claims (11)

1. 人物の顔を含む撮像画像を取得し、
   取得した前記撮像画像における、顔の１又は複数の部位に対応する位置を検出し、
   前記撮像画像上に、検出した前記１又は複数の部位に対応する位置を通る線を表示する、
   処理をコンピュータに実行させることを特徴とする化粧支援プログラム。
2. 前記コンピュータが備える撮像装置により撮像された人物の顔を含む他の撮像画像を取得した前記撮像画像と並べて表示する、
   ことを特徴とする請求項１に記載の化粧支援プログラム。
3. 前記他の撮像画像における、前記１又は複数の部位に対応する位置を検出し、
   前記他の撮像画像上に、検出した前記１又は複数の部位に対応する位置を通る線を表示する、
   ことを特徴とする請求項２に記載の化粧支援プログラム。
4. 前記１又は複数の部位に対応する位置を通る線は、直線である、
   ことを特徴とする請求項１から３のいずれか１項に記載の化粧支援プログラム。
5. 人物の顔を含む撮像画像を取得し、
   取得した前記撮像画像における、顔の１又は複数の部位に対応する位置を検出し、
   前記撮像画像上に、検出した前記１又は複数の部位に対応する位置を基準に定まる化粧部位を示すマークを表示する、
   処理をコンピュータに実行させることを特徴とする化粧支援プログラム。
6. 前記コンピュータが備える撮像装置により撮像された人物の顔を含む他の撮像画像を取得した前記撮像画像と並べて表示する、
   ことを特徴とする請求項５に記載の化粧支援プログラム。
7. 前記他の撮像画像における、前記１又は複数の部位に対応する位置を検出し、
   前記他の撮像画像上に、検出した前記１又は複数の部位に対応する位置を基準に定まる化粧部位を示すマークを表示する、
   ことを特徴とする請求項６に記載の化粧支援プログラム。
8. 前記マークは、所定の範囲を示す囲いマークである、
   ことを特徴とする請求項５から７のいずれか１項に記載の化粧支援プログラム。
9. 前記１又は複数の部位は、目、鼻、口、眉、及び耳のうち少なくとも１つを含む、
   ことを特徴とする請求項１から８のいずれか１項に記載の化粧支援プログラム。
10. 人物の顔を含む撮像画像を取得し、
    取得した前記撮像画像における、顔の１又は複数の部位に対応する位置を検出し、
    前記撮像画像上に、検出した前記１又は複数の部位に対応する位置を通る線を表示する、
    処理を実行する制御部を有することを特徴とする化粧支援装置。
11. 人物の顔を含む撮像画像を取得する取得し、
    取得した前記撮像画像における、顔の１又は複数の部位に対応する位置を検出し、
    前記撮像画像上に、検出した前記１又は複数の部位に対応する位置を通る線を表示する、
    処理をコンピュータが実行することを特徴とする化粧支援方法。
    
    

Images