JP2015176181A - メイクアップ支援装置およびメイクアップ支援方法 - Google Patents

Abstract

【課題】メイクアップの支援を適切に行うことができるメイクアップ支援装置を提供すること。
【解決手段】メイクアップ支援装置１００は、ユーザの顔の画像を撮影する撮影部１３０と、撮影された画像を表示する表示部１７０と、表示される画像に対して、顔において化粧料を塗布すべき領域を示すガイド画像を重畳するガイド重畳部１６０と、を有する。なお、撮影部１３０は、表示部１７０の近傍からユーザの顔の映像を撮影し、表示部１７０は、撮影された映像を左右に反転させて得られる映像を、ユーザに向けて表示し、ガイド重畳部１６０は、表示される映像を構成する複数の画像のそれぞれに対してガイド画像を重畳してもよい。
【選択図】図１

Description

本発明は、顔のメイクアップ（化粧）を支援するメイクアップ支援装置およびメイクアップ支援方法に関する。

ファッション雑誌に掲載されたモデルの顔写真をお手本にしてメイクアップを行う等、他者が行ったメイクアップの仕方（以下、単に「メイク」という）を参考にすることは、広く行われている。ところが、顔部品の配置、形、および大きさには個人差があるため、他者の顔に施されたメイクを的確に模倣することは難しい。

そこで、ユーザの顔を用いてメイクアップ後の顔のシミュレーション画像を表示する技術が、存在する（例えば特許文献１参照）。特許文献１に記載の技術（以下「従来技術」という）は、顔に化粧料を塗布したときの化粧料の画像を、ユーザの顔の静止画像に重畳することにより、メイクアップ後の顔のシミュレーション画像を生成する。かかる従来技術によれば、ユーザは、シミュレーション画像に近付ける形で、メイクアップを行うことができる。

特開２００７−２５７１９４号公報

しかしながら、シミュレーション画像のイメージは、通常、メイクアップ前あるいはメイクアップ途中のユーザの実際の顔のイメージと異なる。このため、どのようにメイクアップを行えば、実際の顔をシミュレーション画像に近付けることができるかが分からず、その結果、目的とするメイクとは全く異なるメイクを行ってしまうおそれがある。したがって、従来技術は、メイクアップの支援を適切に行うことが難しいという課題を有する。

本発明の目的は、メイクアップの支援を適切に行うことができる、メイクアップ支援装置およびメイクアップ支援方法を提供することである。

本発明のメイクアップ支援装置は、ユーザの顔の画像を撮影する撮影部と、撮影された前記画像を表示する表示部と、表示される前記画像に対して、前記顔において化粧料を塗布すべき領域を示すガイド画像を重畳するガイド重畳部と、を有する。

本発明のメイクアップ支援方法は、ユーザの顔の画像を撮影するステップと、撮影された前記画像のそれぞれに対して、前記顔において化粧料を塗布すべき領域を示すガイド画像を重畳するステップと、前記ガイド画像が重畳された前記画像を表示するステップと、を有する。

本発明によれば、メイクアップの支援を適切に行うことができる。

本発明の実施の形態１に係るメイクアップ支援装置の構成の一例を示すブロック図 本発明の実施の形態２に係るメイクアップ支援装置の構成の一例を示すブロック図 本実施の形態２におけるメイク情報の内容の一例を示す図 本実施の形態２における検出対象特徴点群の一例を示す図 本実施の形態２に係るガイド重畳部の構成の一例を示すブロック図 本実施の形態２に係るメイクアップ支援装置の動作の一例を示すフローチャート 本実施の形態２におけるガイド画像を生成する様子の一例を示す図 本実施の形態２におけるガイド重畳鏡映像の例を示す図

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。

図１は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。

図１において、メイクアップ支援装置１００は、撮影部１３０、表示部１７０、およびガイド重畳部１６０を有する。

撮影部１３０は、例えば、レンズおよび撮像素子を含み、ユーザの顔の画像を撮影する。

表示部１７０は、例えば、液晶ディスプレイ等の表示装置を含み、撮影された画像を表示する。

ガイド重畳部１６０は、表示される画像に対して、上記顔において化粧料を塗布すべき領域を示すガイド画像を重畳する。

なお、メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、およびＲＡＭ（Random Access Memory）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このようなメイクアップ支援装置１００は、ユーザの実際の顔において化粧料を塗布すべき領域を示すことができるので、メイクアップの支援を適切に行うことができる。

（実施の形態２）
本発明の実施の形態２は、鏡を用いているような感覚でのメイクアップを支援する場合の、本発明の具体的態様の一例である。

＜メイクアップ支援装置の構成＞
図２は、本実施の形態に係るメイクアップ支援装置１００の構成の一例を示すブロック図である。メイクアップ支援装置１００は、例えば、タッチパネル付きディスプレイおよびビデオカメラを同一面に備えたタブレット端末を構成する。

図２において、メイクアップ支援装置１００は、メイク情報格納部１１０、メイク選択部１２０、撮影部１３０、画像取得部１４０、顔特徴点検出部１５０、ガイド重畳部１６０、および表示部１７０を有する。

メイク情報格納部１１０は、複数のメイクタイプのそれぞれについて、各メイクタイプに対応するメイク情報を、予め格納する。ここで、メイクタイプとは、メイクの種別であり、例えば、「大人っぽいメイク」、「若々しいメイク」等、メイクが施された後の顔（以下「メイク顔」という）のイメージを示すテキスト情報を含む。また、メイク情報とは、顔において化粧料を塗布すべき領域（以下「塗布領域」という）を、顔特徴点に対する相対領域で定義する情報である。なお、顔特徴点とは、顔部品の配置を示す、所定の画像特徴点である。

＜メイク情報＞
図３は、メイク情報の内容の一例を示す図である。ここでは、上瞼に施されるメイク（以下「アイメイク」という）の塗布領域（以下「アイメイク領域」という）を定義する、メイク情報について説明する。

図３に示すように、メイク情報において、塗布領域２１１は、例えば、目頭の顔特徴点２１２_１、目尻の顔特徴点２１２_２、および眉頭の顔特徴点２１２_３に対する相対領域で定義される。このようなメイク情報によって定義される塗布領域２１１は、様々な大きさおよび形状の瞼に適合することができる。

メイク情報の実体は、塗布領域のテンプレート画像であってもよい。かかるテンプレート画像は、３つ以上の所定の顔特徴点のそれぞれに対応する参照点を含み、参照点に対する相対位置で、塗布領域（の外縁）を定義する。テンプレート画像は、各参照点を対応する顔特徴点へそれぞれ合わせ込む形で、アフィン変形することが可能となっている。以下、かかるテンプレート画像により塗布領域の外縁を定義するメイク情報は、「テンプレート」という。また、各参照点の顔特徴点への合わせ込みを行い、テンプレート画像の塗布領域を撮影画像に投影する処理は、「テンプレートの撮影画像への設定」という。

テンプレートは、例えば、塗布領域に対応する領域にＲＧＢ情報が追加された画像データに対して、領域検出処理、および、境界（輪郭）抽出処理を行ってかかる領域をポリゴン化することにより、生成される。なお、この生成処理は、メイク選択部１２０あるいはガイド重畳部１６０で行われてもよい。

なお、図３に示す顔特徴点２１２_１〜２１２_３は、瞼が開閉しても、ほとんど移動しない。以下、瞼の開閉等、表情の変化によって相対位置がほとんど移動しない顔特徴点は、「固定特徴点」という。本実施の形態において、アイメイクのメイク情報は、固定特徴点を基準として、瞼を閉じた状態に対応するアイメイク領域の外縁を定義する、テンプレートであるものとする。

図２のメイク選択部１２０は、メイク情報格納部１１０を参照して、各メイクタイプに対応する上述のテキスト情報を、上述のタッチパネル付きディスプレイに選択肢として表示する。そして、メイク選択部１２０は、ユーザから、表示したメイクタイプに対する選択操作を受け付ける。なお、メイク選択部１２０は、ユーザの選択操作によらずに、顔の特徴や年齢等に関連する所定の基準に基づいて、上記複数のメイクタイプの中から１つを選択してもよい。そして、メイク選択部１２０は、選択されたメイクタイプに対応するメイク情報を、メイク情報格納部１１０から読み出し、ガイド重畳部１６０へ出力する。

撮影部１３０は、例えば、レンズおよびカラー撮像素子を含み、後述の表示部１７０の近傍からユーザの顔の映像（動画像）を撮影する。撮影部１３０は、例えば、上述のビデオカメラである。撮影部１３０は、撮影された映像を、画像取得部１４０へ順次出力する。

画像取得部１４０は、入力された映像から、当該映像を構成する複数の画像のそれぞれを取得し、取得された画像を左右に反転させて得られる画像を、顔特徴点検出部１５０およびガイド重畳部１６０へ順次出力する。なお、かかる画像の反転（映像の反転）は、他の装置部で行われてもよい。以下、画像取得部１４０から出力される画像は、「撮影画像」という。

顔特徴点検出部１５０は、入力された撮影画像から、パターンマッチング等の公知の画像特徴点検出手法により、当該撮影画像におけるユーザの顔の顔特徴点の位置を検出する。そして、顔特徴点検出部１５０は、検出した各顔特徴点の、撮影画像における位置を示す情報（以下「特徴点位置情報」という）を、ガイド重畳部１６０へ出力する。

なお、顔特徴点検出部１５０が検出の対象とする顔特徴点（以下「検出対象特徴点」という）は、少なくとも、メイク選択部１２０において選択されたメイクタイプに対応するメイク情報（以下、「選択されたメイク情報」という）が参照する顔特徴点を含む。また、選択されたメイク情報が、アイメイク領域を定義するものである場合、検出対象特徴点は、少なくとも、固定特徴点以外の、上瞼の縁に位置する顔特徴点（以下「アイライン特徴点」という）を含む。

＜検出対象特徴点＞
図４は、検出対象特徴点群の一例を示す図である。ここでは、アイメイク領域を定義するメイク情報に対応するメイクタイプが選択された場合の例を示す。

図４に示すように、検出対象特徴点には、固定特徴点２２１_１〜２２１_３と、アイライン特徴点２２２_１〜２２２_３とが含まれる。また、検出対象特徴点には、下瞼の縁に位置する顔特徴点２２３_１〜２２３_３と、瞳中心の顔特徴点２２４とが含まれる。

固定特徴点２２１_１〜２２１_３は、撮影画像に対してアイメイク領域を適切に設定することを可能にする。また、アイライン特徴点２２２_１〜２２２_３および顔特徴点２２３_１〜２２３_３、２２４の顔特徴点群は、眼球が露出している領域（以下「目領域」という）を精度良く抽出することを可能にする。

図２のガイド重畳部１６０は、入力された特徴点位置情報およびメイク情報に基づいて、塗布領域を示すガイド画像を生成し、生成されたガイド画像を、入力された撮影画像に重畳して、する。そして、ガイド重畳部１６０は、撮影画像にガイド画像を重畳して得られる画像（以下「重畳画像」という）を、表示部１７０へ出力する。

なお、ガイド画像の態様は、ユーザの実際の顔において化粧料を塗布すべき領域を示すもの、つまり、顔の各領域の実際の状態の表示をできるだけ阻害しない態様であることが望ましい。このような観点から、ガイド画像としては、塗布領域の外縁を示す線の画像や、ハッチング画像、透明度の高い半透明画像を採用することができる。

表示部１７０は、例えば、液晶ディスプレイを含み、入力された重畳画像を表示する。表示部１７０は、例えば、上述のタッチパネル付きディスプレイである。表示部１７０は、上述の通り、撮影部１３０の近傍に配置されており、撮影部１３０に顔を向けているユーザに向けて、重畳画像を表示する。また、重畳画像に含まれる撮影画像は、左右反転されたものである。

なお、重畳画像は、撮影部１３０から出力される映像の各部分に対して、ほぼリアルタイムに生成され、表示される。このため、表示部１７０が表示する一連の複数の重畳画像は、基の映像の鏡像に、顔特徴点の移動に追従するガイド画像が重畳された映像（以下「ガイド重畳鏡映像」という）となる。

なお、メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このようなメイクアップ支援装置１００は、ユーザの顔を鏡のように左右反転して映し出しつつ、メイクの塗布領域を示すガイド画像を、映し出された顔に重畳して表示することができる。

＜ガイド重畳部の詳細＞
上述の通り、本実施の形態において、アイメイクのメイク情報は、瞼周辺の固定特徴点を基準として、瞼を閉じた状態に対応するアイメイク領域を定義する。以下、かかるアイメイク領域を定義するメイク情報は、「アイメイクのテンプレート」という。

このようなテンプレートを用いることにより、アイメイク領域を含め、各塗布領域の映像への設定処理が低演算量で済み、不適切なガイド画像が提示されるのをより確実に防ぐことができる。一方で、瞼が閉じていないとき、アイメイクのテンプレートは、実際の瞼の形状と適合しなくなり、ガイド重畳鏡映像が不自然なものとなる。

そこで、ガイド重畳部１６０は、アイメイクのテンプレートについては、撮影画像から目領域を検出し、検出された目領域を、テンプレートが定義する塗布領域から除外する処理を行う。

図５は、ガイド重畳部１６０の構成の一例を示すブロック図である。

図５において、ガイド重畳部１６０は、テンプレート設定部１６１、目領域取得１６２、重畳判定部１６３、領域修正部１６４、およびガイド画像生成部１６５を有する。

テンプレート設定部１６１は、テンプレート（メイク情報）が参照する固定特徴点の位置を、撮影画像における固定特徴点の位置に合わせ込むことにより、テンプレートを撮影画像に設定する。そして、テンプレート設定部１６１は、設定されたテンプレートにより定まる塗布領域（以下「提示対象領域」という）を示す情報（以下「提示対象領域情報」という）、ガイド画像生成部１６５へ出力する。

但し、テンプレート設定部１６１は、アイメイクのテンプレートについては、設定したテンプレートの領域を、仮のアイメイク領域とする。そして、テンプレート設定部１６１は、仮のアイメイク領域を示す情報を、ガイド画像生成部１６５ではなく、重畳判定部１６３へ出力する。

目領域取得部１６２は、撮影画像から検出された顔特徴点に基づいて、撮影画像における目領域を取得する。そして、目領域取得部１６２は、取得した目領域を示す情報を、重畳判定部１６３へ出力する。

かかる顔特徴点には、例えば、図４に示すアイライン特徴点２２２_１〜２２２_３および顔特徴点２２３_１〜２２３_３、２２４が含まれる。この場合、目領域取得部１６２は、例えば、固定特徴点２２１_１、２２１_２、およびアイライン特徴点２２２_１〜２２２_３を結ぶ線と、固定特徴点２２１_１、２２１_２、および顔特徴点２２３_１〜２２３_３を結ぶ線とを算出する。そして、目領域取得部１６２は、これら２つの線に囲まれた領域（顔特徴点２２４が位置する領域）をポリゴン化し、目領域とする。なお、目領域取得部１６２は、上記２つの線のそれぞれに対して、スプライン処理等の公知の曲線化処理を施すことが望ましい。

重畳判定部１６３は、入力された情報に基づいて、仮のアイメイク領域のうち、目領域が重畳している領域（以下「目重畳領域」という）を判定する。より具体的には、重畳判定部１６３は、例えば、アイメイクのテンプレートが示す仮の塗布領域（ポリゴン領域）と、目領域（ポリゴン領域）とが重複する領域を、目重畳領域と判定する。そして、重畳判定部１６３は、判定した目重畳領域を示す情報と、入力された仮のアイメイク領域を示す情報とを、領域修正部１６４へ出力する。

領域修正部１６４は、入力された情報に基づいて、目重畳領域を仮のアイメイク領域から除外した領域して得られる領域を、算出する。すなわち、領域修正部１６４は、アイメイク領域を、目領域に基づいて修正する。そして、領域修正部１６４は、算出したアイメイク領域（提示対象領域）を示す情報を、アイメイクについての提示対象領域情報として、ガイド画像生成部１６５へ出力する。

ガイド画像生成部１６５は、入力された提示対象領域情報に基づいて、提示対象領域の外縁を示す上述の重畳画像を生成し、撮影画像に重畳する。すなわち、ガイド画像生成部１６５は、ガイド重畳鏡映像を順次生成して、表示部１７０へ出力する。

メイクアップ支援装置１００は、このようなガイド重畳部１６０を有することにより、瞼の開閉に対しても精度良く追従するガイド画像を、簡単に生成して表示することができる。

＜メイクアップ支援装置の動作＞
次に、メイクアップ支援装置１００の動作について説明する。

図６は、メイクアップ支援装置１００の動作の一例を示すフローチャートである。また、図７は、アイメイクのテンプレートを用いてガイド画像を生成する様子の一例を示す図であり、図３および図４に対応するものである。図３および図４と同一部分には同一符号を付し、これについての説明を省略する。

まず、図６のステップＳ１１００において、メイク選択部１２０は、メイクタイプを選択する。そして、メイク選択部１２０は、選択されたメイクタイプに対応するメイク情報を、ガイド重畳部１６０へ出力する。ここでは、アイメイクのテンプレートを含むメイク情報が、ガイド重畳部１６０へ出力されるものとする。

そして、ステップＳ１２００において、撮影部１３０は、ユーザの顔の映像の撮影を開始する。そして、撮影部１３０は、撮影された映像を、順次、画像取得部１４０へ出力する。

そして、ステップＳ１３００において、画像取得部１４０は、入力された映像から画像を取得する。そして、画像取得部１４０は、取得された画像を左右方向に反転させ、顔特徴点検出部１５０およびガイド重畳部１６０のそれぞれへ出力する。

そして、ステップＳ１４００において、顔特徴点検出部１５０は、入力された撮影画像から、顔特徴点を検出する。そして、顔特徴点検出部１５０は、検出された各顔特徴点の特徴点位置情報を、ガイド重畳部１６０へ出力する。なお、顔特徴点検出部１５０は、メイク選択部１２０からメイク情報を入力し、ガイド画像の生成に必要な顔特徴点にのみ絞って検出を行ってもよい。

そして、ステップＳ１５００において、ガイド重畳部１６０のテンプレート設定部１６１は、入力されたメイク情報および特徴点位置情報に基づいて、メイクのテンプレートを、撮影画像に設定する。そして、テンプレート設定部１６１は、設定されたテンプレートにより定まる塗布領域を示す提示対象領域情報を、ガイド画像生成部１６５へ出力する。

但し、アイメイクのテンプレートの場合、テンプレート設定部１６１は、例えば、図７（Ａ）および図７（Ｂ）に示すように、瞼を閉じた顔の撮影画像３１０_１および瞼を開いた顔の撮影画像３１０_２のそれぞれに対して、テンプレートを設定し、塗布領域２１１を仮決定する。ところが、図７（Ｂ）に示すように、アイメイクのテンプレートに基づく塗布領域２１１は、瞼を閉じた顔の撮影画像３１０_１では自然だが、瞼を開いた顔の撮影画像３１０_２では不自然となる。

そこで、テンプレート設定部１６１は、アイメイクについては、設定されたテンプレートにより定まる、仮の塗布領域を示す情報を、重畳判定部１６３へ出力する。

そして図６のステップＳ１６００において、ガイド重畳部１６０の目領域取得部１６２は、入力された特徴点位置情報に基づいて、撮影画像の目領域を取得する。目領域取得部１６２は、取得された目領域を示す情報を、重畳判定部１６３へ出力される。

目領域取得部１６２は、例えば、図７（Ｃ）に示すように、固定特徴点２２１_１、２２１_２、アイライン特徴点２２２_１〜２２２_３、顔特徴点２２３_１〜２２３_３に基づいて、目領域３２０を取得する。

そして、図６のステップＳ１７００において、ガイド重畳部１６０の重畳判定部１６３は、入力された情報に基づいて、アイメイク領域と目領域との重複部分である目重畳領域を判定する。

重畳判定部１６３は、例えば、図７（Ｂ）に示す塗布領域２１１と、図７（Ｃ）に示す目領域３２０とが重なる部分を、目重畳領域として取得する。

そして、図６のステップＳ１８００において、ガイド重畳部１６０の領域修正部１６４は、テンプレートの領域である塗布領域２１１から、目重畳領域を除いた領域を、提示の対象となる塗布領域（以下「提示対象領域」という）として決定する。そして、領域修正部１６４は、決定したアイメイクの提示対象領域を、ガイド画像生成部１６５へ出力する。

領域修正部１６４は、例えば、図７（Ｄ）に示すように、図７（Ｂ）に示す塗布領域２１１のうち、図７（Ｃ）に示す目領域３２０と重複しない領域３３０のみを、提示対象領域とする。

なお、ガイド重畳部１６０は、チークやアイブロウ等、アイメイク以外のメイクについては、ステップＳ１６００〜ステップＳ１８００の処理は行わない。

そして、図６のステップＳ１９００において、ガイド重畳部１６０のガイド画像生成部１６５は、入力された提示対象領域の外縁を示すガイド画像を生成し、撮影画像に重畳（合成）して、ガイド重畳鏡映像を生成する。そして、ガイド画像生成部１６５は、生成されたガイド重畳鏡映像を、表示部１７０へ出力し、表示させる。

そして、ステップＳ２０００において、画像取得部１４０は、ユーザ操作等により処理の終了を指示されたか否かを判断する。画像取得部１４０は、処理の終了を指示されていない場合（Ｓ２０００：ＹＥＳ）、処理をステップＳ１３００へ戻す。また、画像取得部１４０は、処理の終了を指示された場合（Ｓ２０００：ＮＯ）、一連の処理を終了する。

図８は、ガイド重畳鏡映像の例を示す図であり、図７に対応するものである。

図８（Ａ）および図８（Ｂ）に示すように、ガイド画像３４１は、例えば、提示対象領域の外縁を白の点線で示す画像である。ガイド画像３４１は、瞼を閉じた顔の撮影画像３１０_１に基づくガイド重畳鏡映像３４０_１と、瞼を開いた顔の撮影画像３１０_２に基づくガイド重畳鏡映像３４０_２とのそれぞれにおいて、瞼の形状に適合している。このように、ガイド画像３４０は、瞼の動きに追従する。

基の映像が撮影されてから、対応するガイド重畳鏡映像が表示されるまでの時間は、ＣＰＵの処理速度、映像の解像度、メイク情報の内容等に応じて、非常に短くすることが可能である。この場合、表示されるガイド重畳鏡映像は、ユーザの動きに対してほぼリアルタイムに追従する。また、画像取得部１４０〜表示部１７０の各装置部は、撮影部１３０から出力される映像に対して、ストリームデータ処理を行う。したがって、ユーザは、鏡を用いているような感覚で、メイクアップを行うことができる。

＜本実施の形態の効果＞
以上のように、本実施の形態に係るメイクアップ支援装置１００は、ユーザの顔を鏡のように左右反転して映し出しつつ、塗布領域を示すガイド画像を、映し出された顔に重畳して表示することができる。また、ガイド画像は、顔の各領域の実際の状態の表示をほとんど阻害しない。

このようなメイクアップ支援装置１００を使用することにより、ユーザは、鏡を見ている感覚で、顔の動きに追従して塗布領域を示すガイド画像を参考にしながら、メイクアップを行うことができる。

上述の通り、従来技術では、メイクの結果を示すのみであるため、目的とするメイクとは全く異なるメイクを行ってしまうおそれがある。この点、メイクアップ支援装置１００は、メイクの結果ではなく、メイクの過程を案内する情報を表示する。これにより、メイクアップ支援装置１００は、ユーザに対し、目的とするメイクにより近いメイクを行うように、促すことができる。

更に、従来技術では、ユーザは、鏡とシミュレーション画像とを交互に見比べながらメイクアップを行うことになるが、これらの間において異なる感覚で顔の各領域を把握し、その結果、誤った領域に化粧料を塗布してしまうおそれがある。この点、メイクアップ支援装置１００は、ガイド重畳鏡映像をユーザの顔正面に表示することができるため、このような見比べの作業を必要としない。これにより、メイクアップ支援装置１００は、ユーザに対し、より正確な領域に化粧料を塗布するように、促すことができる。

また、アイライン上の顔特徴点の位置に基づいてアイメイクの塗布領域を定義するようなメイク情報を用いる場合、瞼付近の画像を複数に分割したり、より多くの顔特徴点を必要とするような複雑な変形処理が必要となる。この点、本実施の形態に係るメイクアップ支援装置１００は、瞼が閉じた状態のアイメイクのテンプレートによって仮の塗布領域を算出し、かかる領域から目領域を除外する処理を行うことにより、アイメイクの提示対象領域を決定する。したがって、本実施の形態に係るメイクアップ支援装置１００は、低演算量で、的確なアイメイクのガイド画像を生成して表示することができる。

なお、メイクアップ支援装置１００は、ガイド画像の表示を、リップ、チーク、アイブロウ等、アイメイク以外の各種メイクに対しても行うことができる。メイクアップ支援装置１００は、これらアイメイク以外のメイクについても、上述のテンプレートを用いてもよい。更に、メイクアップ支援装置１００は、アイメイクとリップメイクというように、複数のメイクに対しても並行してガイド画像の生成を行い、同一の撮影画像に対して複数のメイクのガイド画像を重畳させることができる。すなわち、メイクアップ支援装置１００は、顔全体のメイクガイド重畳鏡映像を表示することができる。

また、メイク情報によって定義される塗布領域は、アイシャドウとアイラインというように、複数の異なるメイクの間で重複する領域を有してもよい。また、メイクアップ支援装置１００は、メイクのシミュレーション画像を表示する場合において、重複する領域における色処理を、重ね塗り処理と非重ね塗り処理とから、選択してもよい。ここで、重ね塗り処理とは、それぞれのメイクの色を混合させる処理であり、非重ね塗り処理とは、一方のメイク（通常のメイクにおいて後から塗布される方のメイク）の色のみを表示させる処理である。また、このような場合においても、それぞれのメイクについてテンプレートを用意しておくことができる。

また、メイクアップ支援装置１００は、重ね塗り処理が行われるメイクについて、アイメイクの塗布領域と目領域との重畳判定と同様の領域重畳判定処理を行ってもよい。

例えば、淡い色のチークの中央に濃い色のチークを塗布するようなメイクに対応して、メイクアップ支援装置１００は、大きい円状の塗布領域のテンプレートと、小さい円状の塗布領域のテンプレートを用意しておく。重ね塗りのメイクの場合、メイクアップ支援装置１００は、大きい円のガイド画像を表示した後に、小さい円のガイド画像を表示すべきである。

一方、メイクアップ支援装置１００は、重ね塗りではないメイクの場合、大きい円の内側に小さい円が配置された、ドーナツ状のガイド画像を表示すべきである。このような場合、メイクアップ支援装置１００は、２つのテンプレートの間で塗布領域が重複する領域を判定し、かかる領域を大きい円の塗布領域から除外することにより、上記ドーナツ状のガイド画像を生成すればよい。

すなわち、メイクアップ支援装置１００は、テンプレート画像を用い、適宜、領域重畳判定を行うことにより、より少ないデータ量および処理負荷で、よりバリエーションに富んだガイド画像を生成することができる。

また、メイク情報は、必ずしもテンプレートの形式を取らなくてもよい。例えば、唇領域は、周囲の肌との色の差が大きいため、その外縁は、撮影画像の輝度情報に基づいて容易に高精度に抽出することができる。したがって、唇領域にそのままリップを塗布するメイクのような場合、メイク情報は、唇領域をそのまま塗布領域として定義する内容であってもよい。

また、本実施の形態では、ガイド画像の形態は、顔の各領域の実際の状態の表示をほとんど阻害しないような形態である場合について説明したが、これに限定されない。例えば、ガイド重畳部１６０は、撮影画像に対して、アイメイク領域に化粧料を塗布したときの化粧料の画像を重畳して、アイメイクのシミュレーション画像を生成してもよい。提示対象領域を、図８に示すように瞼の開閉に提示対象領域が追従させる場合、このような追従を実現していない従来技術に比べて、メイクアップ後の顔をより正確に示すシミュレーション画像を生成することができ、目的とするメイクにより簡単に近付けることが可能となる。

また、メイクアップ支援装置１００が支援の対象とするメイクアップには、通常の化粧だけでなく、美容液の塗布やマッサージといった、肌の手入れ（スキンケア）が含まれてもよい。この場合、スキンケア後の顔のシミュレーション画像からでは、どのようにスキンケアを行えば良いかを判定することは、不可能に近い。この点、メイクアップ支援装置１００は、スキンケアを施すべき領域を示すガイド画像を示すことにより、スキンケアを含めたメイクアップの支援を適切に行うことができる。

本開示のメイクアップ支援装置は、ユーザの顔の画像を撮影する撮影部と、撮影された前記画像を表示する表示部と、表示される前記画像に対して、前記顔において化粧料を塗布すべき領域を示すガイド画像を重畳するガイド重畳部と、を有する。

なお、上記メイクアップ支援装置において、前記撮影部は、前記表示部の近傍から前記ユーザの顔の映像を撮影し、前記表示部は、撮影された前記映像を左右に反転させて得られる映像を、前記ユーザに向けて表示し、前記ガイド重畳部は、表示される前記映像を構成する複数の前記画像のそれぞれに対して前記ガイド画像を重畳してもよい。

また、上記メイクアップ支援装置において、前記ガイド画像は、前記領域の外縁を示す線の画像であってもよい。

また、上記メイクアップ支援装置は、前記画像から、前記画像における前記顔の顔特徴点の位置を検出する顔特徴点検出部、を有し、前記ガイド重畳部は、前記領域を顔特徴点に対する相対領域で定義したメイク情報と、検出された前記顔特徴点の位置と、に基づいて、前記ガイド画像を生成してもよい。

また、上記メイクアップ支援装置において、前記顔特徴点は、上瞼の縁に位置するアイライン特徴点を含み、前記領域は、アイメイク領域を含んでもよい。

また、上記メイクアップ支援装置において、前記メイク情報は、瞼の開閉によって移動しない前記顔特徴点に基づいて、前記瞼を閉じた状態に対応する前記アイメイク領域を定義し、前記画像における目領域を取得する目領域取得部、を有し、前記ガイド重畳部は、検出された前記目領域を前記アイメイク領域から除外して得られる領域に対して、前記ガイド画像を生成してもよい。

また、上記メイクアップ支援装置において、前記ガイド重畳部は、前記画像に対して、前記アイメイク領域に前記化粧料を塗布したときの前記化粧料の画像を重畳してもよい。

また、上記メイクアップ支援装置において、複数のメイクタイプのそれぞれについて、前記メイクタイプに対応する前記領域を定義する前記メイク情報を予め格納するメイク情報格納部と、前記複数のメイクタイプに対する選択操作を受け付けるメイク選択部と、を有し、前記ガイド重畳部は、選択された前記メイクタイプに対応する前記メイク情報に基づいて、前記ガイド画像を生成してもよい。

本開示のメイクアップ支援方法は、ユーザの顔の画像を撮影するステップと、撮影された前記画像のそれぞれに対して、前記顔において化粧料を塗布すべき領域を示すガイド画像を重畳するステップと、前記ガイド画像が重畳された前記画像を表示するステップと、を有してもよい。

本発明は、メイクアップの支援を適切に行うことができる、メイクアップ支援装置およびメイクアップ支援方法として有用である。

１００ メイクアップ支援装置
１１０ メイク情報格納部
１２０ メイク選択部
１３０ 撮影部
１４０ 画像取得部
１５０ 顔特徴点検出部
１６０ ガイド重畳部
１６１ テンプレート設定部
１６２ 目領域取得部
１６３ 重畳判定部
１６４ 領域修正部
１６５ ガイド画像生成部
１７０ 表示部

Claims (9)

1. ユーザの顔の画像を撮影する撮影部と、
   撮影された前記画像を表示する表示部と、
   表示される前記画像に対して、前記顔において化粧料を塗布すべき領域を示すガイド画像を重畳するガイド重畳部と、を有する、
   メイクアップ支援装置。
2. 前記撮影部は、
   前記表示部の近傍から前記ユーザの顔の映像を撮影し、
   前記表示部は、
   撮影された前記映像を左右に反転させて得られる映像を、前記ユーザに向けて表示し、
   前記ガイド重畳部は、
   表示される前記映像を構成する複数の前記画像のそれぞれに対して前記ガイド画像を重畳する、
   請求項１に記載のメイクアップ支援装置。
3. 前記ガイド画像は、前記領域の外縁を示す線の画像である、
   請求項１に記載のメイクアップ支援装置。
4. 前記画像から、前記画像における前記顔の顔特徴点の位置を検出する顔特徴点検出部、を有し、
   前記ガイド重畳部は、
   前記領域を顔特徴点に対する相対領域で定義したメイク情報と、検出された前記顔特徴点の位置と、に基づいて、前記ガイド画像を生成する、
   請求項１に記載のメイクアップ支援装置。
5. 前記顔特徴点は、上瞼の縁に位置するアイライン特徴点を含み、
   前記領域は、アイメイク領域を含む、
   請求項４に記載のメイクアップ支援装置。
6. 前記メイク情報は、瞼の開閉によって移動しない前記顔特徴点に基づいて、前記瞼を閉じた状態に対応する前記アイメイク領域を定義し、
   前記画像における目領域を取得する目領域取得部、を有し、
   前記ガイド重畳部は、
   検出された前記目領域を前記アイメイク領域から除外して得られる領域に対して、前記ガイド画像を生成する、
   請求項５に記載のメイクアップ支援装置。
7. 前記ガイド重畳部は、
   前記画像に対して、前記アイメイク領域に前記化粧料を塗布したときの前記化粧料の画像を重畳する、
   請求項６に記載のメイクアップ支援装置。
8. 複数のメイクタイプのそれぞれについて、前記メイクタイプに対応する前記領域を定義する前記メイク情報を予め格納するメイク情報格納部と、
   前記複数のメイクタイプに対する選択操作を受け付けるメイク選択部と、を有し、
   前記ガイド重畳部は、
   選択された前記メイクタイプに対応する前記メイク情報に基づいて、前記ガイド画像を生成する、
   請求項４に記載のメイクアップ支援装置。
9. ユーザの顔の画像を撮影するステップと、
   撮影された前記画像のそれぞれに対して、前記顔において化粧料を塗布すべき領域を示すガイド画像を重畳するステップと、
   前記ガイド画像が重畳された前記画像を表示するステップと、を有する、
   メイクアップ支援方法。

Images