JP2018185782A - リップ・グロス案内装置及びその方法 - Google Patents

Abstract

【課題】ユーザにリップ・グロスを塗るように案内するために、画像取込装置、処理装置及びディスプレイ装置を含むリップ・グロス案内装置を提供する。【解決手段】画像取込装置１１０は、ユーザの顔の画像を取込み、該顔の画像は該ユーザのリップを少なくとも含む。処理装置１３０は、顔の画像を受信し、顔の画像により複数のリップの特徴点を取得する。処理装置は、上部のリップ・グロス案内ブロック及び下部のリップ・グロス案内ブロックを得るために、リップの特徴点及び上部のリップと下部のリップとの間の所定の比により、計算を実施する。ディスプレイ装置１２０は、リップの画像、対応する上部のリップ・グロス案内ブロック及び下部のリップ・グロス案内ブロックを表示し、上部のリップ・グロス案内ブロック及び下部のリップ・グロス案内ブロックにより、ユーザに化粧をするように案内する。【選択図】図２

Description

本発明は顔の特徴認識技術に関するものであり、特にリップ形状の認識に基づくリップ・グロス案内装置及びその方法に関するものである。

美への愛情は女性の気質であり、多くの女性は化粧により顔の特徴を強める。しかしながら、化粧の技術は生来のものではなく、化粧の効果は多くの美容の練習後に向上することができる。

誰か化粧の技術を学びたい場合、学習者はインターネット上の画像から化粧の技術を学ぶことができる。しかしながら、画像から学んだ化粧の技術は、実地に、ずれがある。したがって、近代的装置により化粧の技術を学ぶ方法は、製造業者により関心のある技術的課題である。

本発明は、リップ・グロス案内装置及びリップ・グロス案内方法を提供し、ユーザの顔の画像により、上部リップ・グロス案内ブロックが計算され、表示され、それゆえに、便利な対話型化粧教育を提供するように、リップ・グロス案内装置により提供されるプロンプトにより、ユーザは化粧することができる。

本発明は、画像取込装置、処理装置及びディスプレイ装置を含むリップ・グロス案内装置を提供する。画像取込装置は、ユーザの顔の画像を取込み、該顔の画像は該ユーザのリップを少なくとも含む。処理装置は、前記顔の画像を受信し、前記顔の画像により複数のリップの特徴点を取得する。さらに、処理装置は、上部のリップ・グロス案内ブロック及び下部のリップ・グロス案内ブロックを得るために、前記リップの特徴点及び上部のリップと下部のリップとの間の所定の比により、計算を実施する。ディスプレイ装置は、前記顔の画像、対応する前記上部のリップ・グロス案内ブロック及び前記下部のリップ・グロス案内ブロックを、表示し、前記上部のリップ・グロス案内ブロック及び前記下部のリップ・グロス案内ブロックにより、前記ユーザに化粧をするように案内する。

本発明は、以下のステップを含むリップ・グロス案内方法を提供する。ユーザの顔の画像を取得し、前記顔の画像により複数のリップの特徴点を取得する。上部のリップ・グロス案内ブロック及び下部のリップ・グロス案内ブロックを得るために、前記リップの特徴点及び上部のリップと下部のリップとの間の所定の比により、計算を実施する。前記顔の画像、対応する前記上部のリップ・グロス案内ブロック及び前記下部のリップ・グロス案内ブロックを、表示し、前記上部のリップ・グロス案内ブロック及び前記下部のリップ・グロス案内ブロックにより、前記ユーザに化粧をするように案内する。

上述の説明により、本発明のリップ・グロス案内装置及びリップ・グロス案内方法は、ユーザのリップの画像により、上部のリップ・グロス案内ブロック及び下部のリップ・グロス案内ブロックを、計算し表示することができ、それ故に、ユーザは、リップ・グロスを塗るべき領域を学習し、ユーザは、異なるリップ・グロスを塗る位置により、異なるリップの形状の取得方法を明確に知る。このように、たとえ、ユーザが化粧に精通していなくとも、ユーザは、便利な会話型化粧教育の提供となるように、リップ・グロス案内装置により提供されるプロンプトにより、なお、リップ・グロスを塗ることができる。

本発明の上述の及び他の特徴と利点を理解できるようにするために、以下、幾つかの例示的実施形態を挙げて図面と共に詳細な内容を説明する。

本発明の実施形態によるリップ・グロス案内装置のディスプレイ・インターフェースの模式図である。 本発明の実施形態によるリップ・グロス案内装置のシステムブロック図である。 本発明の実施形態によるリップ・グロス案内ブロックの模式図である。 本発明の第２の実施形態によるリップ・グロス案内ブロックの模式図である。 本発明の第３の実施形態によるリップ・グロス案内ブロックの模式図である。 本発明の実施形態による第２のリップ・グロス案内ブロックの模式図である。 本発明の実施形態によるリップ・グロス案内方法を例示するフローチャートである。 本発明の実施形態によるリップ・グロス案内ブロックを得る詳細なフローである。

図１は、本発明の実施形態によるリップ・グロス案内装置のディスプレイ・インターフェースの模式図であり、図２は、本発明の実施形態によるリップ・グロス案内装置のシステムブロック図である。図１及び図２を参照するに、本実施形態において、リップ・グロス案内装置１００は、画像取込装置１１０、マルチメディアディスプレイ装置１２０及び処理装置１３０を含む。

画像取込装置１１０は、ユーザのリップの画像を含む顔の画像を取込むために用いられる。画像取込装置１１０は、本開示に限定されないけれども、例えば、ディスプレイ装置１２０及び処理装置１３０に有線又は無線方法で接続された内蔵ビデオカメラ、外部携帯電話、外部カメラなどである。

ディスプレイ装置１２０は、マルチメディア情報及びユーザの顔の画像をリアルタイムで表示することができる。例えば、ディスプレイ装置１２０は、ユーザの顔の画像を表示し、ユーザが選択するための、複数のリップの形状及びリップ・グロスのオプションを提供する。本例示的実施形態において、ディスプレイ装置１２０は、高反射性を有する材料（例えば、鏡）の後ろに配置され、有機発光ダイオード（ＯＬＥＤ）と結合したディスプレイであり得る。このように、本発明は以下のようには限定されないけれども、ユーザは自身の顔を鏡により見ることができ、ディスプレイ装置１２０は、ユーザが見て選択のタッチをするための、鏡の上の関連情報を表示することができる。本実施形態のリップ・グロス案内装置１００は、化粧台の上に配置される装置とすることができ、リップ・グロス案内装置１００のスクリーンは、鏡の後ろに配置することができ、それらの上に表示されるテキスト又は画像はユーザが見るために、鏡を通過することができる。他の実施形態において、リップ・グロス案内装置１００は、また、スマートフォン、タブレットＰＣなどのような消費電子製品又はポータブル鏡と結合したポータブル鏡ボックスであり得る。

処理装置１３０は、ユーザの顔に関連する複数のユーザの顔の特徴点を得るように、画像取込装置１１０により取込んだユーザの顔の画像により、計算を実施する。例えば、本例示的実施形態の実施において、処理装置１３０は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能論理回路（ＰＬＤ）又は他の類似の装置とすることができる。処理装置１３０は、リップ・グロス案内ブロックを提供するために、様々な必要なソフトウェアプログラム及び／又は命令セットを実行するように構成される。本実施形態において、処理装置１３０は、ユーザの顔の１９４の特徴点を検出し解析するために、Dlibの顔のランドマークを用いる顔検出システムを実行する。他の場合において、ユーザの顔の特徴点は、ユーザの顔の１９４の特徴点を解析することだけにより、又は、顔の特徴点を検出するために他のアルゴリズムを用いることにより、得ることができる。

本実施形態において、ユーザが鏡をのぞき込みながら化粧する時に、ディスプレイ装置１２０は、ユーザの顔画像及びリップ画像を表示し、リアルタイムで顔の特徴点を解析することができる。本発明の便利な会話型リップ・グロス案内装置を提供するために、ディスプレイ装置１２０は、リップ・グロスを塗るためにユーザに位置及び方法を指示するために、ユーザのリップの位置に基づいて、リップ・グロス案内ブロックを、更に表示する。このように、ディスプレイ装置１２０により表示されたリップ・グロス案内ブロックの案内により、ユーザの顔の対応する位置のリップ上に、ユーザはリップ・グロスを塗ることができる。なお、リップ・グロス案内ブロックを表示するための方法は、リップを包囲するフレームラインを表示することである。しかしながら、リップ・グロス案内ブロックを表示するための方法は、それに限定されず、他の実施形態において、リップ・グロス案内ブロックを表示するための方法は、ユーザのリップをリップ表示ブロックを調整するための参照として直接に取り、調整したリップ表示ブロックをリップ・グロス案内ブロックとして取ることである。

図３を参照するに、図３は本発明の実施形態によるリップ・グロス案内ブロックの模式図である。画像取込装置１１０がユーザの顔画像を取込んだ後に、処理装置１３０は、ユーザのリップ画像により、ユーザのリップの複数の特徴点を得る。処理装置１３０により得たユーザのリップの特徴点は、少なくとも、２つのリップのコーナーLP0、LP1、上部のリップのピークLP2、LP3、下部のリップのピークLP4、上部のリップのピークLP2、LP3及び下部のリップのピークLP4にそれぞれ垂直なリップの特徴点LP5、LP7、LP6を含む。

処理装置１３０により得たユーザのリップの特徴点は、それらに限定されず、他の実施形態において、処理装置１３０により得た顔の特徴点の数は、１１９、１９４などとすることができ、リップの特徴点の数は、例えば、４３である。例えば、１１９の顔の特徴点の実装において、処理装置１３０は、例えば、リップの特徴点の数は５８〜１００であるが、顔の特徴点の全てに０〜１１８により番号を付けるように、顔の特徴点の各々に番号を付けることができる。さらに、リップのコーナーLP0、LP1は、それぞれ、番号５８及び番号１００を有し、上部のリップのピークLP2、LP3は、それぞれ、番号６３及び番号６６を有し、下部のリップのピークLP4は番号７８を有し、上部及び下部のリップの境界に位置付けられたリップの特徴点LP5、LP6及びLP7は、それぞれ、番号９１、９４及び９５を有する。しかしながら、本発明は、それらに限定されない。

リップの特徴点が得られた後に、処理装置１３０は、上部リップ・グロス案内ブロックＡ１及び下部リップ・グロス案内ブロックＡ２をそれぞれ得るように、リップの特徴点の位置、ユーザにより選択されるべきリップの形状及び上部及び下部のリップの高さの所定の比により、リップの特徴点を調整することができる。処理装置１３０が、上部リップ・グロス案内ブロックＡ１及び下部リップ・グロス案内ブロックＡ２を得る方法は、以下に説明する。

最初に、処理装置１３０は、左の上部のリップのピークLP2とリップの特徴点LP5との間の垂直高さｈ１、垂直高さｈ１はユーザの上部のリップの高さであるが、を計算する。なお、他の実施形態において、処理装置１３０は、また、右の上部のリップのピークLP3とリップの特徴点LP7との間の垂直高さｈ３を計算することができ、垂直高さｈ３をユーザの上部のリップの高さとして取る。すなわち、処理装置１３０は、左の上部のリップのピークLP2に対応する垂直高さｈ１、又は、右の上部のリップのピークLP3に対応する垂直高さｈ３をユーザの上部のリップの高さとして取ることができる。あるいは、別の実施形態において、処理装置１３０は、垂直高さｈ１及びｈ３を、それぞれ、左のリップ及び右のリップの高さとして取ることができる。以下の実施形態において簡単にするために、左の上部のリップのピークLP2及び対応するその垂直高さｈ１は、説明のための例として用いる、すなわち、上部のリップの高さはｈ１である。しかしながら、右の上部のリップのピークLP3及び対応するその垂直高さｈ３、又は、左の上部のリップのピークLP2及び右の上部のリップのピークLP3、並びに、対応するその垂直高さｈ１及びｈ３に関して、上部リップ・グロス案内ブロックＡ１を計算し調整するために、同じ方法を採用することができ、これは繰り返されない。

上部のリップの高さｈ１の他に、処理装置１３０は、また、ユーザの下部のリップの高さｈ２を計算することができる。具体的に言うと、処理装置１３０は、下部のリップのピークLP4とリップの特徴点LP6との間の垂直距離ｈ２を計算し、垂直距離ｈ２をユーザの下部のリップの高さとして取る。さらに、ユーザの上部のリップの高さｈ１及び下部のリップの高さｈ２を得た後に、処理装置１３０は、所定の比により、上部リップ・グロス案内ブロックＡ１及び下部リップ・グロス案内ブロックＡ２の表示位置を調整することができる。

図３の実施形態を例として取ると、ユーザにより選択されたリップの形状は、上部のリップの高さｈ１及び下部のリップの高さｈ２が同じであることを示し、すなわち、上部のリップの高さｈ１と下部のリップの高さｈ２との間の所定の比は１：１である。上部リップ・グロス案内ブロックＡ１及び下部リップ・グロス案内ブロックＡ２を得るために、ユーザのリップの特徴点を計算し調整する間に、処理装置１３０が、上部のリップの高さｈ１と下部のリップの高さｈ２との間の比は所定の比に適合しない、すなわち、上部のリップの高さｈ１と下部のリップの高さｈ２との間の比は１：１でないことを決定する時、処理装置１３０は、ディスプレイ装置１２０により表示された上部と下部のリップの高さの間の比が所定の比に適合するように、ユーザのリップの特徴点の位置を調整することができる。

具体的に言うと、処理装置１３０が、上部と下部のリップの高さの比が調整されるのが必要であると決定する時、例えば、上部のリップの高さｈ１が下部のリップの高さｈ２より大きい時、処理装置１３０は、上部のリップの高さｈ１と下部のリップの高さｈ２とを等しくするように、下部のリップの高さｈ２を、上部のリップのピークLP2、LP3を垂直に下げる参照として取ることができる。あるいは、上部のリップの高さｈ１が下部のリップの高さｈ２より小さい時、処理装置１３０は、上部のリップの高さと下部のリップの高さとを等しくするように、下部のリップの高さｈ２を、上部のリップのピークLP2、LP3を垂直に上げる参照として取ることができる。なお、処理装置１３０が、下部のリップの高さｈ２を、上部のリップの特徴点を調整する参照として取る時、処理装置１３０は、上部のリップのピークLP2、LP3に隣接して位置づけられたリップの特徴点を同時に調整することができる。例えば、処理装置１３０は、左の上部のリップのピークLP2と左のリップのコーナーLP0との間に位置付けられたリップの特徴点の位置を比例する方法で同時に上げたり又は下げたりすることができる。あるいは、処理装置１３０は、本発明はそれに限定されないが、ユーザにより選択された曲線の比例により、リップの特徴点の水平及び垂直の位置を更に調整することができる。

他の実施形態において、処理装置１３０は、また、下部のリップの高さと上部のリップの高さとを等しくするように、上部のリップの高さｈ１を、下部のリップの特徴点を調整する参照として取ることができる。例えば、上部のリップの高さｈ１が下部のリップの高さｈ２より大きい時、処理装置１３０は、下部のリップの高さと上部のリップの高さとを等しくするように、下部のリップの高さｈ２を増大するために、下部のリップの特徴点を下げることができる。

さらに、ユーザの上部のリップの高さと下部のリップの高さとが互いに近い時、処理装置１３０は、上部のリップの高さと下部のリップの高さとの調整をしない。本実施形態において、上部のリップの高さｈ１と下部のリップの高さｈ２との差が５ピクセル以内の場合、処理装置１３０は、本発明はそれに限定されないが、上部のリップの高さｈ１と下部のリップの高さｈ２とが同じであることを決定する。

図４を参照すると、図４は、本発明の第２の実施形態によるリップ・グロス案内ブロックの模式図である。図４の実施形態において、ユーザの上部のリップの高さｈ１と下部のリップの高さｈ２とを得る方法は、図３の実施形態の方法と同じであり、その詳細は繰り返さない。それらの間の差は、図４の実施形態において、ユーザにより選択されたリップの形状が上部は薄く下部は厚いことである。上部は薄く下部は厚いリップの形状において、化粧の完全な比例により、上部のリップの高さｈ１と下部のリップの高さｈ２との間の所定の比は１：１．５であり、それ故に、その所定の比は、本発明はそれに限定されないが、現在の医療美容術において、最適な上部及び下部のリップの形状の比である。他の実施形態において、実際の要件又は異なる場合により、ユーザは、上部及び下部のリップの高さの所定の比を適切に調整することができる。ユーザにより選択された化粧により、上部及び下部のリップの形状の比は、適切に調整することができる。

図３と類似して、ユーザの上部のリップの高さｈ１と下部のリップの高さｈ２との比が所定の比に適合しない時、処理装置１３０は、ユーザの上部のリップの高さｈ１と下部のリップの高さｈ２との比が所定の比に適合することができるように、すなわち、上部のリップの高さｈ１：下部のリップの高さｈ２＝１：１．５となることができるように、下部のリップの高さｈ２を、上部リップ・グロス案内ブロックＡ１内の上部のリップの特徴点の位置を調整するための参照として取ることができる。しかしながら、他の実施形態において、処理装置１３０は、また、本発明はそれに限定されないが、上部のリップの高さｈ１と下部のリップの高さｈ２との比が１：１．５の所定の比に適合することができるように、上部のリップの高さｈ１を、下部のリップの特徴点を調整するための参照として取ることができる。

さらに、他の実施形態において、処理装置１３０は、また、上部のリップの高さｈ１及び下部のリップの高さｈ２の内のより小さい１つを、調整を実施するための参照として取ることができる。例えば、処理装置１３０が、上部のリップの高さｈ１及び下部のリップの高さｈ２を得た後に、処理装置１３０は、上部のリップの高さｈ１及び下部のリップの高さｈ２を、上部のリップの高さｈ１により、同時に割る、すなわち、計算した上部のリップの高さは１に変わる。今や、計算した下部のリップの高さｈ２が１．５より小さい場合、下部のリップの高さｈ２は、上部のリップの特徴点を調整するための参照として取られる。逆に、計算した下部のリップの高さｈ２が１．５より大きい場合、それは、上部のリップの高さが、所定の比と比較して、より小さいことを表し、それ故に、上部のリップの高さｈ１は、下部のリップの特徴点を調整するための参照として取られる。リップ・グロス案内装置により提供される上部のリップ・グロス案内ブロックＡ１に基づいて、ユーザのリップの形状が、視覚効果において、より小さい形状に維持されるように、ユーザのリップ・グロスは、ユーザの実際のリップの範囲を超えない。

図５を参照すると、図５は、本発明の第３の実施形態によるリップ・グロス案内ブロックの模式図である。図５の実施形態において、ユーザの上部のリップの高さｈ１と下部のリップの高さｈ２とを得る方法は、図３の実施形態の方法と同じであり、その詳細は繰り返さない。それらの間の差は、図５の実施形態において、ユーザにより選択されたリップの形状が上部は厚く下部は薄いことである。上部は厚く下部は薄いリップの形状において、化粧の完全な比例により、上部のリップの高さｈ１と下部のリップの高さｈ２との所定の比は、本発明はそれに限定されないが、１．５：１である。他の実施形態において、実際の要件により、ユーザは、上部及び下部のリップの高さの所定の比を適切に調整することができる。

図３と類似して、ユーザの上部のリップの高さｈ１と下部のリップの高さｈ２との比が所定の比に適合しない時、処理装置１３０は、ユーザの上部のリップの高さｈ１と下部のリップの高さｈ２との比が所定の比に適合することができるように、すなわち、上部のリップの高さｈ１：下部のリップの高さｈ２＝１：１．５となることができるように、下部のリップの高さｈ２を、上部リップ・グロス案内ブロックＡ１内の上部のリップの特徴点の位置を調整するための参照として取ることができる。しかしながら、他の実施形態において、処理装置１３０は、また、上部のリップの高さｈ１と下部のリップの高さｈ２との比が１：１．５であるように、上部のリップの高さｈ１を、下部のリップの特徴点を調整するための参照として取ることができる。さらに、一実施形態において、処理装置１３０は、また、その開示により限定されないが、その参照を動的に調整することができる。詳細な調整方法は、図３及び図４の実施形態において、開示したので、その詳細は繰り返さない。

図６を参照すると、図６は、本発明の実施形態によるリップ・グロス案内ブロックの模式図である。本発明の一実施形態において、処理装置１３０が、上部のリップ・グロス案内ブロックＡ１又は下部のリップ・グロス案内ブロックＡ２は、ユーザの実際のリップブロックより小さいことを決定する時、処理装置１３０は、更に、ユーザのリップブロックと上部のリップ・グロス案内ブロックＡ１との間に位置付けられる第３の上部のリップ・グロス案内ブロックＡ３、及び、ユーザのリップブロックと下部のリップ・グロス案内ブロックＡ２との間に位置付けられる第４の下部のリップ・グロス案内ブロックＡ４を、ディスプレイ装置１２０に表示するように命令する。このように、ユーザが所望のリップの形状を正確に描くことができるように、ユーザは、第３の上部のリップ・グロス案内ブロックＡ３及び第４の下部のリップ・グロス案内ブロックＡ４に対応する位置で、リップ上に、装飾的なリップ・グロス又はコンシーラーを塗ることができる。

さらに、処理装置１３０が、上部のリップ・グロス案内ブロックＡ１は、実際のユーザのリップブロックより大きいことを決定する時、ユーザは、上部のリップ・グロス案内ブロックＡ１及び下部のリップ・グロス案内ブロックＡ２の周辺に対応する位置で、リップ上にリップ・グロスのプロファイルを描くことができ、上部のリップ・グロス案内ブロックＡ１の中の好みのリップ・グロスの表面を覆う。

図７は、本発明の例示的実施形態によるリップ・グロス案内方法を例示するフローチャートである。図２、図３及び図７を参照するに、ユーザがリップ・グロスを塗るための案内を提供するリップ・グロス案内装置１００を使用したい時に、最初に、ステップＳ７１０において、画像取込装置１１０は、ユーザのリップの画像を含む顔の画像を取込む。画像取込装置１１０は、取込んだユーザの顔の画像を処理装置１３０へ送信する。次いで、ステップＳ７２０において、処理装置１３０は、ユーザの複数のリップの特徴点LP0〜LP7を得るために、取込んだ顔の画像を計算する。さらに、ステップＳ７３０において、処理装置１３０は、ユーザの顔に対応する上部のリップ・グロス案内ブロックＡ１及び下部のリップ・グロス案内ブロックＡ２を得るために、計算を実施し、リップの特徴点及び所定の比により、ユーザのリップの特徴点LP0〜LP7を調整する。最後に、処理装置１３０は、画像取込装置１１０により得たユーザの顔の画像、並びに、処理装置１３０により計算した上部のリップ・グロス案内ブロックＡ１及び下部のリップ・グロス案内ブロックＡ２をディスプレイ装置１２０へ送信することができる。ステップＳ７４０において、処理装置１３０は、ユーザの顔の画像、上部のリップ・グロス案内ブロックＡ１及び下部のリップ・グロス案内ブロックＡ２を、ディスプレイ装置１２０に表示するように命令する。

なお、本例示的実施形態において、リップ・グロス案内方法は、顔の画像を得て、上部のリップ・グロス案内ブロックＡ１を、リアルタイムの方法で、計算することであるため、ステップＳ７１０からステップＳ７４０までは、ユーザが動作を中止するまで、繰り返し実行される。

さらに、本例示的実施形態のリップ・グロス案内方法は、例えば、上部は薄く下部は厚い、又は、上部は厚く下部は薄い、ユーザの選択により、リップ・グロス案内ブロックのパターンを調整することができる。あるいは、ユーザは、また、ディスプレイ装置１２０で、リップ・グロスの色、テクスチャーを選択することができ、ディスプレイ装置１２０で、同じものをプレビューする。他の例示的実施形態において、処理装置１３０は、ユーザにより選択された色及びテクスチャーにより、上部のリップ・グロス案内ブロックＡ１及び下部のリップ・グロス案内ブロックＡ２を細かく調整することができ、同じものをディスプレイ装置１２０に表示することができる。

図８は、リップ・グロス案内ブロックを得る詳細なフローである。本実施形態において、図３及び図８を参照するに、ステップＳ７３０が実行される時、すなわち、処理装置１３０が上部のリップ・グロス案内ブロックＡ１を得るために、リップの特徴点及び所定の比により計算を実施する時、ステップＳ８３２において、処理装置１３０は、上部のリップのピーク及び下部のリップのピークにより、上部のリップの高さｈ１及び下部のリップの高さｈ２を計算する。処理装置１３０は、最初に、ユーザの上部のリップの高さｈ１を計算することができ、又は、最初に、ユーザの下部のリップの高さｈ２を計算することができ、処理装置１３０の計算の順序は、本開示により限定されない。上部のリップの高さｈ１及び下部のリップの高さｈ２の詳細な計算方法は、図３の実施形態において、説明されているので、繰り返さない。

次いで、ステップＳ８３４において、処理装置１３０は、更に、上部のリップの高さｈ１と下部のリップの高さｈ２との間の比を計算し、その比が所定の比に適合するかどうかを決定する。さらに、上部のリップの高さｈ１と下部のリップの高さｈ２との間の比が所定の比に適合しない時、ステップＳ８３６において、処理装置１３０は、所定の比に適合する上部のリップ・グロス案内ブロックＡ１及び下部のリップ・グロス案内ブロックＡ２を得るために、リップの特徴点を更に調整する。詳細な調整方法は、図３から図５の実施形態において、開示されているので、その詳細は繰り返さない。

ステップＳ８３６の実行後には、処理装置１３０は、リップ・グロス案内ブロックＡ１及び下部のリップ・グロス案内ブロックＡ２を計算したので、処理装置１３０は、画像取込装置１１０により取込んだユーザの顔の画像、及び、処理装置１３０により計算したリップ・グロス案内ブロックＡ１及び下部のリップ・グロス案内ブロックＡ２を、ディスプレイ装置１２０へ送信することができ、ステップＳ７４０において、処理装置１３０は、ユーザの顔の画像、上部のリップ・グロス案内ブロックＡ１及び下部のリップ・グロス案内ブロックＡ２を、ディスプレイ装置１２０に表示するように命令する。

さらに、ステップＳ８３４において、処理装置１３０が、ユーザの上部のリップの高さｈ１と下部のリップの高さｈ２との間の比が所定の比に適合することを決定した時、ステップＳ７４０は、直接、実行され、ステップＳ７４０により、処理装置１３０は、ユーザの顔の画像、上部のリップ・グロス案内ブロックＡ１及び下部のリップ・グロス案内ブロックＡ２を、ディスプレイ装置１２０に表示するように命令する。

図７及び図８のフローにより、処理装置１３０は、上部のリップ・グロス案内ブロックＡ１及び下部のリップ・グロス案内ブロックＡ２を計算することができる。したがって、ユーザは、計算された上部のリップ・グロス案内ブロックＡ１及び下部のリップ・グロス案内ブロックＡ２をディスプレイ装置１２０により見ることができ、リップ・グロス案内ブロックＡ１及び下部のリップ・グロス案内ブロックＡ２に対応する位置で、顔の上にリップ・グロスを塗ることができる。

要約すれば、本発明のリップ・グロス案内装置及びリップ・グロス案内方法は、ユーザが、化粧プロセスの間に、リップ・グロスを塗るのに適切な位置を明確に知って、それに応じて、リップ・グロスを塗るように、ユーザの顔の画像により、リップ・グロス案内ブロックを計算して表示することができる。このように、たとえ、ユーザが化粧に精通していなくとも、ユーザは、便利な会話型化粧教育の提供となるように、リップ・グロス案内装置により提供されるプロンプトにより、なお、リップ・グロスを塗ることができる。

本発明の範囲と精神を逸脱しない範囲で、様々な変更や修正を本発明の構造にすることができることは、当業者には明らかであろう。上述に鑑みて、本発明は提供された本発明の変更や修正をカバーし、それらは、以下の特許の請求範囲及びそれらの均等物の範囲内に収まることを意図している。

本発明は顔の特徴認識技術に関するものであり、特にリップ形状の認識に基づくリップ・グロス案内装置及びその方法に関するものである。

１００ リップ・グロス案内装置
１１０ 画像取込装置
１２０ マルチメディアディスプレイ装置
１３０ 処理装置
Ｓ７１０〜Ｓ７４０ リップ・グロス案内方法のステップ
Ｓ８３２〜Ｓ８３６ リップ・グロス案内ブロックを得るステップ
Ａ１、Ａ３ 上部のリップ・グロス案内ブロック
Ａ２、Ａ４ 下部のリップ・グロス案内ブロック
ｈ１、ｈ３ 上部のリップの高さ、垂直高さ
ｈ２ 下部のリップの高さ、垂直距離

Claims (10)

1. ユーザの顔の画像を取込み、該顔の画像は該ユーザのリップを少なくとも含む、画像取込装置と、
   前記顔の画像を受信し、前記顔の画像により複数のリップの特徴点を取得し、上部のリップ・グロス案内ブロック及び下部のリップ・グロス案内ブロックを得るために、前記リップの特徴点及び上部のリップと下部のリップとの間の所定の比により、計算を実施する、処理装置と、
   前記顔の画像、対応する前記上部のリップ・グロス案内ブロック及び前記下部のリップ・グロス案内ブロックを、表示し、前記上部のリップ・グロス案内ブロック及び前記下部のリップ・グロス案内ブロックにより、前記ユーザに化粧をするように案内する、ディスプレイ装置と、を備える、リップ・グロス案内装置。
2. 前記リップの特徴点は、左のリップのコーナー、右のリップのコーナー、左の上部のリップのピーク、右の上部のリップのピーク、下部のリップのピーク、前記左の上部のリップのピークに対応する第１の特徴点及び前記下部のリップのピークに対応する第２の特徴点を少なくとも備え、前記第１の特徴点及び前記第２の特徴点は、前記上部のリップ及び前記下部のリップの境界に位置付けられ、
   前記処理装置は、前記左の上部のリップのピーク及び前記第１の特徴点により、第１の垂直高さを計算し、前記下部のリップのピーク及び前記第２の特徴点により、第２の垂直高さを計算し、
   前記処理装置は、前記第１の垂直高さ及び前記第２の垂直高さが前記所定の比に適合するかどうかを決定し、
   前記第１の垂直高さ及び前記第２の垂直高さが前記所定の比に適合しない時、前記処理装置は、前記上部のリップ・グロス案内ブロック及び前記下部のリップ・グロス案内ブロックを得るために、前記第１の垂直高さ及び前記第２の垂直高さにより、前記リップの特徴点を調整する、請求項１に記載のリップ・グロス案内装置。
3. 前記第１の垂直高さ及び前記第２の垂直高さが前記所定の比に適合しない時、前記処理装置は、前記第１の垂直高さに従って、前記複数のリップの特徴点の中の前記第２の垂直高さに対応する前記リップの特徴点を調整し、又は、前記第２の垂直高さに従って、前記複数のリップの特徴点の中の前記第１の垂直高さに対応する前記リップの特徴点を調整する、請求項２に記載のリップ・グロス案内装置。
4. 前記所定の比は、１：１．５、１．５：１又は１：１の前記第１の垂直高さと前記第２の垂直高さの比の内の１つである、請求項１に記載のリップ・グロス案内装置。
5. 前記リップの特徴点は、左のリップのコーナー、右のリップのコーナー、左の上部のリップのピーク、右の上部のリップのピーク、下部のリップのピーク、前記右の上部のリップのピークに対応する第３の特徴点及び前記下部のリップのピークに対応する第２の特徴点を少なくとも備え、前記第３の特徴点及び前記第２の特徴点は、前記上部のリップ及び前記下部のリップの境界に位置付けられ、
   前記処理装置は、前記右の上部のリップのピーク及び前記第３の特徴点により、第３の垂直高さを計算し、前記下部のリップのピーク及び前記第２の特徴点により、第２の垂直高さを計算し、
   前記処理装置は、前記第３の垂直高さ及び前記第２の垂直高さが前記所定の比に適合するかどうかを決定し、
   前記第３の垂直高さ及び前記第２の垂直高さが前記所定の比に適合しない時、前記処理装置は、前記上部のリップ・グロス案内ブロック及び前記下部のリップ・グロス案内ブロックを得るために、前記第３の垂直高さ及び前記第２の垂直高さにより、前記リップの特徴点を調整する、請求項１に記載のリップ・グロス案内装置。
6. ユーザの顔の画像を取得するステップと、
   前記顔の画像を受信するステップと、
   前記顔の画像により複数のリップの特徴点を取得するステップと、
   上部のリップ・グロス案内ブロック及び下部のリップ・グロス案内ブロックを得るために、前記リップの特徴点及び上部のリップと下部のリップとの間の所定の比により、計算を実施するステップと、
   前記顔の画像、対応する前記上部のリップ・グロス案内ブロック及び前記下部のリップ・グロス案内ブロックを、表示し、前記上部のリップ・グロス案内ブロック及び前記下部のリップ・グロス案内ブロックにより、前記ユーザに化粧をするように案内するステップと、を有する、リップ・グロス案内方法。
7. 前記リップの特徴点は、左のリップのコーナー、右のリップのコーナー、左の上部のリップのピーク、右の上部のリップのピーク、下部のリップのピーク、前記左の上部のリップのピークに対応する第１の特徴点及び前記下部のリップのピークに対応する第２の特徴点を少なくとも備え、前記第１の特徴点及び前記第２の特徴点は、前記上部のリップ及び前記下部のリップの境界に位置付けられ、
   前記リップ・グロス案内方法は、さらに、
   前記左の上部のリップのピーク及び前記第１の特徴点により、第１の垂直高さを計算し、前記下部のリップのピーク及び前記第２の特徴点により、第２の垂直高さを計算するステップと、
   前記第１の垂直高さ及び前記第２の垂直高さが前記所定の比に適合するかどうかを決定するステップと、
   前記第１の垂直高さ及び前記第２の垂直高さが前記所定の比に適合しない時、前記上部のリップ・グロス案内ブロック及び前記下部のリップ・グロス案内ブロックを得るために、前記第１の垂直高さ及び前記第２の垂直高さにより、前記リップの特徴点を調整するステップと、を有する、請求項６に記載のリップ・グロス案内方法。
8. 前記第１の垂直高さ及び前記第２の垂直高さが前記所定の比に適合しない時、前記第１の垂直高さに従って、前記複数のリップの特徴点の中の前記第２の垂直高さに対応する前記リップの特徴点が調整され、又は、前記第２の垂直高さに従って、前記複数のリップの特徴点の中の前記第１の垂直高さに対応する前記リップの特徴点が調整される、請求項７に記載のリップ・グロス案内方法。
9. 前記所定の比は、１：１．５、１．５：１又は１：１の前記第１の垂直高さと前記第２の垂直高さの比の内の１つである、請求項６に記載のリップ・グロス案内方法。
10. 前記リップの特徴点は、左のリップのコーナー、右のリップのコーナー、左の上部のリップのピーク、右の上部のリップのピーク、下部のリップのピーク、前記右の上部のリップのピークに対応する第３の特徴点及び前記下部のリップのピークに対応する第２の特徴点を少なくとも備え、前記第３の特徴点及び前記第２の特徴点は、前記上部のリップ及び前記下部のリップの境界に位置付けられ、
    前記リップ・グロス案内方法は、さらに、
    前記右の上部のリップのピーク及び前記第３の特徴点により、第３の垂直高さを計算し、前記下部のリップのピーク及び前記第２の特徴点により、第２の垂直高さを計算するステップと、
    前記第３の垂直高さ及び前記第２の垂直高さが前記所定の比に適合するかどうかを決定するステップと、
    前記第３の垂直高さ及び前記第２の垂直高さが前記所定の比に適合しない時、前記上部のリップ・グロス案内ブロック及び前記下部のリップ・グロス案内ブロックを得るために、前記第３の垂直高さ及び前記第２の垂直高さにより、前記リップの特徴点を調整するステップと、を有する、請求項６に記載のリップ・グロス案内方法。