JP2020505989A - メイクアップ評価システム及びその動作方法 - Google Patents

Abstract

本発明は、イメージに含まれた顔のメイクアップを評価するメイクアップ評価システム及びその動作方法に関するものであって、顔イメージを撮影し、撮影した顔イメージをメイクアップサーバーに伝送する移動端末機と、メイクアップスコアデータを保存しており、移動端末機から顔イメージを受信すると、顔イメージから少なくとも一つ以上の顔領域を検出し、メイクアップスコアデータに基づいて検出された顔領域別のメイクアップスコアを算出し、算出されたメイクアップスコアを移動端末機に伝送するメイクアップサーバーとを含むことができる。

Description

本発明は、メイクアップ評価システム及びその動作方法に関する。

ビューティー産業（ｂｅａｕｔｙ ｉｎｄｕｓｔｒｙ）の発展にしたがって、ユーザの化粧品、メイクアップ（ｍａｋｅ−ｕｐ）などに対する関心が増加している。これにしたがって、ユーザの化粧品、メイクアップなどに対する欲求が多様になっている傾向である。

一方、ユーザ個人ごとに肌色相、顔型、目鼻立ちなどが多様なので、個人に似合うメイクアップが異なり得る。したがって、ユーザは自分に似合うメイクアップの選択に困難を有し得る。ユーザはメイクアップ後にメイクアップがよくできたか、どの部分を補完するといいか気にすることがある。

このような傾向に合わせて、最近は、ユーザの顔に仮想のメイクアップを加えてくれるアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）などが開発されている。この場合、ユーザの好奇心と興味を誘発することはできるが、どんなメイクアップがユーザに似合うかは個人が判断しなければならないという限界がある。すなわち、ユーザ個々人に対するカスタマイズサービスを提供するには困難がある。例えば、現在提供されるビューティーサービスの場合にはメイクアップ専門家の協業が含まれていないか、メイクアップ専門家の協業があっても限定的なデータに基づいている。したがって、ユーザ個々人に対するカスタマイズサービスを提供するには困難がある。

一方、最近では機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ、ＭＬ）技術、特にディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ、ＤＬ）技術の利用分野が拡張されている。

機械学習技術とは、多くのデータを介して特徴を抽出し、新しいデータが入力されると、コンピュータが自ら特徴によって分類することができる技術である。

ディープラーニング技術は、機械学習技術の一部である。ディープラーニング技術は、人工知能を構成するための人工ニューラルネットワークＡＮＮ（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）をベースに、人間が物事を区別するように、ビッグデータの中からパターンを発見してコンピュータがデータを分類する技術を言う。

ディープラーニング技術をメイクアップサービスに適用することによって、より客観的なデータに基づいてユーザにカスタマイズメイクアップを提供することができると考えられる。

本発明は、ユーザのメイクアップを評価するメイクアップ評価システム及びその動作方法を提供しようとする。

本発明は、写真の中のメイクアップを分析して、メイクアップの優秀性を数値で提供するメイクアップ評価システム及びその動作方法を提供しようとする。

より具体的には、本発明は、メイクアップ専門家の評価に基づいた信頼性あるスコアデータを介してメイクアップを評価するメイクアップ評価システム及びその動作方法を提供しようとする。

本発明は、機械学習技術を介してメイクアップを自動的に評価するデータベースを構築しているメイクアップ評価システム及びその動作方法を提供しようとする。

本発明は、ユーザの顔の各部位ごとにメイクアップを評価するメイクアップ評価システム及びその動作方法を提供しようとする。

本発明の実施態様によるメイクアップ評価システムは、顔イメージを撮影し、撮影した顔イメージをメイクアップサーバーに伝送する移動端末機と、メイクアップスコアデータを保存しており、移動端末機から顔イメージを受信すると、顔イメージから少なくとも一つ以上の顔領域を検出し、メイクアップスコアデータに基づいて検出された顔領域別のメイクアップスコアを算出し、算出されたメイクアップスコアを移動端末機に伝送するメイクアップサーバーとを含み、メイクアップサーバーは、移動端末機からメイクアップテーマを受信すると、メイクアップテーマに応じてメイクアップスコアを算出し、メイクアップスコアは、検出された顔領域の形状及びメイクアップテーマに応じて異なるように算出され得る。

本発明の実施態様によると、ユーザにより信頼性あるメイクアップ評価サービスを提供することができる効果がある。具体的には、本発明の実施態様によると、実際のメイクアップ専門家の評価と類似したメイクアップ評価サービスを提供することができる効果がある。

本発明の実施態様によると、顔の各領域を検出してアルゴリズムを適用することによってメイクアップの評価が可能であるという利点がある。より詳細には、ユーザごとに顔のサイズ、形状などが異なって、同じメイクアップをしても似合う人がいて、似合わない人がいることがある。したがって、本発明では特に顔各部位領域を抽出し、抽出された領域にアルゴリズムを適用してユーザの顔特性を考慮するメイクアップ評価を行うことができるので、精緻なメイクアップ評価が可能であるという利点がある。

本発明の実施態様によると、顔の各部位領域を抽出し、抽出された領域ごとに異なるアルゴリズムを適用して該当の部位ごとにメイクアップがよくできたか評価が可能であり、顔各部位を総合した全体的なメイクアップスコアの評価が可能であるという利点がある。

本発明の実施態様によると、顔の各部位領域のＲＧＢ値を用いて顔領域をより正確に認識が可能であるという利点がある。

本発明の実施態様によると、ディスプレイ部の特性などと関係なく、同じ値を示すＬａｂ値を用いてメイクアップを評価することによって、移動端末機のモデルなどのような評価媒体に関係なく、客観的なメイクアップ評価が可能であるという利点がある。

本発明の実施態様によると、単純にメイクアップの色相を評価するだけでなく、色相調和、色相の均一性など細密なメイクアップ評価が可能であるという利点がある。

本発明の実施形態によるメイクアップ評価システムの構成を示したブロック図である。 本発明の実施形態による移動端末機を説明するためのブロック図である。 本発明の第１実施形態によるメイクアップサーバーを説明するためのブロック図である。 本発明の第１実施形態によるメイクアップ評価システムの動作方法を示すラダーダイヤグラムである。 本発明の第１実施形態によるメイクアップサーバーがイメージデータを受信する方法を説明するための例示図である。 本発明の第１実施形態によるメイクアップスコアデータを説明するための例示図である。 本発明の第１実施形態によるメイクアップスコアデータをチューニングする方法を説明するための例示図である。 本発明の第１実施形態によるメイクアップスコアデータをチューニングする方法を説明するための例示図である。 本発明の第１実施形態よって生成されたメイクアップ評価データベースを説明するための図である。 本発明の第１実施形態によるメイクアップ評価要請信号を伝送するための画面を説明するための例示図である。 本発明の第１実施形態によるメイクアップサーバーが顔イメージを分析する方法を説明するための例示図である。 本発明の第１実施形態によるメイクアップ分析部が顔イメージのメイクアップを分析する方法を説明するための例示図である。 本発明の第１実施形態による再生成されたメイクアップ評価データベースを説明するための例示図である。 本発明の第１実施形態によるメイクアップスコア画面を説明するための例示図である。 本発明の第１実施形態によるメイクアップスコア画面を説明するための例示図である。 本発明の第１実施形態によるメイクアップテーマがメイクアップ評価に及ぶ影響を説明するための図である。 本発明の第１実施形態による領域別のスコアウィンドウを説明するための図である。 本発明の第１実施形態によるメイクアップのバランス評価を説明するための図である。 本発明の第１実施形態によるノーメイクアップ評価結果を説明するための図である。 本発明の第２実施形態によるメイクアップサーバーを説明するためのブロック図である。 本発明の第２実施形態によるメイクアップ評価システムの動作方法を示すラダーダイヤグラムである。 本発明の第２実施形態による眉毛部門を評価するときに適用される評価アルゴリズムを説明するための図である。 本発明の第２実施形態による眉毛部門を評価するときに適用される評価アルゴリズムを説明するための図である。 本発明の第２実施形態による眉毛部門を評価するときに適用される評価アルゴリズムを説明するための図である。 本発明の第２実施形態による眉毛部門を評価するときに適用される評価アルゴリズムを説明するための図である。 本発明の第２実施形態による眉毛部門を評価するときに適用される評価アルゴリズムを説明するための図である。 本発明の第２実施形態による眉毛部門の評価結果を表示する方法を説明するための例示図である。 本発明の第２実施形態によるクマ部門を評価するときに適用される評価アルゴリズムを説明するための図である。 本発明の第２実施形態によるクマ部門を評価するときに適用される評価アルゴリズムを説明するための図である。 本発明の第２実施形態によるクマ部門の評価結果を表示する方法を説明するための例示図である。 本発明の第２実施形態による色相調和部門を評価するときに適用される評価アルゴリズムを説明するための図である。 本発明の第２実施形態による色相調和部門を評価するときに適用される評価アルゴリズムを説明するための図である。 本発明の第２実施形態による色相調和部門を評価するときに適用される評価アルゴリズムを説明するための図である。 本発明の第２実施形態による色相調和部門を評価するときに適用される評価アルゴリズムを説明するための図である。 本発明の第２実施形態による色相調和部門を評価するときに適用される評価アルゴリズムを説明するための図面である。 本発明の第２実施形態による色相調和部門の評価結果を表示する方法を説明するための例示図である。 本発明の第２実施形態による唇部門評価のときに適用される評価アルゴリズムを説明するための図である。 本発明の第２実施形態による唇部門の評価結果を表示する方法を説明するための例示図である。 本発明の第２実施形態による傷部門を評価するときに適用される評価アルゴリズムを説明するための図である。 本発明の第２実施形態による傷部門の評価結果を表示する方法を説明するための例示図である。 本発明の第２実施形態によるメイクアップ評価結果を表示する方法を説明するための例示図である。

以下、添付された図面を参照して本明細書に開示された実施形態を詳しく説明するが、図面符号に関係なく同一または類似の構成要素は同一の参照符号を付与し、これに対する重複説明は省略することにする。以下の説明で使用される構成要素に対する接尾辞「モジュール」および「部」は明細書作成の容易さだけが考慮されて付与されたり混用されるものであって、それ自体で互いに区別される意味または役割を有するものではない。また、本明細書に開示された実施形態を説明するにおいて、関連した公知技術に対する具体的な説明が、本明細書に開示された実施形態の要旨を曖昧にし得ると判断される場合にはその詳細な説明を省略する。また、添付された図面は本明細書に開示された実施形態を易しく理解するようにするためのものに過ぎず、添付された図面によって本明細書に開示された技術的思想が制限されず、本発明の思想および技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されるべきである。

第２、第１などのように序数を含む用語は多様な構成要素を説明するために使用され得るが、前記構成要素は前記用語によって限定されない。前記用語は一つの構成要素を他の構成要素から区別する目的だけで使用される。

ある構成要素が他の構成要素に「連結されて」いるとか「接続されて」いると言及された際には、その他の構成要素に直接的に連結されているか、または接続されていることもあるが、中間に他の構成要素が存在することもあると理解されるべきである。一方、ある構成要素が他の構成要素に「直接連結されて」いるとか「直接接続されて」いると言及された際には、中間に他の構成要素が存在しないと理解されるべきである。

単数の表現は文脈上明白に異なるように意味しない限り、複数の表現を含む。

本出願において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするのであって、一つまたはその以上の他の特徴や数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加可能性を予め排除しないと理解されるべきである。

次に、図１ないし図４０を参照して本発明の実施形態によるメイクアップ（ｍａｋｅ−ｕｐ）評価システム及びその動作方法を説明する。

最初に、図１は、本発明の実施形態によるメイクアップ評価システムの構成を示したブロック図である。

図１を参照すると、本発明の実施形態によるメイクアップ評価システムは、移動端末機１０、アプリケーションサーバー２００及びメイクアップサーバー１００で構成され得る。

移動端末機１０は、メイクアップ評価を要請することができる。移動端末機１０は、少なくとも一つのメイクアップイメージと関連してメイクアップ評価を要請し、メイクアップ評価結果を表示することができる。

アプリケーションサーバー２００は、メイクアップ評価のためのアプリケーション動作に用いられる構成要素であって、メイクアップ評価のためのアプリケーション動作に必要な情報を保存することができる。

アプリケーションサーバー２００は、メイクアップ評価アプリケーションの実行によって移動端末機１０及びメイクアップサーバー１００の少なくとも一つ以上と信号及びデータを送受信することができる。

メイクアップサーバー１００は、メイクアップ評価に必要なデータを保存することができる。例えば、メイクアップサーバー１００は、顔の各部位を識別するためのデータ、メイクアップを評価するための評価アルゴリズムなどを保存することができる。

メイクアップサーバー１００は、保存されたデータに基づいてメイクアップを評価するか、または、メイクアップ評価に必要な情報を移動端末機１０またはアプリケーションサーバー２００に伝送することができる。メイクアップサーバー１００は、メイクアップの評価結果情報を含む評価結果信号を移動端末機１０に伝送することができる。

移動端末機１０とアプリケーションサーバー２００及びメイクアップサーバー１００は、相互間に信号を送受信することができる。

移動端末機１０は、アプリケーションサーバー２００にメイクアップ評価要請信号を伝送することができ、アプリケーションサーバー２００は、メイクアップ評価要請信号を受信すると、受信されたメイクアップ評価要請信号に対応するメイクアップイメージをメイクアップサーバー１００に伝送することができる。

一実施形態によると、メイクアップサーバー１００は、メイクアップ評価要請信号を受信すると保存されたデータに基づいて受信されたイメージのメイクアップを評価し、評価結果をアプリケーションサーバー２００に伝送することができる。アプリケーションサーバー２００は、移動端末機１０に評価結果を伝送することができる。

しかし、実施形態にしたがって、アプリケーションサーバー２００とメイクアップサーバー１００は、別個に分離せずに、一つのサーバーとして移動端末機１０と信号を送受信することができる。例えば、アプリケーションサーバー２００は、メイクアップサーバー１００に含まれ得る。この場合、移動端末機１０は、メイクアップサーバー１００にメイクアップ評価要請信号を伝送し、メイクアップサーバー１００は、メイクアップを評価して移動端末機１０に評価結果データを伝送することができる。

別の実施形態によると、メイクアップサーバー１００は、メイクアップ評価要請信号を受信すると受信されたメイクアップ評価要請信号と係わるデータを移動端末機１０に伝送し、移動端末機１０は、受信されたデータに基づいてメイクアップを評価する。

本明細書で説明される移動端末機１０には携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、コンピュータ（ｃｏｍｐｕｔｅｒ）、ノートパソコン（ｎｏｔｅｂｏｏｋ ｃｏｍｐｕｔｅｒ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、デジタルＴＶ、デジタルサイネージ、化粧品などのようなビューティー関連製品を販売する売場に備えられるディスプレイ装置、家庭または売場などに備えられるスマートミラーなどが含まれ得る。

図２は、本発明の実施形態による移動端末機を説明するためのブロック図である。

移動端末機１０は、無線通信部１１、入力部１２、カメラ１３、ディスプレイ部１４、メモリ１５、電源供給部１６及び制御部１７を含むことができる。このように図２に示された構成要素は、本発明による移動端末機の理解を助けるために例示で挙げた構成要素であって、移動端末機は、前で列挙された構成要素よりさらに多いか、またはさらに少ない構成要素を有し得る。

以下、移動端末機１０の各構成要素をより具体的に説明する。

無線通信部１１は、移動端末機１０と他の移動端末機１０との間、または移動端末機１００と外部サーバーとの間の無線通信ができるようにする一つ以上のモジュールを含むことができる。具体的には、無線通信部１１は、放送受信モジュール、移動通信モジュール、無線インターネットモジュール、近距離通信モジュール、位置情報モジュールの少なくとも一つ以上を含むことができる。

無線通信部１１は、他の移動端末機１０または外部サーバーと信号を送受信することができる。例えば、無線通信部１１は、アプリケーションサーバー２００及びメイクアップサーバー１００の少なくとも一つ以上と信号を送受信することができる。

入力部１２は、ユーザからデータまたは命令などを受信することができる。入力部は、プッシュキー（ｍｅｃｈａｎｉｃａｌ ｋｅｙ）、タッチキー（ｔｏｕｃｈ ｋｅｙ）、音声認識などを介して入力信号を受信することができる。入力部１２を介して受信されたデータまたは命令は、制御命令として処理されて、他の構成要素に伝達することができる。

カメラ１３は、映像信号入力を受信することができる。映像信号は写真のような静止イメージ、動画などを含む。したがって、カメラ１３は、写真、動画などを撮影することによって映像信号入力を受信することができる。例えば、カメラ１３は、ユーザの顔イメージを撮影することができる。

ディスプレイ部１４は、移動端末機１０で処理される情報を表示（出力）する。例えば、ディスプレイ部１４はユーザに提供する内容であって、無線通信部１１を介して受信されたり入力部１２を介して入力された内容などを画面に表示することができる。また、ディスプレイ部１４は、移動端末機１０で駆動される応用プログラムの画面情報を表示することができる。

または、ディスプレイ部１４は、カメラ１３を介して撮影中であるか、または撮影されたイメージを表示することができる。例えば、ディスプレイ部１４は、カメラ１３を介して撮影された顔イメージを表示することができる。

また、ディスプレイ部１４は、撮影された顔イメージに基づいてメイクアップを評価した結果情報を表示することができる。

一方、ディスプレイ部１５１は、タッチセンサーと互いにレイヤー構造を形成するか、または一体型に形成されることによって、タッチスクリーンを具現することができる。このようなタッチスクリーンは、入力部１２として機能すると共に、移動端末機１０とユーザとの間の出力インターフェースを提供することができる。

メモリ１５は、移動端末機１０の多様な機能を支援するデータを保存する。メモリ１５は、移動端末機１０で駆動される複数の応用プログラム（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍ）またはアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）、移動端末機１０の動作のためのデータ、命令語などを保存することができる。このような応用プログラムの少なくとも一部は、無線通信を介して外部サーバーからダウンロードされ得る。または、このような応用プログラムの少なくとも一部は、移動端末機１０の基本的な機能（例えば、電話着信、発信機能、メッセージ受信、発信機能）のために出庫の当時から移動端末機１０上に存在することができる。

一方、このような応用プログラムの少なくとも一つは、メイクアップ評価のためのアプリケーションであり得る。

電源供給部１６は、外部の電源または内部の電源が印加されて移動端末機１０に含まれた各構成要素に電源を供給する。このような電源供給部１９０は、バッテリーを含み、バッテリーは、内蔵型バッテリーまたは交替可能な形状のバッテリーであり得る。

制御部１７は、移動端末機１０の全般的な動作を制御する。具体的には、制御部１７は、移動端末機１０を構成する各構成要素の動作または応用プログラムと関連した動作を制御することができる。制御部１７は、前記構成要素を介して入力または出力される信号、データ、情報などを処理するか、またはメモリ１５に保存された応用プログラムを駆動することによって、ユーザに適切な情報または機能を提供または処理することができる。制御部１７は、前記構成要素の少なくとも一部を制御するか、または少なくとも二つ以上を互いに組み合わせて動作させることができる。

図２を介して説明した前記構成要素の少なくとも一部は、以下で説明される多様な実施形態による移動端末機の動作、制御、または制御方法を具現するために互いに協力して動作することができる。また、移動端末機の動作、制御、または制御方法は、メモリ１５に保存された少なくとも一つの応用プログラムの駆動によって移動端末機で具現され得る。

次に、図３は、本発明の第１実施形態によるメイクアップサーバーを説明するためのブロック図である。

メイクアップサーバー１００は、メイクアップＤＢ管理部１１０、メイクアップ評価部１２０、制御部１３０及び無線通信部１４０で構成され得る。

最初に、メイクアップＤＢ管理部１１０を説明する。

メイクアップＤＢ管理部１１０は、メイクアップテーマ獲得部１１１、メイクアップイメージ獲得部１１２、スコアデータ生成部１１３、メイクアップ評価ＤＢ１１４及びメイクアップスコア学習部１１５で構成され得る。

メイクアップテーマ獲得部１１１は、データ分析またはユーザ入力を介してメイクアップテーマを決定する。メイクアップは、全体的なバランス（ｂａｌａｎｃｅ）が重要である。また、時代の流れなどによって流行するメイクアップが変わる。したがって、メイクアップテーマ獲得部１１１は、オンライン上に存在するデータを分析してメイクアップテーマを獲得することができる。または、メイクアップテーマ獲得部１１１は、ユーザからメイクアップテーマの入力を受信してメイクアップテーマを獲得することができる。

メイクアップイメージ獲得部１１２は、メイクアップ評価の基礎となる複数のメイクアップイメージデータを受信する。具体的には、メイクアップイメージ獲得部１１２は、メイクアップテーマに応じて区分される複数のメイクアップイメージデータを受信することができる。また、メイクアップイメージ獲得部１１２は、テーマ別のメイクアップイメージと共にノーメイクアップ（ｎｏ ｍａｋｅ−ｕｐ）イメージを獲得することができる。

メイクアップイメージ獲得部１１２を介して受信されたメイクアップイメージは、メイクアップ評価データベース１１４に保存され得る。

スコアデータ生成部１１３は、メイクアップイメージ及びこれに対応するメイクアップスコアを含むメイクアップスコアデータを生成する。メイクアップスコアデータのメイクアップイメージは、メイクアップイメージ獲得部１１２を介して受信され得る。メイクアップスコアデータのメイクアップスコアは、メイクアップ専門家の評価に基づいて形成され得る。具体的には、メイクアップスコアデータは、メイクアップ専門家のメイクアップ評価のための入力に基づいて生成され得る。例えば、メイクアップスコアは、顔イメージごとにメイクアップ専門家によって入力され得る。また、メイクアップスコアは、機械学習によってメイクアップサーバー１００自ら算出したスコアを含むことができる。

また、スコアデータ生成部１１３は、メイクアップ評価システムの誤差率を低減するためにメイクアップスコアデータをチューニングすることができる。また、スコアデータ生成部１１３は、メイクアップ評価システムの客観性を確保するためにメイクアップスコアデータの信頼度を補正することができる。

メイクアップ評価ＤＢ１１４は、スコアデータ生成部１１３を介して生成されたメイクアップスコアデータを保存する。メイクアップスコアデータは、チューニングされたり信頼度を補正することができる。

また、メイクアップ評価ＤＢ１１４は、スコアデータ生成部１１３を介して生成されたメイクアップスコアデータと共に、新しいイメージと関連して算出したスコアデータを一緒に保存することができる。このようにメイクアップスコアデータを保存しているメイクアップ評価ＤＢ１１４を用いてメイクアップスコア学習部１１５は、メイクアップスコアの算出方法を機械学習することができる。

メイクアップスコア学習部１１５は、メイクアップ評価ＤＢ１１４に基づいてメイクアップスコアの算出方法を機械学習する。具体的には、メイクアップスコア学習部１１５は、実際のメイクアップ専門家が評価する方法と類似するようにメイクアップスコアを算出する方法を機械学習することができる。

次に、メイクアップ評価部１２０を具体的に説明する。

メイクアップ評価部１２０は、顔イメージ獲得部１２１、メイクアップ分析部１２２及びメイクアップスコア出力部１２３で構成され得る。

顔イメージ獲得部１２１は、メイクアップ評価の対象となる顔イメージを受信する。具体的には、顔イメージ獲得部１２１は、無線通信部１４０を介してメイクアップ評価の対象となる顔イメージの伝達を受けることができる。

メイクアップ分析部１２２は、顔イメージ獲得部１２１が受信した顔イメージのメイクアップを分析する。メイクアップ分析部１２２は、顔イメージに含まれた顔各領域のメイクアップを分析することができる。例えば、メイクアップ分析部１２２は、顔イメージとメイクアップスコアデータに含まれたイメージデータを比較する方法を介してメイクアップを分析することができる。すなわち、メイクアップ分析部１２２は、メイクアップスコアデータの統計的な数値を介してメイクアップを分析することができる。具体的な方法は後述する。

メイクアップスコア出力部１２３は、メイクアップ分析結果に基づいて顔イメージのメイクアップスコアを算出する。メイクアップスコア出力部１２３は、メイクアップ総合スコアと顔領域別のスコアを算出することができる。

制御部１３０は、メイクアップサーバー１００の全般的な動作を制御する。具体的には、制御部１３０は、メイクアップＤＢ管理部１１０と、メイクアップ評価部１２０及び無線通信部１４０の動作を制御することができる。

無線通信部１４０は、外部とデータを送受信することができる。例えば、無線通信部１４０は、移動端末機１０またはアプリケーションサーバー２００からイメージデータを受信することができる。無線通信部１４０は、受信されたイメージデータをメイクアップＤＢ管理部１１０に伝達したりメイクアップ評価部１２０に伝達することができる。

一方、以下で説明する実施形態は、例えば、ソフトウェア、ハードウェアまたはこれらを組み合わせたものを用いてコンピュータまたはこれと類似の装置で読み取り可能な記録媒体内で具現され得る。

次に、図４を参照して本発明の第１実施形態によるメイクアップ評価システムの動作方法を説明する。図４は、本発明の第１実施形態によるメイクアップ評価システムの動作方法を示すラダーダイヤグラムである。

最初に、メイクアップサーバー１００のメイクアップテーマ獲得部１１１は、メイクアップのテーマを決定することができる（Ｓ１０１）。

本発明の一実施形態によると、メイクアップテーマ獲得部１１１は、無線通信を介してメイクアップのテーマを決定することができる。

具体的には、メイクアップテーマ獲得部１１１は、オンラインでビューティー関連データを獲得することができる。ビューティー関連データは、メイクアップ関連検索語、アップロードされたメイクアップ関連コンテンツ、メイクアップ製品の販売量などを含むことができる。メイクアップテーマ獲得部１１１は、獲得されたビューティー関連データをメイクアップテーマごとに分析して、データの量に基づいてメイクアップのテーマを決定することができる。例えば、メイクアップテーマ獲得部１１１は、データの量が多い順に三つのメイクアップスタイルを獲得して、獲得された三つのメイクアップスタイルをメイクアップテーマとして決定することができる。

このような方法を介して、メイクアップテーマ獲得部１１１は、最近流行するメイクアップのテーマを容易に獲得することができるという効果がある。

本発明の別の実施形態によると、メイクアップテーマ獲得部１１１は、入力信号を受信することによってメイクアップテーマを決定することができる。

具体的には、ユーザは、任意のメイクアップテーマをメイクアップサーバー１００に入力することができる。メイクアップテーマ獲得部１１１は、入力されたデータに対応するメイクアップテーマを獲得して、メイクアップテーマを決定することができる。

このような方法を介して、オフラインで流行するメイクアップのテーマをメイクアップサーバー１００に反映させることができるという効果がある。

メイクアップテーマ獲得部１１１は、第１または第２実施形態を介して少なくとも一つ以上のメイクアップテーマを決定することができる。例えば、メイクアップテーマ獲得部１１１は、Ａメイクアップ、Ｂメイクアップ及びＣメイクアップを決定することができる。Ａメイクアップはナチュラル（ｎａｔｕｒａｌ）メイクアップ、Ｂメイクアップはラブリー（ｌｏｖｅｌｙ）メイクアップ、Ｃメイクアップはスモーキー（ｓｍｏｋｙ）メイクアップであり得るが、これは例示的なことに過ぎない。

前述したメイクアップテーマを決定する実施形態は、例示的なものであって、メイクアップテーマ獲得部１１１は、他の方法を介してメイクアップテーマを決定することもできる。

一方、メイクアップテーマ獲得部１１１は、メイクアップテーマを獲得するとき、メイクアップ基準を一緒に獲得することができる。メイクアップ基準は、メイクアップテーマごとにメイクアップを区分する少なくとも一つ以上の特徴を意味することができる。メイクアップ基準は、以後のイメージデータ受信ステップ及びメイクアップ分析ステップでガイドライン（ｇｕｉｄｅ ｌｉｎｅ）として利用され得る。

次に、メイクアップイメージ獲得部１１２は、決定されたメイクアップテーマに対応するイメージデータを受信することができる（Ｓ１０３）。

メイクアップイメージ獲得部１１２は、外部からメイクアップテーマに対応するイメージデータを受信することができる。例えば、メイクアップイメージ獲得部１１２は、外部保存媒体、移動端末機または外部サーバーなどからメイクアップテーマに対応するイメージデータを受信することができる。

メイクアップイメージ獲得部１１２は、メイクアップテーマごとに複数のメイクアップイメージデータを受信することができる。例えば、メイクアップイメージ獲得部１１２は、Ａメイクアップに対応するイメージデータ、Ｂメイクアップに対応するイメージデータ及びＣメイクアップに対応するイメージデータを受信することができる。

一方、メイクアップイメージ獲得部１１２は、イメージデータをグループに応じて分類して受信することもできる。すなわち、メイクアップイメージ獲得部１１２は、複数に分類される各グループからメイクアップテーマ別のイメージデータを受信することができる。

次に、図５は、本発明の実施形態によるメイクアップサーバーがイメージデータを受信する方法を説明するための例示図である。

図５に示されたイメージ分類表５００は、メイクアップイメージ獲得部１１２を介して受信されたイメージデータの分布を示す。Ａ１ないしＡ５、Ｂ１ないしＢ５、Ｃ１ないしＣ５及びＤ１ないしＤ５は、受信されたイメージデータの集合を意味する。

特に、Ａ１、Ａ２、Ｂ１、Ｂ２、Ｃ１、Ｃ２、Ｄ１及びＤ２は、第１グループに対応するイメージデータの集合であり、メイクアップ評価ＤＢの下位圏（下、中下）を構成するために受信されたイメージデータの集合である。

Ａ３、Ａ４、Ｂ３、Ｂ４、Ｃ３、Ｃ４、Ｄ３及びＤ４は、第２グループに対応するイメージデータの集合であり、メイクアップ評価ＤＢの中位圏（中、中上）を構成するために受信されたイメージデータの集合である。

Ａ５、Ｂ５、Ｃ５、Ｄ５は、第３グループに対応するイメージデータの集合であり、メイクアップ評価ＤＢの上位圏（上）を構成するために受信されたイメージデータの集合である。

このように、メイクアップイメージ獲得部１１２は、スコア対を異にする第１ないし第３グループに含まれた人々それぞれのＡメイクアップイメージ、Ｂメイクアップイメージ、Ｃメイクアップイメージ及びノーメイクアップイメージを獲得することができる。Ａメイクアップイメージ、Ｂメイクアップイメージ、Ｃメイクアップイメージはそれぞれメイクアップテーマ別の評価の基礎となるイメージデータである。ノーメイクアップイメージは、メイクアップ分析ステップで最低点処理に用いられるイメージデータであり得る。

第１グループは一般人を示し、第２グループはビューティー関連業界人を示し、第３グループはメイクアップ専門家を示すことができるが、これは例示的なことに過ぎない。

このように、イメージデータをメイクアップテーマ別及びグループに応じて分類して受信する場合、メイクアップ分析をより正確にできるという効果がある。また、メイクアップ分析に影響を及ぼすことができる統制変因である写真角度、照明などを考慮して正確にメイクアップを分析して評価することができるガイドラインを提供するという効果がある。

一方、メイクアップイメージ獲得部１１２は、Ａメイクアップ、Ｂメイクアップ及びＣメイクアップ以外のメイクアップイメージを受信することができる。すなわち、メイクアップイメージ獲得部１１２は、決定されたメイクアップテーマと異なるテーマのメイクアップイメージを獲得することができる。これは、メイクアップの完成度と関係なくテーマを外れるか、またはバランス（ｂａｌａｎｃｅ）が崩れるメイクアップを０点処理するためのイメージデータである。

再び、図４を説明する。

スコアデータ生成部１１３は、受信されたイメージデータに基づいてメイクアップスコアデータを生成することができる（Ｓ１０５）。

スコアデータ生成部１１３は、受信されたイメージデータ及びそれぞれのイメージデータに対応するスコアを含んだスコアデータを生成することができる。すなわち、スコアデータ生成部１１３は、イメージデータをスコアデータ化することができる。

次に、図６は、本発明の第１実施形態によるメイクアップスコアデータを説明するための例示図である。

図６に示されたメイクアップスコアデータ６００は、イメージデータ及びそれぞれのイメージデータに対応するスコアを含む。イメージデータに対応するスコアは領域によって細分化され得る。例えば、図６に示されたように、各イメージデータは、ベース（ｂａｓｅ）領域、アイブロウ（ｅｙｅｂｒｏｗ）領域、アイ（ｅｙｅ）領域、リップ（ｌｉｐ）領域、ブラッシャー及びシェーディング（ｂｌｕｓｈ＆ｓｈａｄｉｎｇ）領域別のスコアを含むことができる。しかし、各領域は例示的なことに過ぎない。

図６に示されたメイクアップスコアデータ６００は、Ａメイクアップに対応する２個のイメージデータ及びこれに対応するスコアだけが示されているが、スコアデータ生成部１１３は、ステップＳ１０３で受信したすべてのイメージデータを含むスコアデータを生成する。

スコアデータ生成部１１３は、各イメージデータに対応する領域別のスコア入力を受信することによってスコアデータを生成することができる。例えば、少なくとも一つ以上のメイクアップ専門家は、イメージデータの領域ごとにスコアをメイクアップサーバー１００に入力することができる。スコアデータ生成部１１３は、メイクアップサーバー１００に入力されるスコアデータに基づいてメイクアップスコアデータを生成することができる。図６に示されたメイクアップスコアデータは、５、３．５、４などの数値に表示されたがこれは例示的なことに過ぎず、メイクアップスコアデータは、上、中上、中、中下、下、などに区分されることもある。

メイクアップスコアデータ６００は、メイクアップテーマ別のメイクアップの特徴を示す。具体的には、メイクアップスコアデータ６００は、同じメイクアップイメージであってもメイクアップのテーマに応じて異なるスコアを示す。また、同じメイクアップが加えられた場合でもイメージに含まれた顔型、目つきなどによってスコアが変わる。したがって、メイクアップスコアデータ６００は、複数のメイクアップイメージデータを含み、メイクアップテーマに応じて区別される領域別のスコアを含む。

メイクアップスコアデータ６００を用いると、メイクアップテーマと関連がないメイクアップイメージデータの場合、これに対応するスコアは０点に算出され得る。

このように、メイクアップイメージを受信してスコアデータ化すると、専門家の評価を土台にするスコアデータを生成することができる。これにしたがって、メイクアップ評価に対する信頼性が高くなる。また、メイクアップ関連ビッグデータが構築され得る。

再び、図４を説明する。

スコアデータ生成部１１３は、メイクアップスコアデータをチューニングすることができる（Ｓ１０７）。

スコアデータ生成部１１３は、生成されたメイクアップスコアデータの信頼度を向上させるためにメイクアップスコアデータをチューニングすることができる。具体的には、スコアデータ生成部１１３は、複数の顔イメージが撮影角度または照明が異なるように撮影された場合、同じメイクアップスコアを算出するようにスコアデータをチューニングすることができる。メイクアップスコアデータをチューニングする方法は下の通りである。

前述のステップＳ１０３で受信した第１イメージデータと関連して、メイクアップイメージ獲得部１１２は、第１イメージデータに対応する第２イメージデータを再受信することができる。第２イメージデータは、第１イメージデータとは異なるイメージデータであって、新たに製作されたメイクアップイメージ及び新たに撮影されたノーメイクアップイメージを含むことができる。すなわち、第２イメージデータは、第１イメージデータと同一人が行ったメイクアップである点で同じであるが、撮影角度または照明などによって異なるメイクアップに認識され得るイメージデータを意味することができる。

したがって、スコアデータ生成部１１３は、第１イメージデータによって算出されるスコアと第２イメージデータによって算出されるスコアが同一になるようにメイクアップスコアデータをチューニングすることができる。

次に、図７及び図８を参照して、メイクアップスコアデータをチューニングする動作を例として説明する。

図７及び図８は、本発明の第１実施形態によるメイクアップスコアデータをチューニングする方法を説明するための例示図である。

最初に、図７を参照すると、第１イメージデータ７１と第２イメージデータ７２は同じようにメイクアップされたイメージである。しかし、第１イメージデータ７１と第２イメージデータ７２は異なる撮影角度で撮影された場合である。スコアデータ生成部１１３は第１イメージデータ７１によって算出されるスコアと第２イメージデータ７２によって算出されるスコアが同一になるようにメイクアップスコアデータをチューニングすることができる。

例えば、スコアデータ生成部１１３は、第１イメージデータ７１と第２イメージデータ７２を一つのグループに形成して、同一スコアが算出されるようにチューニングすることができる。または、スコアデータ生成部１１３は、イメージデータチューニングを介して第１イメージデータ７１によって算出されるスコアと第２イメージデータ７２によって算出されるスコアが同一になるように調節することができる。

次に、図８を参照すると、第１イメージデータ８１はメイクアップイメージデータであり、第２イメージデータ８２は同一人のノーメイクアップイメージデータである。この場合、スコアデータ生成部１１３は第２イメージデータ８２に対して算出されるスコアが最低点になるようにメイクアップスコアデータをチューニングすることができる。

具体的には、スコアデータ生成部１１３は、第１イメージデータ８１と第２イメージデータ８２とのメイクアップをそれぞれ認識することができる。スコアデータ生成部１１３は、第１イメージデータ８１と一緒にメイクアップが認識される場合、メイクアップスコアデータ６００に基づいて認識されたメイクアップのスコアを算出することができる。一方、スコアデータ生成部１１３は、第２イメージデータ８２と一緒にメイクアップが認識されない場合、最低点を算出するようにメイクアップスコアデータをチューニングすることができる。

このように、スコアデータ生成部１１３がイメージデータと撮影角度、撮影当時の照明、ノーメイクアップの識別などが反映されるようにメイクアップスコアデータをチューニングすることによって、メイクアップ評価システムの品質を向上させることができる効果がある。

再び、図４を説明する。

スコアデータ生成部１１３は、メイクアップスコアデータの信頼度を補正することができる（Ｓ１０９）。

制御部１３０は、メイクアップスコアデータに含まれていない新しいイメージデータを受信することができる。スコアデータ生成部１１３は、受信された新しいイメージデータに対するスコアがメイクアップスコアデータに基づいて誤りなしに算出されるかを判断することができる。以下、メイクアップスコアデータの信頼度を補正する具体的な方法を説明する。

本発明の一実施形態によると、スコアデータ生成部１１３は、新しいイメージに対応するメイクアップスコアを算出し、新しいイメージと類似のイメージをメイクアップスコアデータから獲得することができる。

スコアデータ生成部１１３は、新しいイメージに対応するスコアがメイクアップスコアデータに含まれた類似イメージのスコアと既に設定された誤差率以内に算出されるかを判断することができる。スコアデータ生成部１１３は、判断結果に基づいてメイクアップスコアデータに含まれた関連イメージデータのスコアを補正することができる。

または、本発明の別の実施形態によると、スコアデータ生成部１１３は、メイクアップスコアデータに基づいて算出された新しいイメージに対応するメイクアップスコアである第１スコアを獲得することができる。また、スコアデータ生成部１１３は、メイクアップ専門家のメイクアップ評価のための入力に基づいた新しいイメージに対応するメイクアップスコアである第２スコアを獲得することができる。

スコアデータ生成部１１３は、同じイメージと関連して獲得された第１スコアと第２スコアとを比較することができる。スコアデータ生成部１１３は、比較した結果、第１スコアと第２スコアとが既に設定された範囲以上に異なるかを判断することができる。

スコアデータ生成部１１３は、第１スコアと第２スコアが既に設定された範囲以上に異なる場合、メイクアップ専門家から比較結果に対応するフィードバックを受信することができる。

フィードバックは、第１スコアと第２スコアとの間の格差の理由を含むことができる。例えば、フィードバックは、第１スコアまたは第２スコアを修正するための情報、イメージ認識情報またはメイクアップ専門家の意見情報を含むことができる。

スコアデータ生成部１１３は、受信されたフィードバックに基づいてメイクアップスコアデータに含まれたイメージデータのスコアを補正することができる。

メイクアップスコアの信頼度を補正するための方法は、前で例示をあげた第１ないし第２実施形態の外に他の方法をさらに含むことができる。

本発明は、このようにメイクアップスコアを補正することによってメイクアップスコアデータの誤差率を低め、信頼度を向上させることができるという効果がある。

制御部１３０は、メイクアップスコアデータを保存することができる（Ｓ１１１）。

制御部１３０は、生成されたメイクアップスコアデータを保存することができる。また、チューニングされたり信頼度が補正されたメイクアップスコアデータを保存することができる。

最初に、本発明の一実施形態によるメイクアップ評価データベースを説明する。

本発明の一実施形態によるメイクアップ評価データベースは、図６を介して説明したように、顔イメージごとにメイクアップスコアデータを保存することができる。これにしたがって、メイクアップ評価データベースは、メイクアップ顔イメージとこれに対応する領域別のスコアが整列されるように形成され得る。

次に、図９を参照して、本発明の別の実施形態によるメイクアップ評価データベースを説明する。

本発明の別の実施形態によるメイクアップ評価データベースは、図９に示されたように顔領域とスコアを区分して部分イメージが整列されるように保存することができる。これにしたがって、メイクアップ評価データベースは、顔領域を区分し、顔領域ごとにスコアを細分化し、細分化された顔領域のスコアに部分イメージが配列されるように形成され得る。

前述したメイクアップ評価データベースは、例示的なものであって、これと他の形態に生成され得る。

再び、図４を説明する。

メイクアップサーバー１００は、メイクアップ評価データベースを生成することによってメイクアップイメージを評価することができる。

最初に、移動端末機１０は、アプリケーションサーバー２００に顔イメージを伝送し（Ｓ１１３）、アプリケーションサーバー２００は、移動端末機１０から受信された顔イメージをメイクアップサーバー１００に伝送することができる（Ｓ１１３）。

メイクアップサーバー１００の無線通信部１４０は、アプリケーションサーバー２００から顔イメージを受信することができる。

移動端末機１０は、メイクアップ評価アプリケーションを介してアプリケーションサーバー２００にメイクアップ評価要請信号を伝送することができる。移動端末機１０は、メイクアップ評価要請信号を伝送するための画面を表示することができる。

図１０は、本発明の第１実施形態によるメイクアップ評価要請信号を伝送するための画面を説明するための例示図である。

移動端末機１０のディスプレイ部１４は、図１０に示されたようなメイクアップ評価要請画面を表示することができる。

図１０を参照すると、メイクアップ評価要請画面は、メイクアップテーマ項目１００１、顔イメージ選択アイコン１００２、顔イメージウィンドウ１００３及び評価アイコン１００４を含むことができる。

メイクアップテーマ項目１００１は、メイクアップテーマを選択するための項目である。メイクアップ評価は、メイクアップテーマに応じて異なることがある。したがって、移動端末機１０の制御部１７は、メイクアップテーマ項目１００１を介してメイクアップテーマを設定することができる。

顔イメージ選択アイコン１００２は、メイクアップ評価を要請しようとする顔イメージを選択するための項目である。本発明の一実施形態によると、移動端末機１０の制御部１７は、顔イメージ選択アイコン１００２を選択する命令を受信すると、カメラ１３を用いた撮影画面を表示するようにディスプレイ部１４を制御することができる。カメラ１３は、メイクアップした顔を撮影することができる。制御部１７は、撮影された顔イメージを顔イメージウィンドウ１００３に表示することができる。

本発明の別の実施形態によると、移動端末機１０の制御部１７は、顔イメージ選択アイコン１００２を選択する命令を受信すると、メモリ１５に保存された少なくとも一つ以上の静止イメージを表示することができる。または、制御部１７は、メモリ１５に保存された静止イメージで顔を含むイメージを識別して、少なくとも一つ以上の顔を含む静止イメージを表示することができる。制御部１７は、ディスプレイ部１４に表示された少なくとも一つ以上の静止イメージからいずれか一つの顔イメージを選択する命令を受信することができる。制御部１７は、選択された顔イメージを顔イメージウィンドウ１００３に表示することができる。

顔イメージウィンドウ１００３は、メイクアップ評価を要請しようとする顔イメージを予め見せるウィンドウである。カメラ１３を介して撮影されたりメモリ１５に保存されたいずれか一つの顔イメージが顔イメージウィンドウ１００３に表示され得る。ユーザは、顔イメージウィンドウ１００３を介してメイクアップ評価を要請しようとする顔に該当するかを確認することができる。

評価アイコン１００４は、メイクアップ評価要請を行うためのアイコンである。制御部１７は、評価アイコン１００４を選択する命令を受信すると、アプリケーションサーバー２００にメイクアップ評価要請信号を伝送することができる。すなわち、制御部１７は、顔イメージを含むメイクアップ評価要請信号をアプリケーションサーバー２００に伝送するように無線通信部１１を制御することができる。

アプリケーションサーバー２００は、メイクアップサーバー１００にメイクアップ評価要請信号を伝送することができる。これにしたがって、メイクアップサーバー１００の無線通信部１４０は、顔イメージを含んだメイクアップ要請信号をアプリケーションサーバー２００から受信することができる。

実施形態にしたがって、移動端末機１０は、メイクアップサーバー１００に直接メイクアップ評価要請信号を伝送することもできる。

メイクアップ評価要請信号は、顔イメージのほかにメイクアップテーマ、ユーザ情報などをさらに含むことができる。

再び、図４を説明する。

メイクアップサーバー１００のメイクアップ分析部１２２は、受信された顔イメージのメイクアップを分析することができる（Ｓ１１５）。

顔イメージ獲得部１２１は、無線通信部１４０から顔イメージを受信することができる。メイクアップ分析部１２２は、顔イメージ獲得部１２１が受信した顔イメージのメイクアップを分析することができる。

次に、図１１は、本発明の第１実施形態によるメイクアップサーバーが顔イメージを分析する方法を説明するための例示図である。

メイクアップ分析部１２２は、メイクアップを分析するために顔の各領域を検出することができる。具体的には、本発明の一実施形態によると、メイクアップ分析部１２２は、受信された顔イメージを前処理することができる。メイクアップ分析部１２２は、前処理された顔イメージを複数の領域に分割し、分割された各領域を既に保存された顔領域イメージと比較して目、鼻、口などを検出することができる。

本発明の別の実施形態によると、メイクアップ分析部１２２は、事前訓練モデル（ｐｒｅ−ｔｒａｉｎｅｄ ｍｏｄｅｌ）を用いて顔の各領域を認識することができる。事前訓練モデル（ｐｒｅ−ｔｒａｉｎｅｄ ｍｏｄｅｌ）は、既存の畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）モデルの一部を活用したものである。事前訓練モデル（ｐｒｅ−ｔｒａｉｎｅｄ ｍｏｄｅｌ）を顔写真学習に用いて目、鼻、口などを認識するようにできる。事前訓練モデル（ｐｒｅ−ｔｒａｉｎｅｄ ｍｏｄｅｌ）を用いると、分析に使用するデータの量が少ない場合生じることがある過適合（ｏｖｅｒｆｉｔｔｉｎｇ）の問題を緩和することができる。

図１１に示されたように、メイクアップ分析部１２２は、顔イメージ１１００の目領域１１５１、１１５２、鼻領域１１５３及び口領域１１５４、１１５５を認識することができる。メイクアップ分析部１２２は、認識された目領域、鼻領域及び口領域に基づいてメイクアップ評価領域を分析することができる。すなわち、メイクアップ分析部１２２は、顔イメージ１１００のベース、アイブロウ、アイ、リップ、ブラッシャー及びシェーディングメイクアップを分析することができる。

次に、図１２は、本発明の第１実施形態によるメイクアップ分析部が顔イメージのメイクアップを分析する方法を説明するための例示図である。

メイクアップ分析部１２２は、移動端末機１０から受信された顔イメージをメイクアップ評価データベース１１４に含まれた複数のイメージと比較することができる。メイクアップ分析部１２２は、受信された顔イメージと類似のイメージデータをメイクアップ評価データベース１１４から少なくとも一つ以上を抽出することができる。

特に、メイクアップ分析部１２２は、メイクアップ領域ごとに受信された顔イメージと類似のイメージデータとを抽出することができる。具体的には、メイクアップ分析部１２２は、顔イメージのベースと類似のベースとを含む少なくとも一つ以上のイメージデータを抽出し、顔イメージのアイブロウと類似のアイブロウを含む少なくとも一つ以上のイメージデータを抽出する。

メイクアップ分析部１２２は、抽出されたイメージデータに対応するスコアを獲得して、図１２に示されたようなメイクアップ分析グラフ１２００を生成することができる。メイクアップ分析グラフ１２００は、抽出されたイメージデータのスコア分布を示す。

具体的には、メイクアップ分析部１２２は、ベースが類似のものと抽出された少なくとも一つ以上のイメージデータと関連して、獲得されたスコアをベース領域１２０１のスコア領域にマッピングさせることができる。同様に、メイクアップ分析部１２２は、アイブロウが類似のものと抽出された少なくとも一つ以上のイメージデータと関連して獲得されたスコアをアイブロウ領域１２０２のスコア領域にマッピングさせることができる。メイクアップ分析部１２２は、アイ領域１２０３、リップ領域１２０４、ブラッシャー及びシェーディング領域１２０５の全てにスコアをマッピングさせてメイクアップ分析グラフ１２００を生成することができる。

メイクアップ分析部１２２は、このようにメイクアップ分析グラフ１２００を生成して、顔イメージのメイクアップを分析することができる。しかし、これは例示的なもので、メイクアップ分析部１２２は他の方法を介してメイクアップを分析することもできる。

再び、図４を説明する。

メイクアップサーバー１００のメイクアップスコア出力部１２３は、メイクアップ分析結果に基づいて顔イメージのメイクアップスコアを算出することができる（Ｓ１１７）。

メイクアップスコア出力部１２３は、メイクアップ分析グラフ１２００に基づいて顔イメージのメイクアップスコアを算出することができる。

具体的には、メイクアップスコア出力部１２３は、メイクアップ分析グラフ１２００から各領域ごとにマッピングされたスコアが最も多いスコアを獲得して算出することができる。

例えば、図１２を参照すると、メイクアップスコア出力部１２３は、ベース領域１２０１のスコアを５点、アイブロウ領域１２０２のスコアを９点、アイ領域１２０３のスコアを３点、リップ領域１２０３のスコアを４．５点、ブラッシャー及びシェーディング領域１２０５のスコアを８点と獲得して、算出することができる。

メイクアップサーバー１００のメイクアップスコア学習部１１５は、顔イメージ及びそれに対応するメイクアップスコアを学習することができる（Ｓ１１９）。

メイクアップスコア学習部１１５は、顔イメージ及びそれに対応するメイクアップスコアを機械学習することができる。特に、メイクアップスコア学習部１１５は、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）技術を用いてメイクアップスコア算出方法を学習することができる。

ディープラーニング技術は、機械学習技術の一部であって、入力と出力との間にある人工ニューロンを複数の段に積んで連結した人工ニューラルネットワーク技法を用いる。

すなわち、メイクアップスコア学習部１１５は、既に保存されているメイクアップスコアデータ及び算出されたメイクアップスコアを用いてメイクアップスコア算出方法を機械学習することができる。

特に、メイクアップスコア学習部１１５は、畳み込みニューラルネットワーク（ＣＮＮ）を用いて顔イメージ及びそれに対応するメイクアップスコアを学習することができる。畳み込みニューラルネットワークは、一つまたは複数の畳み込み階層とその上に上げられた一般的な人工ニューラルネットワーク階層で形成され、加重値と統合階層（ｐｏｏｌｉｎｇ ｌａｙｅｒ）をさらに活用する。畳み込みニューラルネットワークは、このような構造のおかげで２次元構造の入力データを十分に活用することができる。

メイクアップスコア学習部１１５は、畳み込みニューラルネットワークを用いて、既存メイクアップ評価データベース１１４に新たに認識された顔イメージの特徴を追加してメイクアップスコア算出方法を機械学習することができる。

したがって、メイクアップスコア学習部１１５は、既存メイクアップ専門家のメイクアップ評価のための入力に基づいて生成されたメイクアップスコアデータに新たに算出した顔イメージのスコアを追加して、メイクアップスコア算出方法を機械学習することができる。

このように、メイクアップスコア学習部１１５がメイクアップスコアを学習すると、新しいメイクアップイメージが与えられたとき、実際のメイクアップ専門家の評価と類似するように評価することができる効果がある。これを介して、ユーザにより信頼性あるメイクアップ評価サービスを提供することができる効果がある。

メイクアップスコア学習部１１５は、学習したメイクアップスコアをメイクアップ評価データベースに保存するように制御することができる。

次に、図１３は、本発明の第１実施形態による再生成されたメイクアップ評価データベースを説明するための例示図である。

前述した一実施形態によるメイクアップ評価データベース１１４を用いて再生成されたメイクアップ評価データベースを説明する。

図１３に示されたように、メイクアップ評価データベース１１４は、既存メイクアップ専門家の評価に基づいたデータ１３０１に新たに算出された顔イメージスコアデータ１３０２をさらに保存することができる。

制御部１３０は、メイクアップ評価データベース１１４に新たに算出された顔イメージスコアデータを追加させることによって、より客観的なメイクアップスコアを算出することができる。

再び、図４を説明する。

メイクアップサーバー１００の無線通信部１４０は、算出されたメイクアップスコアをアプリケーションサーバー２００に伝送し（Ｓ１２０）、アプリケーションサーバー２００は、受信されたメイクアップスコアを移動端末機１０に伝送することができる（Ｓ１２１）。

移動端末機１０の無線通信部１１は、メイクアップスコアをアプリケーションサーバー２００から受信することができる。実施形態にしたがって、移動端末機１０は、メイクアップスコアをメイクアップサーバー１００から直接受信することもできる。

移動端末機１０のディスプレイ部１４は、受信されたメイクアップスコアを表示することができる。

次に図１４ａ及び図１４ｂ、図１５ないし図１８は、本発明の多様な実施形態によるメイクアップスコアを説明するための図である。

最初に、図１４ａ及び図１４ｂは、本発明の一実施形態によるメイクアップスコア画面を説明するための例示図である。

ディスプレイ部１４は、図１４ａ及び図１４ｂに示されたようにメイクアップ評価結果画面を表示することができる。具体的には、図１４ａに示されたメイクアップスコア画面は、ユーザによって選択されたメイクアップテーマで評価されたメイクアップスコアを示し、図１４ｂに示されたメイクアップスコア画面は、最高スコアと評価されたメイクアップテーマに応じたメイクアップスコアを示す。

最初に、メイクアップ評価結果画面を構成するそれぞれの構成要素を説明する。

メイクアップ評価結果画面は、顔イメージウィンドウ１４０１、メイクアップテーマウィンドウ１４０２、総合スコアウィンドウ１４０３、領域別スコアウィンドウ１４０４及びメイクアップ再評価アイコン１４０５を含むことができる。

顔イメージウィンドウ１４０１は、メイクアップサーバー１００によって分析された顔イメージを含む。これを介して、ユーザは、評価を受けようと意図した顔イメージが正しく評価されたかを再確認することができる。

メイクアップテーマウィンドウ１４０２は、メイクアップ評価のもとになったメイクアップテーマを示す。メイクアップ評価は、同じ顔イメージでもメイクアップテーマに応じて異なることがある。したがって、ユーザがメイクアップテーマを正しく選択したのかを示す。

総合スコアウィンドウ１４０３は、顔イメージのメイクアップ評価結果を総合したスコアを示す。例えば、総合スコアウィンドウ１４０３は、顔領域ごとのスコアの平均値を示すことができる。これを介して、ユーザは、自分のメイクアップ結果を一つの指標で確認することができる。

領域別スコアウィンドウ１４０４は、顔イメージを領域ごとに区分してメイクアップを評価した結果を示す。これを介して、ユーザは、どの領域に対するメイクアップを補完しなければならないかを容易に分かる効果がある。

メイクアップ再評価アイコン１４０５は、新しい顔イメージを用いてメイクアップ評価を受けるためのアイコンである。制御部１７は、メイクアップ再評価アイコン１４０５を選択する命令を受信することによって図１０に示されたようなメイクアップ評価要請画面を表示することができる。

移動端末機１０は、このようにメイクアップ評価結果画面を表示して、メイクアップ専門家による評価と類似の評価サービスを提供することができる。

本発明の一実施形態によると、図１４ａに示されたように移動端末機１０は、選択されたメイクアップテーマで評価したメイクアップ評価結果画面を表示することができる。

具体的には、メイクアップサーバー１００は、ユーザによるメイクアップテーマ選択を受信すると、選択されたテーマに応じて顔イメージのメイクアップスコアを算出することができる。この場合、移動端末機１０は、メイクアップテーマウィンドウ１４０２にユーザによって選択されたメイクアップテーマを表示し、総合スコアウィンドウ１４０３及び領域別のスコアウィンドウ１４０４に選択されたメイクアップテーマに応じたスコアを表示することができる。

本発明の別の実施形態によると、図１４ｂに示されたように移動端末機１０は、最高スコアと評価されたメイクアップテーマにメイクアップ評価結果画面を表示することができる。

具体的には、メイクアップサーバー１００は、メイクアップテーマごとに少なくとも一つ以上の顔イメージのメイクアップスコアを算出することができる。メイクアップサーバー１００は、メイクアップテーマごとに算出されたスコアの中で最高スコアを示すメイクアップテーマを獲得することができる。メイクアップサーバー１００は、メイクアップテーマ別のメイクアップスコアを全て移動端末機１０に伝送するか、または最高スコア及び最高スコアに対応するメイクアップテーマのみを移動端末機１０に伝送することができる。

この場合、移動端末機１０は、メイクアップテーマウィンドウ１４０２に最高スコアと評価されたメイクアップテーマを表示し、総合スコアウィンドウ１４０２及び領域別のスコアウィンドウ１４０４に最高スコアと評価されたメイクアップテーマに応じたスコアを表示することができる。

本発明のさらに別の実施形態によると、移動端末機１０は、ユーザによって選択されたメイクアップテーマに応じたスコアと、最高スコアと評価されたメイクアップテーマに応じたスコアを同時に表示することもできる。

次に、図１５は、本発明の第１実施形態によるメイクアップ評価にメイクアップテーマが及ぶ影響を説明するための図である。

図１４ａ及び図１４ｂで説明したように、移動端末機１０のディスプレイ部１４は、メイクアップ評価結果画面を表示することができる。

図１５のメイクアップ評価結果画面は、図１４ａ及び図１４ｂと比較して、同じ顔イメージを対象にするが、メイクアップテーマを異にした場合のメイクアップ評価結果画面である。すなわち、図１４ａ及び図１４ｂと比較して、顔イメージウィンドウ１５０１は、同じ顔イメージを含むが、メイクアップテーマ１５０２が異なる。

これにしたがって、メイクアップ評価結果が異なることが分かる。すなわち、総合スコアウィンドウ１５０３と領域別のスコアウィンドウ１４０４が図１４ａ及び図１４ｂと比較して異なるスコアを示すことを確認することができる。

これを介して、ユーザは、メイクアップスキルだけでなく、メイクアップテーマに適したメイクアップを学ぶことができる効果が予想される。

次に、図１６は、本発明の第１実施形態による領域別のスコアウィンドウを説明するための図である。

領域別のスコアウィンドウ１６０４は、メイクアップテーマに基づいた各領域別のスコアを示す。したがって、領域別のスコアウィンドウ１６０４は、メイクアップ領域によって異なるスコアを示すことができる。特に、いずれか一つの顔領域と関連して、メイクアップテーマと完全に異なるメイクアップと判断されれば、０点処理される領域があり得る。

これを介して、ユーザに顔領域別のメイクアップをガイドすることができる効果がある。

次に、図１７は、本発明の第１実施形態によるメイクアップのバランス評価を説明するための図である。

図１７を参照すると、総合スコア１７０３は０点を示すが、領域別のスコアウィンドウ１７０４の各領域は０点ではないことを確認することができる。これは、顔全体のメイクアップバランス（ｂａｌａｎｃｅ）があわないことを示すことができる。すなわち、メイクアップ評価システムは、顔領域別メイクアップを評価するだけでなく顔の全体的なメイクアップバランスまで評価することができる。

次に、図１８は、本発明の第１実施形態によるノーメイクアップ評価結果を説明するための図である。

図１８を参照すると、総合スコアウィンドウ１８０３及び領域別のスコアウィンドウ１８０４は、全て最低点を示す。これは、顔イメージウィンドウ１８０１の顔がノーメイクアップと判断された場合である。このように、ノーメイクアップの顔に対応するスコアで最低点を算出することによって、メイクアップ評価システムの信頼度を向上させることができる。

次に、図１９は、本発明の第２実施形態によるメイクアップサーバーを説明するためのブロック図である。

メイクアップサーバー１００は、メイクアップＤＢ管理部１１０、メイクアップ評価部１２０、制御部１３０及び無線通信部１４０で構成され得る。

最初に、メイクアップＤＢ管理部１１０を説明する。

メイクアップＤＢ管理部１１０は、メイクアップ評価と関連した多様なデータを保存することができる。

メイクアップＤＢ管理部１１０は、メイクアップを評価するために顔領域に適用される少なくとも一つ以上の評価アルゴリズムを保存することができる。ここで、顔領域は、イメージに含まれた顔領域であって、後述する領域検出部１２４によって検出される顔領域を意味することができる。また、顔領域は、顔全体を含む領域と、顔を構成する顔各部位領域とを含むことができる。例えば、顔領域は、顔全体領域、眉毛領域、目領域、鼻領域、頬領域、額領域、顎領域及び唇領域などの少なくとも一つ以上を含むことができる。

評価アルゴリズムは、イメージに含まれた顔領域を構成する少なくとも一つ以上のピクセルのＲＧＢ値を用いるアルゴリズムであり得る。すなわち、イメージは、ＲＧＢ値に表現されるイメージであり得、評価アルゴリズムは、顔領域を構成するピクセルのＲＧＢ値を用いるアルゴリズムであり得る。

また、評価アルゴリズムは、イメージに含まれた顔領域を構成する少なくとも一つ以上のピクセルのＲＧＢ値をＬａｂ色相値に変換し、変換されたＬａｂ色相値を用いるアルゴリズムであり得る。すなわち、評価アルゴリズムは、ＲＧＢ値に表現されるイメージをＬａｂ色空間に変換し、Ｌａｂ色相値を介してメイクアップを評価するアルゴリズムであり得る。Ｌａｂ色相値は、出力媒体に応じて色が変わらないため、Ｌａｂ色相値を用いる評価アルゴリズムを適用するとき、出力媒体と関係せずに一貫した評価が可能で、メイクアップ評価の信頼性を確保できるという利点がある。

また、メイクアップＤＢ管理部１１０は、メイクアップ評価に用いられるスコアテーブル（図３４参照）を保存することができる。具体的には、スコアテーブルは、複数の第１サンプル色相と複数の第２サンプル色相とを含むことができる。ここで、第１サンプル色相は、肌色相を代表するサンプル色相であり、第２サンプル色相は、唇色相、ブラッシャー色相またはアイシャドー色相を代表するサンプル色相であり得る。

複数の第１サンプル色相それぞれと複数の第２サンプル色相それぞれは、マッピングされてあり得、一対の第１サンプル色相と第２サンプル色相にはスコアデータがマッピングされてあり得る。すなわち、スコアテーブルは、複数の第１サンプル色相のいずれか一つと複数の第２サンプル色相のいずれか一つとにマッピングされるスコアデータで構成され得る。

このようなスコアテーブルは、メイクアップの色相調和を評価する場合、用いられることができる。例えば、メイクアップ分析部１２２は、ユーザの顔領域から第１色相と、第２色相とを検出し、第１色相と第２色相に基づいてメイクアップの色相調和を評価することができる。具体的には、メイクアップ分析部１２２は、第１色相と同じ色相を複数の第１サンプル色相から検索し、第２色相と同じ色相を複数の第２サンプル色相から検索し、検索された一対の色相にマッピングされているスコアを獲得して色相調和を評価することができる。

また、一実施形態によると、スコアテーブルは、メイクアップ専門家のメイクアップ評価のための入力に基づいて生成されたテーブルであり得る。すなわち、スコアテーブルは、メイクアップ専門家が予め色相組合せに対してスコアを入力しておいたテーブルであり得る。

後述するメイクアップ分析部１２２がメイクアップ専門家のメイクアップ評価のための入力に基づいて生成されたテーブルを用いてメイクアップを評価する場合、専門性に基盤したメイクアップ評価結果をユーザに提供できるという利点がある。これにしたがって、メイクアップ評価システムの信頼度が増加され得る。

次に、メイクアップ評価部１２０を具体的に説明する。

メイクアップ評価部１２０は、領域検出部１２４及びメイクアップ分析部１２２で構成され得る。

領域検出部１２４は、写真または動画に含まれた顔イメージを獲得することができる。具体的には、領域検出部１２４は、無線通信部１４０を介して写真または動画を受信し、写真または動画からメイクアップ評価の対象となる顔イメージを検出することができる。

また、領域検出部１２４は、顔イメージで顔の各領域を検出することができる。例えば、領域検出部１２４は、眉毛領域、目領域、鼻領域、頬領域、口域及び顎領域の少なくとも一つ以上を検出することができる。

例えば、領域検出部１２４は、顔認識（ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ）アルゴリズムを介して顔と、顔各部位を検出することができる。

また、領域検出部１２４は、顔を認識するとき、ディープラーニング技術を介して顔及び顔部位をより正確に認識できるという利点がある。

メイクアップ分析部１２２は、領域検出部１２４が獲得した顔領域及び顔各領域のメイクアップを分析する。例えば、メイクアップ分析部１２２は、顔領域及び顔各領域をメイクアップＤＢ管理部１１０に保存されたスコアテーブル及び評価アルゴリズムに基づいてメイクアップを分析することができる。具体的な方法は後述する。

実施形態にしたがって、メイクアップ分析部１２２は、メイクアップ分析結果に基づいて顔イメージのメイクアップスコアを算出する。例えば、メイクアップ分析部１２２は、メイクアップ総合スコアと顔領域別のスコアとをそれぞれ算出することができる。

制御部１３０は、メイクアップサーバー１００の全般的な動作を制御する。具体的には、制御部１３０は、メイクアップＤＢ管理部１１０、メイクアップ評価部１２０及び無線通信部１４０の動作を制御することができる。

無線通信部１４０は、外部とデータを送受信することができる。例えば、無線通信部１４０は、移動端末機１０またはアプリケーションサーバー２００からイメージデータを受信することができる。無線通信部１４０は、受信されたイメージデータをメイクアップＤＢ管理部１１０またはメイクアップ評価部１２０に伝達することができる。

一方、以下で説明する実施形態は、例えば、ソフトウェア、ハードウェアまたはこれらを組み合わせたものを用いてコンピュータまたはこれと類似の装置で読み取り可能な記録媒体内で具現され得る。

次に、図２０は、本発明の第２実施形態によるメイクアップ評価システムの動作方法を示すラダーダイヤグラムである。

図２０においては、説明の便宜のために移動端末機１０は、メイクアップサーバー１００と信号を送受信し、図１で説明したアプリケーションサーバー２００は、メイクアップサーバー１００に含まれていると仮定する。

移動端末機１０の制御部１７は、イメージを獲得することができる（Ｓ１１）。

制御部１７は、無線通信部１１またはカメラ１３を介してイメージを獲得することができる。無線通信部１１は、外部からイメージを受信することができる。カメラ１３は、写真または動画を撮影してイメージを獲得することができる。

ユーザは、メイクアップ評価を受けるためにメイクアップされた顔イメージを移動端末機１０に送信または入力することができる。例えば、ユーザは、外部に保存されたイメージを移動端末機１０に伝送するか、または移動端末機１０のカメラ１３でメイクアップされた顔を撮影することができる。

移動端末機１０の制御部１７は、メイクアップ評価要請命令を受信することができる（Ｓ１１）。

制御部１７は、入力部１２を介してメイクアップ評価要請命令を受信することができる。入力部１２は、少なくとも一つ以上のイメージを選択する命令を受信した後、メイクアップ評価要請命令を受信することができる。

ユーザは、メイクアップ評価を受けたいイメージを選択した後、メイクアップ評価要請を入力部１２に入力することができる。

また、制御部１７は、メイクアップ評価要請命令を受信するとき、入力部１２を介してメイクアップテーマ選択命令をさらに受信することができる。メイクアップテーマは、ナチュラル（ｎａｔｕｒａｌ）、ラブリー（ｌｏｖｅｌｙ）またはスモーキー（ｓｍｏｋｙ）などを含むことができる。メイクアップテーマに応じてメイクアップ評価は異なることがある。したがって、より正確なメイクアップ評価のために制御部１７は、メイクアップ評価要請命令を受信する場合、メイクアップテーマを選択する命令を一緒に受信することができる。

移動端末機１０の制御部１７は、メイクアップサーバー１００にメイクアップ評価要請信号を伝送することができる（Ｓ１５）。

制御部１７は、無線通信部１１を介してメイクアップサーバー１００にメイクアップ評価要請信号を伝送するように制御することができる。

メイクアップ評価要請信号は、イメージデータを含むことができる。すなわち、制御部１７は、ステップＳ１１で獲得したイメージに対応するイメージデータを含むメイクアップ評価要請信号をメイクアップサーバー１００に伝送することができる。

メイクアップ評価要請信号は、イメージデータによるイメージに含まれた顔に対応するメイクアップ評価を要請する信号であり得る。

メイクアップサーバー１００の無線通信部１４０は、メイクアップ評価要請信号を受信することができる。

メイクアップサーバー１００の制御部１３０は、メイクアップ評価要請信号に含まれたイメージデータを分析することができる。具体的には、メイクアップ評価要請信号に含まれたイメージデータは、イメージ送信のために変調されたデータであり得る。制御部１３０は、メイクアップ評価要請信号に含まれたイメージデータをイメージに復元することができる。

メイクアップサーバー１００の制御部１３０は、メイクアップ評価要請信号を介して受信されたイメージから既に設定された領域を検出することができる（Ｓ１７）。

制御部１３０は、メイクアップ評価の対象となる少なくとも一つ以上の評価部門を予め設定してあり得る。制御部１３０は、評価部門に対応する少なくとも一つ以上の領域をイメージから検出することができる。

例えば、制御部１３０は、眉毛（ｅｙｅｂｒｏｗ）部門、クマ（ｄａｒｋ ｃｉｒｃｌｅ）部門、色相調和（ｈｕｅ ｈａｒｍｏｎｙ）部門、唇（ｌｉｐ）部門及び傷（ｂｌｅｍｉｓｈ）部門の少なくとも一つ以上をメイクアップ評価の対象となる評価部門に設定してあり得る。しかし、前で並べた評価部門は、説明の便宜のために例示としてあげたことに過ぎないので、これに制限される必要はない。

制御部１３０は、眉毛部門を評価するための眉毛領域、クマ部門を評価するためのクマ領域、色相調和部門を評価するための色相調和領域、唇部門を評価するための唇領域及び傷部門を評価するための傷領域の少なくとも一つ以上の領域を受信されたイメージから検出することができる。

このとき、眉毛領域、クマ領域などのようなそれぞれの領域は、該当の部位に制限されず、領域別の評価アルゴリズムによって少なくとも一つ以上の部位を含むことができる。例えば、眉毛領域は、眉毛部位に制限されなく、眉毛部位及び鼻部位などを含むことができる。これは、眉毛領域を評価することにおいて眉毛の模様、色相などのみを評価することではなく、眉毛部位と顔全体の調和などを考慮して評価するためのことである。それぞれの領域に対応する検出部位は、後述する領域別の評価アルゴリズムを介して詳しく説明するようにする。

制御部１３０は、検出された少なくとも一つ以上の領域に各領域別の評価アルゴリズムを適用して評価することができる（Ｓ１９）。

制御部１３０は、検出された領域に応じて異なる評価アルゴリズムを適用することができる。例えば、制御部１３０は、眉毛領域には第１評価アルゴリズムを適用し、クマ領域には第２評価アルゴリズムを適用することができる。

このように、本発明の実施形態によると、検出された複数の領域に同じ評価アルゴリズムを適用して一貫して評価することではなく、検出された領域に応じてそれぞれ異なる評価アルゴリズムを適用してメイクアップをより精密に評価できるという利点がある。

次に、制御部１３０がステップＳ１７で検出された領域それぞれに適用する少なくとも一つ以上の評価アルゴリズムを説明する。

最初に、図２１ないし図２５は、本発明の第２実施形態による眉毛部門を評価するとき、適用される評価アルゴリズムを説明するための図であり、図２６は、本発明の第２実施形態による眉毛部門の評価結果を表示する方法を説明するための例示図である。

本発明の実施形態によると、メイクアップサーバー１００のメイクアップＤＢ管理部１１０は、眉毛部門を評価するための評価アルゴリズムを保存することができる。制御部１３０は、ステップＳ１７で領域検出部１２４を介して眉毛領域を検出し、メイクアップ分析部１２２を介して検出された眉毛領域に評価アルゴリズムを適用することができる。

眉毛部門を評価するための評価アルゴリズムは、複数のアルゴリズムを含むことができ、それぞれのアルゴリズムは、眉毛部門を異なるように評価することができる。例えば、眉毛部門を評価するための評価アルゴリズムは、眉毛長さを評価するアルゴリズム、水平程度を評価するアルゴリズム、眉毛前方長さを評価するアルゴリズム及び眉毛色相の均一性を評価するアルゴリズムなどを含むことができる。

メイクアップ分析部１２２は、眉毛領域に評価アルゴリズムを適用するとき、眉毛長さ、水平程度、眉毛将来が及び眉毛色相の均一性を皆分析及び評価することができる。

図２１を参考して、制御部１３０が眉毛領域の眉毛長さを評価する方法を説明する。

領域検出部１２４は、イメージからいずれか一つの目の外側末端である第１地点５０１と鼻の外側末端である第２地点５０２を検出することができる。このとき、領域検出部１２４は、右目の外側末端地点を検出した場合、鼻の右側末端を検出し、左目の外側末端地点を検出した場合、鼻の左側末端を検出することができる。

メイクアップ分析部１２２は、第１地点５０１と第２地点５０２を連結する直線５１０を獲得することができる。

メイクアップ分析部１２２は、眉毛の外側末端である第３地点５０３を検出し、第３地点５０３と直線５１０との距離ｄ１を算出することができる。

メイクアップ分析部１２２は、算出された距離ｄ１を介して眉毛長さの適切性を判断することができる。例えば、メイクアップ分析部１２２は、算出された距離ｄ１が第１距離以下であると、眉毛長さを‘短い'と判断し、算出された距離ｄ１が第１距離より長くて第２距離以下であると、眉毛長さを‘適正'と判断し、算出された距離ｄ１が第２距離より長いと、眉毛長さを‘長い'と判断することができる。しかし、このような判断方法は例示的なものに過ぎないので、これに制限される必要はない。

図２２を参考して、制御部１３０が眉毛領域の水平程度を評価する方法を説明する。

領域検出部１２４は、イメージからいずれか一つの眉毛を基準に眉毛の内側末端である第１地点６０１と、同じ眉毛の外側末端である第２地点６０２を検出することができる。

領域検出部１２４は、第１地点６０１と第２地点６０２を連結する直線６１０を獲得し、直線と水平線６２０との角度θを算出することができる。

メイクアップ分析部１２２は、算出された角度θを介して眉毛の水平程度の適切性を判断することができる。

例えば、メイクアップ分析部１２２は、算出された角度θが第１角度以下であると、眉毛の水平程度を‘直線型'と判断し、算出された角度θが第１角度より大きくて第２角度以下であると、眉毛の水平程度を‘一般型'と判断し、算出された角度θが第２角度より大きいと、眉毛の水平程度を‘アーチ型'と判断することができる。しかし、このような判断方法は例示的なことに過ぎないので、これに制限される必要はない。

また、メイクアップ分析部１２２は、‘直線型'、‘一般型'または‘アーチ型'のような眉毛の水平程度による眉毛類型を判断し、判断したそれぞれの類型によって眉毛模様のスコアを算出することができる。例えば、眉毛類型による眉毛模様を示すデータを予め保存してあり得、メイクアップ分析部１２２は、判断した眉毛類型による眉毛模様データをイメージから獲得された眉毛模様のデータと比較し、比較した結果、保存されたデータとイメージから獲得されたデータとの差が小さいほど眉毛スコアを高く算出する方式でスコアを決定することもできる。

図２３を参考して、制御部１３０が眉毛領域の眉毛の前方長さを評価する方法を説明する。

領域検出部１２４は、イメージからいずれか一つの眉毛を基準に眉毛の内側末端である第１地点７０１と鼻の外側末端である第２地点７０２を検出することができる。このとき、領域検出部１２４は、右側眉毛の内側末端地点を検出した場合、鼻の右側末端を検出し、左側眉毛の内側末端地点を検出した場合、鼻の左側末端を検出することができる。

メイクアップ分析部１２２は、第２地点７０２を垂直方向に通る直線７１０を獲得し、直線７１０と第１地点７０１との間の距離ｄ２を獲得することができる。

メイクアップ分析部１２２は、算出された距離ｄ２を介して眉毛の前方長さの適切性を判断することができる。例えば、メイクアップ分析部１２２は、算出された距離ｄ２が第１距離以下であると、眉毛の前方長さを‘短い'と判断し、算出された距離ｄ２が第１距離より長くて第２距離以下であると、眉毛前方長さを‘適正'と判断し、算出された距離ｄ２が第２距離より長いと、眉毛の前方長さを‘長い'と判断することができる。しかし、このような判断方法は例示的なことに過ぎないので、これに制限される必要はない。

図２１ないし図２３で説明した方法によると、人ごとに異なる目のサイズ、鼻のサイズなどを反映したメイクアップ評価ができるという利点がある。すなわち、眉毛は、５ｃｍが適当だと一貫して判断することではなく、人の目の長さ、鼻の長さ、眉毛の位置などユーザごとに異なる顔特性を考慮してメイクアップの評価ができるという利点がある。

図２４及び図２５を参考して、制御部１３０は、眉毛領域の眉毛色相の均一性を評価する方法を説明する。眉毛色相の均一性は、眉毛の色相が均一にメイクアップされたかを示す項目であり得る。

制御部１３０は、眉毛色相の均一性を判断するために眉毛判断動作を行うことができる。

領域検出部１２４は、眉毛から第１ないし第５地点８０１ないし８０５を検出することができる。具体的には、領域検出部１２４は、眉毛の外側末端である第１地点８０１と眉毛の内側末端である第２地点８０２を検出し、眉毛の第１地点８０１と第２地点８０２との中である第３地点８０３を検出し、眉毛の第１地点８０１と第３地点８０３との中である第４地点８０４と、第２地点８０２と第３地点８０３との中である第５地点８０５を検出することができる。

図２４（ａ）に示されたように、メイクアップ分析部１２２は、第１ないし第５地点８０１ないし８０５を連結する曲線８１０を獲得することができる。

図２４（ｂ）に示されたように、メイクアップ分析部１２２は、曲線８１０に沿って曲線の各地点で垂直線８２０を獲得し、垂直線８２０から映像の値を抽出することができる。ここで、映像の価はＲＧＢ値を含むことができ、垂直線８２０は所定の長さを有する直線であり得る。

メイクアップ分析部１２２は、垂直線８２０に沿って抽出されたＲＧＢ値の中で最大値を獲得し、最大値と、最大値から決定された割合以内の映像の値を有する地点を眉毛と判断することができる。例えば、メイクアップ分析部１２２は、抽出された映像の値が４０、４１、１２０、１２２、１２６、４３、４０の場合、最大値１２６を獲得し、最大値１２６から２０％以内の映像の値である１２０及び１２２の地点と１２６の地点を眉毛と判断することができる。

メイクアップ分析部１２２は、前述した眉毛判断動作をイメージのｇｒａｙ ｃｈａｎｎｅｌ、ｒｅｄ ｃｈａｎｎｅｌ及びｂｌｕｅ ｃｈａｎｎｅｌでそれぞれ行うことができる。

図２５（ａ）が原本イメージである場合、メイクアップ分析部１２２は、ｇｒａｙ ｃｈａｎｎｅｌで眉毛判断動作を行って図２５（ｂ）に示されたように第１領域９０１を眉毛と判断することができる。また、メイクアップ分析部１２２は、ｒｅｄ ｃｈａｎｎｅｌで眉毛判断動作を行って図２５（ｃ）に示されたように第２領域９０２を眉毛と判断することができる。

メイクアップ分析部１２２は、第１領域９０１と第２領域９０２の類似度を測定することができる。メイクアップ分析部１２２は、第１領域９０１と第２領域９０２の重なる領域の広さを介して類似度を測定することができる。すなわち、メイクアップ分析部１２２は、第１領域９０１と第２領域９０２の重なる領域の広さが広いほど類似度を高く算出し、重なる領域の広さが狭いほど類似度を低く算出することができる。

メイクアップ分析部１２２は、算出された類似度を介して眉毛の均一性を判断することができる。例えば、メイクアップ分析部１２２は、算出された類似度が第１基準値以下であると、眉毛均一性を‘バラ付き'と判断し、算出された類似度が第２基準値を超過すると。眉毛均一性を‘均一'と判断することができる。しかし、このような判断方法は例示的なことに過ぎないので、これに制限される必要はない。

一方、メイクアップ分析部１２２は、ｒｅｄ ｃｈａｎｎｅｌで眉毛と判断した第２領域９０２の広さが基準広さ以下の場合には、ｂｌｕｅ ｃｈａｎｎｅｌイメージで眉毛判断動作を行って図２５（ｄ）に示されたように第３領域９０３を眉毛と判断することができる。メイクアップ分析部１２２は、第１領域９０１と第３領域９０３の類似度を測定して前述したように眉毛均一性を判断することができる。

無線通信部１４０は、メイクアップを評価した後に評価結果信号を移動端末機１０に伝送することができ、移動端末機１０のディスプレイ部１４は、評価結果を表示することができる。

図２６は、眉毛部門に対するメイクアップ評価結果を示す例示図であり得る。ディスプレイ部１４は、眉毛長さ、水平程度、眉毛の前方長さ及び眉毛均一性に対する評価結果を表示することができる。しかし、図２６に示された評価結果を示す方法は例示的なことに過ぎない。

次に、図２７及び図２８は、本発明の第２実施形態によるクマ部門を評価するとき、適用される評価アルゴリズムを説明するための図であり、図２９は、本発明の実施形態によるクマ部門の評価結果を表示する方法を説明するための例示図である。

領域検出部１２４は、目領域から複数の地点を検出することができる。例えば、領域検出部１２４は、目領域から第１ないし第４地点１１０１ないし１１０４を検出することができ、第１地点１１０１は目の外側末端地点であり、第２地点１１０２は目の内側末端地点であり、第３地点１１０３は目の上側末端地点であり、第４第店１１０４は目の下側末端地点であり得る。

メイクアップ分析部１２１は、第１及び第２地点１１０１、１１０２を連結する直線距離を測定して目の水平距離１１を算出し、第３及び第４地点１１０３、１１０４を連結する直線距離を測定して目の垂直距離１２を算出することができる。

メイクアップ分析部１２１は、第１ないし第４地点１１０１ないし１１０４と水平距離１１及び垂直距離１２に基づいて基準線１１１０を獲得することができる。例えば、メイクアップ分析部１２１は、第３地点１１０３から垂直距離１２だけ下に離隔した位置に水平距離１１の所定の割合に該当する長さを有する基準線１１１０を獲得することができる。基準線１１１０の長さは、水平距離１１の８０％であり得るが、これは例示的なことに過ぎない。

図２８を参考すると、メイクアップ分析部１２１は、基準線１１１０の左側１／３領域１１１１のＲＧＢ値の中で最大値を抽出し、基準線１１１０の右側１／３領域１１１２のＲＧＢ値の中で最大値を抽出し、基準線１１１０の中央１／２領域１１１３のＲＧＢ値の中で最小値を抽出することができる。

メイクアップ分析部１２１は、抽出された二つの最大値の中で小さい値を獲得し、獲得された小さい値と前で抽出された最小値の差を算出することができる。メイクアップ分析部１２１は、算出された差に基づいてクマの濃い程度を評価することができる。

本発明によると、第１ないし第４地点１１０１ないし１１０４と目の距離を介してクマ対象領域を検出することができ、クマ対象領域で両側のＲＧＢ値を介して周辺色を獲得し、中のＲＧＢ値を介して目の下で最も濃い部分の色を獲得して、クマの濃い程度をより精密に測定できるという利点がある。すなわち、単純にクマを測定することではなく、クマが周辺色と類似するようによくカバーされるようにメイクアップしたかを評価できるという利点がある。

次に、図３０ないし図３４は、本発明の第２実施形態による色相調和部門を評価するとき、適用される評価アルゴリズムを説明するための図であり、図３５は、本発明の第２実施形態による色相調和部門の評価結果を表示する方法を説明するための例示図である。

最初に、制御部１３０は、色を抽出するように制御することができる。具体的には、図３０（ａ）を参照すると、領域検出部１２４は、イメージに含まれた顔から鼻領域３００１を検出することができる。特に、領域検出部１２４は鼻面領域を検出することができる。メイクアップ分析部１２２は、鼻領域３００１に含まれた複数の地点に対応する複数のＲＧＢ色相値を抽出し、抽出されたＲＧＢ色相値の平均値を算出することができる。メイクアップ分析部１２２は、算出されたＲＧＢ平均値に対応する色相を肌色として抽出することができる。

メイクアップ分析部１２２は、抽出された色をＬａｂ色空間に分布させて、抽出された色と最も近い色を検出し、検出された色を肌色として決定することができる。図３０（ｂ）に示されたように、メイクアップＤＢ管理部１１０は、複数の代表肌色相を保存しており、メイクアップ分析部１２２は、検出された色と最も近い色を保存された代表色相で獲得することができ、獲得された色相を肌色として決定することができる。例えば、図３０でメイクアップ分析部１２２は、ｓ５を肌色として決定することができる。

次に、制御部１３０は、唇色を抽出するように制御することができる。具体的には、図３１（ａ）を参照すると、領域検出部１２４は、イメージに含まれた顔から唇領域３１０１を検出することができる。特に、領域検出部１２４は、下唇領域を検出することができる。メイクアップ分析部１２２は、唇領域３１０１に含まれた複数の地点に対応する複数のＲＧＢ色相値を抽出し、抽出されたＲＧＢ色相値の平均を算出することができる。メイクアップ分析部１２２は、算出されたＲＧＢ平均値に対応する色相を唇色として抽出することができる。

メイクアップ分析部１２２は、抽出された唇色をＬａｂ色空間に分布して抽出された唇色と最も近い色を検出し、検出された色を唇色として決定することができる。図３１（ｂ）に示されたように、メイクアップＤＢ管理部１１０は、複数の代表唇色相を保存しており、メイクアップ分析部１２２は、複数の代表唇色相の中で検出された唇色と最も近い色相を獲得することができ、獲得された色相を唇色として決定することができる。例えば、図３１でメイクアップ分析部１２２は、l７を唇色として決定することができる。

次に、制御部１３０は、ブラッシャー色を抽出するように制御することができる。具体的には、図３２（ａ）を参照すると、領域検出部１２４は、イメージに含まれた顔で頬領域３２０１を検出することができる。頬領域３２０１は、左側頬領域と右側頬領域を両方とも含むことができる。

メイクアップ分析部１２２は、ブラッシャー色を抽出する場合、障害除去動作を行うことができる。ここで、障害除去動作は、髪の毛などによって頬領域が隠れてブラッシャー色相が間違って決定される場合を最小化するための動作であり得る。メイクアップ分析部１２２は、障害除去動作を行う場合、イメージをｇｒａｙイメージに変換した後、映像の値が所定の基準値より小さい領域は除去することができ、例えば、所定の基準値は０．３５であり得るが、これは例示としてあげたことに過ぎないので、ここに制限されない。メイクアップ分析部１２２は、頬領域３２０１のうち除去された領域を除いた残りの領域に対応する複数のＲＧＢ色相値を抽出し、抽出されたＲＧＢ色相値の平均値を算出することができる。メイクアップ分析部１２２は、算出されたＲＧＢ平均値に対応する色相をブラッシャー色として抽出することができる。

メイクアップ分析部１２２は、抽出されたブラッシャー色をＬａｂ色空間に分布して抽出されたブラッシャー色と最も近い色を検出し、検出された色をブラッシャー色として決定することができる。図３２（ｂ）に示されたように、メイクアップＤＢ管理部１１０は、複数の代表ブラッシャー色相を保存しており、メイクアップ分析部１２２は、複数の代表ブラッシャー色相のうち検出されたブラッシャー色と最も近い色相を獲得することができ、獲得された色相をブラッシャー色として決定することができる。例えば、図３２でメイクアップ分析部１２２は、ｂ８をブラッシャー色として決定することができる。

一方、メイクアップ分析部１２２は、頬領域３２０１のうちＬａｂ色空間でａ値が大きい値を代表ブラッシャー色として決定することもできる。

次に、制御部１３０は、アイシャドー色を抽出するように制御することができる。

具体的には、図３３を参照すると、領域検出部１２４は、イメージに含まれた顔から目の上領域３３０１を検出することができる。目の上領域３３０１は、左目の上領域と右目の上領域を両方とも含むことができる。

メイクアップ分析部１２２は、アイシャドー色を抽出する場合、前述したような障害除去動作を行うことができる。メイクアップ分析部１２２は、目の上領域３３０１のうち障害除去動作を介して除去された領域を除いた残りの領域に対応する複数のＲＧＢ色相値を抽出し、抽出されたＲＧＢ色相値の平均を算出することができる。メイクアップ分析部１２２は、算出されたＲＧＢ平均値に対応する色相をアイシャドー色として抽出することができる。特に、メイクアップ分析部１２２は、左側アイシャドー色と右側アイシャドー色をそれぞれ抽出することができる。メイクアップ分析部１２２は、抽出されたアイシャドー色に基づいて代表シャドー色を決定することができる。

一実施形態によると、メイクアップ分析部１２２は、メイクアップテーマに応じて代表シャドー色を異なる方法で決定することができる。メイクアップ分析部１２２は、メイクアップテーマがナチュラル（ｎａｔｕｒａｌ）またはラブリー（ｌｏｖｅｌｙ）の場合、抽出された左側アイシャドー色と右側アイシャドー色のうちＬａｂ色空間でａ値が大きい値を代表シャドー色として決定することができる。メイクアップ分析部１２２は、メイクアップテーマがスモーキー（Ｓｍｏｋｙ）の場合、抽出された左側アイシャドー色と右側アイシャドー色のうちＬａｂ色空間でＬ値が小さい値を代表シャドー色として決定することができる。これは、メイクアップテーマに応じて推薦されるアイシャドー色が異なるためであり、メイクアップテーマに応じて異なる方法で代表シャドー色を決定することによって、メイクアップがよくできたかだけでなく、テーマに合うようによくできたかまで評価できるという利点がある。

次に、決定された色、唇色、ブラッシャー色及びシャドー色で色相調和を評価する方法を説明する。

メイクアップＤＢ管理部１１０は、複数の第１サンプル色相と複数の第２サンプル色相を含み、複数の第１サンプル色相のいずれか一つと複数の第２サンプル色相のいずれか一つで構成される一対のサンプル色相にスコアデータがマッピングされるスコアテーブルを保存することができる。

例えば、図３４（ａ）を参照すると、メイクアップＤＢ管理部１１０は、複数の色と複数の唇色をマッピングしてそれに対応するスコアを示す肌−唇スコアテーブルを保存することができる。メイクアップ分析部１２２は、決定された色と決定された唇色を肌−唇スコアテーブルで検索し、検索された色と唇色にマッピングされたスコアを獲得することができ、獲得されたスコアを肌＆唇調和スコアとして判断することができる。

同様に、図３４（ｂ）を参照すると、メイクアップＤＢ管理部１１０は、複数の色と複数のブラッシャー色をマッピングしてそれに対応するスコアを示す肌−ブラッシャースコアテーブルを保存することができる。メイクアップ分析部１２２は、肌−ブラッシャースコアテーブルで決定された色と決定されたブラッシャー色を検索し、検索された色とブラッシャー色にマッピングされたスコアを獲得することができ、獲得されたスコアを肌＆ブラッシャー調和スコアとして判断することができる。

次に、肌＆アイシャドー調和スコアを判断する方法を説明する。メイクアップ分析部１２２は、図３３を介して説明した方法で決定された代表シャドー色と肌色の差を算出することができる。具体的には、メイクアップ分析部１２２は、代表シャドー色と肌色のａ値の差とＬ値の差をそれぞれ算出し、算出されたａ値の差とＬ値の差に基づいてスコアを判断することができる。同様に、メイクアップ分析部１２２は、メイクアップテーマに応じてスコアを異なるように判断することができる。

このように、メイクアップ分析部１２２は、アイシャドーの場合、肌との色相調和分析を唇色及びブラッシャーの場合とは異なるように判断することができる。これは、ブラッシャーまたは唇は、メイクアップテーマが異なっても色相系列が類似の傾向があるが、アイシャドーの場合、メイクアップテーマに応じて色相系列が完全に変わることができるためである。これにしたがって、メイクアップの色相調和部門を判断するとき、より精密に色相調和を評価できるという利点がある。

一方、メイクアップ分析部１２２は、色、唇色、ブラッシャー色及びシャドー色の少なくとも一つ以上を抽出するとき、色相が抽出されない色の場合、０点と判断することができる。

無線通信部１４０は、色相調和部門を評価した後、評価結果信号を移動端末機１０に伝送することができ、移動端末機１０のディスプレイ部１４は、評価結果を表示することができる。

図３０は、色相調和部門に対するメイクアップ評価結果を示す例示図であり得る。ディスプレイ部１４は、肌＆唇調和、肌＆ブラッシャー調和及び肌＆アイシャドー調和に対する評価結果を表示することができる。しかし、図３０に示された評価結果を示す方法は例示的なことに過ぎない。

次に、図３６は、本発明の第２実施形態による唇部門を評価するとき、適用される評価アルゴリズムを説明するための図であり、図３７は、本発明の第２実施形態による唇部門の評価結果を表示する方法を説明するための例示図である。

領域検出部１２４は、イメージに含まれた顔から唇領域２００１を検出することができる。検出された唇領域は、図３６（ａ）に示されたようであり得る。

メイクアップ評価部１２０は、唇領域２００１のメイクアップと関連して、唇均一性と唇乾燥度を評価することができる。ここで、唇均一性は、唇色相の均一性を示すことであって唇にメイクアップが均一によくできたかを示す項目であり得る。唇乾燥度は、唇がしっとりとした状態でメイクアップがよくできたかを示す項目であり得る。

最初に、メイクアップ評価部１２０が唇均一性を評価する方法を説明する。メイクアップ分析部１２２は、検出された唇領域２００１をＬａｂ色空間に変換し、Ｌ空間にある映像で臨界値設定を介して唇領域のうち反射領域の映像を獲得することができる。例えば、メイクアップ分析部１２２は、Ｌ空間にある映像でＬ値が既に設定された範囲に含まれるピクセルで構成される領域を検出し、検出された領域を反射領域として決定することができる。

図３６（ｂ）は、メイクアップ分析部１２２によって決定された反射領域を示す例示図であり得る。ステップ１で反射領域２００２のサイズが最も大きく、ステップ５に行くほど反射領域２００２のサイズが減少するように示されている。

メイクアップ分析部１２２は、図３６（ａ）に示されたようなイメージで唇領域のサイズを算出し、図３６（ｂ）に示されたようなイメージから検出された反射領域のサイズを算出することができる。

メイクアップ分析部１２２は、唇領域のサイズに対して反射領域のサイズの割合を算出することができる。メイクアップ分析部１２２は、算出されたサイズの割合に基づいて唇の均一性を評価することができる。すなわち、メイクアップ分析部１２２は、ステップ１に示された唇の場合、唇の均一性を高く評価し、ステップ５に行くほど唇の均一性を低く評価することができる。

同様に、メイクアップ評価部１２０は、唇乾燥度を評価することができる。

メイクアップ分析部１２２は、唇領域を検出し、図３６（ａ）に示されたような唇領域イメージ２００１を獲得することができる。

メイクアップ分析部１２２は、獲得された唇領域イメージにハイパスフィルター（ｈｉｇｈ ｐａｓｓ ｆｉｌｔｅｒ）を適用したピルトリングイメージを獲得することができる。メイクアップ分析部１２２は、ピルトリングイメージのうちＲ空間にあるイメージで臨界値設定を介して唇領域の縦しわを示すマスクイメージを獲得することができる。すなわち、メイクアップ分析部１２２は、唇領域のうちＲ値が既に設定された範囲に含まれるピクセルで構成される領域を検出し、検出された領域を示すしわ領域２００２として決定することができる。しわ領域２００２は、図３６（ｂ）に示された例示と類似するように段階的に獲得され得る。

メイクアップ分析部１２２は、図３６（ａ）に示されたようなイメージから唇領域のサイズを算出し、図３６（ｂ）に示されたようなイメージからしわ領域２００２のサイズを算出することができる。

メイクアップ分析部１２２は、唇領域のサイズに対してしわ領域のサイズの割合を算出することができる。メイクアップ分析部１２２は、算出されたサイズの割合に基づいて唇の乾燥度を評価することができる。すなわち、メイクアップ分析部１２２は、ステップ１に示された唇の場合、サイズの割合が大きく算出されて唇の乾燥度を高く評価し、ステップ５に行くほどサイズの割合が低く算出されて唇の乾燥度を低く評価することができる。

図３６で反射領域２００２としわ領域２００２が同じことのように説明したが、これは説明の便宜のために一つの例示をあげたことに過ぎず、一つのイメージで反射領域２００２としわ領域２００２は異なるように検出され得、これによって唇均一性と唇乾燥度は異なるように評価され得る。

しかし、前述した唇部門評価方法は、例示としてあげたことに過ぎないので、これに制限される必要はない。

無線通信部１４０は、唇部門を評価した後、評価結果信号を移動端末機１０に伝送することができ、移動端末機１０のディスプレイ部１４は、評価結果を表示することができる。

図３７は、唇部門に対するメイクアップ評価結果を示す例示図であり得る。ディスプレイ部１４は、唇均一性に対する評価結果を表示することができる。ディスプレイ部１４は、唇均一性に対応するスコアと唇乾燥度に対応するスコアをそれぞれ表示することができる。しかし、図３７に示された評価結果を示す方法は、例示的なことに過ぎない。

次に、図３８は、本発明の第２実施形態による傷部門を評価するとき、適用される評価アルゴリズムを説明するための図であり、図３９は、本発明の第２実施形態による傷部門の評価結果を表示する方法を説明するための例示図である。

映像検出部１２１は、イメージを獲得することができ、獲得したイメージに含まれた顔領域を検出することができる。例えば、映像検出部１２１は、図３８（ａ）に示されたように顔領域を検出することができる。

映像検出部１２１は、検出された顔領域から頬領域２２０１を検出することができ、頬領域２２０１は、左側頬領域と右側頬領域とを含むことができる。例えば、映像検出部１２１は、図３８（ｂ）に示されたように顔領域から頬領域２２０１を検出することができる。

映像検出部１２１は、検出された顔領域で顎領域２２０２を検出することができる。メイクアップ分析部１２２は、顎領域２２０２に含まれたすべてのピクセルをＬａｂ空間に変換し、変換されたＬａｂ空間からＬ、ａ及びｂそれぞれの平均値を算出して肌の平均Ｌａｂ値を算出することができる。

メイクアップ分析部１２２は、平均Ｌａｂ値をＲＧＢ値に変換して肌のＲＧＢ平均値を算出することができる。

次に、メイクアップ分析部１２２は、傷対象領域を設定することができる。具体的には、メイクアップ分析部１２２は、顔領域を含むイメージをＬａｂ色空間に変換し、変換されたＬａｂと前で算出した肌の平均Ｌａｂ値の差に対応するギャップイメージを獲得することができる。

メイクアップ分析部１２２は、ギャップイメージに含まれた複数のピクセルそれぞれを基準にそばの（左側または右側）に位置したピクセルの間の差に対応する左右ギャップイメージを獲得し、ギャップイメージに含まれた複数のピクセルそれぞれを基準に上または下に位置したピクセルの間の差に対応する上下ギャップイメージを獲得することができる。

メイクアップ分析部１２２は、左右ギャップイメージのピクセル値を二乗と上下ギャップイメージのピクセル値を二乗の合に対応する色相差イメージを獲得することができる。メイクアップ分析部１２２は、色相差イメージでピクセル値が既に設定された臨界値より大きい地点で構成される対象領域を獲得することができる。

メイクアップ分析部１２２は、対象領域にモルフォロジ演算（ｍｏｒｐｈｏｌｏｇｉｃａｌ ｏｐｅｒａｔｉｏｎ）を行い、クラスタリング（ｃｌｕｓｔｅｒｉｎｇ）された領域を図３８（ｄ）に示されたように傷対象領域２２０３として設定することができる。

メイクアップ分析部１２２は、傷対象領域２２０３でピクセル値が既に設定された臨界値以上差がある異質点２２１３、２２２３、２２３３を獲得することができる。特に、図３８（ｅ）に示されたように、メイクアップ分析部１２２は、頬領域２２０１内部で獲得される異質点２２１３、２２２３を傷として認識することができる。

メイクアップ分析部１２２は、頬領域２２０１のサイズと、傷として認識された異質点２２１３、２２２３のサイズをそれぞれ検出し、頬領域２２０１のサイズに対して異質点２２１３、２２２３のサイズの割合を算出することができる。メイクアップ分析部１２２は、算出されたサイズの割合に基づいて肌均一性を評価することができる。例えば、メイクアップ分析部１２２は、サイズの割合が第１基準値（例えば、０％）から第２基準値（例えば、５％）の間に属すると５点、第２基準値（例えば、５％）から第３基準値（例えば、１０％）の間に属すると３点、第３基準値（例えば、１０％）から第４基準値（例えば、２０％）の間に属すると１点と決定することができる。

肌均一性は、顔の色が均一にメイクアップされたかを示すことであって、傷、ほくろまたはしわなどのような欠点が見えないようにメイクアップカバーがよくできたかを示す指標であり得る。

無線通信部１４０は、傷部門を評価した後、評価結果信号を移動端末機１０に伝送することができ、移動端末機１０のディスプレイ部１４は、評価結果を表示することができる。

図３９は、傷部門に対するメイクアップ評価結果を示す例示図であり得る。ディスプレイ部１４は、傷に対する評価結果を表示することができる。しかし、図３９に示された評価結果を示す方法は例示的なことに過ぎない。

再び、図２０を説明する。

メイクアップサーバー１００は、メイクアップを評価した評価結果信号を移動端末機１０に伝送することができる（Ｓ２１）。

このように眉毛部門、クマ部門、色相調和部門、唇部門、傷部門など詳細評価部門ごとに評価されたスコアが合わせられてメイクアップ総点が導出され得る。実施形態によっては、それぞれの詳細評価部門が総点に寄与する割合がメイクアップテーマごとに異なるように設定されることもできる。例えば、メイクアップテーマがナチュラルの場合、総点はクマ部門のスコアが６０％であり、残りの眉毛部門、色相調和部門、唇部門、傷部門に対するスコアがそれぞれ１０％割合で反映されて算出され、メイクアップテーマがスモーキーの場合、総点は色相調和部門が３５％であり、唇部門が４０％であり、眉毛部門が１５％であり、クマ部門が５％であり、傷部門が５％である割合で反映されて算出され得る。

移動端末機１０のディスプレイ部１４は、受信された評価結果信号に基づいてメイクアップ評価結果を表示することができる（Ｓ２３）。

ディスプレイ部１４は、図４０に示されたようなメイクアップ結果を表示することができる。

すなわち、ディスプレイ部１４は、メイクアップ評価部門のそれぞれに対するスコアと、総点を表示することができる。

または、ディスプレイ部１４は、図２６、図２９、図３５、図３７及び図３９に示されたようにメイクアップ評価結果を表示することができる。特に、ディスプレイ部１４は、図４０に示されたような複数の評価部門のいずれか一つの部門が選択されると、選択された部門に対する詳細評価結果で図２６、図２９、図３５、図３７または図３９に示されたような評価結果を表示することができる。

一方、前ではメイクアップサーバー１００がメイクアップ評価を行うと説明したが、これは説明の便宜のために例示としてあげたことに過ぎない。移動端末機１０がイメージを獲得してメイクアップ評価を直接行うこともでき、この場合、メイクアップサーバー１００からメイクアップ評価と関連したデータを受信することができる。

一方、前でメイクアップ評価システムを図３ないし図１８による第１実施形態と図１９ないし図４０による第２実施形態とに区分して説明したが、これは説明の便宜のためのことに過ぎないので、これに制限されない。すなわち、図３ないし図１８を介して説明した第１実施形態によるメイクアップ評価システム及びその動作方法は、図１９ないし図４０を介して説明した第２実施形態によるメイクアップ評価システム及びその動作方法と組み合わせされて構成され得る。

例えば、メイクアップ分析部１２２は、図６に示されたようなメイクアップスコアデータと図２１ないし図２５を介して説明したアルゴリズムを一緒に適用してメイクアップスコアを出力することができる。

また、ディスプレイ部１４は、第１実施形態によるメイクアップ結果画面と第２実施形態によるメイクアップ結果画面を組み合わせて表示することができる。

前述した本発明は、プログラムが記録された媒体にコンピュータが判読可能なコードとして具現することが可能である。コンピュータの判読可能な媒体は、コンピュータシステムによって判読され得るデータが保存されるすべての種類の記録装置を含む。コンピュータが判読可能な媒体の例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）、ＳＤＤ（Ｓｉｌｉｃｏｎ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。また、前記コンピュータは、診断装置の制御部、肌管理サーバーの制御部または製造装置の制御部を含むこともできる。したがって、前記の詳細な説明はすべての面で制限的に解釈されてはならず、例示的であるものとして考慮されなければならない。本発明の範囲は添付された請求項の合理的解釈によって決定されなければならず、本発明の等価的範囲内でのすべての変更は本発明の範囲に含まれる。

１０ 移動端末機
１１ 無線通信部
１２ 入力部
１３ カメラ
１４ ディスプレイ部
１５ メモリ
１６ 電源供給部
１７ 制御部
１００ メイクアップサーバー
１１０ メイクアップデータベース管理部
１１１ メイクアップテーマ獲得部
１１２ メイクアップイメージ獲得部
１１３ スコアデータ生成部
１１４ メイクアップ評価データベース
１１５ メイクアップスコア学習部
１２０ メイクアップ評価部
１２１ 顔イメージ獲得部
１２２ メイクアップ分析部
１２３ メイクアップスコア出力部
１２４ 領域検出部
１３０ 制御部
１４０ 無線通信部
２００ アプリケーションサーバー

Claims (1)

1. メイクアップ評価システムにおいて、
   顔イメージを撮影し、前記撮影した顔イメージをメイクアップサーバーに伝送する移動端末機と、
   メイクアップスコアデータを保存しており、
   前記移動端末機から前記顔イメージを受信すると、前記顔イメージから少なくとも一つ以上の顔領域を検出し、前記メイクアップスコアデータに基づいて前記検出された顔領域別のメイクアップスコアを算出し、
   前記算出されたメイクアップスコアを前記移動端末機に伝送するメイクアップサーバーと
   を含み、
   前記メイクアップサーバーは
   前記移動端末機からメイクアップテーマを受信すると、前記メイクアップテーマに応じて前記メイクアップスコアを算出し、
   前記メイクアップスコアは
   前記検出された顔領域の形状及び前記メイクアップテーマに応じて異なるように算出される、
   メイクアップ評価システム。