JP2021108059A - 画像処理システム、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】顔の形状変化を評価しながら、ユーザが自身の顔の様子を確認することができる画像処理ステムを提供する。【解決手段】本発明の画像処理システムは、鏡面になるとともに、データを表示可能な表示部、および表示部の表示方向を撮像する撮像部を備えたミラー装置と、撮像部がユーザの顔を撮像した画像データを解析して評価する画像解析装置と、を備え、画像解析装置は、画像データから、ユーザの肌の色に基づいて、ユーザの肌の健康状態を評価する肌状態評価部と、画像データから、ユーザの骨格、筋肉、および脂肪の位置に基づいて、ユーザの顔のプロポーションの変化を評価する顔形状評価部と、を備える。【選択図】図１

Description

本発明は、画像処理システム、画像処理方法、および画像処理プログラムに関する。

従来、画像処理技術を用いて、ユーザに対して美容を促進するシステムが知られている。
例えば、特許文献１には、フェイシャルマッサージ等の顔面に対する美容施術の前後に撮影された画像を用いて、顔面の皮膚のひずみ分布を求め、このひずみ分布を評価指標として美容施術の効果を定量的に解析するシステムが開示されている。

特開２０１７−９５９８号公報

しかしながら前記従来のシステムでは、顔の形状変化の評価をしながら、ユーザが自身の顔を見て、その様子を確認することができなかった。

そこで本発明は、顔の形状変化を評価しながら、ユーザが自身の顔の様子を確認することができる画像処理システムを提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理システムは、鏡面になるとともに、データを表示可能な表示部、および表示部の表示方向を撮像する撮像部を備えたミラー装置と、撮像部がユーザの顔を撮像した画像データを解析して評価する画像解析装置と、を備え、画像解析装置は、画像データから、ユーザの肌の色に基づいて、ユーザの肌の健康状態を評価する肌状態評価部と、画像データから、ユーザの骨格、筋肉、および脂肪の位置に基づいて、ユーザの顔のプロポーションの変化を評価する顔形状評価部と、を備える。

表示部は、画像解析装置による解析結果を表示してもよい。

表示部は、撮像部がユーザの顔を撮像する際に、撮像部の前方に位置するユーザが、顔の位置を合わせるために、過去に撮像した当該ユーザの顔の画像データの輪郭を表示してもよい。

また、表示部は、データを表示する領域と、鏡面になる領域と、を調整可能であってもよい。

また、肌状態評価部は、ユーザの肌の色に基づいて、ユーザの肌において異常が生じている部分を異常部として検出し、異常部の数量を、過去の履歴とともに表示してもよい。

また、顔形状評価部は、ユーザの骨格、筋肉、および脂肪の位置に基づいて、ユーザの顔に画定した所定領域の面積を算出し、所定領域の面積を、過去の履歴とともに表示してもよい。

また、肌状態評価部および顔形状評価部が行った評価結果を記憶する記憶部と、記憶部に記憶されたユーザの肌の健康状態、およびユーザの顔の形状評価のうちの少なくとも一方を用いて、ユーザの顔の将来予測を行う将来予測部を備えてもよい。

また、肌状態評価部および顔形状評価部が行った評価結果と、評価結果に関連付けて、それぞれの顔の状態に適した顔のメンテナンス方法およびメンテナンス商品と、を記憶する記憶部と、を備え、表示部は、評価結果とともに、メンテナンス方法およびメンテナンス商品のうちの少なくとも一方を表示してもよい。

また、本発明の画像処理方法は、鏡面になるとともに、データを表示可能な表示部、および表示部の表示方向を撮像する撮像部を備えたミラー装置と、撮像部がユーザの顔を撮像した画像データを解析して評価する画像解析装置と、を用いて実行される画像処理方法であって、コンピュータが、画像データから、ユーザの肌の色に基づいて、ユーザの肌の健康状態を評価する肌状態評価ステップと、画像データから、ユーザの骨格、筋肉、および脂肪の位置に基づいて、ユーザの顔のプロポーションの変化を評価する顔形状評価ステップと、を実行する。

また、本発明の画像処理プログラムは、鏡面になるとともに、データを表示可能な表示部、および表示部の表示方向を撮像する撮像部を備えたミラー装置と、撮像部がユーザの顔を撮像した画像データを解析して評価する画像解析装置と、に用いられる画像処理プログラムであって、コンピュータに、画像データから、ユーザの肌の色に基づいて、ユーザの肌の健康状態を評価する肌状態評価機能と、画像データから、ユーザの骨格、筋肉、および脂肪の位置に基づいて、ユーザの顔のプロポーションの変化を評価する顔形状評価機能と、を実現させる。

本発明の画像処理システムでは、ミラー装置の撮像部がユーザの顔を撮像した画像データを用いて、肌色評価部が、ユーザの肌の色に基づいて、ユーザの肌の健康状態を評価する。これにより、顔の形状変化を評価しながら、ユーザが自身の顔の様子を確認することができる。

そして、顔形状評価部が、当該画像データから、ユーザの骨格、筋肉、および脂肪の位置に基づいて、ユーザの顔のプロポーションの変化を評価する。ここで、ユーザの骨格、筋肉、および脂肪の位置関係を基準に顔のプロポーションの変化を評価するため、顔の全体の変化を評価するような態様と比較して、変化の前後における良し悪しを容易に判断することができる。このため、顔の形態の変化を一意的に判断することができる。
このようにして、顔の形態の変化とともに、肌の異常についても定量的に評価することができる。

本発明の一実施形態に係る画像処理システムの構成例を示す模式図である。 図１に示すミラー装置を、ユーザが使用している状態を示す図である。 図１に示す画像処理システムの構成例を示すブロック図である。 画像処理システム全体の処理フローを説明する図である。 肌状態評価部により評価することができる評価項目を説明する図である。 肌状態評価部の構成例を示すブロック図である。 肌状態評価部によりシミを検出する際の評価基準となる評価テーブルの一例を示す図である。 （ａ）画像処理システムにおける処理結果の一例を示す図、（ｂ）図８（ａ）の一部拡大図である。 図１に示す携帯端末の構成例を示すブロック図である。 肌状態評価部における処理フローを示す図である。 画像処理システムにおける処理結果の他の例を示す図である。 肌状態評価部により毛穴を検出する際の評価基準となる評価テーブルの一例を示す図である。 肌状態評価部によりクマ、赤み、およびシミを検出する際の評価基準となる評価テーブルの一例を示す図である。 肌状態評価部によりキメ、小じわ、毛穴、およびしわを検出する際の評価基準となる評価テーブルの一例を示す図である。 図１に示す顔形状評価部の構成例を示すブロック図である。 図１３に示す頂点認識部によって認識する各頂点の一例を示す図であって、撮像データの（ａ）正面図、（ｂ）側面図である。 顔形状評価部における処理フローを示す図である。 頂点認識部が、頬上の頂点を認識する処理における模式図である。 表示処理部による表示内容の一例を示す図である。 表示処理部による表示内容の他の例を示す図である。 （ａ）マッサージステップで使用される美容器の外観図、（ｂ）断面図である。 マッサージ方法の第１例における第１ステップの各工程（ａ）〜（ｄ）を示す図である。 マッサージ方法の第１例における第２ステップの各工程（ａ）〜（ｄ）を示す図である。 マッサージ方法の第１例における第３ステップの各工程（ａ）〜（ｃ）を示す図である。 マッサージ方法の第１例における第４ステップの各工程（ａ）〜（ｄ）を示す図である。 マッサージ方法の第１例における第５ステップの各工程（ａ）〜（ｄ）を示す図である。 マッサージ方法の第１例における第６ステップの各工程（ａ）〜（ｃ）を示す図である。 マッサージ方法の第２例における第１ステップの各工程（ａ）〜（ｄ）を示す図である。 マッサージ方法の第２例における第２ステップの各工程（ａ）〜（ｄ）を示す図である。 マッサージ方法の第２例における第３ステップの各工程（ａ）〜（ｄ）を示す図である。 マッサージ方法の第３例における第１ステップの各工程（ａ）〜（ｂ）を示す図である。 マッサージ方法の第３例における第２ステップの各工程（ａ）〜（ｂ）を示す図である。 マッサージ方法の第３例における第３ステップの各工程（ａ）〜（ｂ）を示す図である。 マッサージ方法の第３例における第４ステップの各工程（ａ）〜（ｂ）を示す図である。 マッサージ方法の第４例における第１ステップの各工程（ａ）〜（ｂ）を示す図である。

（全体構成）
本発明の一実施形態に係る画像処理システム１００について、図面を参照しながら説明する。
図１は、本発明の一実施形態に係る画像処理システム１００の構成例を示す模式図である。図２は、図１に示すミラー装置２をユーザ５が使用している状態を示す図である。

図１に示すように、画像処理システム１００は、ユーザ５の美容促進に資するために、ユーザ５の顔を撮像した画像データに対して画像処理を行い、その結果をユーザ５に対して表示することにより、美容促進に関する助言を行うシステムである。
実際にユーザ５が使用する際には、図２に示すようにミラー装置２の前にユーザ５が着座し、ユーザ５の顔を、撮像部２１により撮像した画像データを用いて、後述する各種の解析が実施される。

図１に示すように、画像処理システム１００は、ネットワーク３を介して互いに接続されたミラー装置２、および画像解析装置１を備えている。図示の例では、複数のミラー装置２が設けられている。ミラー装置２には、店舗用端末２Ａと、個人用端末２Ｂと、がある。

店舗用端末２Ａは、ユーザ５に美容促進を指導する店舗で使用される端末であり、ユーザ５が当該店舗を訪れた際に、利用することができる。
個人用端末２Ｂは、主にユーザ５が自宅で使用することを想定された端末であり、ユーザが日々の生活において、例えば、身だしなみを整える際や就寝前等に利用することができる。
また、図示の例では、ネットワーク３に、ユーザ５の携帯端末４が接続されている。携帯端末４は、ネットワーク３に無線通信により接続されている。

例えば、本発明の画像処理システム１００は、エステサロン等の美容関連サービスを提供する店舗に設置された店舗用端末２Ａを用いて、ユーザ５の顔を撮像して評価した結果を表示する。
画像処理システム１００は、例えばユーザ５が自身の顔の肌の状態を改善するために、今後取り組むべき施策を提案するために用いてもよい。

また、画像処理システム１００は、ユーザ５の自宅に設けられた個人用端末２Ｂを用いて、ユーザ５の顔を日常的に撮像して評価した結果を示すこともできる。
すなわち、画像処理システム１００の使用に際しては、店舗のオペレータ６の操作のもとで行われてもよいし、ユーザ５自身の操作により行われてもよい。

図３は、画像処理システム１００の構成例を示すブロック図である。
図３に示すように、ミラー装置２は、表示部２０、撮像部２１、および通信部２２を備えている。表示部２０は、ミラー装置２の表面に設けられ、鏡面になるとともに、データを表示することができるディスプレイである。すなわち表示部２０は、画像解析装置１による後述する各種の解析結果を表示する。

表示部２０は、データを表示する領域と、鏡面になる領域と、を調整可能である。すなわち、例えば表示部２０の全面を鏡面にしてもよいし、表示部２０の全面にデータを表示してもよい。
また、表示部２０の鏡面上にデータを表示することもできるし、表示部２０の半分の領域を鏡面にして、残りの半分の領域にデータを表示してもよい。

撮像部２１は、表示部２０の前方を撮像する。撮像部２１は、前方にユーザ５が位置するときに、ユーザ５の顔を撮像して画像データを取得できる装置であれば、特に限定されない。撮像部２１としては、例えばＣＭＯＳやＣＣＤ等の撮像素子を有している。
通信部２２は、撮像部２１が撮像した画像データを、画像解析装置１の通信部２３に送信する。

表示部２０は撮像部２１がユーザ５の顔を撮像する際に、過去に撮像した当該ユーザ５の顔の画像データの輪郭を表示する。
すなわち、習慣的に撮像を行う場合において、撮像部２１に対して、ユーザ５の顔の位置が大きく変化しないことが好ましい。このため、撮像部２１の前方に位置するユーザ５が、自身の顔の位置を撮像部２１に対して合わせるために、表示部２０が、過去に撮像した当該ユーザ５の顔の画像データの輪郭を表示する。この際、表示面に撮像部２１に撮像されたユーザ５の顔の画像を表示し、ユーザ５が顔の位置を合わせた後に撮像部２１が画像データを取得する。

ミラー装置２が取得する画像データは、２Ｄデータであっても３Ｄデータであってもよい。本実施形態では撮像部２１が２Ｄデータとしての画像データを取得する構成について説明する。
なお、ミラー装置２は、例えば撮像部２１が間隔をあけて複数配置された３Ｄカメラであってもよいし、１つの撮像部２１と距離センサとを備えている構成であってもよい。

ミラー装置２の通信部２２は、図１に示すネットワーク３を介して、画像解析装置１の通信部２３と通信を行う。
ネットワーク３は、ミラー装置２、画像解析装置１、および携帯端末４の間を相互に接続させるためのネットワークであり、例えば、無線ネットワークや有線ネットワークである。

具体的には、ネットワーク３は、ワイヤレスＬＡＮ（ｗｉｒｅｌｅｓｓ ＬＡＮ：ＷＬＡＮ）や広域ネットワーク（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ：ＷＡＮ）、ＩＳＤＮｓ（ｉｎｔｅｇｒａｔｅｄ ｓｅｒｖｉｃｅ ｄｉｇｉｔａｌ ｎｅｔｗｏｒｋｓ）、無線ＬＡＮｓ、ＬＴＥ（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ−Ａｄｖａｎｃｅｄ、第４世代（４Ｇ）、第５世代（５Ｇ）、ＣＤＭＡ（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＷＣＤＭＡ（登録商標）、イーサネット（登録商標）などである。

また、ネットワーク３は、これらの例に限られず、例えば、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ：ＰＳＴＮ）やブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ブルートゥースローエナジー（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、光回線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）回線、衛星通信網などであってもよく、どのようなネットワークであってもよい。

また、ネットワーク３は、例えば、ＮＢ−ＩｏＴ（Ｎａｒｒｏｗ Ｂａｎｄ ＩｏＴ）や、ｅＭＴＣ（ｅｎｈａｎｃｅｄ Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）であってもよい。なお、ＮＢ−ＩｏＴやｅＭＴＣは、ＩｏＴ向けの無線通信方式であり、低コスト、低消費電力で長距離通信が可能なネットワークである。

また、ネットワーク３は、これらの組み合わせであってもよい。また、ネットワーク３は、これらの例を組み合わせた複数の異なるネットワークを含むものであってもよい。
例えば、ネットワーク３は、ＬＴＥによる無線ネットワークと、閉域網であるイントラネットなどの有線ネットワークと、を含むものであってもよい。

（画像解析装置）
図３に示すように、画像解析装置１は、肌状態評価部３０と、顔形状評価部５０と、通信部２３と、将来予測部６０と、評価結果提供部６１と、確認内容報告部６２と、記憶部６３と、ユーザ識別部６４と、を備えている。
画像解析装置１は、撮像部２１が撮像したユーザ５の顔の画像データを解析する。

肌状態評価部３０はユーザ５の肌の状態を評価する機能部である。肌状態評価部３０の構成の詳細については、図６を用いて後述する。
顔形状評価部５０は、ユーザ５の顔のプロモーションの変化を評価する機能部である。顔形状評価部５０の構成の詳細については、図１５を用いて後述する。

将来予測部６０は、肌状態評価部３０に記憶されたユーザ５の肌の健康状態、および顔形状評価部５０に記憶されたユーザ５の顔の形状評価のうちの少なくとも一方を用いて、ユーザ５の顔の将来予測を行う。将来予測部６０は、過去の履歴を参考にしながら、今後、継続して提案する施策を行った場合に、どのような効果が期待できるかといったユーザ５の顔の合成データを生成し、ミラー装置２の表示部２０に表示する。

評価結果提供部６１は、画像データから、ユーザ５の美容促進の程度を解析して、解析結果を個人用端末２Ｂに提供する。ここでいう解析結果とは、後述する肌状態評価部３０および顔形状評価部５０が行う各解析結果のことを指している。
ここで、美容促進の程度とは、肌の状態や顔のプロモーションのような美容項目について、現在の状態から、将来に向けて改善を目指す過程における進捗具合を指している。

確認内容報告部６２は、ユーザ５に提供した解析結果のうち、ユーザ５が個人用端末２Ｂを用いて確認した確認履歴に関する確認履歴情報を店舗用端末２Ａに報告する。確認履歴情報は、個人用端末２Ｂの利用状態の履歴であるデータログを入手することで、確認することができる。

確認内容報告部６２は、肌状態評価部３０および顔形状評価部５０が行った各解析結果について、ユーザ５が所定期間内に確認している回数を集計して、店舗用端末２Ａに報告する。なお、同じ内容について個人用端末２Ｂに報告してもよい。
また、確認内容報告部６２は、表示部２０が表示したメンテナンス方法およびメンテナンス商品のうちの少なくとも一方を、店舗用端末２Ａに報告する。メンテナンス方法およびメンテナンス商品の詳細については後述する。

記憶部６３は、ユーザ５が、店舗を訪れた際に店舗用端末２Ａを用いて確認した内容を、確認履歴情報と合わせて記憶する。すなわち、ユーザ５が確認した内容は、自宅で個人用端末２Ｂを用いて確認した内容と、店舗で店舗用端末２Ａを用いて確認した内容と、がそれぞれ集計されて記憶部６３に記憶されている。
記憶部６３はまた、ユーザ５それぞれの顔のデータと、ユーザ５のＩＤと、を記憶している。

ユーザ識別部６４は、使用するユーザ５を識別する。ユーザ識別部６４は、例えば表示部２０に表示されたタッチパネルのキーボードから、ユーザ５のＩＤの入力を受け付けてもよいし、例えば、撮像したユーザ５の顔の画像データを記憶部６３に参照することにより、ユーザ５を特定してもよい。

ここで、画像処理システム１００の全体の処理フローについて、図４を用いて説明する。図４は、画像処理システム１００の全体の処理フローを示す図である。
図４に示すように、ユーザがまず、ユーザ認証を行う（Ｓ１０：ユーザ認証ステップ）。ユーザ認証は、ユーザ５が表示部２０に表示されるタッチパネルのキーボードを用いて、ユーザＩＤを入力してもよいし、撮像部２１が撮像した顔の画像データから、ユーザ識別部６４が記憶部６３に記憶されたユーザ５の情報を参照することで行ってもよい。

次に、肌状態評価部３０が、ユーザ５の肌の状態を評価する（Ｓ１１：肌状態評価ステップ）。この内容については後述する。
次に、顔形状評価部５０が、ユーザ５の顔のプロモーションの変化を評価する（Ｓ１２：顔形状評価ステップ）。この内容については後述する。

次に、評価結果提供部６１が、個人用端末２Ｂに各解析結果を送信することにより、ユーザ５に評価結果を提供する（Ｓ１３：評価結果提供ステップ）。各解析結果の内容については後述する。
次に、確認内容報告部６２が、ユーザ５が確認した内容を、店舗用端末２Ａに送信することにより、店舗に報告する（Ｓ１４：確認内容報告ステップ）。これにより、ユーザ５が、美容に関するどのような項目に興味があるかを店舗スタッフが確認することができる。

（肌状態評価部）
次に、肌状態評価部３０の構成について詳述する。肌状態評価部３０は、画像データから、ユーザ５の肌の色に基づいて、ユーザ５の肌の健康状態を評価する。
肌状態評価部３０は、ユーザ５の肌の色に基づいて、ユーザ５の肌において異常が生じている部分を異常部として検出し、異常部の数量を、過去の履歴とともに表示する。異常部の数は、例えば肌の色としての色相に対して、予め設定した閾値を超える部分の数量をカウントすることで把握することができる。

図５は、肌状態評価部３０により評価することができる評価項目を説明する図である。図５では、肌状態評価部３０により、各異常項目に対して、撮像部２１により撮像された画像内で検出を行う顔の領域を示している。
図５に示すように、肌状態評価部３０は、肌の状態の異常を検出する機能を有している。肌状態評価部３０が検出できる肌の異常とは、小じわ、シワ、シミ、毛穴の拡大、肌荒れ（キメ）、赤み、クマがある。図５に示す各領域を肌状態評価部３０が設定し、この各領域を、検出したい各異常項目に応じた検出領域として、検出処理を行う。

次に、図６を用いて肌状態評価部３０の構成について詳述する。図６は肌状態評価部３０のブロック図である。なお、この説明では、肌状態評価部３０が有する複数の評価機能のうち、シミの評価について例に挙げて説明する。
図６に示すように、肌状態評価部３０は、装置側通信部３１、データ記憶部３２、データ処理部３３、および装置側表示部３４を備えている。肌状態評価部３０は、ユーザ５の顔を撮像した画像データから、ユーザ５の顔の肌の状態を解析する情報処理装置である。

装置側通信部３１は、ネットワーク３を介して、各種のデータを送受信する通信インターフェースである。各種のデータとして、画像データ、処理データ、改善データが含まれる。すなわち装置側通信部３１は、ミラー装置２の通信部２２から送信された画像データを受信する受信部として機能する。

ここで、画像データとは、ミラー装置２により、ユーザ５の顔を撮像したデータを指す。処理データとは、後述する評価結果表示部３３Ｃにより、画像データに対して、シミの位置を特定しマーキングを行ったデータを指す。
改善データとは、後述する改善データ生成部３３Ｆが、画像データに対して、色素異常部における色素沈着が改善された状態を想定し、色素異常部の色相を変化させてユーザ５に表示するデータを指す。

データ記憶部３２は、データ処理部３３が動作するうえで必要とする各種の制御プログラムや、装置側通信部３１が外部から受信した各種のデータを記憶する機能を有する。また、データ記憶部３２は、後述する肌色評価部３３Ａが、ユーザ５の肌の色を評価する際に用いる際の基準となる評価テーブルを有している。
データ記憶部３２は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリなど各種の記憶媒体により実現される。

データ記憶部３２に記憶された制御プログラムを実行することで、データ処理部３３が、画像処理システム１００として実現すべき各機能を実現する。ここでいう各機能とは、肌色評価機能、色素沈着特定機能、評価結果表示機能、深さ推定機能、施策提案機能、改善データ生成機能を含んでいる。
装置側表示部３４は、画像解析装置１の操作の内容や処理の結果を表示するモニタ装置である。

データ処理部３３は、画像解析装置１の各部を制御するコンピュータであり、例えば、中央処理装置（ＣＰＵ）やマイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡなどであってもよい。
なお、データ処理部３３は、これらの例に限られず、画像解析装置１の各部を制御するコンピュータであれば、どのようなものであってもよい。

そしてデータ処理部３３は、肌色評価部３３Ａ、肌異常特定部３３Ｂ、評価結果表示部３３Ｃ、深さ推定部３３Ｄ、施策提案部３３Ｅ、および改善データ生成部３３Ｆを備えている。
肌色評価部３３Ａは、シミの検出の際には、ユーザ５の肌を撮像した画像データを用いて、ユーザ５の肌の任意の箇所を、複数のステージに区分けする。

複数のステージとは、ユーザ５の肌の状態を分類するために予め設定された区分であって、例えばステージ１からステージ４で表され、ステージの数値が大きいほど、色素異常が発生している場所が皮膚の深い位置であり、色素異常の症状が重いことを意味する。なお、肌の色が異なる人種により、ステージ群を個別に準備してもよい。

肌色評価部３３Ａは、肌の色相の値（一例としてＲＧＢ値）により、ユーザ５の肌の色を、複数のステージに区分けする。この内容について図７を用いて詳述する。
図７は、シミを検出する際における肌色評価部３３Ａの評価基準となる評価テーブルの一例である。なお、色相の値としては、ＲＧＢ値に限られず、ＣＭＹＫ値やその他の指標値であってもよい。

図７に示す評価テーブルの一例では、色素異常部のうち、色素斑の種類に対して、色相とステージとの分類が記載されている。色相は例えばＲＧＢ値により表現することができる。すなわち、この図では、色相が色によって表現されているが、対応するＲＧＢ値のデータを備えていてもよい。

例えば、図７に示すように、老人性色素斑の場合には、色素異常部が頬骨の上に生じやすく、茶褐色から茶色の場合に、ステージ１と判断される。また、色素異常部が薄い茶褐色から薄い茶色の場合に、ステージ２と判断される。また、色素異常部が、淡い茶褐色から淡い茶色の場合に、ステージ３と判断される。

次に、炎症後色素沈着の場合には、顔全体に生じやすく、色素異常部が、茶褐色から茶色の場合に、ステージ１と判断される。また、色素異常部が、薄い茶褐色から薄い茶色の場合に、ステージ２と判断される。
また、淡い茶褐色から淡い茶色の場合に、ステージ３と判断される。また、青色からグレーの場合には、ステージ４と判断される。ここで、色素斑の種類の判断については、色素異常部の位置や外観から、オペレータ６が選択する。

なお、この評価テーブルはあくまで一例であり、シミを評価するための評価テーブルとして、別の評価テーブルを採用することもできる。
また、肌色評価部３３Ａは、肌の異常の種類（小じわ、シワ、シミ、毛穴の拡大、肌荒れ、赤み、クマのいずれか）により、参照する評価テーブルを変更する（図１３、図１４参照）。この点については後述する。

肌異常特定部３３Ｂは、肌色評価部３３Ａにより区分けされたステージに基づいて、ユーザ５の肌の任意の箇所に、色素沈着によるシミを含む色素異常部が生じている部分を特定する。ここで、色素沈着とは、黒色メラニンの表皮への蓄積により生じる肌の色素異常を指す。

ここで、肌にシミ（色素斑）のような色素異常部が生じるメカニズムについて説明すると、紫外線等の刺激を肌が受けることで、肌の内部組織であるメラノサイト（メラニン形成細胞）が黒色メラニンを生成する。この黒色メラニンは肌を守る役割を持っているが、健康な肌の場合には、時間の経過とともに体外に排出される。

一方、肌の新陳代謝のサイクルが乱れている場合や、黒色メラニンの生成量が多い場合には、黒色メラニンの一部が、体外に排出されずに、表皮に残留して蓄積される。このような色素の異常のうち、炎症や紫外線に起因するものを色素沈着もしくは色素斑（シミ）とよぶ。

評価結果表示部３３Ｃは、画像データに対して、肌色評価部３３Ａが区分けしたステージ毎に、その箇所の位置を表示する。また、評価結果表示部３３Ｃは、肌異常特定部３３Ｂが特定した色素異常部にマーキングを行う。これにより、画像データに対してシミの位置の表示とマーキングが付された処理データが生成される。マーキングは、色相がステージ１から４のうちのいずれかに該当する部分に、ステージ毎に設定された色のマークを付すことで行われる。
さらに、評価結果表示部３３Ｃは、同一のユーザ５に対して異なる時期に撮像した複数の画像データに対して、ステージ毎の位置表示およびマーキングを行い、並べて表示することもできる。

ここで、処理データの一例について図８を用いて説明する。図８（ａ）は、画像処理システム１００における処理結果の一例を示す図、図８（ｂ）は、図８（ａ）の一部拡大図である。図８（ａ）および図８（ｂ）に示すように、ユーザ５の顔の肌の任意の位置に対して、複数のシミの位置が特定されている。そして、それぞれの位置において、色素異常部がマーキングされて表現されている。このマーキングのなかには、視認して判別できないものも含まれている。
図８（ａ）および図８（ｂ）において、最も薄いマークＭ１がステージ１を示し、最も濃いマークＭ３がステージ３を示している。そして、中間の濃さのマークＭ２が、ステージ２を示している。この図では、ステージ４のマークは確認されていない。

深さ推定部３３Ｄは、肌異常特定部３３Ｂにより特定された色素異常部の色相の値により、ユーザ５の肌における色素異常部の肌表面からの深さを推定する。ここで、一般に、シミや色素斑の色相により、色素異常部が生じている位置の肌表面からの深さが異なることが知られている。

例えば、図７に示すシミ（色素斑）の評価テーブルでは、ステージ１に該当する色素異常部は表皮の上層に発生しており、ステージ２に該当する色素異常部は表皮の中層に発生していると判断される。また、ステージ３に該当する色素異常部は表皮の下層に発生しており、ステージ４に該当する色素異常部は表皮の下層から真皮層に発生していると判断される。
ここで、上側とは肌の内部のうち、表面を向く側を指し、下側とは肌の内部のうち、体内に向かう側を指す。このような色と深さとの判断基準は、任意に設定することができる。

施策提案部３３Ｅは、深さ推定部３３Ｄが推定した色素異常部の深さに基づいて、色素沈着の改善を促す施策を提案する。施策の内容としては、美容器７０の使用、導入美容液の使用、炭酸パックの使用、ＵＶケア等がある。これらは、色素異常部の深さによりどれが適切か判断される。また、深層に形成された色素異常部については、医療機関の診察を受けることを提案してもよい。

改善データ生成部３３Ｆは、画像データに対して、色素異常部における色素沈着が改善された状態を想定し、色素異常部の色相を変化させてユーザ５に表示する。すなわち、提案する施策を一定期間行った際に、どのような効果が得られるかを視覚的に表現する機能を有している。

改善データ生成部３３Ｆは、例えば過去の履歴データを用いて、同様の状態から一定期間、当該施策を行った場合に、色素異常部がどのように変化するかという値を推測する。この推測に基づいて、改善データ生成部３３Ｆは、画像データから改善データを生成する。

次に、図９を用いて、携帯端末４の構成について説明する。図９は、携帯端末４の構成例を示すブロック図である。
携帯端末４は、端末側通信部４１、端末記憶部４２、端末処理部４３、カメラ４４、および端末側表示部４５を備えている。

端末側通信部４１は、ネットワーク３を介して、各種のデータを送受信する通信インターフェースである。各種のデータとして、画像データ、比較結果を示すデータが含まれる。すなわち、端末側通信部４１は、各種の情報を画像解析装置１から受信する。

端末記憶部４２は、端末処理部４３が動作するうえで必要とする各種の制御プログラムや各種データを記憶する機能を有する。端末記憶部４２は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリなど各種の記憶媒体により実現される。
端末記憶部４２に記憶された制御プログラムを実行することで、端末処理部４３が、画像処理システム１００として実現すべき各機能のうちの少なくとも一部を実現してもよい。

端末処理部４３は、携帯端末４の各部を制御するコンピュータであり、例えば、中央処理装置（ＣＰＵ）やマイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡなどであってもよい。なお、端末処理部４３は、これらの例に限られず、携帯端末４の各部を制御するコンピュータであれば、どのようなものであってもよい。

端末処理部４３は、受付部４３Ａを備えている。受付部４３Ａは、画像解析装置１から送信されてきた画像データや比較結果を受付けて、端末側表示部４５に表示する。
カメラ４４は、ユーザ５の操作により、撮像を行うことができる。本実施形態に係るミラー装置２に代えて、携帯端末４のカメラ４４により、画像データを取得して、画像解析装置１に送信してもよい。
端末側表示部４５は、画像解析装置１により処理された比較結果を示す情報を表示するモニタ装置である。端末側表示部４５は、比較結果とともに、画像データを表示することができる。

次に、図１０を用いて、肌状態評価部３０による処理の内容について説明する。図１０は、画像解析装置１における処理フローを示す図である。
図１０に示すように、まず、ミラー装置２により撮像したユーザ５の顔の画像データを取得する（画像取得ステップ：Ｓ５０１）。
次に、肌色評価部３３Ａが、評価テーブルを参照しながら、ユーザ５の肌を複数のステージに区分けする（肌色評価ステップ：Ｓ５０２）。

次に、肌異常特定部３３Ｂが、ユーザ５の肌において、色素異常部が生じている部分を特定する（色素沈着特定ステップ：Ｓ５０３）。そして、評価結果表示部３３Ｃは、色素異常部にマーキングを行うことで、シミや色素斑を特定する（評価結果表示ステップ：Ｓ５０４）。

次に、深さ推定部３３Ｄが、色素異常部の肌表面からの深さを推定する（深さ推定ステップ：Ｓ５０５）。この際、深さ推定部３３Ｄは、予め記憶された色素異常部の色と、肌表面からの深さと、の対応データを参照する。

次に、施策提案部３３Ｅが、ユーザ５に色素沈着を改善する施策を提案する（施策提案ステップ：Ｓ５０６）。
最後に、改善データ生成部３３Ｆが、改善データを生成して表示する（改善データ生成ステップ：Ｓ５０７）。改善データ生成部３３Ｆは、画像データに対して、色素異常部における色素沈着が改善された状態を想定し、色素異常部の色相を変化させてユーザ５に表示する。これにより、ユーザ５は、施策を行った際にどのような効果が得られるかを視覚的に把握することができ、施策を継続して行うことの動機付けを得ることができる。

次に、処理結果の他の例について、図１１を用いて説明する。図１１は、画像処理システム１００における処理結果の他の例を示す図である。図１１に示すように、前述した図８よりもシミの数が多い場合であっても、複数のステージに区分けした状態で、色素異常部にマーキングが施されている。そして、確認された複数のシミについて、該当するステージ毎に、個数を評価することができる。また、シミの個数を集計し、理想値や平均値と比較することで、ユーザ５の現状を客観的に表示することができる。

ここで、図１２から図１４を用いて、シミ以外の肌異常を検出する際の手法について説明する。図１２は、肌状態評価部３０により毛穴を評価する際の評価基準となる評価テーブルの一例を示す図である。この評価テーブルには、発生メカニズム、肌の特徴、肌質（毛穴周囲の肌の質）、触診（触った感じ）、好発部位（よくできる部位）、原因、対策が毛穴の形により分類されている。
毛穴を検出する際には、肌色評価部３３Ａが検出した肌の色に関する情報から、肌異常特定部３３Ｂが毛穴の位置を特定する。

この際、毛穴の色の範囲を示す情報が、評価テーブルに予め記憶されており、この値を参照することで毛穴が検出される。また毛穴を検出する際には、肌異常特定部３３Ｂは、毛穴の形状を評価して、複数のタイプに分類する。
例えば、図１２に示すように乾燥毛穴、たるみ毛穴、詰まり毛穴、および形状記憶型毛穴の４つに分類することができる。そして、このように分類された毛穴に対して、どのような処置を行えば目立たなくすることができるかというメンテナンス情報が、図１２の右端に位置する対策欄に記載されている。施策提案部３３Ｅは、評価結果と合わせて、この対策内容を提示することで、ユーザ５が美容に供することができる。

図１３は、クマ、赤み、およびシミを検出する際の評価基準となる評価テーブルの一例を示す図である。
クマを検出する際には、肌色評価部３３Ａが検出した肌の色に関する情報から、肌異常特定部３３Ｂが、クマの位置を検出する。この際、クマの色の範囲を示す情報が、評価テーブルに予め記憶されており、この値を参照することでクマが検出される。

赤みを検出する際には、肌色評価部３３Ａが検出した肌全体の色のうち、赤色の色相が顕著に確認される部分を、肌異常特定部３３Ｂが赤みとして検出する。そして、赤みがある領域を確認し、頬周辺に赤みがある場合は、毛細血管拡張と判断し、顔全体に赤みがある場合は、乾燥によるものと判断し、局所的に強い赤みがある場合は、ニキビによるものと判断する。そして、それぞれの赤みに対して、取るべき対策が準備されている。

シミを検出する際には、前述したように、肌色評価部３３Ａが検出したシミの色により、シミをステージに分類する。シミは、その色により肌表面から位置する部分までの深さが異なることが知られているので、それぞれのシミに対して取るべき対策が異なってくる。
クマ、赤みおよびシミの場合にも、解決策として評価テーブルに記憶されているメンテナンス情報や施策情報を、施策提案部３３Ｅが、評価結果と合わせてユーザ５に提示する。

また、図１３および図１４に示すように、評価テーブルには、メンテナンス情報とともに、メンテナンスに推奨されるメンテナンス商品が示されている。この情報はデータ記憶部３２に記憶されている。そして、施策提案部３３Ｅは、メンテナンス情報とともに、メンテナンス商品を提示してもよいし、メンテナンス商品のみを提示してもよい。
すなわち、ミラー装置２の表示部２０は、評価結果とともに、メンテナンス方法およびメンテナンス商品のうちの少なくとも一方を表示することができる。

図１４は、キメ、小じわ、毛穴、しわを検出する際の評価基準となる評価テーブルの一例を示す図である。
キメ（肌荒れ）を評価する際には、肌色評価部３３Ａが、頬の肌を色の違いで微小な面積要素に細分化し、密集度を評価してスコアを付ける。このスコアが５０点以上である場合には、角質肥厚と判断し、３０点以上４９点以下である場合には、乾燥肌と判断する。２９点以下の場合には、異常なしと判断する。

小じわを評価する際には、肌色評価部３３Ａが、目の周囲に形成され、周囲と色相が異なるラインを検出する。すなわち、眼の周囲に形成されるしわのことを、この説明ではしわと呼んでいる。ラインが、１本以上、目の下側に水平方向に延びている場合には、このラインをたるみじわと判断する。また、ラインが、目の左右外側であって、目じりから下側のエリアに３本以上の場合には、このラインを小じわと判断する。
たるみじわは筋肉の低下が主な原因であり、小じわは表皮、真皮が薄くなっていることが主な原因と考えられる。毛穴の評価については、前述の通りであり、説明を省略する。

しわを評価する際には、肌色評価部３３Ａが、額と頬の周囲に形成され、周囲と色相が異なるラインを検出する。すなわち、額と頬の周囲に形成されるしわのことを、この説明では小じわと呼んでいる。そして額にラインがある場合は、表情しわと判断し、頬にラインがある場合には、大じわと判断する。表情しわは、日常の表情のくせや、頭皮と目元の筋力の低下が主な原因である。大じわは、頬、口元の筋力の低下が主な原因である。

このようにして、肌状態評価部３０Ａは、肌の異常の種類（小じわ、シワ、シミ、毛穴の拡大、肌荒れ、赤み、クマのいずれか）それぞれについて、肌に異常が生じている部分を検出することができる。

（顔形状評価部）
次に、図３に示す顔形状評価部５０の構成について図１５を用いて説明する。図１５は、顔形状評価部５０の構成を示すブロック図である。
顔形状評価部５０は、画像データから、ユーザ５の骨格、筋肉、および脂肪の位置に基づいて、ユーザ５の顔のプロポーションの変化を評価する。顔形状評価部５０は、ユーザ５の骨格、筋肉、および脂肪の位置に基づいて、ユーザ５の顔に画定した所定領域の面積を算出し、所定領域の面積を、過去の履歴とともに表示する。

顔形状評価部５０は、装置側通信部５１、データ記憶部５２、装置処理部５３、および装置側表示部５４を備えている。顔形状評価部５０は、ユーザ５の顔を撮像した撮像データからユーザ５の顔の状態を解析する情報処理装置である。

装置側通信部５１は、ネットワーク３を介して、各種のデータを送受信する通信インターフェースである。各種のデータとして、撮像データ、比較結果を示すデータが含まれる。すなわち装置側通信部５１は、撮像データを受信する受信部として機能する。

データ記憶部５２は、装置処理部５３が動作するうえで必要とする各種の制御プログラムや、装置側通信部５１が外部から受信した各種のデータを記憶する機能を有する。また、データ記憶部５２は、少なくとも一つ以上の基準面積データを記憶している。
データ記憶部５２は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリなど各種の記憶媒体により実現される。

データ記憶部５２に記憶された制御プログラムを実行することで、装置処理部５３が、画像処理システム１００として実現すべき各機能を実現する。ここでいう各機能とは、頂点認識機能、領域画定機能、面積算出機能、面積比較機能、および結果表示機能を含んでいる。
装置側表示部５４は、顔形状評価部５０の操作の内容や処理の結果を表示するモニタ装置である。

装置処理部５３は、顔形状評価部５０の各部を制御するコンピュータであり、例えば、中央処理装置（ＣＰＵ）やマイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡなどであってもよい。
なお、装置処理部５３は、これらの例に限られず、顔形状評価部５０の各部を制御するコンピュータであれば、どのようなものであってもよい。

そして装置処理部５３は、頂点認識部５３Ａ、領域画定部５３Ｂ、面積算出部５３Ｃ、面積比較部５３Ｄ、および表示処理部５３Ｅを備えている。
頂点認識部５３Ａは、ユーザ５の顔を撮像した撮像データから、２つの固定点Ｐｆおよび１つの可動点Ｐｍそれぞれの位置を認識する。

ここで固定点Ｐｆとは、顔の骨格に依存して特定される頂点である。固定点Ｐｆは、顔の骨格に依存して特定されるため、時間の経過による位置の変化はわずかである。
なお、ここでいう固定という意味は、位置がまったく変化しないという意味ではなく、後述する可動点Ｐｍと比較して、変化の量が極めて少ないという意味である。

一方、可動点Ｐｍとは、顔の筋肉および脂肪に依存して特定される頂点であり、例えば加齢とともに顔の筋肉が弱くなったり、顔に脂肪がついたりすることで、下側に向けて位置が変化する。
また可動点Ｐｍは、顔の筋肉に刺激を与えることで、顔の筋肉が強くなったり、顔の脂肪量が少なくなったりすることで、上側に向けて位置が変化する。このような可動点Ｐｍの位置の変化により顔のプロポーションが変化して、顔が相手に与える印象に大きく左右する。

ここで、本実施形態における頂点認識部５３Ａが認識する各頂点について、図１６を参照して説明する。
図１６は、頂点認識部５３Ａによって認識する各頂点を示す図であって、撮像データの（ａ）正面図、（ｂ）側面図である。なお、この内容はあくまで一例であり、頂点認識部５３Ａが認識する各頂点は、任意に変更することができる。すなわち、ユーザ５の骨格の構造や、筋肉の付き方等を考慮して、認識しやすい顔の頂点を、評価に用いることができる。

図１６に示すように、頂点認識部５３Ａは、１つの画定領域に対して、２つの固定点Ｐｆと１つの可動点Ｐｍを認識する。２つの固定点Ｐｆとして、深鼻点Ｐ１とこめかみの頂点Ｐ２とにより特定される各頂点を認識し、１つの可動点Ｐｍとして、頬上の頂点Ｐ３を認識する。なお、深鼻点Ｐ１は左右一対の画定領域で共有している。各頂点の具体的な特定手法については後述する。
本実施形態では、深鼻点Ｐ１およびこめかみの頂点Ｐ２それぞれの上下方向の位置は、互いに同等となっている。頬上の頂点Ｐ３は、深鼻点Ｐ１およびこめかみの頂点Ｐ２よりも下側に位置している。

また、頂点認識部５３Ａは、２つの固定点Ｐｆとして、鼻下点Ｐ４と耳下点Ｐ５とにより特定される各頂点を認識し、１つの可動点Ｐｍとして、頬下の頂点Ｐ６を認識する。なお、鼻下点Ｐ４は左右一対の画定領域で共有している。各頂点の具体的な判別手法については後述する。
本実施形態では、鼻下点Ｐ４および耳下点Ｐ５それぞれの上下方向の位置は、互いに同等となっている。頬下の頂点Ｐ６は、鼻下点Ｐ４および耳下点Ｐ５のよりも下側に位置している。

頂点認識部５３Ａにおける各頂点の認識手段としては、撮像データに対して設けられた空間座標に対する絶対座標を特定する方法であってもよいし、画定領域を画定する３つの各頂点のうちのいずれかを基準とした相対座標を特定する方法であってもよい。
本実施形態では、撮像データが３Ｄデータであるため、座標値も３次元的に表現されることとなる。

領域画定部５３Ｂは、頂点認識部５３Ａが位置を認識した各頂点同士を結んだ直線により、三角形状をなす画定領域を画定する。また、領域画定部５３Ｂは、顔の正中線Ｏ１を基準にして、左右一対の画定領域を画定する。
なお、領域画定部５３Ｂが画定する画定領域は、２次元的な領域でもよいし、３次元的な領域であってもよい。本実施形態では画定領域は、３次元的な領域となっている。

本実施形態では、領域画定部５３Ｂは、顔の上下方向に間隔をあけて、２種類の画定領域を画定する。ここで、上側に位置する画定領域を上側画定領域Ａ１とし、下側に位置する画定領域を下側画定領域Ａ２とする。
すなわち、領域画定部５３Ｂは、上側画定領域Ａ１および下側画定領域Ａ２それぞれを、左右一対画定することとなる。

なお、上側画定領域Ａ１および下側画定領域Ａ２が上下方向に間隔をあけるとは、顔全体を、上下方向の全域にわたって評価することにより、上側画定領域Ａ１および下側画定領域Ａ２による評価を顔全体に及ばせるという意図である。このため、上側画定領域Ａ１および下側画定領域Ａ２の一部同士が、互いに重なっていても問題はない。

面積算出部５３Ｃは、画定領域の面積を算出する。画定領域の面積の算出にあたっては、領域画定部５３Ｂが特定した各頂点の座標データを用いて、画定領域内の面積を算出する。
面積比較部５３Ｄは、面積算出部５３Ｃが算出した画定領域の面積と、画定領域と対応する領域の面積として既知の基準面積と、を比較する。

面積比較部５３Ｄは、例えば基準面積として、撮像データの撮像時から一定期間前、すなわち過去に撮像したユーザ５の撮像データから画定した画定領域の面積を用いることができる。
また、面積比較部５３Ｄは、基準面積として、ユーザ５が望む顔としての理想モデルにおける画定領域の面積を用いることができる。このように基準面積としては、現時点での画定領域の面積と比較できるものであれば、任意に設定することができる。

ここで、ユーザ５が望む顔としての理想モデルの作成方法の一例について説明する。
理想モデルは、過去の撮像データを用いて作成する。過去の撮像データに対して、理想となる画定領域を目視で指定した元データを１００個ほど準備する。この元データを用い、ディープラーニング（深層学習）処理を行うことで、理想モデルを作成することができる。

次に、各面積を比較する際の指針について、前回測定した際の面積を基準面積とした場合を例に挙げて説明する。本実施形態の上側画定領域Ａ１では、可動点Ｐｍである頬上の頂点Ｐ３が、固定点Ｐｆである深鼻点Ｐ１およびこめかみの頂点Ｐ２よりも下側に位置している。
また、下側画定領域Ａ２においても、可動点Ｐｍである頬下の頂点Ｐ６が、鼻下点Ｐ４および耳下点Ｐ５よりも下側に位置している。

このため、可動点Ｐｍである頬上の頂点Ｐ３、および頬下の頂点Ｐ６が下側に移動すると、上側画定領域Ａ１および下側画定領域Ａ２はそれぞれ、面積が大きくなることとなる。
一方、可動点Ｐｍである頬上の頂点Ｐ３、および頬下の頂点Ｐ６が上側に移動すると、上側画定領域Ａ１および下側画定領域Ａ２はそれぞれ、面積が小さくなることとなる。

すなわち本実施形態のように、可動点Ｐｍの位置を固定点Ｐｆの位置よりも下側に配置している構成では、画定領域の面積が、前回測定した際の面積である基準面積よりも小さくなっている場合には、可動点Ｐｍが上側に移動したこととなる。
すなわち、顔の筋肉が強くなったか、又は顔の脂肪が少なくなったことで、顔のプロポーションが改善したことを意味する。

一方、画定領域の面積が、前回測定した際の面積である基準面積よりも大きくなっている場合には、可動点Ｐｍが下側に移動したこととなる。
すなわち、顔の筋肉が弱くなったか、又は顔の脂肪が多くなったことで、顔のプロポーションが悪化したことを意味する。
このようにユーザ５は、画定領域の変化量を確認することで、定量的に顔のプロポーションが改善に向かっているのか悪化しているのかを把握することができる。

なお、本実施形態では、上側画定領域Ａ１および下側画定領域Ａ２のそれぞれについて、可動点Ｐｍの位置を固定点Ｐｆの位置よりも下側に配置している構成について説明したが、このような態様に限られない。可動点Ｐｍの位置は、固定点Ｐｆの位置よりも上側に位置してもよい。

この場合には、画定領域の面積と基準面積との比較結果が、前述した説明と反対となる。すなわち、画定領域の面積が基準面積よりも大きくなった場合に、顔のプロポーションが改善に向かっていることとなり、画定領域の面積が基準面積よりも小さくなった場合に、顔のプロポーションが悪化に向かっていることとなる。

また、ユーザ５が望む顔としての理想モデルにおける画定領域の面積を、基準面積とする場合には、基準面積にどの程度近づいたかを確認することで、顔のプロポーションが改善しているかどうかを把握することができる。

表示処理部５３Ｅは、面積比較部５３Ｄにより、画定領域の面積と、基準面積と、を比較した比較結果を装置側表示部５４、および携帯端末４の後述する端末側表示部４５に表示する。表示処理部５３Ｅが表示する表示内容の具体例については後述する。

次に、図１７から図１８を用いて、画像処理システム１００の制御フロー、および画像処理システム１００における処理の内容について説明する。
図１７は、画像処理システム１００における処理フローを示す図であり、図１８は、頂点認識部５３Ａが、頬上の頂点Ｐ３を認識する処理における模式図である。

図１７に示すように、本実施形態に係る美容促進方法では、まずミラー装置２の撮像部２１が取得したユーザ５の顔の画像データを受け付ける（Ｓ６０１：画像受付ステップ）。
画像受付ステップでは、ユーザ５の顔の表情による変化を抑えるために、例えば奥歯を軽く噛合わせる等をして、常に同じ表情とすることが望ましい。

次に、頂点認識部５３Ａが、撮像部２１から送信された撮像データを用いて各頂点を認識する（Ｓ６０２：頂点認識ステップ）。
頂点認識ステップでは、１つの画定領域を構成する３つの頂点として、２つの固定点Ｐｆおよび１つの可動点Ｐｍそれぞれの位置を認識する。ここで、各頂点の具体的な判別手法の一態様について説明する。なお、あくまでこの説明は一例であり、他の手法により各頂点を判別してもよい。

図１８に示すように、頂点認識部５３Ａは、撮像データを３次元的に評価して、各頂点を認識する。まず、上側画定領域Ａ１を構成する３つの頂点のうち、一方の固定点Ｐｆをなす深鼻点Ｐ１については、顔の鼻根部のうち、最も窪んだ部分を特定し、深鼻点Ｐ１として認識する。
次に、他方の固定点Ｐｆをなすこめかみの頂点Ｐ２については、顔のこめかみ部分のうち、最も窪んだ部分をこめかみの頂点Ｐ２として認識する。なお、こめかみの頂点Ｐ２は、正面視における顔の左右方向の外端部のうち、深鼻点Ｐ１と瞳の中心、または目頭とを結ぶ直線が通過する部分としてもよい。

さらに、３つの頂点のうち、可動点Ｐｍをなす頬上の頂点Ｐ３については、顔の頬の上部のうち、瞳の外側の垂直線上付近において最も隆起した部分を頬上の頂点Ｐ３として認識する。この際、図１８に示すように、撮像データに等高線を投影することで、最も隆起した部分を頬上の頂点Ｐ３として認識する場合もある。
この処理を左右両側で行うことで、左右一対の上側画定領域Ａ１を構成する各頂点が認識される。

次に、図１６に示すように、下側画定領域Ａ２を構成する３つの頂点のうち、一方の固定点Ｐｆをなす深鼻点Ｐ１については、顔の鼻下部のうち、最も窪んだ部分を鼻下点Ｐ４として認識する。
次に、他方の固定点Ｐｆをなす耳下点Ｐ５については、顔のうち、耳の下に位置する部分のうち、最も窪んだ部分を耳下点Ｐ５として認識する。

さらに、３つの頂点のうち、可動点Ｐｍをなす頬下の頂点Ｐ６については、顔の頬の下部のうち、瞳の外側の垂直線上付近における、口角の横の膨らみにおいて、最も隆起した部分を頬下の頂点Ｐ６として認識する。頬下の頂点Ｐ６を認識する際にも、撮像データに等高線を投影することで、最も隆起した部分を頬下の頂点Ｐ６として認識する場合もある。
この処理を左右両側で行うことで、左右一対の下側画定領域Ａ２を構成する各頂点が認識される。

なお、前述した各頂点の認識方法を採用せずに、例えば予め登録された複数の人の顔のデータにおける各頂点の位置と、撮像した撮像データと、を比較することで、それぞれの画定領域を構成する各頂点を識別するような画像処理を行ってもよい。
また、最新の撮像データを、過去の撮像データと重ね合わせることで、各頂点の位置を特定してもよい。また、オペレータ６が、各頂点として適切な箇所を撮像データ上で選択することで、各頂点の位置を特定してもよい。

次に、領域画定部５３Ｂが、頂点認識ステップにより特定された各頂点データを用いて、画定領域を画定する（Ｓ６０３：領域画定ステップ）。
領域画定ステップでは、各頂点同士を結んだ直線により、三角形状をなす画定領域を画定する。

次に、面積算出部５３Ｃが、領域画定ステップにより画定された画定領域の面積を算出する（Ｓ６０４：面積算出ステップ）。
面積算出ステップでは、画定領域の面積を、各頂点の座標データを用いて算出する。

次に、面積比較部５３Ｄが、面積算出ステップが算出した画定領域の面積を基準面積と比較する（Ｓ６０５：面積比較ステップ）。
面積比較ステップでは、画定領域の面積と、この画定領域と対応する領域の面積として既知の基準面積と、を比較する。この説明では、過去の測定結果で得られた画定領域の面積を、基準面積として設定している。

最後に、表示処理部５３Ｅが、比較結果を示す情報を出力する（Ｓ６０６：表示処理ステップ）を行う。
表示処理ステップでは、面積比較部５３Ｄにより比較された画定領域の面積と、基準面積と、の比較結果を、装置側表示部５４および端末側表示部４５に表示する。また、比較結果には、今回の結果に対する知見や、今後ユーザ５が取り組む施策（顔のマッサージ等）を提案する情報が含まれていてもよい。なお、端末側表示部４５には比較結果を表示しなくてもよい。
そして、このような比較を行うことにより、前述した第１実施形態と同様に、経年劣化および改善対策による顔のプロポーションの変化を定量的に評価して、美容促進に資することができる。

次に、図１９および図２０を用いて、顔形状評価部５０による評価の結果と、その効果について説明する。
図１９は、表示処理部５３Ｅによる表示内容の一例を示す図であり、（ａ）２か月前の撮像データ、（ｂ）評価時の撮像データである。また、図２０は、表示処理部５３Ｅによる表示内容の他の例を示す図であり、（ａ）２か月前の撮像データ、（ｂ）評価時の撮像データである。また、図１９および図２０においては、上下に同じ画像データを配置している。

図１９に示す比較結果の一例では、２か月前と比較して、上側画定領域Ａ１の面積が約２３％、下側画定領域Ａ２の面積が約５３％減少した。これにより、若々しいふっくら感がでており、見た目の印象が向上していることが認められる。

図２０に示す比較結果の他の例では、２か月前と比較して、上側画定領域Ａ１の面積が約２１．５％、下側画定領域Ａ２の面積が約２５％減少した。これにより、若々しいふっくら感がでて見た目の印象が向上していることが認められる。これにより、バランスが良く、たおやかな表情となっており、見た目の印象が向上していることが認められる。

次に、このような画像処理システム１００を用いて行われるマッサージ評価方法について説明する。このマッサージ評価方法では、ユーザ５の顔に所定のマッサージを施したうえで、画像処理システム１００を用いてマッサージの効果を評価する。これにより、マッサージがユーザ５に対して与える効果の有効性を確認する。

マッサージ評価方法は、マッサージステップと、画像処理ステップと、を実行することにより行われる。
マッサージステップでは、機能剤塗布ステップと、リンパ節刺激ステップと、筋膜刺激ステップと、を実行することにより行われる。この説明では、マッサージステップを顔に対して施す内容を説明するが、顔以外の部分にマッサージステップを実行してもよい。

機能剤塗布ステップでは、ユーザ５の顔の表面に機能剤を塗布する。機能剤とは、血行促進、脂肪融解の促進、又は筋膜弛緩の促進のうちの少なくともいずれかの機能を有する薬剤である。具体的には、グラウシン（血行促進剤）、オクラ種子エキス（脂肪融解の促進剤、筋膜弛緩の促進剤）、ナイアシンアミド（血行促進剤）、およびグレコンへスぺリジン（血行促進剤）のうちのいずれかの成分が機能剤に含まれていることが好ましい。なお。これらの成分に限定されず、前述した効果を奏する成分であれば、任意に採用することができる。

機能剤塗布工程では、顔のうち、特にユーザ５が引き締めたい部分、例えば頬、目の周り等に塗布する。そして、その後にリンパ節刺激ステップを実行する。
リンパ節マッサージを施すリンパ節刺激ステップでは、機能剤塗布ステップの後に、ユーザ５の顔のうち、リンパ節が位置する部分を物理的に刺激する。顔のリンパ節は、耳下に位置している。

リンパ節刺激ステップでは、図２１に示す美容器７０を用いてリンパ節への刺激が行われる。図２１（ａ）は、マッサージステップで使用される美容器７０の外観図である。図２１（ｂ）は、美容器７０の断面図である。
図２１に示すように、美容器７０は、付勢部材７３，７５により付勢されたピン状の押圧部７２、７４を備えている。この押圧部７２、７４をユーザ５の顔のうち、リンパ節が位置する部分の肌に押し付けて押圧することで、リンパ節が刺激される。ここで、美容器７０の構造について詳述する。

美容器７０は、美容器本体７１と、第１押圧部７２と、第１付勢部材７３と、第２押圧部７４と、第２付勢部材７５と、を備えている。
美容器本体７１は、軸方向の一方側から他方側に向けて、段階的に拡径する多段筒状に形成された筒状をなしている。

美容器本体７１は、軸方向の一方側に位置する小径筒部７１Ａと、小径筒部７１Ａと軸方向に連結された中間筒部７１Ｂと、軸方向の他方側に位置する大径筒部７１Ｃと、を備えている。
大径筒部７１Ｃの内周面のうち、中間筒部７１Ｂと軸方向に連なる部分には、径方向の内側に向けて張り出した張り出し部７１Ｄが形成されている。

第１押圧部７２は、美容器本体７１の一端部に設けられ、使用者の顔や身体を押圧するものであって、１つの第１ピンから構成されている。
第１付勢部材７３は、美容器本体７１における一端部の内部に収容され、第１押圧部７２を美容器本体７１の外側に向けて付勢している。第１付勢部材７３はコイルばねである。

第２押圧部７４は、美容器本体７１の他端部に設けられ、使用者の顔や身体を押圧するものであって、３つの第２ピン、および３つの第２ピンを一体に保持する保持部から構成されている。
第２付勢部材７５は、美容器本体７１における他端部の内部に収容され、保持部の端部に当接することで、第２押圧部７４を美容器本体７１の外側に向けて付勢している。第２付勢部材７５は、コイルばねである。

第１付勢部材７３は、中間筒部７１Ｂの内側に配置され、張り出し部７１Ｄに当接した状態で、第１ピンに当接している。
第２付勢部材７５は、大径筒部７１Ｃの内側に配置され、張り出し部７１Ｄに当接した状態で、保持部の端部に当接している。

そして、美容器７０を使用する際には、押圧部７２，７４のうちのいずれか一方を、ユーザ５の顔に押圧されることにより、ユーザ５の顔に刺激を与える。第１付勢部材７３および第２付勢部材７５それぞれの付勢力は互いに異なっており、どちらの押圧部７２，７４を用いるかは、ユーザ５が選択することができる。

そして、例えば第１押圧部７２を、ユーザ５の顔に押圧すると、第１付勢部材７３からの付勢力に抗して、第１押圧部７２が変位する。この際、コイルばねである第１付勢部材７３の長さが短くなり、変形量が大きくなることで、徐々に第１押圧部７２が、第１付勢部材７３から受ける付勢力が大きくなる。

これにより、第１押圧部７２が、ユーザ５の顔を押圧する力も徐々に強くなる。そして、第１付勢部材７３の変位域の限度に達するまで、顔に第１押圧部７２を押し付けてもよいし、痛みを感じる直前で第１押圧部７２をユーザ５の顔に押し付けるのをやめてもよい。この動作を繰り返して複数回行うことにより、ユーザ５の顔に刺激を与えることができる。
リンパ節刺激ステップでは、顔にあるリンパ節だけではなく、鎖骨付近になるリンパ節も刺激する。これにより、リンパ節でのリンパ液の滞留が解消される。

次に、筋膜マッサージを施す筋膜刺激ステップを行う。筋膜刺激ステップは、リンパ節刺激ステップで使用した美容器７０を用いて行う。筋膜刺激ステップでは、頭頂部や頬、首などを繰り返し美容器７０の押圧部７２，７４により押圧する。これにより、筋膜が筋肉に癒着しているのを剥がすことができる。
なお、リンパ節刺激ステップおよび筋膜刺激ステップは繰り返して行ってもよいし、先に筋膜刺激ステップを行った後に、リンパ節刺激ステップを行ってもよい。

次に、画像処理ステップを行う。画像処理ステップでは、前述した顔形状評価部５０による顔形状評価ステップと、顔形状評価部５０により評価したユーザ５の顔のプロポーションの変化を示す情報を出力する表示処理ステップと、を実行する。
表示処理ステップは、表示処理部５３Ｅが表示部２０に評価結果を表示する。これにより、リンパ節マッサージおよび筋膜マッサージの効果を確認する。

ここで、マッサージステップにおいて、リンパ節を刺激することの有用性について説明する。
筋肉と筋膜との癒着は、これらの間に介在する老廃物に起因して生じていることがある。この老廃物を除去するには、筋肉と筋膜との間を流れるリンパ液の流れを良くすることが有効である。そして、リンパ液を貯留するリンパ節を刺激することで、リンパ液の流れを良くすることができる。

このようにリンパ液の流れを良くしながら、筋膜を刺激することで、効果的に筋肉と筋膜との間に介在する老廃物を、リンパ液の流れにのせて除去することができる。これにより、筋膜の筋肉への癒着を効果的にはがすことができる。

次に、マッサージステップにおいて、押圧部７２，７４を備えた美容器７０を用いてリンパ節や筋膜を刺激することの有用性について説明する。例えば、従来のマッサージでは、ローラ部材を筋膜が位置する部分の肌表面で転がすことにより刺激を与えることが行われていた。

しかしながら、ローラ部材により肌表面を刺激する場合には、ローラの回転とともに押圧力が分散し、対象となる筋膜やリンパ節が位置する体の深部にまで刺激が届きにくいという傾向があった。このため、筋膜と筋肉との間に介在する老廃物を除去することが効果的に行えないという課題があった。

一方、ピン状の押圧部７２，７４により筋膜が位置する部分の外側を刺激する場合には、ピン状の押圧部７２，７４の先端からの押圧力が、押圧部７２、７４の先端と接触する部分に集中する。このため、筋膜やリンパ節が位置する体の深部まで、押圧力を届きやすくすることができる。

また、付勢部材７３，７５により、押圧部７２，７４の変位とともに押圧力が強くなることにより、押圧部７２，７４の変位の程度を調整することで、押圧力の調整をすることができる。更に、付勢部材７３，７５により概ね一定の力で押圧部７２，７４を付勢しているため、押圧部７２，７４により押圧力を概ね一定にしやすいという利点がある。

次に、マッサージ方法の具体的な手順の第１例について図２２から図２７を参照して説明する。
まず、図２２（ａ）に示すように、美容器７０を用いて、鎖骨付近の静脈角に刺激を与える。この際、美容器７０の押圧部７２，７４を静脈角に押し込むように押圧する。この状態を５秒程度キープするのが好ましい。
次に、図２２（ｂ）に示すように、美容器７０の押圧部７２，７４を、鎖骨下のリンパ節が位置する鎖骨中央部に当て、２０秒程、押圧部７２，７４を押し込む動作を繰り返す。（リンパ節刺激ステップ）押圧部７２，７４を押し込む動作は、１秒間に５回程度の速度で行うのが好ましい。

次に、図２２（ｃ）に示すように、美容器７０の押圧部７２，７４を、乳様突起下に当て、１０秒程、押圧部７２，７４を押し込む動作を繰り返す。押圧部７２，７４を押し込む動作は、１秒間に３〜５回程度の速度で行うのが好ましい。
次に、図２２（ｄ）に示すように、美容器７０の押圧部７２，７４を、後頭部に当て、１０秒程、押圧部７２，７４を押し込む動作を繰り返す。押圧部７２，７４を押し込む動作は、１秒間に３〜５回程度の速度で行うことが好ましい。なお、後頭部のうち、耳中央部と同じ高さで首筋の上に位置する部分を押圧するのが好ましい。

次に、図２３（ａ）に示すように、機能剤を片側の首筋全体に塗布する。機能剤は数ｃｃを延ばしながら塗布する。これにより、機能剤のムラを無くすことができる。
次に、図２３（ｂ）に示すように、耳の手前を上下に伸ばす。この動作は５回ほど行う。

次に、図２３（ｃ）に示すように、機能剤を片側のこめかみ周囲に塗布する。機能剤は数ｃｃを延ばしながら塗布する。
次に、図２３（ｄ）に示すように、こめかみに４指を当て、斜め上方向（側頭部）に指を引き上げることで、頭皮のストレッチを行う。この際、指を引き上げた状態で５秒程度キープするのが好ましい。

次に、側頭部の刺激を行う。図２４（ａ）に示すように、側頭部のうち、こめかみと同じ高さで、耳の上に位置する部分を特定する。そして、図２４（ｂ）に示すように、美容器７０の押圧部７２，７４を、こめかみに当て、１０秒程、押圧部７２，７４を押し込む動作を繰り返す。押圧部７２，７４を押し込む動作は、１秒間に３〜５回程度の速度で行うことが好ましい。
次に、図２４（ｃ）に示すように、こめかみの周辺に対して、同様に押圧部７２，７４を押し込む動作を繰り返す。この際、１秒間に３〜５回程度の速度で１０秒ほど行うことが好ましい。

次に、図２５（ａ）に示すように、側頭部の６箇所に刺激を与える。この動作は１箇所につき３０回程度行う。
次に、図２５（ｂ）に示すように、側頭部に４指を当て、円弧を描くようにほぐす。この動作は５回程度行う。

次に、図２５（ｃ）に示すように、前頭部の生え際中央からこめかみまで、５箇所に対して刺激を与える。この動作は１箇所に対して３０回程度行うのが好ましい。
次に、図２５（ｄ）に示すように、前頭部に４指をあて、円弧を描くようにほぐす。この動作は５回程度行う。

次に、図２６（ａ）に示すように、頭頂部から親指で圧を与えながら、耳の裏まで滑らせる。この動作を３つのラインに沿って３回ずつ行う。
次に、図２６（ｂ）に示すように、耳の裏側を矢印の方向に引っ張る。この動作は、各方向について５秒ずつ行う。

次に、図２６（ｃ）に示すように、甲乙部の８箇所に対して美容器７０を用いて刺激を与える。この動作を１箇所につき３０回ずつ行う。
次に、図２６（ｄ）に示すように、生え際に４指をあて、後頭部に向かって、手ぐしを３回ずつ入れる

次に、仕上げ作業として、図２７（ａ）に示すように、まず、耳の下に手首を添える。次に、図２７（ｂ）に示すように、手首を耳上の側頭部に移し、もう片側の手を頭に沿える。最後に、図２７（ｃ）に示すように、両手を使って上に引きあげる。これにより、一連のマッサージが全て終了する。

次に、マッサージ方法の具体的な手順の第２例について説明する。このマッサージは、主に頭の筋膜に対するマッサージである。頭の筋膜の癒着をはがすことにより、顔のシルエットに影響がでることが確認されている。
まず、図２８（ａ）に示すように、両手4指で耳上の頭皮をつかむ。次に、両手4指で耳上の側頭筋を動かすように、円を描く。この際、３つの円をそれぞれ３回ずつ描くようにする。

次に、図２８（ｂ）に示すように、頭頂部に位置する百会のツボに向けて、美容器７０の押圧部７２，７４で頭部を刺激する。
次に、図２８（ｃ）に示すように、両手4指で生え際の頭皮をつかむ。次に、両手4指で前頭筋を動かすように、円を描く。この際、３つの円をそれぞれ３回ずつ描くようにする。

次に、図２８（ｄ）に示すように、生え際を中央からこめかみまで美容器７０の押圧部７２，７４で刺激する。次に、生え際中央からこめかみまで、親指で圧を加えて交互に動かして引き上げる。
次に、図２９（ａ）に示すように、生え際から頭頂部に向けて、親指で圧を加えながら、耳の裏まで滑らせる。この際、３つのラインをそれぞれ３回描くようにする。

次に、図２９（ｂ）に示すように、生え際に４指を置き、後頭部に向けて手ぐしを３回入れる。
次に、図２９（ｃ）に示すように、耳の裏側を矢印の各方向に、それぞれ５回ずつ引っ張る。

次に、図２９（ｄ）に示すように乳様突起下部を、美容器７０の押圧部７２，７４により、左右１０回ずつ刺激する。

次に、図３０（ａ）に示すように、耳を人差し指と中指で挟み、上下に圧をかけながら、５回ずつ強くこする。
次に、図３０（ｂ）に示すように、後頭部全体を美容器７０の押圧部７２，７４により、刺激する。この際、３つのラインに沿って、それぞれ５回ずつ刺激する。

次に、図３０（ｃ）に示すように、首の付け根から胸鎖乳突筋を片側の親指と人差し指で挟み、後頭部の窪みまで滑らせて５秒間程度軽く圧をかける。
次に、図３０（ｄ）に示すように、首のストレッチとして、片側の手首を耳の上に、もう片側の手首を後頭部の風池とよばれるツボの周辺に置く。
そして、内側に圧をかけながら、上に５秒間程度引き上げる。これにより、第２例に係るマッサージの一連の作業が終了する。

次に、マッサージ方法の具体的な手順の第３例について、図３１から図３４を用いて説明する。このマッサージは、主に体の腹部に対するマッサージである。腹部に対するマッサージは、猫背や前肩による姿勢の悪さの改善を目的としている。
このマッサージにより、腹部周りの筋肉、筋膜の硬結、癒着を取り除くことができる。そして、肩こりの解消、猫背の解消、およびお腹を引き締めるといった効果が期待できる。

まず、図３１（ａ）に示すように、鎖骨中央部から烏口突起までの鎖骨下の３箇所を、美容器７０の第１押圧部７２を用いて押圧する。そして、機能剤を塗布し、その上から第２押圧部７４を用いて５回程度押圧する。
次に、図３１（ｂ）に示すように、烏口突起上と呼ばれる図示のポイントを、美容器７０の第１押圧部７２で３０秒程度、押圧する。

次に、図３２（ａ）に示すように、胸鎖関節の下部に位置する肋間軟骨上を、上胸部まで、第２押圧部７４を用いて４、５回程度押圧する。
次に、図３２（ｂ）に示すように、上腕部の硬結部に美容器７０の第１押圧部７２を用いて押圧する。その後、両方の肩に手を置き、肩を開くように圧をかける。

次に、図３３（ａ）に示すように、腕を上げた状態で、脇の内側を美容器７０の第１押圧部７２を用いて１分程度押圧する。
次に、図３３（ｂ）に示すように、みぞおちから指３本分外側に位置する部分を、美容器７０の第１押圧部７２で、１箇所につき１分程度ずつ、押圧する。

次に、図３４（ａ）に示すように、みぞおち横からへそ横までの脇腹を美容器７０の第１押圧部７２で、１か所につき1分程度ずつ押圧する。
次に、図３４（ｂ）に示すように、みぞおちから肋骨にそって美容器７０の第１押圧部７２で左右５か所ずつ、それぞれ１分程度、押圧する。その後に機能剤を塗布し、第２押圧部７４で押圧する。

次に、マッサージ方法の具体的な手順の第４例について、図３５を用いて説明する。このマッサージは、主に体の胸部に対するマッサージである。
胸部に対するマッサージは、猫背や前肩による姿勢の悪さの改善を目的としている。このマッサージにより、鎖骨周りの血流、リンパの流れを良くし、バストへの栄養を行き届きやすくする。

まず、鎖骨下中央部を美容器７０の第１押圧部７２で１分程度、押圧する。その後、図３５（ａ）に示すように、耳たぶの後ろのくぼみを、美容器７０の第１押圧部７２で、１分程度押圧する。
次に、図３５（ｂ）に示すように、乳様突起下部を、美容器７０の第１押圧部７２で、１分程度押圧する。その後、胸鎖乳突筋の位置する部分に機能剤を塗布する。
そしてこの後に、前述した図３０から図３２までのマッサージを前述の通り行う。

以上説明したように、本実施形態に係る画像処理システム１００によれば、ミラー装置２の撮像部２１がユーザ５の顔を撮像した画像データを用いて、肌状態評価部３０が、ユーザ５の肌の色に基づいて、ユーザ５の肌の健康状態を評価する。これにより、肌の異常を定量的に評価することができる。これにより、顔の形状変化を評価しながら、ユーザ５が自身の顔の様子を確認することができる。

そして、顔形状評価部５０が、当該画像データから、ユーザ５の骨格、筋肉、および脂肪の位置に基づいて、ユーザ５の顔のプロポーションの変化を評価する。ここで、ユーザ５の骨格、筋肉、および脂肪の位置関係を基準に顔のプロポーションの変化を評価するため、顔の全体の変化を評価するような態様と比較して、変化の前後における良し悪しを容易に判断することができる。このため、顔の形態の変化を一意的に判断することができる。
このようにして、顔の形態の変化とともに、肌の異常についても定量的に評価することができる。

また、ミラー装置２の表示部２０が、肌状態評価部３０および顔形状評価部５０の評価結果を表示するので、ユーザ５が、ミラー装置２を用いて身だしなみを整えるタイミングで、顔の肌の状態や、プロポーションの変化を確認することができ、ユーザ５の利便性を確保することができる。

また、将来予測部６０が、肌状態評価部３０に記憶されたユーザ５の肌の健康状態、および顔形状評価部５０に記憶されたユーザ５の顔の形状評価のうちの少なくとも一方を用いて、ユーザ５の顔の将来予測を行う。このため。ユーザ５に対して美容促進に対する動機づけを与えることができる。

また、肌状態評価部３０における肌色評価部３３Ａが、ユーザ５の肌を撮像した画像データを用いて、ユーザ５の肌の任意の箇所を、その色相の値により、予め設定された複数のステージに区分けする。そして、肌異常特定部３３Ｂが、肌色評価部３３Ａにより区分けされたステージに基づいて、ユーザ５の肌における色素異常部の位置を特定する。これにより、シミや色素斑のような色素沈着の程度を定量的に評価し、美容に供することができる。

また、評価結果表示部３３Ｃが、画像データに対して、肌色評価部３３Ａが区分けしたステージ毎に、その箇所の位置を表示するとともに、肌異常特定部３３Ｂが特定した色素異常部にマーキングを行う。これにより、ユーザ５が、評価結果を視覚的に把握することが可能になり、ユーザ５の利便性を確保することができる。

また、評価結果表示部３３Ｃが、同一のユーザ５に対して異なる時期に撮像した複数の画像データに対して、ステージ毎の位置表示およびマーキングを行い、並べて表示する。これにより、ユーザ５の肌の状態における経時的変化を、視覚的に把握させることができる。

また、深さ推定部３３Ｄが、色素異常部の色相の値により、ユーザ５の肌における色素異常部の肌表面からの深さを推定するので、色素異常部の改善に向けた施策を検討するうえでの判断材料を提供することができる。

また、施策提案部３３Ｅが、色素異常部の深さに基づいて、色素沈着の改善を促す施策を提案するので、色素異常部の状態に応じて、適切な施策を提案することができる。

また、改善データ生成部３３Ｆが、画像データに対して、色素異常部における色素沈着が改善された状態を想定し、色素異常部の色相を変化させてユーザ５に表示するので、ユーザ５に提案する施策により期待できる効果を視覚的に伝えることで、ユーザ５に対して、施策を継続して行うための動機づけを行うことができる。

また、本実施形態に係る画像処理システム１００によれば、頂点認識部５３Ａが、ユーザ５の顔を撮像した撮像データから、顔の骨格に依存して特定される２つの固定点Ｐｆ、および顔の筋肉および脂肪に依存して特定される１つの可動点Ｐｍそれぞれの位置を認識する。

次に、領域画定部５３Ｂが、特定された各頂点を結んだ直線により、三角形状をなす画定領域を画定し、面積算出部５３Ｃが画定領域の面積を算出する。そして、面積比較部５３Ｄが、画定領域の面積と基準面積とを比較する。これにより、経年劣化および改善対策による顔のプロポーションの変化を定量的に評価して、美容促進に資することができる。

またこの際、２つの固定点Ｐｆと、１つの可動点Ｐｍにより画定領域が画定されるので、例えば、２つ又は３つの可動点Ｐｍにより画定領域が画定される構成と比較して、認識が難しい可動点Ｐｍの位置の特定のばらつきを抑制し、正確な評価を行うことができる。

そして、画定領域の面積を評価することで、例えば可動点Ｐｍの位置を固定点Ｐｆからの距離で評価する場合よりも、扱う数値を大きくして、変化量を大きくすることができる。
これにより、仮に顔のプロポーションの変化が、一定期間の経過前後において、撮像データで確認してもわかりにくいような違いしか無いような場合であっても、ユーザ５が、顔の変化の程度を認識しやすくなり、美容促進に対する動機づけを得ることができる。

また、既存の顔のプロポーション分析では、骨格に依存したものがほとんど（いわゆる顔の黄金比率など）で、先天的な要因でどうにもできず、整形外科以外の美容への意欲を高めることは難しかった。一方、画像処理システム１００では、骨格のみに依存せず、セルフケアによって改善の見込みがある、経年劣化による筋肉や脂肪の変化を評価するものであるため、ユーザ５の美容への意欲を高めることができる。

また、画像処理システム１００は、画定領域の面積と基準面積とを比較した比較結果を示す情報を出力する表示処理部５３Ｅを備えているので、定量的に評価した結果を、例えばユーザ５の携帯端末４に表示することで、評価結果を容易に確認することができる。

また、領域画定部５３Ｂが、顔の正中線Ｏ１を基準にして、左右一対の画定領域を画定するので、左右に均整のとれた顔のプロポーションの実現に向けた美容促進を行うことができる。

また、領域画定部５３Ｂが、深鼻点Ｐ１とこめかみの頂点Ｐ２とにより特定される２つの固定点Ｐｆ、および頬上の頂点Ｐ３により特定される１つの可動点Ｐｍにより、画定領域を画定する。
このため、顔の頬の上部周辺のプロポーションを定量的に評価して、例えば加齢とともに気になりやすい頬上部のたるみ（例えば、ほうれい線と頬骨との間に形成されるゴルゴライン等）の変化を確認することができる。

また、頂点認識部５３Ａが撮像データを３次元的に評価して、深鼻点Ｐ１、こめかみの頂点Ｐ２、および頬上の頂点Ｐ３を認識する。このため、ユーザ５の顔の造形によらず、各頂点を容易に認識することができる。

また、領域画定部５３Ｂが、顔の上下方向に間隔をあけて、２種類の画定領域を画定するので、顔の上側と下側とをそれぞれ評価することで、顔全体のプロポーションを定量的に評価することができ、より一層効果的に、美容促進を行うことができる。

また、領域画定部５３Ｂが、鼻下点Ｐ４と耳下点Ｐ５とにより特定される２つの固定点Ｐｆ、および頬下の頂点Ｐ６により特定される１つの可動点Ｐｍにより、画定領域を画定するので、顔の頬の下部周辺のプロポーションを定量的に評価して、例えば加齢とともに気になりやすい頬の下部のたるみの変化を確認することができる。

また、頂点認識部５３Ａが、撮像データを３次元的に評価して、鼻下点Ｐ４、耳下点Ｐ５、および頬下の頂点Ｐ６を認識するので、ユーザ５の顔の造形によらず、各頂点を容易に認識することができる。

また、面積比較部５３Ｄが、基準面積として、前記撮像データの撮像時から一定期間前の時点でのユーザ５における画定領域の面積を用いる場合には、顔のプロポーションの時間の経過とともに変化する様子を定量的に評価することができる。これにより、美容効果を正確に把握することができる。

また、面積比較部５３Ｄが、基準面積として、ユーザ５が望む顔としての理想モデルにおける画定領域の面積を用いる場合には、目標に対してどの程度近づいたのかを定量的に確認することができる。これにより、ユーザ５の美容に対するモチベーションを維持して、効果的な美容促進を行うことができる。

また、画像処理システム１００は、顔形状評価部５０を備えているので、容易にユーザ５の顔の撮像データを取得して、顔形状評価部５０により撮像データを評価することができる。

そして、装置側表示部５４が、表示面に向かい合うユーザ５の顔を撮像した撮像データを、表示面に表示可能する機能を有する。このため、ミラー装置２の撮像部２１が撮像したユーザ５の顔の撮像データや、撮像データを用いて装置処理部５３が行ったプロポーションの変化の評価結果を、鏡を見るようにしてユーザ５が確認することができる。

また、本発明に係るマッサージ評価方法では、機能剤塗布ステップを実行することにより、機能剤に含まれる成分がユーザ５の顔に塗布されることで、血行促進効果、脂肪融解効果、および筋膜弛緩効果のうちの少なくともいずれかの効果を奏することができる。これにより、マッサージの効果を促進することができる。

また、リンパ節刺激ステップおよび筋膜刺激ステップにおいて、リンパ節と筋膜とを刺激するので、リンパ節に刺激を与えて、リンパ液の流れを促進し、筋肉と筋膜との間に介在する老廃物の代謝を促し、筋膜と筋肉との付着を効果的に解消することができる。

そして、このようにマッサージを行った後に、画像処理システム１００を用いて画像処理ステップを行い、ユーザ５の顔を撮像した画像データから、ユーザ５の顔のプロポーションの変化を評価することにより、マッサージの効果を確実に評価することができる。

また、マッサージ評価方法におけるリンパ節刺激ステップでは、付勢部材７３，７５により付勢されたピン状の押圧部７２，７４を備えた美容器７０を用いてリンパ節を刺激するので、リンパ節が体の深部に位置する場合であっても、確実にリンパ節に刺激を与えて、リンパ液の流れを促進することができる。
これにより、筋肉と筋膜との間に介在する老廃物の代謝を促し、筋膜と筋肉との付着を効果的に解消することができる。

また、機能剤にグラウシンの成分が含まれる場合には、血行促進効果を奏することができる。機能剤にオクラ種子エキスの成分が含まれる場合には、血行促進効果を奏することができる。

また、機能剤にナイアシンアミドの成分が含まれる場合には、脂肪融解の促進効果を奏することができる。
また、機能剤にグレコンへスぺリジンの成分が含まれる場合には、筋膜弛緩効果を奏することができる。

また、マッサージ評価方法における筋膜刺激ステップでは、付勢部材７３，７５により付勢されたピン状の押圧部７２，７４を備えた美容器７０を用いて、押圧部７２，７４により、ユーザ５の顔のうち、筋膜が位置する部分を押圧する。このため、例えばローラ部材を転がして、肌の表面を刺激するような構成と比較して、肌の深部に位置する筋膜に確実に刺激を与えることができる。

また、ピン状の押圧部７２，７４が付勢部材としてのコイルばねにより付勢されている場合には、押圧部７２，７４が変位する際の力を常に一定にすることができ、押圧部７２，７４による押圧力を一定にすることができる。

また、評価結果提供部６１が、解析結果を個人用端末２Ｂに提供し、確認内容報告部６２が、ユーザ５に提供した解析結果の確認履歴情報を店舗用端末２Ａに報告する。また、記憶部６３には、ユーザ５が、店舗を訪れた際に店舗用端末２Ａを用いて確認した内容が、確認履歴情報と合わせて記憶されている。
このため、ユーザ５が自身の画像に対して行った解析のうち、どのような内容に興味があるのかを、店舗スタッフが確認することが可能になり、ユーザ５が興味のある内容に関するアドバイスをすることにより、美容促進を効率的に行うことができる。

また、画像解析装置１が、肌状態評価部３０と、顔形状評価部５０と、ユーザ識別部６４と、を備えているので、使用するユーザ５毎に、肌の状態と顔のプロモーションの変化を評価することが可能になり、複数のユーザ５が、１台のミラー装置２を使用することができる。

また、記憶部６３が、ユーザ５それぞれの顔のデータと、ユーザ５のＩＤと、を記憶し、ユーザ識別部６４が、撮像した利用者の顔の画像データを記憶部６３に参照することにより、ユーザ５を特定する。
これにより、ユーザ５が、自身の顔を撮像させるだけで、ユーザ認証を行うことが可能になり、例えば、ユーザ５自身が、自らのＩＤを入力するような操作を省略することが可能になり、ユーザ５の利便性を確保することができる。

また、確認内容報告部６２が、肌状態評価部３０および顔形状評価部５０が行った各解析結果について、ユーザ５が所定期間内に確認している回数を集計して、店舗用端末２Ａに報告する。
このため、複数のユーザ５の確認履歴情報により、ユーザ５全体が、どのような美容項目に興味があるかを統計的に把握することが可能になる。これにより、店舗側の美容促進に関する指導に役立てることができる。

また、確認内容報告部６２が、表示部２０が表示したメンテナンス方法およびメンテナンス商品のうちの少なくとも一方を、店舗用端末２Ａに報告する。
このため、ユーザ５が興味のあるメンテナンス方法やメンテナンス商品を店舗スタッフが把握することが可能になり、店舗が展開する営業活動に資することができる。

なお、画像処理システム１００は、上記実施形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。以下、各種変形例について説明する。
例えば、上記実施形態の制御プログラムは、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよい。記憶媒体は、「一時的でない有形の媒体」に、制御プログラムを記憶可能である。記憶媒体は、ＨＤＤやＳＤＤなどの任意の適切な記憶媒体、またはこれらの２つ以上の適切な組合せを含むことができる。記憶媒体は、揮発性、不揮発性、または揮発性と不揮発性の組合せでよい。なお、記憶媒体はこれらの例に限られず、制御プログラムを記憶可能であれば、どのようなデバイスまたは媒体であってもよい。

また、画像処理システム１００は、例えば、記憶媒体に記憶された制御プログラムを読み出し、読み出した制御プログラムを実行することによって、実施形態に示す各機能を実現することができる。
また、当該制御プログラムは、任意の伝送媒体（通信ネットワークや放送波等）を介して、画像処理システム１００に提供されてもよい。画像処理システム１００は、例えば、インターネット等を介してダウンロードした制御プログラムを実行することにより、各実施形態に示す複数の機能部の機能を実現する。

また、当該制御プログラムは、例えば、ＡｃｔｉｏｎＳｃｒｉｐｔ、ＪａｖａＳｃｒｉｐｔ(登録商標)などのスクリプト言語、Ｏｂｊｅｃｔｉｖｅ―Ｃ、Ｊａｖａ(登録商標)などのオブジェクト指向プログラミング言語、ＨＴＭＬ５などのマークアップ言語などを用いて実装してもよい。

画像処理システム１００における処理の少なくとも一部は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。また、画像処理システム１００の各機能部は、上記実施形態に示した機能を実現する１または複数の回路によって実現されてもよく、１の回路により複数の機能部の機能が実現されることとしてもよい。

また、上記実施形態では、画像解析装置１と携帯端末４とを別の装置とした例について説明したが、このような態様に限られない。画像解析装置１の一部又は全ての機能を、携帯端末４が備えていてもよい。

また、本開示の実施形態を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、各実施形態に示す構成を適宜組み合わせることとしてもよい。

１ 画像解析装置
２ ミラー装置
３０ 肌状態評価部
５０ 顔形状評価部
７０ 美容器
１００ 画像処理システム

Claims (10)

1. 鏡面になるとともに、データを表示可能な表示部、および前記表示部の表示方向を撮像する撮像部を備えたミラー装置と、
   前記撮像部がユーザの顔を撮像した画像データを解析して評価する画像解析装置と、を備え、
   前記画像解析装置は、
   前記画像データから、ユーザの肌の色に基づいて、ユーザの肌の健康状態を評価する肌状態評価部と、
   前記画像データから、ユーザの骨格、筋肉、および脂肪の位置に基づいて、ユーザの顔のプロポーションの変化を評価する顔形状評価部と、を備える画像処理システム。
2. 前記表示部は、前記画像解析装置による解析結果を表示する請求項１に記載の画像処理システム。
3. 前記表示部は、前記撮像部がユーザの顔を撮像する際に、前記撮像部の前方に位置するユーザが、顔の位置を合わせるために、過去に撮像した当該ユーザの顔の画像データの輪郭を表示することを特徴とする請求項１又は２に記載の画像処理システム。
4. 前記表示部は、データを表示する領域と、鏡面になる領域と、を調整可能であることを特徴とする請求項１から３のいずれか１項に記載の画像処理システム。
5. 前記肌状態評価部は、ユーザの肌の色に基づいて、ユーザの肌において異常が生じている部分を異常部として検出し、前記異常部の数量を、過去の履歴とともに表示することを特徴とする請求項１から４のいずれか１項に記載の画像処理システム。
6. 前記顔形状評価部は、ユーザの骨格、筋肉、および脂肪の位置に基づいて、ユーザの顔に画定した所定領域の面積を算出し、前記所定領域の面積を、過去の履歴とともに表示することを特徴とする請求項１から５のいずれか１項に記載の画像処理システム。
7. 前記肌状態評価部および前記顔形状評価部が行った評価結果を記憶する記憶部と、
   前記記憶部に記憶されたユーザの肌の健康状態、およびユーザの顔の形状評価のうちの少なくとも一方を用いて、ユーザの顔の将来予測を行う将来予測部を備えていることを特徴とする請求項１から６のいずれか１項に記載の画像処理システム。
8. 前記肌状態評価部および前記顔形状評価部が行った評価結果と、前記評価結果に関連付けて、それぞれの顔の状態に適した顔のメンテナンス方法およびメンテナンス商品と、を記憶する記憶部と、を備え、
   前記表示部は、前記評価結果とともに、前記メンテナンス方法および前記メンテナンス商品のうちの少なくとも一方を表示することを特徴とする請求項１から７のいずれか１項に記載の画像処理システム。
9. 鏡面になるとともに、データを表示可能な表示部、および前記表示部の表示方向を撮像する撮像部を備えたミラー装置と、
   前記撮像部がユーザの顔を撮像した画像データを解析して評価する画像解析装置と、を用いて実行される画像処理方法であって、
   コンピュータが、
   前記画像データから、ユーザの肌の色に基づいて、ユーザの肌の健康状態を評価する肌状態評価ステップと、
   前記画像データから、ユーザの骨格、筋肉、および脂肪の位置に基づいて、ユーザの顔のプロポーションの変化を評価する顔形状評価ステップと、を実行する画像処理方法。
10. 鏡面になるとともに、データを表示可能な表示部、および前記表示部の表示方向を撮像する撮像部を備えたミラー装置と、
    前記撮像部がユーザの顔を撮像した画像データを解析して評価する画像解析装置と、に用いられる画像処理プログラムであって、
    コンピュータに、
    前記画像データから、ユーザの肌の色に基づいて、ユーザの肌の健康状態を評価する肌状態評価機能と、
    前記画像データから、ユーザの骨格、筋肉、および脂肪の位置に基づいて、ユーザの顔のプロポーションの変化を評価する顔形状評価機能と、を実現させる画像処理プログラム。

Images