JP2023053734A - 顔タイプ診断装置、顔タイプ診断方法及びプログラム - Google Patents

Abstract

【課題】顔タイプの診断精度を向上させることができる顔タイプ診断装置、顔タイプ診断方法及びプログラムを提供する。【解決手段】顔タイプ診断装置は、ユーザの第１の表情を撮像した第１の画像と、前記ユーザの第２の表情を撮像した第２の画像とを取得する画像取得部と、前記第１の画像における前記ユーザの顔パーツの第１の特徴量と、前記第２の画像における前記ユーザの顔パーツの第２の特徴量とを抽出する特徴量抽出部と、前記第１の特徴量と前記第２の特徴量とに基づいて前記ユーザの顔タイプを判定する顔タイプ判定部と、を有する。【選択図】図６

Description

本開示は、顔タイプ診断装置、顔タイプ診断方法及びプログラムに関する。

特許文献１には、顔特徴点を使用して顔タイプを診断する装置が開示されている。特許文献１に開示されている装置は、被験者の顔画像データから目、顔輪郭、額、顎等の特徴点の位置データを取得し、位置データに基づいて被験者の顔タイプを予め設定されている顔タイプに分類する。

特許第５４８４１０１号公報

しかしながら、特許文献１に開示されている従来技術では、ユーザの特定の表情から得られる特徴点に基づき顔形を診断しているため、総合的な顔の印象と診断結果との間に乖離が生じる。例えば、顔の表情が変化した場合も顔の印象は変化し得るが、従来技術ではこの変化を診断結果に反映することができず、ユーザの総合的な顔の印象に即した顔タイプを正確に診断できないという課題がある。

本開示の非限定的な実施例は、顔タイプの診断精度を向上させることができる顔タイプ診断装置、顔タイプ診断方法及びプログラムの提供に資する。

本開示の一実施例に係る顔タイプ診断装置は、ユーザの第１の表情を撮像した第１の画像と、前記ユーザの第２の表情を撮像した第２の画像とを取得する画像取得部と、前記第１の画像における前記ユーザの顔パーツの第１の特徴量と、前記第２の画像における前記ユーザの顔パーツの第２の特徴量とを抽出する特徴量抽出部と、前記第１の特徴量と前記第２の特徴量とに基づいて前記ユーザの顔タイプを判定する顔タイプ判定部と、を有する。

本開示の一実施例に係る顔タイプ診断方法は、ユーザの第１の表情を撮像した第１の画像と、前記ユーザの第２の表情を撮像した第２の画像とを取得することと、前記第１の画像における前記ユーザの顔パーツの第１の特徴量と、前記第２の画像における前記ユーザの顔パーツの第２の特徴量とを抽出することと、前記第１の特徴量と前記第２の特徴量とに基づいて前記ユーザの顔タイプを判定することと、を含む、コンピュータによって実行される。

本開示の一実施例に係るプログラムは、ユーザの第１の表情を撮像した第１の画像と、前記ユーザの第２の表情を撮像した第２の画像とを取得することと、前記第１の画像における前記ユーザの顔パーツの第１の特徴量と、前記第２の画像における前記ユーザの顔パーツの第２の特徴量とを抽出することと、前記第１の特徴量と前記第２の特徴量とに基づいて前記ユーザの顔タイプを判定することと、をコンピュータに実行させる。

本開示の一実施例によれば、顔タイプの診断精度を向上させることができる顔タイプ診断装置、顔タイプ診断方法及びプログラムを提供できる。

本開示の実施の形態に係る顔タイプ診断装置１００の概略図 顔タイプの一例を示す図 顔タイプが子供顔であるか大人顔であるかを判定する基準の一例を示す図 曲線的な印象を与える顔であるか直線的な印象を与える顔であるかを判定する基準の一例を示す図 顔タイプの判定に用いる特徴点の一例を示す図 顔タイプの判定に用いる特徴点の一例を示す図 顔タイプの判定に用いる特徴点の一例を示す図 顔タイプの判定に用いる特徴点の一例を示す図 顔タイプの判定に用いる特徴点の一例を示す図 本開示の実施の形態に係る顔タイプ診断装置１００のハードウェア構成を示すブロック図 本開示の実施の形態に係る顔タイプ診断装置１００の機能構成を示すブロック図 一定期間に検出される笑顔の頻度を加味した特徴量の算出例について説明するための図 本開示の実施の形態に係る顔タイプ診断処理を示すフローチャート 本開示の実施の形態に係る顔タイプ診断処理による顔タイプの判定結果の表示画面例を示す図

以下、図面を参照して本開示の実施の形態を説明する。図１は本開示の実施の形態に係る顔タイプ診断装置１００の概略図である。

図１に示すように、顔タイプ診断装置１００は、真顔画像及び笑顔画像を受信し、受信した真顔画像及び笑顔画像に基づき、人の顔の表情の変化を考慮した顔タイプを診断し、診断した顔を分類して、診断結果として出力する。真顔画像及び笑顔画像は、カメラで撮影されたユーザの顔の画像である。なお、以下の実施例では、真顔と笑顔との２つの表情に着目するが、本開示は、必ずしもこれらに限定される必要はなく、顔タイプ診断に応じた何れか異なる複数の表情に適用されてもよい。また、表情の数も２つには限定せず３つ以上であってもよい。ただし、一般的には、日常生活の中で怒りや悲しみなどの表情をすることは少ないため、怒り顔や悲しみ顔も踏まえた顔タイプ診断の結果が役に立つ状況は少ないと考えられる。そこで、本実施の形態では、日常生活で頻出する真顔と笑顔を対象にした顔タイプ分析を行う例を説明する。

顔タイプの診断は、例えばアパレル、メイク等の業界において商品の販売促進のために利用されうる。顔タイプの診断を行うことによって、顔画像に基づき分類された顔タイプに似合う商品をユーザに提案することができる。

顔タイプは、顔パーツの位置、大きさ、形状等から分析される顔の種類を表す。顔パーツは、個人ごとに形状、配置、色等の差異がある顔の部位である。顔パーツは、例えば、目、口、鼻、または眉等の固有の器官名を持つ部位であってもよいし、顔の縦幅や横幅、顎の先端の角度、顔の輪郭等の固有の器官名を持たない部位であってもよい。

（顔タイプの分類）
図２を参照して顔タイプについて説明する。図２は顔タイプの一例を示す図である。図２には、直交する縦軸及び横軸を座標軸とする直交座標系のグラフが示されている。

縦軸方向は、顔タイプが子供顔であるか大人顔であるかの傾向を表す。子供顔は、例えば、輪郭に丸みがあり、目や鼻等の顔パーツが輪郭に対して下寄り等の特徴を有しうる。大人顔は、例えば、輪郭が面長で、目や鼻等の顔パーツが輪郭に対して上寄り等の特徴を有しうる。顔タイプが子供顔であるか大人顔であるかを判定する基準の詳細は後述する。

横軸方向は、曲線的な印象を与える顔であるか直線的な印象を与える顔であるかの傾向を表す。曲線的な顔は、輪郭に骨格を感じさせず、顎に丸みがあり、目が丸形であり、唇が厚く、鼻筋が薄い等の特徴を有しうる。直線的な顔は、輪郭に骨格を感じさせ、目が細く切れ長で、唇が薄く、鼻筋が通る等の特徴を有しうる。曲線的な印象を与える顔であるか直線的な印象を与える顔であるかを判定する基準の詳細は後述する。

図３Ａを参照して顔タイプが子供顔であるか大人顔であるかを判定する基準について説明する。図３Ａは顔タイプが子供顔であるか大人顔であるかを判定する基準の一例を示す図である。

顔タイプが子供顔であるか大人顔であるかを判定するための項目は、例えば、顔型（輪郭）、目の位置、鼻の長さ、口の大きさ、目と唇の距離、目の間の距離等を含みうる。図３Ａに示すように、これらの判定項目に所定の判定基準が対応付けられている。顔タイプ診断装置１００は、図３Ａに示す判定項目と判定基準が対応付けられているテーブルを参照することにより、顔タイプが子供顔であるか大人顔であるかを判定しうる。

例えば顔タイプ診断装置１００は、顔の縦幅が横幅以下の場合、目の位置が顔の下寄り（顎側に位置する）場合、鼻の長さが所定の長さよりも短い場合、口の大きさが所定の大きさよりも小さい場合、目と唇の距離が所定の値よりも近い場合、目間の距離が所定の値よりも離れている場合などに、子供顔と判定しうる。他方、顔タイプ診断装置１００は、顔の縦幅が横幅を超えている場合、目の位置が顔の上寄り（額側に位置する）場合、鼻の長さが所定の長さよりも長い場合、口の大きさが所定の大きさよりも大きい場合、目と唇の距離が所定の値よりも離れている場合、目間の距離が所定の値よりも近い場合などに、大人顔と判定しうる。

図３Ｂを参照して曲線的な印象を与える顔であるか直線的な印象を与える顔であるかを判定する基準について説明する。図３Ｂは曲線的な印象を与える顔であるか直線的な印象を与える顔であるかを判定する基準の一例を示す図である。

曲線的な印象を与える顔であるか直線的な印象を与える顔であるかを判定するための項目は、例えば、顔型（輪郭）、目の形、唇の厚み等を含みうる。図３Ｂに示すように、これらの判定項目に所定の判定基準が対応付けられている。顔タイプ診断装置１００は、図３Ｂに示す判定項目と判定基準が対応付けられているテーブルを参照することにより、曲線的な印象を与える顔であるか直線的な印象を与える顔であるかを判定しうる。

例えば顔タイプ診断装置１００は、顎に丸みがある場合、目の形が所定の形状に比べて丸い場合、唇の厚みが所定の幅よりも厚い場合などに、曲線的な印象を与える顔と判定しうる。他方、顔タイプ診断装置１００は、顎がシャープである場合、目の形が所定の形状に比べて細い場合、唇の厚みが所定の幅よりも薄い場合などに、直線的な印象を与える顔と判定しうる。なお、顔タイプ診断装置１００は、子供顔か大人顔かの判定や、曲線的か直線的かの判定を、複数の顔パーツの評価結果を統合して判定してもよいし、単一の顔パーツのみの評価結果に基づいて判定してもよい。また、複数の顔パーツの評価結果を統合して判定する場合は、例えば一部の顔パーツによれば大人顔だが、大半の顔パーツが子供顔である場合には、「大人顔寄りの子供顔」であると判定するなど、更に細分化した判定を行ってもよい。

このようにして、顔タイプ診断装置１００は、図３Ａ及び図３Ｂに示す判定基準に従って、顔タイプを４つのタイプに分類することができる。

具体的には、曲線的な子供顔の場合、顔タイプ診断装置１００は、顔タイプを、明るい、可愛いらしい等の印象を与える「Ｃｕｔｅ」の領域に分類する（図２参照）。

直線的な子供顔の場合、顔タイプ診断装置１００は、顔タイプを、元気、快活、ボーイッシュ等の印象を与える「Ｆｒｅｓｈ」の領域に分類する。

直線的な大人顔の場合、顔タイプ診断装置１００は、顔タイプを、洞察力が鋭い、凜として冷静等の印象を与える「Ｃｏｏｌ」の領域に分類する。

曲線的な大人顔の場合、顔タイプ診断装置１００は、顔タイプを、洗練された印象を与える「Ｅｌｅｇａｎｔ」の領域に分類する。

これらの分類を行った顔タイプ診断装置１００は、図２に示すように「Ｃｕｔｅ」、「Ｆｒｅｓｈ」、「Ｃｏｏｌ」、「Ｅｌｅｇａｎｔ」等の４つの領域を表す画像を、ディスプレイ上の画面に表示し、当該画像に分類結果を示すアイコンをプロットすることで、ユーザの顔タイプを提供する。当該表示例の詳細は後述する。

（顔パーツの特徴点）
次に図４Ａ～図４Ｅを参照して顔タイプの判定に用いる顔パーツの特徴点について説明する。図４Ａ～図４Ｅは顔タイプの判定に用いる特徴点の一例を示す図である。

図４Ａ及び図４Ｂには、顔の輪郭、目、口、鼻、眉等の顔パーツの特徴点が示されている。顔タイプ診断装置１００は、顔画像から得られる特徴点に基づき、顔の縦幅Ｄ１が横幅Ｄ２以下であるか否か、また、顎の先端の角度が所定の角度以上であるか否かを判定しうる（図４Ａ参照）。顔タイプ診断装置１００は、特徴点に基づき、目から顎の下端までの幅Ｄ３と、目から額の中央までの幅Ｄ４とを比較することによって、目の位置を判定しうる（図４Ｂ参照）。顔タイプ診断装置１００は、特徴点に基づき、目から唇までの距離Ｄ５が所定の距離よりも近いか否かを判定しうる（図４Ｂ参照）。

図４Ｃには目、眉等の特徴点が示されている。顔タイプ診断装置１００は、特徴点に基づき、目の横幅Ｄ６に対する目の縦幅Ｄ７の比率が所定の値以上の場合、目が丸いと判定し、目の横幅Ｄ６に対する目の縦幅Ｄ７の比率が所定の値未満の場合、目が細いと判定しうる。また顔タイプ診断装置１００は、特徴点に基づき、目間の距離Ｄ８が所定の値よりも離れているか否かを判定しうる。

図４Ｄ及び図４Ｅには鼻、口等の特徴点が示されている。顔タイプ診断装置１００は、特徴点に基づき、鼻と口の間の距離Ｄ９に対する唇の幅Ｄ１０の比率が所定の値以上の場合、唇が厚いと判定し、鼻と口の間の距離Ｄ９に対する唇の幅Ｄ１０の比率が所定の値未満の場合、唇が薄いと判定しうる（図４Ｄ参照）。

顔タイプ診断装置１００は、特徴点に基づき、鼻の横幅Ｄ１１に対する口の横幅Ｄ１２の比率が所定の値以上の場合、口が大きいと判定し、鼻の横幅Ｄ１１に対する口の横幅Ｄ１２の比率が所定の値未満の場合、口が小さいと判定しうる（図４Ｅ参照）。

次に図５を参照して、顔タイプ診断装置１００のハードウェア構成例を説明する。図５は本開示の実施の形態に係る顔タイプ診断装置１００のハードウェア構成を示すブロック図である。

顔タイプ診断装置１００は、スマートフォン、タブレット、パーソナルコンピュータ等の計算装置によって実現され、例えば、図５に示されるようなハードウェア構成を有してもよい。すなわち、顔タイプ診断装置１００は、バスＢを介し相互接続される記憶装置１０１、プロセッサ１０２、ユーザインタフェース装置１０３及び通信装置１０４を有する。

顔タイプ診断装置１００における後述される各種機能及び処理を実現するプログラム又は指示は、ネットワーク等を介し何れかの外部装置からダウンロードされてもよいし、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の着脱可能な記憶媒体から提供されてもよい。

記憶装置１０１は、ランダムアクセスメモリ、フラッシュメモリ、ハードディスクドライブ等によって実現され、インストールされたプログラム又は指示と共に、プログラム又は指示の実行に用いられるファイル、データ等を格納する。記憶装置１０１は、非一時的な記憶媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含んでもよい。

プロセッサ１０２は、１つ以上のプロセッサコアから構成されうる１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）等によって実現されてもよく、記憶装置１０１に格納されたプログラム、指示、当該プログラム若しくは指示を実行するのに必要なパラメータ等のデータ等に従って、後述される顔タイプ診断装置１００の各種機能及び処理を実行する。

ユーザインタフェース装置１０３は、キーボード、マウス、カメラ、マイクロフォン等の入力装置、ディスプレイ、スピーカ、ヘッドセット、プリンタ等の出力装置、タッチパネル等の入出力装置から構成されてもよく、ユーザと顔タイプ診断装置１００との間のインタフェースを実現する。例えば、ユーザは、ディスプレイ又はタッチパネルに表示されたＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）をキーボード、マウス等を操作し、顔タイプ診断装置１００を操作する。

通信装置１０４は、外部装置、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信ネットワークとの通信処理を実行する各種通信回路により実現される。

しかしながら、上述したハードウェア構成は単なる一例であり、本開示による顔タイプ診断装置１００は、他の何れか適切なハードウェア構成により実現されてもよい。例えば、顔タイプ診断装置１００の備える各機能を複数のコンピュータで分散して実現してもよい。この場合、異なるコンピュータに備えられた機能間での情報の交換は、コンピュータを接続する通信網（ＬＡＮやインターネット）を介して行う。

図６は本開示の実施の形態に係る顔タイプ診断装置１００の機能構成を示すブロック図である。顔タイプ診断装置１００は、画像取得部１１０、特徴量抽出部１２０、及び顔タイプ判定部１３０を備えている。

画像取得部１１０は、ユーザの第１の表情を撮像した第１の画像と、ユーザの第２の表情を撮像した第２の画像とを取得する。第１の表情は、例えばユーザの真顔であり、第２の表情は、例えばユーザの笑顔であってもよい。

具体的には、カメラがユーザの顔を撮像し、画像取得部１１０は、カメラで撮影されたユーザの顔の画像を取得する。顔タイプ診断装置１００が取得する顔の画像は静止画像でもよいし動画像でもよい。カメラは、測定対象領域を撮像し、当該測定対象領域のＲＧＢ画像を生成する。例えば、カメラは、単眼カメラであってもよく、単眼のＲＧＢ画像を生成する。生成されたＲＧＢ画像は、画像取得部１１０にわたされる。

特徴量抽出部１２０は、第１の画像におけるユーザの顔パーツの第１の特徴量と、第２の画像におけるユーザの顔パーツの第２の特徴量とを抽出する。具体的には、特徴量抽出部１２０は、ユーザの真顔の画像と笑顔の画像のそれぞれから特徴点を抽出し、抽出した特徴点に基づいて、各判定項目に対応する顔パーツの特徴量を算出する。例えば、顔画像からの特徴点の抽出は、学習済み機械学習モデルにより行われてもよい。このような学習済み機械学習モデルは、何れか公知のものであってもよく、例えば、複数の学習用顔画像を教師データに用いて、学習用顔画像に含められる被験者の顔画像の特徴点を抽出するよう訓練されてもよい。

第１の特徴量は、例えば、ユーザの表情が真顔のときの上述したような顔型（輪郭）、目の形、唇の厚み、顎の形などの各顔パーツを表す特徴量である。第２の特徴量は、例えば、ユーザの表情が笑顔のときの上述したような顔型（輪郭）、目の形、唇の厚み、顎の形などの各顔パーツを表す特徴量である。なお、各顔パーツの特徴量は、以降の演算が適切なものとなるように正規化等によって適切にスケーリングされてもよい。

顔タイプ判定部１３０は、顔パーツ毎に設定される第１の重みと、各表情における顔パーツ毎に設定される第２の重みとに基づいて、第１の特徴量と第２の特徴量とに対して所定の演算を実行する。更に、顔タイプ判定部１３０は、演算結果と所定の判定基準とに基づいてユーザの顔タイプを判定する。

顔タイプ判定部１３０における処理の具体例を以下に説明する。ユーザの表情が真顔の場合、顔タイプ判定部１３０は、（１）式に示すように、表情が真顔の場合における顔パーツの特徴量（第１の特徴量）に、顔パーツ毎に設定される所定の重み（第１の重み）を付与し、更に、第１の特徴量に、表情が真顔の場合における顔パーツ毎に設定される所定の重み（第２の重みα）を付与する。顔タイプ判定部１３０は、これらの重みが付与された各顔パーツの特徴量を合算する。

真顔の場合における顔パーツ毎の特徴量×顔パーツ毎の第１の重み×第２の重みα・・・（１）

ユーザの表情が笑顔の場合、顔タイプ判定部１３０は、（２）式に示すように、表情が笑顔の場合における顔パーツの特徴量（第２の特徴量）に、顔パーツ毎に設定される所定の重み（第１の重み）を付与し、更に、第１の特徴量に、表情が笑顔の場合における顔パーツ毎に設定される所定の重み（第２の重みβ）を付与する。顔タイプ判定部１３０は、これらの重みが付与された各顔パーツの特徴量を合算する。

笑顔の場合における顔パーツ毎の特徴量×顔パーツ毎の第１の重み×第２の重みβ・・・（２）

顔タイプ判定部１３０は、（３）式に示すように、真顔のときの第２の重みαが付与された特徴量と、笑顔の場合の第２の重みβが付与された特徴量とを合算し平均を取る演算を実行する。

（真顔の場合における顔パーツ毎の特徴量×顔パーツ毎の第１の重み×第２の重みα＋笑顔の場合における顔パーツ毎の特徴量×顔パーツ毎の第１の重み×第２の重みβ）／２・・・（３）

例えば、曲線／直線判定の場合、顔タイプ判定部１３０は、顔型、目の形及び唇の厚みの３つの顔パーツの真顔と笑顔の特徴量に対して、以下の（４）式に示す演算を実行する。

１／２｛（真顔の顔型の特徴量ｆ_１１×顔型の第１の重みｗ_１×真顔の顔型の第２の重みα_１）＋（笑顔の顔型の特徴量ｆ_１２×顔型の第１の重みｗ_１×笑顔の顔型の第２の重みβ_１）｝＋１／２｛（真顔の目の形の特徴量ｆ_２１×目の形の第１の重みｗ_２×真顔の目の形の第２の重みα_２）＋（笑顔の目の形の特徴量ｆ_２２×目の形の第１の重みｗ_２×笑顔の目の形の第２の重みβ_２）｝＋１／２｛（真顔の唇の厚みの特徴量ｆ_３１×唇の厚みの第１の重みｗ_３×真顔の唇の厚みの第２の重みα_３）＋（笑顔の唇の厚みの特徴量ｆ_３２×唇の厚みの第１の重みｗ_３×笑顔の唇の厚みの第２の重みβ_３）｝・・・（４）

なお、表情毎の第２の重みαとβは、顔タイプ診断装置１００の外部から与えられる所定の値でもよいし、顔タイプ診断装置１００に設定されている所定の値でもよい。

ここで、真顔の場合の第２の重みαと、笑顔の場合の第２の重みβのそれぞれの値について説明する。例えば、第２の重みα，βは、顔パーツそれぞれについての表情の変化の影響の受けやすさ（表情変化による影響度）に応じて設定されてもよい。

顔タイプ判定部１３０は、表情の変化の影響を受けやすい目、口等の顔パーツに対して、真顔の場合の第２の重みαを、笑顔の場合の第２の重みβよりも大きく設定してもよい。これは、真顔を顔タイプ診断の基本とするためである。

また、顔タイプ判定部１３０は、表情の変化により影響を受けにくい輪郭、鼻等の顔パーツに対して、真顔の場合の第２の重みαを、笑顔の場合の第２の重みβと等しく設定してもよい。

例えば表情が真顔から笑顔に変化した場合、目の開き具合が小さくなり、閉じている口が大きく開き歯が見えるように表情が変化する傾向がある。このため、上記のように、表情の変化の影響を受けやすい顔パーツの重みを異なる値に設定し、かつ、表情の変化の影響を受けにくい顔パーツの重みは等しい値に設定することで、顔タイプの診断精度を向上させることができる。

このように、顔タイプ判定部１３０は、上述した演算結果（４）に基づいて曲線／直線判定が可能となり、演算結果を直線－曲線軸上の何れかの座標にマッピングすることができる。同様に、顔タイプ判定部１３０は、子供顔／大人顔判定のための演算を実行し、演算結果を子供顔－大人顔軸上の何れかの座標にマッピングすることができる。この結果、顔タイプ判定部１３０は、図２に示されるような平面上の点として演算結果をマッピングすることが可能となり、適切な顔タイプ診断を実行することが可能になる。

なお、顔タイプ判定部１３０における判定処理には以下のような態様を含めてもよい。

（第１変形例）
上記の実施例では、笑顔の場合の第２の重みβが一定値であるが、第２の重みβは、ユーザの表情の度合いに応じて設定してもよい。

第２の表情である笑顔は、一般に微笑から大笑いまで様々な笑顔レベルに分類されうる。このため、顔タイプ判定部１３０は、笑顔の度合い（笑顔レベル）に応じて、上述した笑顔の場合の第２の重みβを更に調整してもよい。

具体的には、顔タイプ判定部１３０は、何れか公知の測定技術により、笑顔画像から笑顔レベルを特定してもよい。例えば、顔タイプ判定部１３０は、笑顔画像を３つの笑顔レベル（例えば、口を閉じて微笑む程度の笑顔はレベル「１」、口が少し開く程度の笑顔はレベル「２」、口が大きく開く程の笑顔はレベル「３」など）に分類してもよい。なお、本開示による笑顔レベルは、必ずしも３段階に限定されず、他の何れかのレベル数に分類されてもよい。

そして、顔タイプ判定部１３０は、笑顔レベルに対応した係数である笑顔配点ａ、ｂ、ｃを、顔パーツ毎の第２の重みβに付与することにより、顔パーツ毎の特徴量を変更する。例えば、笑顔配点ａ、ｂ、ｃは、ａ＜ｂ＜ｃの関係を有しうる。

例えば、笑顔レベルが「１」と判定された場合、顔タイプ判定部１３０は、以下のように、笑顔配点ａを第２の重みβに更に乗算し、笑顔の場合の顔パーツの特徴量を調整してもよい。
（笑顔の場合における顔パーツ毎の特徴量×顔パーツ毎の第１の重み×第２の重みβ×笑顔配点ａ）

また、笑顔レベルが「２」と判定された場合、顔タイプ判定部１３０は、以下のように、笑顔配点ｂを第２の重みβに更に乗算し、笑顔の場合の顔パーツの特徴量を調整してもよい。
（笑顔の場合における顔パーツ毎の特徴量×顔パーツ毎の第１の重み×第２の重みβ×笑顔配点ｂ）

同様に、笑顔レベルが「３」と判定された場合、顔タイプ判定部１３０は、以下のように、笑顔配点ｃを第２の重みβに更に乗算し、笑顔の場合の顔パーツの特徴量を調整してもよい。
（笑顔の場合における顔パーツ毎の特徴量×顔パーツ毎の第１の重み×第２の重みβ×笑顔配点ｃ）

このように、ユーザの笑顔の度合いに応じた特徴量の算出により、笑顔の度合いを加味して顔タイプの診断精度を、より一層向上させることができる。

（第２変形例）
上記の実施例では、静止画像に基づいて顔タイプを診断する例について説明した。一方、笑顔の多い人と笑顔の少ない人がおり、このような笑顔の頻度を反映させることによって、より適切な顔タイプ診断が可能になりうる。具体的には、笑顔の頻度に応じて、笑顔の場合の第２の重みβを変化させてもよい。これにより、生活シーンに即した顔タイプの診断を行うことができる。図７を参照して、笑顔の頻度に応じた顔タイプの判定処理について説明する。

図７は一定期間に検出される笑顔の頻度を加味した特徴量の算出例について説明するための図である。画像取得部１１０は、会話中のユーザの映像をカメラから所定時間取得し、取得した映像を特徴量抽出部１２０に送信する。図７の例では３分間の映像が取得される。

特徴量抽出部１２０は、所定時間の映像におけるユーザの笑顔の頻度を算出する。すなわち、特徴量抽出部１２０は、所定時間の映像におけるユーザの表情毎の頻度を算出する。例えば、図示された具体例では、あるユーザの笑顔の頻度は１２％であり、別のユーザの笑顔の頻度は７５％であった。

カメラが振動するなどしてユーザの映像が不鮮明な場合、特徴量抽出部１２０は、映像から正確に撮影できない時間帯の映像を判定不可として間引き、残りの映像をもとに、ユーザの表情毎の頻度を算出してもよい。また、特徴量抽出部１２０は、表情の認識に必要な顔パーツが隠れていたり特殊な表情をしていたりするなど、真顔と笑顔のどれであるか判定できない場合も、その時間帯の映像を判定不可として間引いて、ユーザの表情毎の頻度を算出してもよい。

顔タイプ判定部１３０は、表情毎の頻度に応じて第２の重みβを調整し、調整した第２の重みに更に基づいて第２の特徴量に対して上述した演算を実行する。具体的には、顔タイプ判定部１３０は、（５）式に示すように、笑顔の頻度に応じた所定の係数を第２の重みβに付与することで、第２の重みβを調整して、新たな第２の重みβ’、第２の重みβ’’などを適用してもよい。

笑顔の場合における顔パーツ毎の特徴量×顔パーツ毎の第１の重み×第２の重みβ’
笑顔の場合における顔パーツ毎の特徴量×顔パーツ毎の第１の重み×第２の重みβ’’
・・・（５）

第２の重みβ’は、笑顔の頻度「１２％」に対応した重みであり、第２の重みβ’’（β’＜β’’）は、笑顔の頻度「７５％」に対応した重みであってもよい。

なお、第２変形例に第１変型例を組み合わせてもよく、笑顔レベルと共に笑顔頻度を考慮して、笑顔の場合の第２の重みβを調整してもよい。例えば、測定された笑顔頻度に応じて第２の重みがβ’に設定され、更に笑顔レベルが「１」であった場合、顔タイプ判定部１３０は、以下の（６）式に示す演算を実行してもよい。ここで、笑顔レベルは、映像中の笑顔レベルの平均であってもよい。

笑顔の場合における顔パーツ毎の特徴量×顔パーツ毎の第１の重み×第２の重みβ’×笑顔配点ａ・・・（６）

次に、図８を参照して、本開示の一実施例による顔タイプ診断処理を説明する。当該顔タイプ診断処理は、上述した顔タイプ診断装置１００によって実行され、より詳細には、顔タイプ診断装置１００の１つ以上のプロセッサ１０２が１つ以上の記憶装置１０１に格納された１つ以上のプログラム又は指示を実行することによって実現されてもよい。例えば、当該顔タイプ診断処理は、顔タイプ診断装置１００のユーザが当該処理に係るアプリケーション等を起動することによって開始されうる。

図８は本開示の実施の形態に係る顔タイプ診断処理を示すフローチャートである。図８に示されるように、ステップＳ１０１において、顔タイプ診断装置１００は、真顔画像及び笑顔画像を取得する。具体的には、カメラが表情毎のユーザの顔を撮像し、顔タイプ診断装置１００は、カメラで撮影されたユーザの顔の画像を取得する。顔タイプ診断装置１００が取得する顔の画像は静止画像でもよいし動画像でもよい。

次に、ステップＳ１０２において、顔タイプ診断装置１００は、取得した真顔画像の顔パーツの特徴量及び笑顔画像の顔パーツの特徴量を抽出する。具体的には、顔タイプ診断装置１００は、真顔画像と笑顔画像における診断対象のユーザの顔の特徴点を抽出し、抽出した特徴点に基づいて顔パーツ毎の特徴量を算出する。

次に、ステップＳ１０３において、顔タイプ診断装置１００は、例えば、曲線／直線判定のため、顔型、目の形及び唇の厚みの３つの顔パーツの真顔と笑顔の特徴量に対して、以下の（７）式の演算を実行する。

１／２｛（真顔の顔型の特徴量ｆ_１１×顔型の第１の重みｗ_１×真顔の顔型の第２の重みα_１）＋（笑顔の顔型の特徴量ｆ_１２×顔型の第１の重みｗ_１×笑顔の顔型の第２の重みβ_１）｝＋１／２｛（真顔の目の形の特徴量ｆ_２１×目の形の第１の重みｗ_２×真顔の目の形の第２の重みα_２）＋（笑顔の目の形の特徴量ｆ_２２×目の形の第１の重みｗ_２×笑顔の目の形の第２の重みβ_２）｝＋１／２｛（真顔の唇の厚みの特徴量ｆ_３１×唇の厚みの第１の重みｗ_３×真顔の唇の厚みの第２の重みα_３）＋（笑顔の唇の厚みの特徴量ｆ_３２×唇の厚みの第１の重みｗ_３×笑顔の唇の厚みの第２の重みβ_３）｝・・・（７）

顔タイプ診断装置１００は、（７）式の演算結果に基づいて、図２に示される平面上の直線－曲線軸の位置を特定することができる。

同様に、顔タイプ診断装置１００は、例えば、子供顔／大人顔判定のため、顔型、目の位置、鼻の長さ、口の大きさ、目と唇の距離及び目間の距離の６つの顔パーツの真顔と笑顔の特徴量に対して同様の演算を実行し、この演算結果に基づいて、図２に示される平面上の子供顔－大人顔軸の位置を特定することができる。

これにより、顔タイプ診断装置１００は、図２に示される平面上の測対象のユーザの顔タイプの位置を決定することができる。

例えば、顔タイプ診断装置１００は、図９に示されるような表示画面によって顔タイプの診断結果をユーザに提供してもよい。図９は本開示の実施の形態に係る顔タイプ診断処理による顔タイプの診断結果の表示画面例を示す図である。

顔タイプ診断装置１００は、例えば化粧品の販売店に設置されているディスプレイに、図９に示す「Ｃｕｔｅ」、「Ｆｒｅｓｈ」、「Ｃｏｏｌ」、「Ｅｌｅｇａｎｔ」等の４つの領域を表す画像を表示し、更に当該画像上に、測定対象のユーザの顔タイプの診断結果を示してもよい（例えばハートマーク）。

図９には、曲線的な印象を与える顔と判定された顔タイプの表示例が示されており、顔タイプの診断結果を示す画像（ハートマーク）は、「Ｅｌｅｇａｎｔ」の領域の内、「Ｃｕｔｅ」寄りの部分に位置している。

また、顔タイプ診断装置１００は、「Ｃｕｔｅ」、「Ｆｒｅｓｈ」、「Ｃｏｏｌ」、「Ｅｌｅｇａｎｔ」等の４つの領域を表す画面の隣に、顔タイプを解説するガイダンスを表示してもよい。

ここで、顔タイプ診断装置１００の顔タイプ判定部１３０は、顔タイプの判定に寄与した笑顔の割合を示す笑顔寄与度を算出して、画面に表示してもよい。なお、真顔と笑顔とが固定値によって顔タイプ判定に寄与する実施例では、笑顔寄与度もまたユーザ間で共通した値となるため、笑顔寄与度を算出する意味はあまりない。このため、笑顔寄与度は、笑顔レベルと笑顔頻度の一方又は双方が考慮される実施例において、算出されることが好ましい。

（笑顔寄与度の算出式の例）
上述した第１変形例の笑顔寄与度は（８）式に示すように算出される。

笑顔寄与度＝(β×笑顔配点)／α＋(β×笑顔配点）・・・（８）

第２変形例の笑顔寄与度は（９）式に示すように算出される。

笑顔寄与度＝(β’×笑顔配点)／α＋(β’×笑顔配点）
β’＝笑顔配点a×重み付けγ＋笑顔配点b×重み付けγ’＋笑顔配点c×重み付けγ’’
・・・（９）
ここで、γ，γ’，γ’’はそれぞれ、笑顔レベル１，２，３の時間の長さに対応する重みとして設定される。図示された表示画面では、笑顔レベル１が３０秒であり、笑顔レベル２が１分１０秒であり、笑顔レベル３が２６秒であり、上述した算出式に従って、笑顔寄与度は７０％として算出される。

以上に説明したように、本開示の実施の形態に係る顔タイプ診断装置は、ユーザの第１の表情を撮像した第１の画像と、ユーザの第２の表情を撮像した第２の画像とを取得する画像取得部と、第１の画像におけるユーザの顔パーツの第１の特徴量と、第２の画像におけるユーザの顔パーツの第２の特徴量とを抽出する特徴量抽出部と、顔パーツ毎に設定される第１の重みと、各表情における顔パーツ毎に設定される第２の重みと基づいて第１の特徴量と第２の特徴量とに対して第１の演算を実行し、演算結果と所定の判定基準とに基づいてユーザの顔タイプを判定する顔タイプ判定部と、を有する。

この構成により、第１の表情と第１の表情とは異なる第２の表情のそれぞれの画像の特徴量に基づき顔タイプを診断できるため、単一の表情の画像を利用する場合に比べて顔タイプの診断精度を向上させることができる。

このため、本開示の実施の形態に係る顔タイプ診断装置を、例えばデパートなどの化粧品コーナーなどに設置されている診断専用機に適用した場合、顔の表情の変化を加味して診断された顔タイプの診断結果を基に、顔タイプに最適な化粧品を提案することができる。また、本開示の実施の形態に係る顔タイプ診断装置を、例えばアパレルショップなどに設置されている診断専用機に適用した場合、顔の表情の変化を加味して診断された顔タイプの診断結果を基に、顔タイプに最適な衣服を提案することができる。また、顔タイプ診断装置の機能の一部をスマートフォン等で実現している場合、顔タイプの診断結果を基に、最適な化粧品の通信販売サイトやオーダーメイド等へ誘導してもよい。

（その他変形例）
上述した実施の形態では、顔パーツ毎に特徴量に重みを付与した結果に基づいて、顔タイプの診断を行っていた。しかし、顔タイプ診断装置は、すべての顔パーツについて同じ重みを付与したり、一部または全部の顔パーツの特徴量に重みの付与を省略したりして演算した結果を用いて顔タイプの診断を行ってもよい。また、顔タイプ診断装置は、顔パーツ毎に特徴量に重みを付与する場合は、顔パーツ毎に異なる重みを付与してもよい。この場合、顔タイプ診断装置は、顔タイプの印象に対する影響が大きい顔パーツほど付与される重みが大きくなるようにしてもよい。

上述した実施の形態では、顔タイプ診断の過程で重みを付与する場合には乗算を行っていたが、顔タイプ診断装置は、加算など他の手法によって重みを付与してもよい。

上述した実施の形態では、顔タイプの判定に寄与した笑顔の割合を示す笑顔寄与度を算出し、表示していた。しかし、算出する寄与度は笑顔を対象としたものには限らない。例えば、顔タイプ診断装置は、真顔の割合を示す真顔寄与度を算出して、表示してもよい。また、顔タイプ診断装置は、笑顔と真顔以外の表情も顔タイプの判定に用いているのであれば、それらの表情の１つ以上の寄与度を算出して表示しても構わない。

上述した実施の形態では、顔タイプ診断の結果として、真顔と笑顔の両方を考慮した結果のみを表示していたが、顔タイプ診断装置は、他の結果も表示してもよい。例えば、顔タイプ診断装置は、真顔のみで診断した顔タイプや、笑顔のみで診断した顔タイプも表示してもよい。なお、一般的に、笑顔は真顔よりも、子供顔かつ曲線的な顔タイプであると判定される傾向があることが知られているため、この傾向から外れた結果が得られる可能性は低い。しかし、真顔と笑顔で顔タイプが変わる程度は各個人で異なるため、その程度を可視化することによってユーザに自身の表情の特性を知らせることができる。なお、顔タイプ診断装置は、真顔と笑顔以外の表情も顔タイプの判定に用いている場合は、各表情のみ、または、表情の任意の組み合わせに基づく顔タイプの判定結果も表示してもよい。

なお、例えば、以下のような態様も本開示の技術的範囲に属するものと了解される。

（１）本開示の実施の形態に係る顔タイプ診断装置は、ユーザの第１の表情を撮像した第１の画像と、前記ユーザの第２の表情を撮像した第２の画像とを取得する画像取得部と、前記第１の画像における前記ユーザの顔パーツの第１の特徴量と、前記第２の画像における前記ユーザの顔パーツの第２の特徴量とを抽出する特徴量抽出部と、前記第１の特徴量と前記第２の特徴量とに基づいて前記ユーザの顔タイプを判定する顔タイプ判定部と、を有する。

（２）顔タイプ判定部は、第１の特徴量と第２の特徴量とを用いた演算を行った結果を所定の基準と比較することで顔タイプを判定する。

（３）顔タイプ判定部は、第２の特徴量に対して顔パーツ毎の表情変化による影響度に応じて設定された重みを付与して演算を行う。

（４）画像取得部は、ユーザの所定時間の映像を取得し、特徴量抽出部は、映像においてユーザの第２の表情が検出された頻度を算出し、顔タイプ判定部は、第２の特徴量に対して、頻度に応じた重みを付与して前記演算を実行する。

（５）第２の表情は、複数の表情レベルに分類され、顔タイプ判定部は、第２の特徴量に対して、前記複数の表情レベルに応じた重みを付与して前記演算を実行する。

（６）顔タイプ判定部は更に、第１の表情と第２の表情の１つ以上の表情について、顔タイプの判定に寄与した割合を示す寄与度を算出する。

（７）第１の表情は真顔であり、第２の表情は笑顔である。

（８）顔タイプは、顔型、目の位置、鼻の長さ、口の大きさ、目と唇の距離及び目間の距離に基づく第１の判定基準と、顔型、目の形及び唇の厚みに基づく第２の判定基準とに従って分類される４つのタイプを含む。

（９）本開示の実施の形態に係る顔タイプ診断方法は、ユーザの第１の表情を撮像した第１の画像と、前記ユーザの第２の表情を撮像した第２の画像とを取得することと、前記第１の画像における前記ユーザの顔パーツの第１の特徴量と、前記第２の画像における前記ユーザの顔パーツの第２の特徴量とを抽出することと、前記第１の特徴量と前記第２の特徴量とに基づいて前記ユーザの顔タイプを判定することと、を含む。

（１０）本開示の実施の形態に係るプログラムは、ユーザの第１の表情を撮像した第１の画像と、前記ユーザの第２の表情を撮像した第２の画像とを取得することと、前記第１の画像における前記ユーザの顔パーツの第１の特徴量と、前記第２の画像における前記ユーザの顔パーツの第２の特徴量とを抽出することと、前記第１の特徴量と前記第２の特徴量とに基づいて前記ユーザの顔タイプを判定することと、をコンピュータに実行させる。

以上、本開示の実施例について詳述したが、本開示は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本開示の要旨の範囲内において、種々の変形・変更が可能である。

１００ 顔タイプ診断装置
１０１ 記憶装置
１０２ プロセッサ
１０３ ユーザインタフェース装置
１０４ 通信装置
１１０ 画像取得部
１２０ 特徴量抽出部
１３０ 顔タイプ判定部

Claims (10)

1. ユーザの第１の表情を撮像した第１の画像と、前記ユーザの第２の表情を撮像した第２の画像とを取得する画像取得部と、
   前記第１の画像における前記ユーザの顔パーツの第１の特徴量と、前記第２の画像における前記ユーザの顔パーツの第２の特徴量とを抽出する特徴量抽出部と、
   前記第１の特徴量と前記第２の特徴量とに基づいて前記ユーザの顔タイプを判定する顔タイプ判定部と、
   を有する、顔タイプ診断装置。
2. 前記顔タイプ判定部は、前記第１の特徴量と前記第２の特徴量とを用いた演算を行った結果を所定の基準と比較することで前記顔タイプを判定する、請求項１に記載の顔タイプ診断装置。
3. 前記顔タイプ判定部は、前記第２の特徴量に対して前記顔パーツ毎の表情変化による影響度に応じて設定された重みを付与して前記演算を行う、請求項２に記載の顔タイプ診断装置。
4. 前記画像取得部は、前記ユーザの所定時間の映像を取得し、
   前記特徴量抽出部は、前記映像において前記ユーザの第２の表情が検出された頻度を算出し、
   前記顔タイプ判定部は、前記第２の特徴量に対して、前記頻度に応じた重みを付与して前記演算を実行する、請求項２又は３に記載の顔タイプ診断装置。
5. 前記第２の表情は、複数の表情レベルに分類され、
   前記顔タイプ判定部は、前記第２の特徴量に対して、前記複数の表情レベルに応じた重みを付与して前記演算を実行する、請求項２から４の何れか一項に記載の顔タイプ診断装置。
6. 前記顔タイプ判定部は更に、前記第１の表情と前記第２の表情の１つ以上の表情について、前記顔タイプの判定に寄与した割合を示す寄与度を算出する、請求項１から５の何れか一項に記載の顔タイプ診断装置。
7. 前記第１の表情は真顔であり、前記第２の表情は笑顔である、請求項１から６の何れか一項に記載の顔タイプ診断装置。
8. 前記顔タイプは、顔型、目の位置、鼻の長さ、口の大きさ、目と唇の距離及び目間の距離に基づく第１の判定基準と、顔型、目の形及び唇の厚みに基づく第２の判定基準とに従って分類される４つのタイプを含む、請求項７に記載の顔タイプ診断装置。
9. ユーザの第１の表情を撮像した第１の画像と、前記ユーザの第２の表情を撮像した第２の画像とを取得することと、
   前記第１の画像における前記ユーザの顔パーツの第１の特徴量と、前記第２の画像における前記ユーザの顔パーツの第２の特徴量とを抽出することと、
   前記第１の特徴量と前記第２の特徴量とに基づいて前記ユーザの顔タイプを判定することと、
   を含む、コンピュータによって実行される顔タイプ診断方法。
10. ユーザの第１の表情を撮像した第１の画像と、前記ユーザの第２の表情を撮像した第２の画像とを取得することと、
    前記第１の画像における前記ユーザの顔パーツの第１の特徴量と、前記第２の画像における前記ユーザの顔パーツの第２の特徴量とを抽出することと、
    前記第１の特徴量と前記第２の特徴量とに基づいて前記ユーザの顔タイプを判定することと、
    をコンピュータに実行させる、プログラム。

Images