JP2023038871A - 特徴抽出方法及び特徴抽出システム - Google Patents

Abstract

【課題】評価対象者の特徴的な表情に関わる部位や顔の角度等を客観的かつ高い精度で抽出できる特徴抽出方法及び特徴抽出システムを提供すること。【解決手段】本発明にかかる特徴抽出方法は、評価対象者Ｈの顔を撮像した顔情報データに基づき、評価対象者Ｈの表情を特徴づける部位又は撮像角度を抽出する特徴抽出方法である。本特徴抽出方法は、顔情報取得工程と、表情動作評価工程と、抽出工程とを備える。顔情報取得工程は、評価対象者の、撮像のタイミング又は撮像角度の異なる複数の顔情報データを取得する。表情動作評価工程は、個々の前記顔情報データに対し、表情筋の動きに基づく表情動作単位の動きの強度を評価する。抽出工程は、複数の顔情報データの前記動きの強度について解析処理を行い、評価対象者の表情を特徴づける部位、又は前記評価対象者の表情を特徴づける撮像角度の顔画像を抽出する。【選択図】図１

Description

本発明は、特徴抽出方法及び特徴抽出システムに関し、特に、評価対象者の顔の表情から受ける印象を評価する際に用いられる特徴抽出方法及び特徴抽出システムに関する。

一般に、人は外観や言動などの要因によって他人に様々な印象を与えるが、その中でも、顔の見た目がその人の印象を決める大きな要因となっていることが知られている。この顔の見た目に関し、人が感じる印象を評価する技術について様々な検討がされている。例えば特許文献１には、顔の見た目の印象への影響が大きい部位における、物理量に基づいて、評価対象者の顔の見た目の印象を鑑別（評価）する方法が開示されている。斯かる方法は、（１）先ず、評価対象者の顔をカメラで撮像した動画像から人の見た目の印象への影響が大きい部位（例えば、頬や目の周辺部）を決定し、（２）次に、決定した部位における顔の表情変化に伴って生じる皮膚変化の物理量に基づき、評価対象者の顔の見た目の印象を評価する、といった手順を踏むことにより行われる。

また、人の表情に関する研究として、例えば、非特許文献１には、作り笑いをした場合、右顔と左顔とでは異なる表情が表出する、左右非対称な動作がみられるといった報告がされている。

人の表情を評価するソフトウェア開発も進められている。例えば、非特許文献２に示すように、ＦＡＣＳ認定コーダー（ＦＡＣＳマニュアル及びＩｎｖｅｓｔｉｇａｔｏｒガイドをもとに「ＦＡＣＳ」のコード化手法を習得し、ＦＡＣＳコーダー認定テストに合格した者）によるコーディング結果を教師データ化したプログラム（例えば、「Affdex」（Affectiva社））が開発されている。

特開２０２０－０６１１９４号公報

Paul Ekman, Joseph C. Hager, Wallace V. Friesen,「The Symmetry of Emotional and Deliberate Facial Actions」, Psychophysiology, Vol.18,No.2, March 1981 Affectiva株式会社、［online］、［２０２１年７月６日検索］、インターネット＜https://www.affectiva.jp/＞

人の顔は、様々な感情（内面）の移り変わりに応じて、その表情が絶えず変化するのが一般的である。また、非特許文献１のように、顔の左右で異なる表情が表出していることも、顔の印象に影響を与える要因となり得る。しかしながら、特許文献１に記載の技術は、顔の年齢印象等に影響が及ぶ部位にのみ焦点をあてた印象の評価方法であって、見た目の印象が実際の評価対象者の年齢よりも若いのか、あるいは、老けているのか、といった比較的単純な評価結果しか得ることができないものである。すなわち、特許文献１に記載の技術は、人の顔の表情が複雑に表出している点について検討したものではなく、斯かる点を踏まえて顔の表情から受ける印象を高精度に評価できるものではなかった。これと同様に、非特許文献２に記載の技術も、表情動作の客観的な記述及び基本感情の推定にとどまっており、複雑な顔の表情を高精度に評価する点について改善の余地があった。

本発明は、前述した従来技術が有する欠点を解消し得る、特徴抽出方法及び特徴抽出システムを提供することに関する。

本発明は、評価対象者の顔を撮像した顔情報データに基づき、該評価対象者の表情を特徴づける部位又は撮像角度を抽出する特徴抽出方法に関する。
前記特徴抽出方法は、評価対象者の、撮像のタイミング又は撮像角度の異なる複数の顔情報データを取得する顔情報取得工程と、個々の前記顔情報データに対し、前記評価対象者の表情筋の動きに基づく表情動作単位の動きの強度を評価する表情動作評価工程と、複数の前記顔情報データの前記動きの強度について解析処理を行い、前記評価対象者の表情を特徴づける部位、又は前記評価対象者の表情を特徴づける撮像角度の前記顔情報データを抽出する、抽出工程とを備える。

また、本発明は、評価対象者の顔情報データに基づき、該評価対象者の表情の印象を評価する特徴抽出システムに関する。
前記特徴抽出システムは、評価対象者の、撮像のタイミング又は撮像角度の異なる複数の顔情報データを取得する顔情報取得部と、個々の前記顔情報データに対し、前記評価対象者の表情筋の動きに基づく表情動作単位ごとに、動きの強度を評価する表情動作評価部と、複数の前記顔情報データの前記動きの強度について解析処理を行い、前記評価対象者の表情を特徴づける部位、又は前記評価対象者の表情を特徴づける撮像角度の前記顔情報データを抽出する、抽出部とを備える。

本発明の特徴抽出方法及び特徴抽出システムによれば、評価対象者の特徴的な表情に関わる部位や顔の角度等を客観的かつ高い精度で抽出することができる。これにより、評価対象者の顔の表情から受ける印象を客観的かつ精度よく評価することができる。

図１は、本発明の特徴抽出システムの一実施形態を示す概略説明図である。 図２は、図１の特徴抽出システムで取得された顔画像とともに、該顔画像に基づく表情動作評価パタンを示す表である。 図３は、図２の表情動作評価パタンを用いてクラスター分析した結果を示すデンドログラム及び各グループにおけるＡＵの動きの強度の平均値を示す表である。 図４は、図１の特徴抽出システムにおいて実行される制御処理の内容を示すフローチャートである。 図５は、図１の特徴抽出システムにより抽出された、評価対象者の表情を特徴づける部位を示すイメージ図であって、顔の表情筋の構造を示す斜視図である。 図６は、実施例１における素顔の顔画像とこれに基づく表情動作評価パタンとを示す表である。 図７は、図６の表情動作評価パタンを用いてクラスター分析した結果を示すデンドログラム及び各グループにおけるＡＵの動きの強度の平均値を示す表である。 図８は、実施例１における化粧を施した後の顔画像とこれに基づく表情動作評価パタンとを示す表である。 図９は、実施例２における素顔の顔画像とこれに基づく表情動作評価パタンとを示す表である。 図１０は、図９の表情動作評価パタンを用いてクラスター分析した結果を示すデンドログラム及び各グループにおけるＡＵの動きの強度の平均値を示す表である。 図１１は、実施例３における複数の表情の顔画像とこれに基づく表情動作評価パタンとを示す表である。

以下、本発明の特徴抽出システムを、その好ましい一実施形態に基づき図面を参照しながら説明する。図１は、本実施形態にかかる特徴抽出システム１（以下、単に「システム１」ともいう）を用いて、評価対象者Ｈの顔の表情から受ける印象を評価している様子を示したものである。

（特徴抽出システム１の構成）
本実施形態のシステム１は、顔情報データとして顔画像を取得する。顔情報データは、評価対象者の顔の表情を示す情報であり、顔画像の他に、シミュレーションソフトを用いた３Ｄモデルの画像や、目、鼻、口及び耳等の顔パーツの輪郭形状の三次元座標値又はベクトル値等の情報が含まれる。
本実施形態の特徴抽出システム１は、図１に示すように、本実施形態にかかる特徴抽出システム１は、評価対象者Ｈの顔を撮像する複数（本実施形態では、９台）の撮像装置Ｃ１～Ｃ９と、撮像装置Ｃ１～Ｃ９により撮像された顔画像を用いて評価対象者Ｈの印象を評価する制御装置２とを備えている。

複数の撮像装置Ｃ１～Ｃ９は、例えば、静止画像を撮像することが可能なカメラ（例えば、単眼カメラ）からなり、評価対象者Ｈの前方を取り囲むように、所定の角度間隔（本実施形態では、約２２．５度の間隔）を空けて配置されている。また、本実施形態にかかる撮像装置Ｃ１～Ｃ９は、互いに電気的に接続（有線接続または無線接続）され、撮像操作に応じて同期して、評価対象者Ｈの顔を同時に撮像するように構成される。これにより、評価対象者Ｈの、正面（撮像装置Ｃ５）、左真横（撮像装置Ｃ１）及び右真横（撮像装置Ｃ９）を含む、角度間隔が約２２．５度ずつずれた９種類の顔画像を、同時に取得することが可能になっている。

本実施形態では、複数の顔画像を取得するために、撮像装置の台数を９台としたが、撮像装置の台数はこれに限定されず、２台以上９台未満としてもよく、あるいは１０台以上にしてもよい。なお、評価対象者をほぼ正面から撮像できる位置に、少なくとも一台は撮像装置を配するのが好ましい。また、撮像装置Ｃ１～Ｃ９は、２次元画像を撮像する装置に限られず、３次元画像を撮像する、いわゆる３Ｄカメラであっても構わない。さらに、撮像装置は、静止画像を撮像する装置に限られず、動画像を撮像する装置（以下、「動画像撮像装置」と称す）を用いてもよい。この場合、動画像データから複数のフレーム画像（静止画像）や動画クリップを抜き出すことができるため、動画像撮像装置の台数を１台とすることが可能である。もちろん、動画像撮像装置は、撮像装置Ｃ１～Ｃ９のように、複数台用いても構わない。この場合、例えば、各動画像撮像装置同士を互いに同期させるとともに、各動画像から同じタイミングでのフレーム画像等を抜き出せばよい。
顔画像は、ＲＧＢやＨＳＶ等の色情報で表されたカラー画像であってもよく、グレー・スケール化された画像や白黒に二値化された画像、特定の波長帯の情報を色情報として反映させたスペクトル画像、各スペクトル画像を色情報として組み合わせたマルチスペクトル画像であってもよい。

次に、本実施形態にかかる制御装置２について説明する。本実施形態の制御装置２は、公知の汎用コンピュータを用いて構成することが可能である。汎用コンピュータは、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等を含んで構成される。ＣＰＵは、画像表示のためのグラフィックスプロセッサ（Graphics Processing Unit（GPU））、High-Definition（HD）ビデオ等のエンコーディング及びデコーディングを行うマルチメディアプロセッサ、ディスプレイを制御するディスプレイコントローラ、及び給電及び充電を制御するためのパワーマネジメントIntegrated Circuit（IC）等を含んでもよい。制御装置２が行う処理は、ＣＰＵがＲＯＭやディスクなどに格納されたプログラムをＲＡＭに展開して実行することにより実現される。斯かる処理は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）により実現されてもよく、ＡＳＩＣとＦＰＧＡの組み合わせにより実現されてもよい。

本実施形態の制御装置２は、制御部３と、記憶部４と、顔情報取得部５と、表示部６とを有し、これらは互いに電気的に接続されている。

（顔情報取得部５）
顔情報取得部５は、複数の異なる顔情報データを取得する。本実施形態の顔情報取得部５は、撮像装置Ｃ１～Ｃ９を用いて、数の異なる角度からの顔情報データを取得する。具体的には、顔情報取得部５は、各撮像装置Ｃ１～Ｃ９と通信可能なインターフェイスを有し、撮像装置Ｃ１～Ｃ９から送信される各顔画像データの入力を受け付ける。この場合、システム１は、複数の異なる角度から見たときの顔画像を用いて、評価対象者の表情を特徴づける部位や、評価対象者の表情を特徴づける撮像角度を抽出する。斯かる抽出を単に「特徴抽出」ともいう。
また、顔情報取得部５は、撮像装置Ｃ１～Ｃ９とは別の手段で顔情報データを取得してもよい。すなわち、顔情報取得部５は、制御装置２に送信又は入力された顔画像等の顔情報データを取得してもよい。例えば、顔情報取得部５が、評価対象者Ｈの顔を機械学習し、制御装置２に読み込ませた動画像データから、該評価対象者Ｈの顔のフレーム画像を抽出することで、撮像のタイミングが異なる顔情報データを取得してもよい。この場合、システム１は、経時的に取得された顔画像を用いて評価対象者の表情を特徴づける部位の抽出（特徴抽出）を行う。例えば同一人物について、異なるタイミングで、同じ角度又は複数の異なる角度から顔情報データを取得してもよい。「異なるタイミングで顔情報データを取得する」とは、経時的に同一人物の顔情報データを取得することや、環境や状況を異ならせて、同一人物の顔情報データを取得すること、表情を変化させて同一人物の顔情報データを取得することを包含する。

顔情報取得部５は、取得した顔情報データを制御部３の記憶部４に記憶させる。また、制御装置２の操作者の操作（指令）に応じて、顔情報取得部５は、記憶部４に記憶させた顔情報データや、該顔情報取得部５が取得した顔情報データを読み込み、制御装置２が具備する表示部６や、該制御装置２とネットワークを介して接続された情報端末（例えば、スマートフォン）の表示部に、該顔情報データを表示させる。
制御装置２の操作者には、システム１を管理する管理者だけでなく、後述するシステム１のユーザーが含まれる。

（記憶部４）
記憶部４には、本特徴抽出システム１の基本動作を司る基本動作プログラムが記憶されるほか、表情動作単位の動きの強度や感情指数を算出するためのＦＡＣＳ推定自動プログラムや、後述するＡＵやその動きの強度等のパラメータについてクラスター分析等の解析処理を行うプログラム等が記憶されている。また、記憶部４には、顔情報データ（例えば、顔画像データ）が記憶されている。記憶部４は、評価対象者Ｈの顔情報データを、データベース化して、記憶していてもよい。斯かるデータベースは、評価対象者Ｈの顔情報データと、該評価対象者Ｈの識別情報や特徴抽出の抽出条件とが関連付けられて作成される。

（表示部６）
表示部６は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）からなり、制御部３からの指令に基づいて所定の画像、例えば、後述する表情動作評価パタン、抽出部３Ｃにより導出されたクラスター分析等の解析結果を表示する。

（制御部３）
本実施形態にかかる制御部３は、記憶部４に記憶される各種プログラムを読み込み、所定の演算処理を行って、表示部６に所定の画像を表示させる一般的な制御を行うほか、撮像装置Ｃ１～Ｃ９のそれぞれから送信された９種類の顔画像に基づいて、評価対象者の表情を分析し、該分析結果に基づき特徴抽出の制御を行う。

本実施形態では、このような表情の分析を行う表情分析ツールとして、Ｐａｕｌ ＥｋｍａｎやＷａｌｌａｃｅ Ｆｒｉｅｓｅｎらにより開発された「Ｆａｃｉａｌ Ａｃｔｉｏｎ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ」（顔面動作符号化システム、以下、「ＦＡＣＳ」と称す）を採用している。

ここで、本実施形態の理解を容易にするため、上記した「ＦＡＣＳ」について説明する。「ＦＡＣＳ」は、解剖学的観点から表情筋（例えば、皺眉筋、頬筋）の動きに基づいて顔面動作を包括的に測定するために開発された手法で、定義された約４０の顔の基本動作のうち、解剖学的基礎が明確な３２の動作を「Ａｃｔｉｏｎ Ｕｎｉｔ」（動作単位、以下、「ＡＵ」と称す）として定義等したものである。このように定義された「ＡＵ」は、動作の強度を「Ａ」～「Ｅ」の５段階で評価等することで、符号化（コーディング）することができ、これにより、顔の表情表出を客観的に評価することが可能になっている。斯かる「ＡＵ」が、本発明に係る表情動作単位に対応する。
またＦＡＣＳの前記評価において、表情単位における動きが見られない場合は、「Ａ」～「Ｅ」の何れにも該当しないものとする。

また、「ＡＵ」については、その定義された動作によって、感情価を評価できる。すなわち、ＡＵの動作が「Ｐｏｓｉｔｉｖｅ」な表情表出であるのか、あるいは「Ｎｅｇａｔｉｖｅ」な表情表出であるのかを評価することが可能である。例えば、表情を見て受ける感情印象と各表情動作との関連を調べた先行研究（Kohler et al., (2004) Psychiatry Research）に基づき、「ＡＵ６」（頬を持ち上げる動作）や「ＡＵ１２」（唇両端を引き上げる動作）は「Ｐｏｓｉｔｉｖｅ」に分類される表情表出として捉えることが可能である。また、「ＡＵ２」（眉の外側を上げる動作）や「ＡＵ４」（眉を下げる動作）は「Ｎｅｇａｔｉｖｅ」に分類される表情表出として、捉えることが可能である。なお、「Ｐｏｓｉｔｉｖｅ」及び「Ｎｅｇａｔｉｖｅ」の何れにも該当しない「ＡＵ」、例えば、「ＡＵ１」（眉の内側を上げる動作）や「ＡＵ５」（上瞼を上げる動作）については「Ｎｅｕｔｒａｌ」に分類される表情表出として捉えられる。ここで用いる「感情価」は、「Ｐｏｓｉｔｉｖｅ」と「Ｎｅｇａｔｉｖｅ」の２つの極性と、これらの中間である「Ｎｅｕｔｒａｌ」を含む感情の質的な違いを規定する概念である。

さらに、「ＡＵ」は、「Ｐｏｓｉｔｉｖｅ」、「Ｎｅｇａｔｉｖｅ」及び「Ｎｅｕｔｒａｌ」に分類することができるほか、いわゆる基本感情（「Ｈａｐｐｙ」、「Ｓａｄ」、「Ａｎｇｒｙ」及び「Ｆｅａｒ」）についても分類することが可能である。例えば、「ＡＵ６」（頬を持ち上げる動作）や「ＡＵ１２」（唇両端を引き上げる動作）は「Ｈａｐｐｙ」に分類される表情表出として、「ＡＵ１７」（顎を上げる）は「Ｓａｄ」に分類される表情表出として、「ＡＵ９」（鼻にしわを寄せる）は「Ａｎｇｒｙ」に分類される表情表出として、また、「ＡＵ２」（眉の外側を上げる）は「Ｆｅａｒ」に分類される表情表出として、それぞれ評価することが可能である。

本実施形態では、上記した「ＡＵ」の動作強度を符号化（コーディング）するためのアルゴリズム等からなるプログラム（ＦＡＣＳ推定自動プログラム）が記憶部４に記憶されており、当該プログラムに従って、制御部３が評価対象者Ｈの表情を特徴づける部位や、該表情を特徴づける撮像角度の顔情報データを抽出するように構成されている。

（制御部３）
次に、制御部３について説明する。制御部３は、表情動作評価部３Ａと、感情指数算出部３Ｂと、抽出部３Ｃとを有し、これら表情動作評価部３Ａ等によって、評価対象者Ｈの顔の表情（ＡＵごとの動作強度）から受ける特徴抽出を行うように構成される。

表情動作評価部３Ａは、個々の顔情報データに対し、表情筋の動きに基づく表情動作単位ごとに、動きの強度を評価する。本実施形態の表情動作評価部３Ａは、撮像装置Ｃ１～Ｃ９から送信された各顔画像データに対して、「ＡＵ」（例えば、「ＡＵ４」や「ＡＵ１４」）ごとに、動きの強度（例えば、「Ａ」～「Ｅ」の５段階を評価する機能を有している。また、表情動作評価部３Ａは、前記の動きの強度の評価「Ａ」～「Ｅ」を、１～５で数値化する処理を行う。斯かる数値化は、表情単位における動きが見られない場合は、「Ａ」～「Ｅ」の何れにも該当しないものとするため、「０」となる。
後述する抽出部３Ｃが行う解析処理は、前記動きの強度を数値化した値を解析処理の対象とする。

感情指数算出部３Ｂは、表情動作評価部３Ａの評価結果（表情動作単位の動きの強度）と、表情動作単位に関連付けられている感情とに基づき、表情動作単位ごとに感情指数を算出する。感情指数算出部３Ｂは、表情動作評価部３Ａによる評価結果と、「ＡＵ」に関連付けられている感情とに基づいて、「ＡＵ」ごとに感情指数を算出する機能を有している。本実施形態の感情指数算出部３Ｂは、表情動作単位（ＡＵ）に関連付けられている感情を、「Ｐｏｓｉｔｉｖｅ」、「Ｎｅｇａｔｉｖｅ」及び「Ｎｅｕｔｒａｌ」といった感情価で表し、該感情価の感情指数を算出する。
本実施形態において感情指数は、ＡＵごとの動き強度の評価である「Ａ」～「Ｅ」を、「１」～「５」で数値化することにより算出する。前述したように、表情単位における動きが見られない場合は、「Ａ」～「Ｅ」の何れにも該当しないので、感情指数を「０」と算出する。例えばＡＵ１２は「Ｐｏｓｉｔｉｖｅ」に関連付けられるが、その動きの強度が「Ｂ」だった場合、これをＰｏｓｉｔｉｖｅの「２」と算出できる。すなわち、本実施形態では、表情動作評価部３ＡによるＡＵの動きの強度を数値化した値と、感情指数算出部３Ｂが算出する感情指数とが同じ数値となる。したがって、後述する表情動作評価パタンに示された感情指数の値は、表情動作単位（ＡＵ）の動きの強度を数値化した値と同じである。

本実施形態において表情動作評価部３Ａ及び感情指数算出部３Ｂが行う処理は、ＦＡＣＳ推定自動プログラムに基づく。ＦＡＣＳ推定自動プログラムは、顔画像から「ＡＵ」ごとの表情動作を抽出・解析し、当該「ＡＵ」の動作強度を評価して符号化（コーディング）するとともに、「ＡＵ」に関連付けられた感情価とその感情指数とを導出するためのプログラムである。具体的には、表情動作評価部３Ａは、顔画像データにおける各ＡＵの動作強度をＡ～Ｅで評価する。感情指数算出部３Ｂは、各「ＡＵ」の前記動作強度の評価結果から、該ＡＵごとの感情価とその感情指数を導出する。ＦＡＣＳ推定自動プログラムは、例えば、上記したＦＡＣＳ認定コーダーによるコーディング結果を教師データ化したプログラム（例えば、「Ａｆｆｄｅｘ」（Ａｆｆeｃｔｉｖａ社））を利用することにより実現できる。

本実施形態における感情指数算出部３Ｂによる評価結果の一例を図２に示す。感情価の感情指数は、例えば０～５のスコアで表される。ＡＵごとに動きの強度の評価や感情指数が記された表を、以下、「表情動作評価パタン」ともいう。表情動作評価パタンは、ＡＵごとの動きの強度のみを示してもよい。また、図２中の「Ｃ１」、「Ｃ２」・・・「Ｃ９」は、それぞれ「撮像装置Ｃ１」、「撮像装置Ｃ２」・・・「撮像装置Ｃ９」（図１参照）により撮像された画像データを示す。図２では、ＦＡＣＳパタンとともに、撮像装置Ｃ１～撮像装置Ｃ９の顔画像イメージを示す。

抽出部３Ｃは、複数の顔情報データの表情動作単位の動きの強度（以下、単に「動きの強度」ともいう。）について解析処理を行い、評価対象者の表情を特徴づける部位、又は評価対象者の表情を特徴づける撮像角度の顔情報データを抽出する。本実施形態の抽出部３Ｃは、表情動作評価部３Ａによる評価について解析処理を行う。この解析処理としては、クラスター分析、ヒートマップ分析、主成分分析、ネットワーク分析等の多変量解析が挙げられる。これらは動きの強度のパラメータを用いた解析処理である。

クラスター分析は、複数のパラメータ間の距離情報に基づいて、これらパラメータを複数のグループ（クラスター）に分類する解析処理である。距離情報は、分類対象のパラメータ（目的変数）を、多種類の特性値（説明変数）のベクトル空間に分布させたときの、該パラメータどうしの距離である。パラメータ間の距離は、平方ユークリッド距離、マハラノビス距離、コサイン距離等の定義により求められる。また、クラスター間の距離の測定方法は、ウォード法、群平均法、最短距離法等の方法により求められる。
例えば、複数の角度から撮影された顔画像についてＡＵごとの動きの強度を用いて、クラスター分析する場合、各顔画像を相関係数で示すベクトル空間において、顔画像どうし間の距離を計算し、当該距離に基づいて、顔画像を複数のクラスに分類する。斯かる分析では、動きの強度が近似する同じＡＵを、異なる顔画像間の「特徴にかかわる共通のＡＵ」として特定するとともに、該「特徴にかかわる共通のＡＵ」の動きの強度の相関係数が近似である顔画像どうしが、同じグループに分類される。このように、複数の顔画像を、ＡＵの動きの強度との相関係数に基づいて分類する。斯かる分類は、評価対象者Ｈの表情を特徴づける顔の部位として抽出すべきか否かの判断材料や、特徴的な表情が表出した撮像角度の顔画像として抽出すべきか否かの判断材料となる。

本実施形態の抽出部３Ｃは、クラスター分析により、複数の異なる顔情報データ（顔画像データ）について、表情動作評価パタンに基づき、互いに動き強度が類似するＡＵでクラスター（集団）を作るように構成されている。クラスター分析の解析結果は、例えば図３に示すようにデンドログラムで表示すると、撮像装置Ｃ１～Ｃ９で撮像した顔画像（図中においてＣ１～Ｃ９で示す）どうしの類似度を視覚化できる。具体的には（１）各顔画像データ間の類似度に基づいて、最も類似度の高い顔画像データを逐次的に併合してグループ（クラスター）を形成し、（２）グループ間の類似度に基づき、グループ間の併合を繰り返し、１つのグループに併合されるまで繰り返すことで階層構造（デンドログラム）を生成する。これにより、各顔画像データについて、類似する顔画像データ同士をグループごとに集めて分類する。（３）斯かるデンドログラムにおいて、任意の分類数でクラスタリングし、各グループの「ＡＵ」の動き強度の平均値を算出する。例えば、図３に示すように、デンドログラムの任意の位置に区分線Ｌを設けることで、任意の分類数（グループ数）にすることができる。図３に示す区分線Ｌでは、Ｃ１、Ｃ２、Ｃ８及びＣ９の顔画像データからなるグループ１と、Ｃ３～Ｃ５の顔画像データからなるグループ２と、Ｃ６及びＣ７からなるグループ３とに分類される。また、グループ１～３ごとに、各ＡＵの動きの強度の平均値を求めることで、グループごとの特徴的なＡＵを把握することができる。この場合、特徴的なＡＵは、同じグループにおける異なる顔画像データ間で動き強度が近似する同じＡＵ、すなわち「特徴にかかわる共通のＡＵ」である。

ヒートマップ分析は、パラメータ間の相関係数を、行列式で、且つ色で表す解析処理である。本分析において相関係数は、その大きさが色の濃淡や色合いの違いで視覚化される。本実施形態においてパラメータ間の相関係数は、顔画像データ間のＡＵとその動き強度との相関係数である。

主成分分析は、多種類の特性値やパラメータのデータの中から、相互に相関が強いデータの合成変数を主成分として抽出し、該主成分を軸とする座標上に前記データを分布させて、該データの分類を行う解析処理である。主成分分析の解析結果は、一般的に、主成分の寄与率に応じて、第１主成分及び第２主成分の二軸のグラフ、又は第１～第３主成分の三軸のグラフで表示される。主成分分析のグラフからは、各顔画像の相対的なＡＵ（特徴的なＡＵ）を把握できるとともに、該グラフで顔画像を分布させることにより、同じような特徴を有する顔画像を分類することができる。本実施形態においては、異なる顔画像データ間の「特徴にかかわる共通のＡＵ」を主成分とする。

ネットワーク分析は、多種類の特性値やパラメータのデータをノードとし、且つ該データ間の相関係数をエッジとするとともに、ノードどうしをエッジで繋いでエッジ間の関係を表す解析処理である。ネットワーク分析において、ノード間を繋ぐエッジのボンド数、ノード間の距離、及び相関係数の大きさを示すエッジの太さは、適宜設定できる。例えば、ＡＵとその動きの強度との相関係数に基づいてネットワーク分析すると、動きの強度を示すノード間の関係を、ノードの分布やエッジの繋がりで表現することができる。また、ＡＵのノードと顔画像のノードとの関連性や、顔画像のノードどうしの類似性を、前記相関係数の大きさに基づいて表すことができ、これらノードの分布に応じて、共通するＡＵごとに顔画像を分類することができる。ノードは、ＡＵや動きの強度等のパラメータごとに異なった色や柄を付与していてもよい。また、ネットワーク分析のグラフを三次元オブジェクトとして、回転させたり、あるいは拡大又は縮小させたりして、表示してもよい。

前述した解析処理には、公知の統計解析ソフトを用いることができる。統計解析ソフトには、統計解析処理を行うとともに、その解析結果として、所定のグラフ上にデータ（パラメータ）を分布させて表示させるものを用いてもよく、統計解析処理のみを行うものを用いてもよい。後者のものを用いる場合、解析結果を二次元グラフ又は三次元グラフで表示させるソフトと併用する。統計解析ソフトとしては、例えば、R、SPSS、HAD、JASP、PSPP、SAS、JAMOVI等が挙げられ、該ソフトには多変量解析に応じたパッケージ（関数）が用いられる。前記の表示させるソフトとしては、例えば、Unity、Tinkercad、Metasequoia、Blender、DOGA L-1、Sculptris等が挙げられる。

本実施形態の抽出部３Ｃは、前述の解析処理により分類した複数の顔情報データ（顔画像データ）のグループ（以下、単に「グループ」ともいう）について、評価対象者の特徴的な表情が最も表出している撮像角度のグループや、該表情が最も表出していない撮像角度のグループを抽出する。斯かる抽出は、各グループに特徴的なＡＵの動きの強度の高低に基づく。また、特徴的な表情が最も表出しているグループのＡＵの動きの強度に基づき、該ＡＵに対応する顔の部位を、評価対象者Ｈの表情を特徴づける顔の部位として抽出する。このようにして、抽出部３Ｃは、評価対象者Ｈの表情を特徴づける顔の部位（ＡＵ）や特徴的な表情が表出した撮像角度の顔画像を抽出する。

例えば、評価対象者の表情を特徴づけるグループについてＡＵ４及びＡＵ１４の動きの強度が高い場合、当該ＡＵ４及びＡＵ１４に対応する部位Ｒ１，Ｒ２を、評価対象者の表情に対する寄与率が高い部位として特定するとともに、斯かる部位をメイクやマッサージを施す対象部位とすることができる（図５参照）。
また、本実施形態では複数の顔画像データ（顔情報データ）のうち、評価対象者の表情を特徴づける撮像角度を把握できる。斯かる撮像角度は、複数の顔画像データのうち特徴的な動きの強度となった表情が表出された撮像角度である。これにより、評価対象者の表情がよく表出された印象深い撮像角度や、これとは逆に印象に乏しい撮像角度を把握できる。

本実施形態のシステム１は、前述したように感情指数算出部３Ｂを具備するので、個々のＡＵごとの感情価とその感情指数を導出でき、これを表情動作評価パタンに示すことができる。この感情指数は、表情動作評価部３Ａの評価結果（表情動作単位の動きの強度）に基づくので、抽出部３Ｃによる顔情報データの抽出結果は、異なる顔情報データ間の感情価とその感情指数の類似度も反映されているといえる。これにより、抽出部３Ｃによって分類された顔情報データのグループについて、特徴的な感情価とその感情指数を把握することができる。また、各グループの特徴を感情価とその感情指数で表せることで、評価対象者の表情の特徴をイメージし易くなり、表情の情報を他者間で共有したり、伝達したりする際のコミュニケーションを円滑化できる。

本実施形態のシステム１は、抽出部３Ｃが導出した抽出結果を提示する。斯かる提示は、システム１が具備する表示部６に抽出結果を表示させる態様ｅ１や、ネットワークを介してシステム１とは別体の情報端末に抽出結果のデータを送信する態様ｅ２、別体の情報端末がアクセスした汎用のウェブブラウザに抽出結果を表示する態様ｅ３等が挙げられる。ここで「別体の情報端末」は、システム１のユーザーが保有する情報端末であり、スマートフォン等のタブレット端末やＰＣ等が挙げられる。斯かるユーザーは、システム１が提示する抽出結果を用いる者全般であって、該抽出結果を用いて評価対象者の表情を特徴づける部位や撮像角度の把握や、これらの部位や撮像角度に基づく評価対象者の表情の分析又は評価を実施する者等が挙げられる。より具体的には、化粧品の対面販売を行う店舗において、メイクのアドバイスを顧客に行うアドバイザーや、店舗にて顔のマッサージを行う施術者、抽出結果の提供サービスを受ける一般利用者等が挙げられる。
例えば、前記態様ｅ２として、一般利用者が所有するスマートフォンにインストールされたアプリケーションを通じて対応情報が配信される態様等が挙げられる。
また、前記態様ｅ３として、アドバイザー、施術者や一般利用者がタブレット端末を用いて、汎用のウェブブラウザにアクセスし、該ウェブブラウザのページに対応情報を表示させる態様等が挙げられる。

次に、本発明の特徴抽出方法を、上述した特徴抽出システム１において実行される制御処理（以下、「特徴抽出処理」という。）を例に、図面を参照しながら説明する。以下においては、説明の便宜上、撮像装置Ｃ１～Ｃ９と制御装置２とが互いに通信可能な状態になっていることを前提として説明する。

図４に示すように、本実施形態にかかる特徴抽出処理は、主に、制御部３において実行され、ステップＳ１００における処理を行うことから始まる。以下に示す各ステップの実行主体は、制御部３のＣＰＵである。
先ず、ステップＳ１００において顔情報取得部５が、顔情報取得工程を実行する。本実施形態では、撮像装置Ｃ１～Ｃ９から評価対象者Ｈの顔画像データを顔情報取得部５が受け付け、該顔画像データを記憶部４に記憶させるとともに、該顔画像データをステップＳ２００以降の処理対象として特定する。撮像装置Ｃ１～Ｃ９による顔画像の撮影は、システム１のユーザーの操作に応じて実行される。

続くステップＳ２００において、表情動作評価部３Ａが、ステップＳ１００で取得した顔情報データ（顔画像データ）を対象に、表情動作評価工程を実行する。本実施形態では、表情動作評価部３Ａが、各顔画像データに対し、「ＡＵ」ごとの動作強度（動きの強度）を評価する。具体的には、表情動作評価部３Ａは、撮像装置Ｃ１～Ｃ９から送信された各顔画像データに対し、ＦＡＣＳ推定自動プログラムに従って、各「ＡＵ」に対応する顔の部位（例えば、眉周りや目元）を抽出した後、「ＡＵ」ごとに動きの強度を評価する制御を行う。また、表情動作評価部３Ａは、前記動きの強度の評価「Ａ」～「Ｅ」を、１～５で数値化する処理を行う。

例えば、表情動作評価部３Ａは、図２に示すように、撮像装置Ｃ１により撮像された画像データに対しては「ＡＵ６：０」、「ＡＵ１２：０」、「ＡＵ２：０」・・・、撮像装置Ｃ２により撮像された画像データに対しては「ＡＵ６：０」、「ＡＵ１２：１」、「ＡＵ２：０」・・・といったように、「ＡＵ」ごとに動きの強度を評価する制御を行う。
ステップＳ２００の表情動作評価工程を行った後、ステップＳ３００に進む。

ステップＳ３００では、感情指数算出部３Ｂが、感情指数算出工程を実行する。本実施形態では、表情動作評価部３Ａによる評価結果と、「ＡＵ」に関連付けられている感情とに基づき、感情指数算出部３Ｂが、顔画像データの「ＡＵ」ごとに感情指数を算出する。本実施形態において「ＡＵ」に関連付けられている感情は、「Ｐｏｓｉｔｉｖｅ」、「Ｎｅｇａｔｉｖｅ」及び「Ｎｅｕｔｒａｌといった感情価で示される。

例えば、感情指数算出部３Ｂは、図２に示すように、ＦＡＣＳ推定自動プログラムに従って、「ＡＵ６」に対しては「感情価：Ｐｏｓｉｔｉｖｅ」、「Ｃ１：０」、「Ｃ２：０」、「Ｃ３：０」・・・「Ｃ９：０」、「ＡＵ１２」に対しては「感情価：Ｐｏｓｉｔｉｖｅ」、「Ｃ１：０」、「Ｃ２：１」、「Ｃ３：０」・・・「Ｃ９：０」といったように、感情指数を算出する制御を行う。

制御部３は、ステップＳ３００の表情動作評価工程を行った後、ステップＳ４００に処理を移す。なお、本実施形態では、感情指数を算出する際、「ＡＵ」に関連付けられた感情価（「Ｐｏｓｉｔｉｖｅ」、「Ｎｅｇａｔｉｖｅ」及び「Ｎｅｕｔｒａｌ」）を用いたが、これに代えて、例えば、上記した「ＡＵ」に関連付けられた基本感情（例えば、「Ｈａｐｐｙ」、「Ｓａｄ」、「Ａｎｇｒｙ」及び「Ｆｅａｒ」）を用いてもよい。
ステップＳ３００の感情指数算出工程を行った後、ステップＳ４００に進む。

本実施形態の特徴抽出方法は感情指数算出工程（ステップＳ３００）を具備するが、感情指数算出工程を実行しなくてもよい。この場合、ステップＳ２００の実行後、ステップＳ４００に進む。

ステップＳ４００では、抽出部３Ｃが、抽出工程を実行する。本実施形態では、抽出部３Ｃが、ステップＳ２００の表情動作評価工程で得られたＡＵごとの動きの強度についてクラスター分析等の解析処理を行い、評価対象者Ｈの表情を特徴づける部位、及び、評価対象者Ｈの表情を特徴づける撮像角度の顔画像を抽出する制御を行う。

例えば抽出部３Ｃは、クラスター分析のプログラムに従って、前述した（１）～（３）のクラスター分析を行い、該クラスター分析の結果に基づき、評価対象者Ｈの表情を特徴づける顔の部位や特徴的な表情が表出した撮像角度の顔画像を抽出する。
制御部３は、ステップＳ４００の抽出工程を行った後、本特徴抽出処理を終了する。

特徴抽出処理を終了すると、抽出部３Ｃの抽出結果が記憶部４に記憶される。あるいは、表示部６や、ネットワークを介して接続された別体の情報端末（例えば、スマートフォン）の表示部に、抽出結果が表示される。

本実施形態では、ステップＳ１００～ステップＳ４００の処理を、制御装置２による制御により実行したが、該制御装置２に代えて、人手により行うことも可能である。すなわち、本実施形態の特徴抽出方法は、顔情報取得工程、表情動作評価工程、及び抽出工程の何れか１つの工程又は２つ以上の工程を人手によって実行してもよい。例えば、顔情報取得工程、表情動作評価工程、及び抽出工程の全ての工程を人手により行ってもよい。
また、表情動作評価工程を人が実行する場合、その人が評価対象者Ｈの表情を目視で確認しながら、表情動作単位の動きの強度を評価する。この場合、ＦＡＣＳ認定コーダーがマニュアルコーディングによって、顔情報取得工程と表情動作評価工程とを同時に実行する。

さらに、本実施形態の特徴抽出処理において感情指数算出工程を実行する場合、制御装置２が感情指数算出工程を実行してもよく、該制御装置２に代えて、人が感情指数算出工程を実行してもよい。

本実施形態の特徴抽出方法では、上記の方法により、複数の異なる撮像角度から撮像した顔画像データを用いて、評価対象者の表情を特徴づける顔の部位を抽出できる。この場合、その抽出結果は、該顔の部位を考慮した表情の作り方や化粧方法を検討するための検討材料とすることができ、該表情の作り方や化粧方法のカウンセリングに活用することができる。例えば、特徴的な表情としてＡＵ１の動きの強度が高い撮像角度のグループ（ａ１）と、該ＡＵ１の動きの強度が低い撮像角度のグループ（ｂ１）とに分類された場合、該グループ（ｂ１）の撮像角度でも、ＡＵ１の動作が強調されるような表情の作り方や化粧方法を提案することができる。
また、どの撮像角度でも同じような表情を表出させたい場合は、抽出された表情を特徴づける部位について、どの撮像角度でも同程度の動きの強度となるような表情の作り方や化粧方法を提案することができる。例えば、どの撮像角度でも評価対象者に特徴的な表情を表出させることで、該評価対象者の印象を強調できる。
さらにクラスター分析によって分類されたグループについて、評価対象者の好み等に応じてグループを選択し、そのグループに特徴的なＡＵを抽出することもできる。この場合、他のグループの顔画像でも該特徴的なＡＵの動きの強度が高まるような表情の作り方や化粧方法を提案することができる。これにより、他のグループの撮像角度においても、選択したグループの撮像角度に近い印象を付与できる。
表情の作り方としては、評価対象者が意識して所定のＡＵに対応する部位を動かし表情を作る他、強調したいＡＵに対応する部位の動きを円滑化するように、該部位にマッサージを施す方法等が挙げられる。

また、本実施形態の特徴抽出方法は、顔情報取得工程で異なる表情の顔画像データを取得し、これに基づく動きの強度を得て、抽出工程を行うこともできる。この場合、評価対象者Ｈの顔情報データ（顔画像データ）は、異なる角度から取得されたものであってもよく、１つの角度から取得されたものであってもよい。異なる表情の顔画像データの動きの強度に基づく抽出工程により、評価対象者の表情を特徴づける部位を把握できる。この特徴づける部位が円滑に動くと、表情が分かり易くなるので、該特徴づける部位をマッサージの施術部位として特定することができる。また、動きの強度が低いＡＵに対応する部位を、マッサージの施術部位として特定することもできる。これにより、施術された部位が動き易くなって、評価対象者の表情を豊かにすることができる。

以上、本発明をその好ましい実施形態に基づき説明したが、本発明は上述した実施形態に限定されない。
例えば、制御装置２に、システム１の専用のソフトウェアやハードウェア、オンプレミス型のサーバー構成等といったＯＳ（Operating System）等を設けずに、クラウドサーバーによるＳａａＳ（Software as a Service）、Ｐａａｓ（Platform as a Service）、ＩａａＳ（Infrastructure as a Service）を用いてもよい。斯かる構成により、制御装置２の抽出部３Ｃが導出する抽出結果を、汎用のウェブブラウザを介してユーザーに提供することができる。また、抽出部３Ｃは顔情報データのグループの分類や抽出結果を出力して、汎用のウェブブラウザを介してユーザーが有するスマートフォン等の情報端末に提供することができる。具体的には、システム１から出力された分類や抽出結果、表情動作パタンが、ウェブブラウザを介してユーザーが所有する別体の情報端末が備える表示部に表示される。

上述した実施形態では、表情動作評価パタンの生成等に、ＦＡＣＳ推定自動プログラム（例えば、「Ａｆｆｄｅｘ」（Ａｆｆeｃｔｉｖａ社））を利用したが、例えば、いわゆる３Ｄ画像撮像解析装置（ＶＥＣＴＲＡ（Ｃａｎｆｉｅｌｄ社））を用いることも可能である。この場合、評価対象者の顔について、３Ｄ画像撮像解析装置による３次元形状解析を行い、その解析結果に基づいて表情動作評価パタンを生成すればよい。また、公知の画像認識技術を利用して、顔のしわの位置及び強度（例えば、深さ）を抽出し、その抽出されたしわ情報等に基づいて表情動作評価パタンを生成することも可能である。

以下、本発明を実施例によりさらに具体的に説明するが、本発明は斯かる実施例に限定されるものではない。

（実施例１）
実施例１では、図１に示す特徴抽出システム１を用いて、評価対象者（評価対象者Ｗ）の表情を特徴づける部位を抽出した。具体的には、撮像装置Ｃ１～Ｃ９（図１参照）を用いて、複数の異なる角度から評価対象者を撮像し、得られた顔画像の表情動作評価パタンを求めた。評価対象者である評価対象者Ｗは、「素顔（化粧無し）」かつ「無表情」の状態で撮像した。図６に、評価対象者Ｗの顔画像とともに、該顔画像に基づく表情動作評価パタンを示す。図６に示す顔画像は、それぞれ撮像装置Ｃ１～Ｃ９（図１参照）に対応している。また、図６に示す表情動作評価パタンに示された感情指数の値は、表情動作単位（ＡＵ）の動きの強度を数値化した値と同じである。図中の「Ｘ」は、クラスター分析の解析に用いていない。

次いで、図６の表情動作評価パタンの導出に用いた各ＡＵの動きの強度について、クラスター分析のプログラムにより、ウォード法による平方ユークリッド距離を使用したクラスター分析を行った。図７に、クラスター分析によって得られたデンドログラムを示す。このデンドログラムに区分線Ｌを引き、撮像装置Ｃ１～Ｃ９により撮像した９個の顔画像データを、３つのグループに分類した。具体的には、撮像装置Ｃ１、Ｃ９及びＣ２の各顔画像データからなるグループ１、撮像装置Ｃ７、Ｃ８及びＣ３の各顔画像データからなるグループ２、及び撮像装置Ｃ４～Ｃ６の各顔画像データからなるグループ３に分類した。また、各グループ１～３について、「ＡＵ」ごとの動きの強度の平均値を求めた（図７の下表参照）。表中の「１」は撮像装置Ｃ１、Ｃ９及びＣ２の各顔画像データからなるグループ１を、「２」は撮像装置Ｃ７、Ｃ８及びＣ３の各顔画像データからなるグループ２を、「３」は撮像装置Ｃ４～Ｃ６の各顔画像データからなるグループ３を、それぞれ示している。

また、各グループ１～３におけるＡＵごとの動きの強度の平均値を求めた。例えば、図７に示すように、グループ１では、「ＡＵ１２」の動きの強度の平均値が０．３３３である。これは、図６の表情動作評価パタンにおける撮像装置Ｃ１、Ｃ９及びＣ２の各顔画像データについて、ＡＵ１２の動きの強度の合計を、グループ１を構成する顔画像データの個数（３個）で除することにより求めた。

また、図６の表情動作評価パタンの導出に用いた各ＡＵの動きの強度の合計を、顔画像データの個数（９個）で除した平均値を求め、これを「全体平均値」とした。図６の表に示すように、「ＡＵ１２」（唇両端を上げる動作）の全体平均値（「０．４４４」）及び「ＡＵ１４」（えくぼを作る動作）の全体平均値が、他の「ＡＵ」の全体平均値より高い値であった。斯かる結果から、評価対象者Ｗの表情を特徴づける顔の部位は、「ＡＵ１２」に対応する「唇両端」及び「ＡＵ１４」に対応する「えくぼを作る部位」と推定できる。

図７の表によれば、他のグループに比してグループ３が、「ＡＵ１２」の動きの強度の平均値と、「ＡＵ１４」の動きの強度の平均値とが高い結果となった。また、グループ１に比してグループ２が、「ＡＵ１４」の動きの強度の平均値が高い結果となった。斯かる結果から、評価対象者Ｗの表情を特徴づける撮像角度は、撮像装置Ｃ４～Ｃ６の撮像角度であると推定できる。換言すれば、評価対象者Ｗの顔正面を０度とした場合（撮像装置Ｃ５の方向）、顔正面から左４５度（撮像装置Ｃ３の方向）と顔正面から右６７．５度（撮像装置Ｃ８の方向）との間の範囲内における撮像角度が、評価対象者Ｗの表情を特徴づける撮像角度と推定できる。

図７に示す結果より、評価対象者Ｗの表情を特徴づける部位として、「唇両端（「ＡＵ１２」）」及び「えくぼを作る部位（ＡＵ１４）」が抽出される。また、評価対象者Ｗの表情を特徴づける撮像角度として、正面から左４５度と正面から右６７．５度との間の範囲の撮像角度が抽出される。これらの結果に基づき、前記表情を特徴づける部位を強調するようなメイクを提案できる。例えば、該部位の化粧を比較的濃い目にする、といった提案できる。さらに、前記特徴づける部位を強調するような表情にするため、これらの部位を構成する表情筋をマッサージの施術部位として提案することも可能である。

一方、上記のクラスター分析の結果及び図６の表情動作評価パタンによれば、評価対象者Ｗの顔は、撮像装置Ｃ４～Ｃ６が配置される角度とその左右方向両側の撮像装置Ｃ３、Ｃ７及びＣ８が配置される撮像角度では、見る角度によっては異なる印象を与えやすい顔立ち（多面性のある顔立ち）と評価できる。斯かる評価結果から、評価対象者の特徴的な表情の表出を抑えるような化粧方法を提案することも可能である。このような化粧方法としては、例えば、「唇両端（ＡＵ１２）」及び「えくぼを作る部位（ＡＵ１４）」に比較的薄めな化粧を施しつつ、その他の部位に比較的厚めな化粧を施すものを提案することができる。

図８は、図６の評価対象者Ｗの顔に化粧を施した状態の顔画像に基づく表情動作評価パタンを示したものである。また、図８に示す表情動作評価パタンの導出に用いた各ＡＵの動きの強度に対しクラスター分析を行い、３つのグループに分類した。図８では同じグループに分類された顔画像について、撮像装置Ｃ１～Ｃ９の欄に同じ濃淡の灰色を着色している。図８の表情動作評価パタンによれば、図６とは異なるＡＵで動きの強度が１以上となり、素顔とは異なる印象となったことが判る。斯かる表情動作評価パタンによれば、図８に示す各顔画像は、図７に示すグループとは異なるグループに分類がされたことが示された。

（実施例２）
実施例２においても、図１に示す特徴抽出システム１を用いて、評価対象者（評価対象者Ｗ）の表情を特徴づける部位を抽出した。評価対象者は、図６に示す表情とは異なる表情で顔画像を撮像した。撮像は、実施例１と同様に、撮像装置Ｃ１～Ｃ９（図１参照）を用いて行った。この場合の評価対象者の顔画像に基づく表情動作評価パタンを図９に示す。また、図９の表情動作評価パタンの導出に用いた各ＡＵの動きの強度に対しクラスター分析を行い、クラスター分析により分類された各グループのＡＵの感情指数の平均値を求めた。すなわち、図９の表情動作評価パタンを用いてデンドログラムを作成し、撮像装置Ｃ１～Ｃ９により撮像した９個の顔画像データを３つのグループ１～３に分類した。具体的には、撮像装置Ｃ３、Ｃ７、Ｃ６、Ｃ８及びＣ２の撮像装置Ｃ１及びＣ９からなるグループ１、各顔画像データからなるグループ２、及び、撮像装置Ｃ４及びＣ５の各顔画像データからなるグループ３に分類した。斯かるクラスター分析は、実施例１と同様の方法により行った。

また、実施例１と同様の方法により、各グループ１～３におけるＡＵごとの動きの強度の平均値と、全体平均値とを求めた。これら平均値と全体平均値の表を、図１０のデンドログラムの下に示す。表中の「１」は撮像装置Ｃ１及びＣ９の各顔画像データからなるグループ１を、「２」は撮像装置Ｃ３、Ｃ７、Ｃ６、Ｃ８及びＣ２の各顔画像データからなるグループ２を、「３」は撮像装置Ｃ４及びＣ５の各顔画像データからなるグループ３を、それぞれ示している。

図１０の表によれば、「ＡＵ４」（眉を下げる動作）の動きの強度の全体平均値（「２．６６６７」）が他の「ＡＵ」の全体平均値よりも高い結果となった。また、他のグループに比してグループ３が、「ＡＵ１４」（えくぼを作る動作）の動きの強度の平均値（「２．００」）が高い値であった。このような結果から、評価対象者の表情を特徴づける顔の部位は、「眉部」（「ＡＵ４」）と「えくぼを作る部位」（「ＡＵ１４」）と推定できる。
この場合、評価対象者に対して、ＡＵ４及びＡＵ１４にそれぞれ対応する顔の部位を、マッサージの施術部位として提案できる。斯かるマッサージにより、ＡＵ４及びＡＵ１４にそれぞれ対応する顔の部位が動き易くなり、表情を豊かにすることが期待できる。

（実施例３）
実施例３では、複数の異なる表情（表情ａ～ｉ）の各顔画像に基づき（図１１参照）、評価対象者（評価対象者Ｗ）の表情を特徴づける部位を抽出した。斯かる実施例では評価対象者Ｗの顔について、異なるタイミングで、同じ角度から複数の顔情報データ（顔画像）を取得した。表情を特徴づける部位の抽出方法は、複数の異なる表情の顔画像のＡＵごとの動きの強度を求め、該ＡＵごとの動きの強度について、クラスター分析を行った。表情動作評価パタン及びクラスター分析は、実施例１と同様の方法により行った。本実施例では、クラスター分析により、表情ａ～ｉの顔画像を４つのグループに分類した。図１１では、表情動作評価パタンを示すとともに、同じグループに分類された顔画像について、表情ａ～ｉの欄に同じ濃淡の灰色を着色している。表情ｅの欄が白色で示されているが、該表情ｅの顔画像は、クラスター分析においてどのグループにも属さないことを意味する。また、図１１の表情動作評価パタンでは、感情価とともに各ＡＵに関連する基本感情を示す。

図１１に示す各顔画像は、１台の撮像装置Ｃ５により撮像した。撮像角度は、評価対象者の正面とした。図１１に示す顔画像は、表情ａが自然な表情（表情表出時）の顔画像であり、表情ｂが悲しい表情の顔画像であり、表情ｃが困惑している表情の顔画像であり、表情ｄがやや怒っている表情の顔画像であり、表情ｅが怒っている表情の顔画像であり、表情ｆが笑っている表情の顔画像であり、表情ｇがやや笑っている表情の顔画像であり、表情ｈが驚いている表情の顔画像であり、表情ｉが微笑んでいる表情の顔画像である。

図１１に示す表情動作評価パタンの導出に用いた各ＡＵの動きの強度に対してクラスター分析を行った結果、表情ａ～表情ｄの各顔画像データからなるグループ、表情ｆ及び表情ｇの各顔画像データからなるグループ、表情ｈ及び表情ｉの各顔画像データからなるグループ、並びに表情ｅの顔画像、といった４つのグループに分類された。これら各グループを比較すると、表情ａ～表情ｄの各顔画像データからなるグループでは、他のグループに比して「ＡＵ１４」（えくぼを作る動作）の動きの強度が高い値を示している。また、表情ｅの顔画像データは、「ＡＵ１４」における数値が「４」と極めて高い値となっている。斯かる結果から、評価対象者Ｗの表情を特徴づける部位は、「ＡＵ１４」に関連付けされる「えくぼを作る部位」と推定できる。この場合、評価対象者Ｗに対しては、「えくぼを作る部位」をマッサージの施術部位として提案できる。これにより、評価対象者Ｗの表情をより豊かにすることが期待できる。

１ 特徴抽出システム
２ 制御装置
３ 制御部
３Ａ 表情動作評価部
３Ｂ 感情指数算出部
３Ｃ 抽出部
４ 記憶部
５ 顔情報取得部
６ 表示部
Ｃ１～Ｃ９ 撮像装置
Ｈ 評価対象者
Ｗ 評価対象者
Ｌ 区分線
Ｒ１，Ｒ２ 部位

Claims (5)

1. 評価対象者の顔を撮像した顔情報データに基づき、該評価対象者の表情を特徴づける部位又は撮像角度を抽出する特徴抽出方法であって、
   評価対象者の、撮像のタイミング又は撮像角度の異なる複数の顔情報データを取得する顔情報取得工程と、
   個々の前記顔情報データに対し、前記評価対象者の表情筋の動きに基づく表情動作単位の動きの強度を評価する表情動作評価工程と、
   複数の前記顔情報データの前記動きの強度について解析処理を行い、前記評価対象者の表情を特徴づける部位、又は前記評価対象者の表情を特徴づける撮像角度の前記顔情報データを抽出する、抽出工程とを備える、特徴抽出方法。
2. 前記解析処理が、クラスター分析、ヒートマップ分析、又は主成分分析である、請求項１に記載の特徴抽出方法。
3. 前記顔情報取得工程において、複数の異なる角度からの顔情報データを取得する、請求項１又は２に記載の特徴抽出方法。
4. 前記顔情報取得工程において、異なる表情の顔情報データを取得する、請求項１～３の何れか１項に記載の特徴抽出方法。
5. 評価対象者の顔情報データに基づき、該評価対象者の表情の印象を評価する特徴抽出システムであって、
   評価対象者の、撮像のタイミング又は撮像角度の異なる複数の顔情報データを取得する顔情報取得部と、
   個々の前記顔情報データに対し、前記評価対象者の表情筋の動きに基づく表情動作単位ごとに、動きの強度を評価する表情動作評価部と、
   複数の前記顔情報データの前記動きの強度について解析処理を行い、前記評価対象者の表情を特徴づける部位、又は前記評価対象者の表情を特徴づける撮像角度の前記顔情報データを抽出する、抽出部とを備える、特徴抽出システム。
   

Images