JP2018102519A - 感情推定方法 - Google Patents
感情推定方法 Download PDFInfo
- Publication number
- JP2018102519A JP2018102519A JP2016251067A JP2016251067A JP2018102519A JP 2018102519 A JP2018102519 A JP 2018102519A JP 2016251067 A JP2016251067 A JP 2016251067A JP 2016251067 A JP2016251067 A JP 2016251067A JP 2018102519 A JP2018102519 A JP 2018102519A
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- subject
- facial
- emotions
- estimation method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】人の顔面動作と感情との関連性を明確に特定した上で人の顔面動作からその人の感情を推定する。【解決手段】特定の感情を生起させる刺激を被験者に与え、与えた刺激により何らかの感情が生起した被験者の各種顔面動作を測定し、与えた刺激により被験者に生起した各種感情の主観評定値を取得し、多数の被験者を対象に上記ステップを実行し、測定した各種顔面動作を目的変数とし、取得した各種感情の主観評定値を説明変数として回帰分析を行って、顔面動作別の感情予測モデルを構築し、構築した各感情予測モデルにおいて有意差のある感情をその感情予測モデルに係る顔面動作に関連する感情であると特定し、特定した顔面動作と感情との関連性に基づいて、人の顔面動作からその人の感情を推定する。【選択図】図2
Description
本開示は、感情推定方法に関し、特に、人の表情からその人の感情を推定する方法に関する。
人の表情と感情とには密接な関連性があり、人が何らかの感情を抱いたとき、その感情は無意識に表情となって現れることがある。したがって、そのような原因(すなわち感情の生起)と結果(すなわち表情の表出)を逆に辿れば、人の表情を観察することでその人が抱いている感情を推定することが可能である。
例えば、下記特許文献1には、人の表情の中でも特に眼と口に着目し、口、右眼および左眼の各形状をフーリエ記述子を用いて定量的に表して、あらかじめ設定されている複数の基本感情に関する感情確信度を求め、各表情要素ごとの重要度を加味して人の心理状態を推定することが記載されている。
また、下記特許文献2には、人の表情を時系列で撮影して推定対象期間における表情の時間的変化に関わる特徴を検出し、その検出した特徴に基づいて推定対象期間において人が抱いた感情を推定することが記載されている。
上記特許文献1,2では人の表情要素と特定の感情との関連性をあらかじめ定義しておく必要があるが、表情と感情との関連性については未知の部分も多く、その定義がどのような根拠に基づいてなされたものなのか明確にされていない。したがって、上記特許文献1,2では、人の表情要素と特定の感情とが必ずしも適切に関連づけられているとは言い得ない。
上記問題に鑑み、本開示は、人の表情、特に人の顔面動作と感情との関連性を明確に特定した上で人の顔面動作からその人の感情を推定することを課題とする。
本開示に係る感情推定方法は、特定の感情を生起させる刺激を被験者に与える第1のステップと、第1のステップで与えた刺激により何らかの感情が生起した被験者の各種顔面動作を測定する第2のステップと、第1のステップで与えた刺激により被験者に生起した各種感情の主観評定値を取得する第3のステップと、多数の被験者を対象に第1のステップ、第2のステップおよび第3のステップを実行し、第2のステップで測定した各種顔面動作を目的変数とし、第3のステップで取得した各種感情の主観評定値を説明変数として回帰分析を行って、顔面動作別の感情予測モデルを構築する第4のステップと、第4のステップで構築した各感情予測モデルにおいて有意差のある感情をその感情予測モデルに係る顔面動作に関連する感情であると特定する第5のステップと、第5のステップで特定した顔面動作と感情との関連性に基づいて、人の顔面動作からその人の感情を推定する第6のステップとを備えている。
これによると、多数の被験者を対象に、特定の感情を生起させる刺激を被験者に与えたときに測定される各種顔面動作と生起した各種感情の主観評定値に基づいて感情予測モデルが構築され、当該感情予測モデルに基づいて各種顔面動作と各種感情との関連性が特定され、当該特定された顔面動作と感情との関連性に基づいて、人の顔面動作からその人の感情を推定することができる。
第3のステップで取得する各種感情の主観評定値が怒り、驚き、悲しみ、恐怖、軽蔑、嫌悪および幸福の7感情の主観評定値であってもよい。
これによると、各種顔面動作と7感情との関連性が特定され、それに基づいて人の顔面動作からその人の感情を推定することができる。
第1のステップで被験者に与える刺激が被験者に特定の感情の経験記憶を想起させる刺激であってもよい。
これによると、被験者の経験記憶に基づいて生起する感情から感情予測モデルを構築することができる。
第1のステップで被験者に与える刺激が視覚的および聴覚的刺激であってもよい。
これによると、被験者に視覚的および聴覚的な複合的な刺激を与えることにより被験者により強い感情を生起させることができ、そのような強い感情が各種感情の主観評定値に反映され、より信頼性の高い感情予測モデルを構築することができる。
第4のステップにおける目的変数値が各種顔面動作の表出の有無を表す2値であってもよい。あるいは、第4のステップにおける目的変数値が各種顔面動作の表出回数であってもよい。
このように、第4のステップにおける目的変数値が取り得る値は任意である。例えば、目的変数値に2値を採用する場合には、被験者の感情がピークに達したときの各種顔面動作を測定すればよいため、より短時間で測定を終えることができる。一方、目的変数に各種顔面動作の表出回数を採用する場合には、被験者の各種顔面動作の測定を一定期間続ける必要があるため測定時間が長くなるが、ある顔面動作の表出回数は多いが別の顔面動作の表出回数は少ないといった各種顔面動作の表出度合いを知ることができる。
第3のステップで取得する各種感情の主観評定値が快/不快および活性/非活性の2感情の主観評定値であってもよい。
これによると、感情予測モデルにおける説明変数が2つに削減されるため、個人差による誤差の影響を極力排除した感情予測モデルを構築することができる。
第1のステップで被験者に与える刺激が視覚的刺激であってもよい。
これによると、被験者に与える刺激が視覚的な刺激だけ、例えば、映像を見せるだけで済むため、より簡易な方法で被験者に特定の感情を生起させる刺激を与えることができる。
第2のステップにおいて被験者の感情がピークに達したときの各種顔面動作を測定し、第4のステップにおける目的変数値が各種顔面動作の表出の有無を表す2値であってもよい。
これによると、被験者のピークの感情に基づく、より信頼性の高い感情予測モデルを構築することができる。
第2のステップで測定する顔面動作がFACS(Facial Action Coding System)に準拠したコードにより表されてもよい。
これによると、FACSを用いて人の顔面動作をより適切に測定することができる。
第1のステップにおいて、さらに、特定の感情に偏らない中立的な感情を生起させる刺激を被験者に与えてもよい。
これによると、感情予測モデルから被験者に潜在する感情の影響を除去して、より信頼性の高い感情予測モデルを構築することができる。
以上説明したように、本開示に係る感情推定方法によると、人の顔面動作と感情との関連性を明確に特定した上で人の顔面動作からその人の感情を推定することができる。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者は、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
≪感情推定方法の実施装置の構成例≫
まず、本開示に係る感情推定方法を実施するための装置構成について説明する。図1は、本開示に係る感情推定方法を実施するための装置構成例を示す。実施装置100は、例えば、ディスプレイ10と、スピーカー20と、カメラ30と、コンピュータ40とを備えている。
まず、本開示に係る感情推定方法を実施するための装置構成について説明する。図1は、本開示に係る感情推定方法を実施するための装置構成例を示す。実施装置100は、例えば、ディスプレイ10と、スピーカー20と、カメラ30と、コンピュータ40とを備えている。
ディスプレイ10は、被験者200に視覚的な刺激、すなわち、刺激映像を表示する。ディスプレイ10に表示される刺激映像は、動画、静止画、単なる文字情報などである。
スピーカー20は、ディスプレイ10での映像表示に合わせて、被験者200に聴覚的な刺激、すなわち、刺激音を出力する。スピーカー20から出力される刺激音は、音楽、音声、自然音、効果音、ノイズ音などである。
カメラ30は、ディスプレイ10およびスピーカー20により視覚的および聴覚的刺激が与えられている最中の被験者200の表情を撮影する。
コンピュータ40は、ディスプレイ10、スピーカー20およびカメラ30に接続されており、ディスプレイ10における映像の表示制御、およびスピーカー20の出音制御を行う。すなわち、コンピュータ40は、ディスプレイ10に上記の刺激映像を一定時間および一定回数表示させるとともに、刺激映像の提示に合わせてスピーカー20から上記の刺激音を出力させる。
また、コンピュータ40は、カメラ30から撮像データを取得し、さらに被験者200による各種感情の主観評定値を取得し、これら取得した情報を処理することで、顔面動作と感情とを関連づけた感情予測モデルを構築する。そして、コンピュータ40は、感情予測モデルにより表される顔面動作と感情との関連性に基づいて、人の顔面動作からその人の感情を推定する。
≪感情推定方法の実施手順≫
次に、本開示に係る感情推定方法の実施手順について説明する。図2は、本開示に係る感情推定方法の実施手順を示すフローチャートである。
次に、本開示に係る感情推定方法の実施手順について説明する。図2は、本開示に係る感情推定方法の実施手順を示すフローチャートである。
S1:コンピュータ40がディスプレイ10およびスピーカー20を制御して、特定の感情を生起させる刺激を被験者に与える。例えば、コンピュータ40は、ディスプレイ10に悲しげな映像を表示するとともにスピーカー20から悲しげな音楽を出力することで、被験者に、悲しみの感情を生起させる刺激を与える。
なお、ステップS1で被験者に与える刺激は映像単独または音単独であってもよいし、それ以外に触覚、味覚、痛覚、嗅覚などによる刺激であってもよい。要は、被験者に特定の感情を生起させることができるものであれば、どのような手段の刺激であってもよい。
S2:ステップS1で与えられた刺激により被験者に何らかの感情が生起すると、その感情は無意識にその被験者の表情となって現れる。そこで、カメラ30で被験者を撮影して被験者の表情を捉え、コンピュータ40がその撮影データを処理して被験者の各種顔面動作を測定する。なお、被験者が意識して表情を作るあるいは表情を抑制することがないように、カメラ30で撮影することは被験者には伏せておく。
ここで、顔面動作の記述手段として、P.Ekman、W.V.Friesenらによって開発されたFACS(Facial Action Coding System)を利用することができる。FACSは、表情筋の解剖学的知見に基づいて、人の顔面動作を複数の動作単位(AU:Action Unit)で包括的かつ客観的に記述する方法である。次表にFACSの代表的なAUを示す。
なお、ステップS2での各種顔面動作の測定精度を上げるために、認定FACSコーダー、すなわち、人が補助的にまたはコンピュータ40に代わって被験者の各種顔面動作を記述するようにしてもよい。
S3:被験者に、ステップS1で刺激が与えられることで自身に生起した各種感情の主観評定をしてもらい、コンピュータ40がその主観評定値を取得する。例えば、悲しみの感情を生起させる刺激が与えられた被験者には、悲しみの感情だけでなく、場合によっては怒りや恐れの感情も生起することがある。そこで、被験者に生起した各種感情の度合いを知るために、被験者に主観評定をしてもらう。
ここで、各種感情として、怒り、驚き、悲しみ、恐怖、軽蔑、嫌悪および幸福の7感情を採用することができる。あるいは、各種感情として、ラッセルの円環モデルに基づく快/不快および活性/非活性の2感情を採用することができる。
なお、被験者がコンピュータ40のユーザーインターフェイスを通じて各種感情の主観評定値をコンピュータ40に入力してもよいし、質問紙に記入する形で被験者に主観評定をしてもらってその質問紙をコンピュータ40が読み取るようにしてもよい。
S4:上記のステップS1、ステップS2およびステップS3を多数の被験者を対象に実行し、各種顔面動作および各種感情の主観評定値に関する多くのデータを収集する。そして、コンピュータ40が、当該収集したデータを統計学的手法で処理する。具体的には、コンピュータ40が、各種顔面動作を目的変数とし、各種感情の主観評定値を説明変数として回帰分析を行って、顔面動作別の感情予測モデルを構築する。なお、目的変数値として、各種顔面動作の表出の有無を表す2値、または、各種顔面動作の表出回数を用いることができる。
例えば、顔面動作AU*(ただし、*はAU番号であり、AU番号の組み合わせもあり得る。)を目的変数とし、怒り、驚き、悲しみ、恐怖、軽蔑、嫌悪および幸福の7感情の主観評定値を説明変数とすると、顔面動作AU*の感情予測モデルは次式で表される。
AU*=β+α1×(怒り)+α2×(驚き)+α3×(悲しみ)+α4×(恐怖)+α5×(軽蔑)+α6×(嫌悪)+α7×(幸福)
ここで、βは切片、(○○)は各種感情の主観評定値、αは各種感情の主観評定値に対する係数である。
ここで、βは切片、(○○)は各種感情の主観評定値、αは各種感情の主観評定値に対する係数である。
なお、コンピュータ40は、感情予測モデルを構築するに当たってAIC基準に基づくモデル選択を行ってもよい。具体的には、統計プログラム言語であるR言語における関数Step()を用いることでモデル選択を行うことができる。これにより、説明変数が削減された予測誤差の小さいモデルを選択することができる。
S5:コンピュータ40が、各感情予測モデルごとに有意差のある説明変数を特定する。例えば、t検定において危険率が5%以下の説明変数を有意差のある説明変数であると特定する。そして、コンピュータ40が、有意差のある説明変数に対応する感情をその感情予測モデルに係る顔面動作に関連する感情であると特定する。例えば、AU23の感情予測モデルにおいて、怒り、悲しみ、嫌悪の3感情に有意差が見られる場合、AU23(上下唇の緊張)は、怒り、悲しみ、嫌悪の3感情に関連する特定される。これにより、各種顔面動作と各種感情との関連性が明らかになる。
S6:コンピュータ40が、ステップS5で特定した顔面動作と感情との関連性に基づいて、人の顔面動作からその人の感情を推定する。例えば、人の表情からAU23が測定された場合、コンピュータ40は、後述するように、その人に悲しみおよび嫌悪の感情が生起しているが怒りの感情は生起していないと推定する。これにより、人の表情から少なくとも一つの顔面動作を測定できれば、その人に生起している少なくとも一つの感情を推定することができる。すなわち、人の表情のごく一部分の情報から、複雑に入り組んだ感情を精度よく推定することができる。
次に、上述の感情推定方法の実施例、特に、感情予測モデルを構築し、顔面動作と感情との関連性を特定する実施例について説明する。
≪第1の実施例(怒り、驚きなどの7感情に基づくモデル例)≫
図3は、第1の実施例に係る実験の概略を説明する図である。第1の実施例には28名の被験者が参加した。
図3は、第1の実施例に係る実験の概略を説明する図である。第1の実施例には28名の被験者が参加した。
まず、ディスプレイ10に固視点を1.5秒間表示して被験者にそれを注視してもらい、その後、ディスプレイ10に悲しみの経験記憶を想起させるスクリプトを表示する。ここでの経験記憶とは、特定の感情に関する体験や記憶のことをいう。当該スクリプトは、被験者からあらかじめ聞き取りした悲しみの体験談を綴ったものである。すなわち、被験者に悲しい体験を思い出してもらって被験者に悲しみの感情を生起させる。また、悲しみの体験談のスクリプト表示に合わせて、スピーカー20から悲しげな音楽を流す。体験談のスクリプトが最後まで表示されると、ディスプレイ10に「体験に集中してください」と表示して、被験者に30秒間、悲しい体験に集中してもらってより深い悲しみに誘う。
上記試行を2回繰り返した後、被験者に各種感情の主観評定をしてもらう。図4は、第1の実施例の感情主観評定での質問内容を示す。例えば、図4に示したような質問内容が記載された質問紙を被験者に配布し、被験者に、怒り、驚き、悲しみ、恐怖、軽蔑、嫌悪および幸福の7感情について0から8までの9段階で主観評定をしてもらう。
また、実験試行中にカメラ30で被験者の表情を撮影する。そして、被験者が悲しみの経験記憶を想起中に当該被験者の表情に表出する顔面動作をFACSに基づいて記述する。なお、カメラ30で撮影していることは被験者には伏せておく。これは、被験者がカメラ30で撮影されていることを知って意識的に表情を作るあるいは表情を抑制することを防ぐためである。
さらに、特定の感情に偏らない中立的な感情を生起させる刺激を被験者に与えて上記と同様に被験者に各種感情の主観評定をしてもらう。例えば、日常生活における何気ない出来事(例えば、「私は昨日家に帰って洗濯物を畳み、それからテレビを見ながら夕食をとった」など)を綴ったスクリプトをディスプレイ10に表示して被験者に見せるとともに特定の感情を生起させないような中立的な音楽をスピーカー20から流し、その後、被験者に各種感情の主観評定をしてもらう。
このように特定の感情に偏らない中立的な感情を生起させる刺激を与えたときに生起する各種感情の主観評定値も採取する理由は、被験者には常に何らかの感情が潜在している、例えば、常に幸福感を感じているということが想定されるため、そのような潜在的な感情も考慮するためである。このように、特定の感情に偏らない中立的な感情を生起させる刺激を与えたときの被験者の各種感情の主観評定値を取得することで、感情予測モデルから被験者の潜在的な感情の影響を除去することができる。
上記実験を通じて得られるデータをまとめると次表のようになる。
なお、ID番号は被験者の識別番号であり、第1の実施例ではn=28である。ai(i=1,2,…,n)はAU*(ただし、*はAU番号であり、AU番号の組み合わせもあり得る。)の測定値であり、下述のステップワイズ・ロジスティック回帰分析を行う場合には0または1、ステップワイズ・ポアソン回帰分析を行う場合には0以上の整数値である。bij(i=1,2,…,n、j=1,2,…,7)は図4の質問紙に回答してもらった感情の主観評定値であり、0から8までの整数である。
上記実験を通じて得られたデータをコンピュータ40を用いて回帰分析することで感情予測モデルが生成される。回帰分析の手法としてさまざまなものがあるが、ここではAIC基準に基づくステップワイズ・ロジスティック回帰分析およびステップワイズ・ポアソン回帰分析を行った。以下、各回帰分析により生成された感情予測モデルについて説明する。
<AIC基準に基づくステップワイズ・ロジスティック回帰分析結果>
上記実験を通じて得られたデータについてAIC基準に基づくステップワイズ・ロジスティック回帰分析を行ったところ、AU14(唇端の緊張)、AU23(上下唇の緊張)、AU28(唇を口の中に押し込む)、AU14+23(唇端の緊張および上下唇の緊張)について次のような感情予測モデルが得られた。
上記実験を通じて得られたデータについてAIC基準に基づくステップワイズ・ロジスティック回帰分析を行ったところ、AU14(唇端の緊張)、AU23(上下唇の緊張)、AU28(唇を口の中に押し込む)、AU14+23(唇端の緊張および上下唇の緊張)について次のような感情予測モデルが得られた。
なお、有意差が見られたパラメータは四角枠で囲んでいる。
図5は、第1の実施例で特定されたAU23と各種感情との関連性を説明する図である。AU23の感情予測モデルからAU23(上下唇の緊張)と悲しみおよび嫌悪との間には正の関連性があり、AU23と怒りとの間には負の関連性があることがわかる。このことから、人の表情にAU23が表出した場合、その人に悲しみと嫌悪の感情が生起しており、怒りの感情は生起していないであろうと推定することができる。具体的には、AU23が表出するとは、目的変数としてのAU23の値が「1」となることである。AU23の感情予測モデルにおいて、パラメータ(軽蔑)および(幸福)には有意差が見られず、有意差が見られたパラメータ(嫌悪)および(悲しみ)には正の関連性、パラメータ(怒り)には負の関連性があることから、パラメータ(嫌悪)および(悲しみ)が大きな値を示し、パラメータ(怒り)が小さな値(ほぼゼロ)を示さないと、AU23が表出しないことが理解できる。つまり、AU23が表出することは、嫌悪および悲しみの感情がかなり大きく、怒りの感情はほとんどないことがわかる。
図6は、第1の実施例で特定されたAU28と各種感情との関連性を説明する図である。AU28の感情予測モデルからAU28(唇を口の中に押し込む)と悲しみとの間には正の関連性があることがわかる。このことから、人の表情にAU28が表出した場合、その人に悲しみの感情が生起している推定することができる。具体的には、AU28が表出するとは、目的変数としてのAU28の値が「1」となることである。AU28の感情予測モデルにおいて、パラメータ(驚き)および(軽蔑)には有意差が見られず、有意差が見られたパラメータ(悲しみ)には正の関連性があることから、パラメータ(悲しみ)が大きな値を示さないと、AU28が表出しないことが理解できる。つなり、AU28が表出することは、悲しみの感情がかなり大きいことがわかる。
その他、AU14の感情予測モデルからAU14(唇端の緊張)と悲しみとの間に正の関連性があることがわかる。また、AU14+23の感情予測モデルからAU14+23(唇端の緊張および上下唇の緊張)と悲しみおよび嫌悪との間には正の関連性があり、AU14+23と怒りとの間には負の関連性があることがわかる。
<AIC基準に基づくステップワイズ・ポアソン回帰分析結果>
上記実験を通じて得られたデータについてAIC基準に基づくステップワイズ・ポアソン回帰分析を行ったところ、AU14(唇端の緊張)、AU23(上下唇の緊張)について次のような感情予測モデルが得られた。
上記実験を通じて得られたデータについてAIC基準に基づくステップワイズ・ポアソン回帰分析を行ったところ、AU14(唇端の緊張)、AU23(上下唇の緊張)について次のような感情予測モデルが得られた。
なお、有意差が見られたパラメータは四角枠で囲んでいる。
AU14の感情予測モデルからAU14(唇端の緊張)と悲しみおよび嫌悪との間には正の関連性があり、AU14と恐怖および幸福との間には負の関連性があることがわかる。また、AU23の感情予測モデルからAU23(上下唇の緊張)と悲しみおよび嫌悪との間には正の関連性があり、AU23と怒りおよび恐怖との間には負の関連性があることがわかる。
≪第2の実施例(ラッセルの2感情の円環モデル例)≫
図7は、第2の実施例に係る実験の概略を説明する図である。第2の実施例には28名の被験者が参加した。
図7は、第2の実施例に係る実験の概略を説明する図である。第2の実施例には28名の被験者が参加した。
第2の実施例では、嫌悪、驚きおよび幸福の各感情を生起させる3種類の映像を用意し、まず1番目の映像を被験者に視聴してもらい、当該映像の視聴後に被験者に各種感情の主観評定をしてもらう。次に2番目の映像を被験者に視聴してもらい、当該映像の視聴後に被験者に各種感情の主観評定をしてもらう。最後に3番目の映像を被験者に視聴してもらい、当該映像の視聴後に被験者に各種感情の主観評定をしてもらう。
図8は、第2の実施例の感情主観評定での質問内容を示す。例えば、図8に示したような質問内容が記載された質問紙を被験者に配布し、被験者に、ラッセルの円環モデルに基づく快/不快および活性/非活性の2感情について1から9までの9段階で主観評定をしてもらう。
また、実験試行中にカメラ30で被験者の表情を撮影する。そして、被験者が映像の視聴中に当該被験者の表情に表出する顔面動作をFACSに基づいて記述する。ただし、映像の視聴中に被験者の感情がピークに達したときの各種顔面動作を測定する。したがって、第2の実施例では各種顔面動作が表出したか否かを測定する。なお、カメラ30で撮影していることは被験者には伏せておく。これは、被験者がカメラ30で撮影されていることを知って意識的に表情を作るあるいは表情を抑制することを防ぐためである。
上記実験を通じて得られたデータをコンピュータ40を用いて回帰分析することで感情予測モデルが生成される。第2の実施例では目的変数値が各種顔面動作が表出したか否かの2値で表されるため、AIC基準に基づくステップワイズ・ロジスティック回帰分析により感情予測モデルを生成する。例えば、AU2(外眉の上昇)、AU6(眼輪筋の緊張;目が笑っている)、AU12(唇の端を引っ張る;笑顔)について次のような感情予測モデルが得られた。
なお、有意差が見られたパラメータは四角枠で囲んでいる。
図9は、第2の実施例で特定されたAU12と各種感情との関連性を説明する図である。AU12の感情予測モデルからAU12(唇の端を引っ張る;笑顔)と活性/非活性との間には負の関連性があることがわかる。このことから、人の表情にAU12に表出した場合、その人の活性レベルが低いと推定することができる。
図10は、第2の実施例で特定されたAU6と各種感情との関連性を説明する図である。AU6の感情予測モデルからAU6(眼輪筋の緊張;目が笑っている)と快/不快との間には正の関連性があることがわかる。このことから、人の表情にAU6に表出した場合、その人が快いと感じていると推定することができる。
その他、AU2の感情予測モデルからAU2と活性/非活性との間に正の関連性があることがわかる。
以上説明したように、本開示に係る感情推定方法によると、人の顔面動作と感情との関連性を明確に特定した上で人の顔面動作からその人の感情を推定することができる。
以上、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示に係る感情推定方法は、例えば、人の顔を撮像し、その人の顔面動作やその他の生理指標を用いるなどしてその人の感情を推定する感情メーターの基礎技術として有用である。
Claims (11)
- 特定の感情を生起させる刺激を被験者に与える第1のステップと、
前記第1のステップで与えた刺激により何らかの感情が生起した被験者の各種顔面動作を測定する第2のステップと、
前記第1のステップで与えた刺激により被験者に生起した各種感情の主観評定値を取得する第3のステップと、
多数の被験者を対象に前記第1のステップ、前記第2のステップおよび前記第3のステップを実行し、前記第2のステップで測定した各種顔面動作を目的変数とし、前記第3のステップで取得した各種感情の主観評定値を説明変数として回帰分析を行って、顔面動作別の感情予測モデルを構築する第4のステップと、
前記第4のステップで構築した各感情予測モデルにおいて有意差のある感情をその感情予測モデルに係る顔面動作に関連する感情であると特定する第5のステップと、
前記第5のステップで特定した顔面動作と感情との関連性に基づいて、人の顔面動作からその人の感情を推定する第6のステップとを備えた感情推定方法。 - 前記第3のステップで取得する各種感情の主観評定値が怒り、驚き、悲しみ、恐怖、軽蔑、嫌悪および幸福の7感情の主観評定値である、請求項1に記載の感情推定方法。
- 前記第1のステップで被験者に与える刺激が被験者に特定の感情の経験記憶を想起させる刺激である、請求項2に記載の感情推定方法。
- 前記第1のステップで被験者に与える刺激が視覚的および聴覚的刺激である、請求項3に記載の感情推定方法。
- 前記第4のステップにおける目的変数値が各種顔面動作の表出の有無を表す2値である、請求項2ないし4のいずれかに記載の感情推定方法。
- 前記第4のステップにおける目的変数値が各種顔面動作の表出回数である、請求項2ないし4のいずれかに記載の感情推定方法。
- 前記第3のステップで取得する各種感情の主観評定値が快/不快および活性/非活性の2感情の主観評定値である、請求項1に記載の感情推定方法。
- 前記第1のステップで被験者に与える刺激が視覚的刺激である、請求項7に記載の感情推定方法。
- 前記第2のステップにおいて被験者の感情がピークに達したときの各種顔面動作を測定し、
前記第4のステップにおける目的変数値が各種顔面動作の表出の有無を表す2値である、請求項7または8に記載の感情推定方法。 - 前記第2のステップで測定する顔面動作がFACS(Facial Action Coding System)に準拠したコードにより表される、請求項1ないし9のいずれかに記載の感情推定方法。
- 前記第1のステップにおいて、さらに、特定の感情に偏らない中立的な感情を生起させる刺激を被験者に与える、請求項1ないし10のいずれかに記載の感情推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016251067A JP2018102519A (ja) | 2016-12-26 | 2016-12-26 | 感情推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016251067A JP2018102519A (ja) | 2016-12-26 | 2016-12-26 | 感情推定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018102519A true JP2018102519A (ja) | 2018-07-05 |
Family
ID=62785857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016251067A Pending JP2018102519A (ja) | 2016-12-26 | 2016-12-26 | 感情推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018102519A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021106669A (ja) * | 2019-12-27 | 2021-07-29 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、及び情報処理プログラム |
-
2016
- 2016-12-26 JP JP2016251067A patent/JP2018102519A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021106669A (ja) * | 2019-12-27 | 2021-07-29 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、及び情報処理プログラム |
JP7296121B2 (ja) | 2019-12-27 | 2023-06-22 | 株式会社Agama-X | 情報処理装置、及び情報処理プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Namba et al. | Spontaneous facial expressions are different from posed facial expressions: Morphological properties and dynamic sequences | |
Heisz et al. | More efficient scanning for familiar faces | |
Krach et al. | Your flaws are my pain: Linking empathy to vicarious embarrassment | |
US11301775B2 (en) | Data annotation method and apparatus for enhanced machine learning | |
Aranyi et al. | Affective interaction with a virtual character through an fNIRS brain-computer interface | |
US20130151333A1 (en) | Affect based evaluation of advertisement effectiveness | |
CN107427250B (zh) | 通过脑活动的解析推测感知语义内容的推测方法 | |
US20130102854A1 (en) | Mental state evaluation learning for advertising | |
Hughes et al. | The processing of auditory and visual recognition of self-stimuli | |
WO2016092103A1 (en) | Device, system and method for assessing information needs of a person | |
JP5789735B2 (ja) | コンテンツ評価装置、方法、及びそのプログラム | |
Angela et al. | Esthetic evaluation of dynamic smiles with attention to facial muscle activity | |
Perusquía-Hernández et al. | Human perception and biosignal-based identification of posed and spontaneous smiles | |
Prince et al. | Facial action coding system | |
De Moor et al. | Chamber QoE: a multi-instrumental approach to explore affective aspects in relation to quality of experience | |
Cattaneo et al. | Sex differences in affective facial reactions are present in childhood | |
Morioka et al. | Incongruence between verbal and non-verbal information enhances the late positive potential | |
US20130052621A1 (en) | Mental state analysis of voters | |
Fortin et al. | Laughter and tickles: Toward novel approaches for emotion and behavior elicitation | |
JP2018102519A (ja) | 感情推定方法 | |
Nakagawa et al. | A telecare system that estimates quality of life through communication | |
Kennedy | The effect of color on emotions in animated films | |
CN109697413B (zh) | 基于头部姿态的人格分析方法、系统和存储介质 | |
Mantri et al. | Cumulative video analysis based smart framework for detection of depression disorders | |
JP2016513297A (ja) | 視聴者の反応を分析する方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190517 |