JP2019058625A - 感情読み取り装置及び感情解析方法 - Google Patents

Abstract

【課題】高い専門性が求められる人間の感情の解析を高精度な感情解析装置を用いて行い、心理的柔軟性を高める方法を提供する。【解決手段】対象者の顔面を撮影した画像データを感情解析装置を介して解析し、感情の表出を測定する。更にこれを音声データと統合し表示することにより、感情の変化と発話の対比を可能とする。具体的には、顔の表情から、８つの感情がどの程度の比率で表れているかを解析し、音声データとの対比により対象者の感情の分析及びそれに対するアドバイスを行うことを可能とする。【選択図】図２

Description

本発明は、人の感情を解析する装置及びその方法に関する。

近年、人間の感情を適切に分析するための専門家による高度な技術や長年の経験に基づく判断に代わるものとして、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の必要性が高まり、特許文献１に開示されているような感情の検出方法により、人間の感情を測定することが試みられている。

：特開２００５−２８３６４７ ：特開２００５−３５２１５４ ：特開２００９−０３７４１０ ：特開２０１１−２３８０２９ ：特開２０１７−１２０６０９

：Ｐｓｙｃｈｏｌｏｇｉｃａｌ Ｒｅｖｉｅｗ １９９２．Ｖｏｌ．９９，"Ａｒｅ Ｔｈｅｒｅ Ｂａｓｉｃ Ｅｍｏｔｉｏｎｓ？"ｂｙ Ｐａｕｌ Ｅｋｍａｎ，Ｐ１

これまでカウンセリングの現場や困難な顧客対応などの場面において、相手の感情の分析は、経験のある専門家や担当者が経験と勘に基づいて行う必要があった。しかし専門家等が行う場合でも、情報量や情報が入る速度などの要因により、適切な分析が必ずしもなされないこともあった。また、これを既存の感情判定装置を用いて解決する場合であっても、顔全体だけでなくその細かな筋肉の動きを把握し、更に特許文献３のようにジェスチャー等のボディーランゲージも含めた情報を取得するだけの装置が必要になる等、コストがかかっていた。コスト面を考慮し音声の情報に依存して感情を測定する場合には特許文献２及び４のように、情報量が少ないために特定の感情のみを判定するに留まる、あるいは感情測定の精度が低い等の課題があった。

人間には無数の感情があり、表情だけでなくしぐさやボディーランゲージ等を含めた非言語による感情表現がより大きな意味を持つとされている。また人間の感情は短時間の間に次々と変化していく。ここでは、感情の判断のために得る情報量を可能な限り少なくし、且つ感情の分類は、人間が心理的柔軟性を高めるに十分な８つに分けることにより、高い精度をもって効率的に人間の感情を判定する方法を述べる。

併せて、感情を判定した後にそれらをカウンセリング等の場面で活用するための方法についても述べる。

これらにより、対象者の感情の解析結果を踏まえた対応が適切であったかの判定も可能となる。

また、これらのデータを蓄積することにより信頼関係を構築するフォーミュラを見出し、感情的な原因によるあらゆる対立関係をなくすことができるテクノロジーの土台が構築される。

さらに、自己の感情を客観視することを促すことで心理的柔軟性を高め、人間が自らの価値観に沿った人生を歩む助けをする。

本発明はＡＩを用いてポール・エクマン博士が提唱した人間の７つの基礎感情に加えて無表情がどの程度表れているかを時系列で表す。

ソフトウェアのレポート画面上で会話等の音声データを再生し比較検討することによって感情表現がどのような文脈に基づいて表出するかを解析可能とする。

顔面の撮影により得られる表情の分類結果は９３パーセント以上の精度を持つことから、その分野においてある程度のスキルを有する人であればそれらの感情解析結果に基づきどのような対応をすべきかといった助言を効率的且つ正確に行うことが可能となる。

また、会話をしている複数人との感情や、その場の共感度を測定し、比較することが可能である。

本発明の感情解析装置では、顔面に現れる表情の情報と同時に、対象者の音声の情報を取得する。

顔面に現れる表情のデータは、デジタルカメラやウェブカメラで対象者を撮影し、サーバを通して送られ、その解析結果は時系列で表示される。

本発明の感情分類手段は、上記の方法で取得した感情を、非特許文献１に具体的に示された、ポール・エクマン博士が提唱した７つの基礎感情すなわち幸福、驚き、恐れ、悲しみ、怒り、嫌悪、軽蔑に無表情を加えた８つの感情に分類し、そのいずれにあてはまるかを表示する。

分類された感情の表示方法は、上記８つの感情がどの程度の比率で表れているかを時間軸を持つグラフに時系列で表示される。

上記の顔面表情と同時に取得している音声データと対比させることにより、対象者の感情の変化と話している内容の相関関係を分析可能とする。

本発明の表情取得手段では、１５０×１５０ピクセル程度を最適とした、それほど画素数の高くないカメラでも、感情の分析に足りる表情の取得が可能である。

撮影に使用するカメラは、デジタルカメラ、ウェブカメラ、スマートフォンに内蔵されたカメラ等、動画の撮影が可能なカメラとする。

また、撮影する顔面の範囲として、高さは額から顎まで、幅は両耳の内側までを四角で囲った程度の範囲で感情の解析が可能なため、顔の筋肉の細かい動きを映す高性能なカメラや、ボディーランゲージも含めたデータを取得するための撮影機材を必要としない。

取得した表情の分類手段は、当該データを即時サーバに送信し通常数秒程度でサーバから感情の表出結果を得ることにより、感情を推定する。上記のデータ解析による感情測定の精度は９３パーセント以上であるが、データの蓄積を可能とするため、測定結果に更なる精度をもたらすことが期待される。

本発明の感情解析装置では、人間の感情を簡便且つ９３パーセント以上の精度で推定することができる。

本発明の感情解析装置では、対象者の発言と顔の表情から推定した感情との相関関係を逐次示すことができる。

また音声の情報はソフトウェアに内蔵された記録媒体により録音され、使用者のニーズに応じて必要な箇所を何度でも再生してレビューすることができる。

本発明の感情解析装置では、対象者本人の発言だけでなく、その場に参加している他の対象者との呼応による感情の変化や、共感度も測定することができる。

本発明の感情解析装置では、予め設定した情報に基づき、対象者の感情の変化に対するアドバイスも提供することができる。

対象者の顔面を撮影する図である。 画像から感情データを取得し、音声データと統合したレポートを生成するフローを示した図である。 複数人の対象者によるその場の共感度を測り、その測定結果をレポート上に示した図である。 任意で指定したパターンが表出した際、通知を行うことを示した図である。

以下に図面を参照しながら本発明の実施例について説明する。
図１は対象者の顔の表情を取得する方法を示す図である。対象者はカメラに正面に向かい、顔面の額から顎、両耳の内側の範囲が十分に映るようカメラを位置する。好ましくは１５０×１５０ピクセルあるいはそれ以上の画素数を有するカメラで、カメラと最少者の距離は１〜１．５メートル程度であるが、顔面の表情データがサーバに送られ、感情の分類について応答が得られる状態であれば、上記の条件に制限されない。

図２は感情解析の基となるデータがどのようにサーバに送られ、解析結果が得られるかを示した図である。撮影された顔面の表情はサーバを介して解析される。また顔面の表情と同時に発話している音声データとの統合がなされることにより、感情の変化に関するレポートが生成される。

図３は参加者が複数人いた際の感情の呼応を示した図である。アルゴリズムによりその場の共感度を測定し、レポート上に示す。

図４は任意で予め登録しておいたパターンが対象者の感情の解析結果に表れた際、既存の通信手段を介してその情報を通知することを示した図である。

本発明により感情の変化を推定し、対象者の発言と表情の一致や乖離等を可視化できるため、人間の感情の可視化を必要とする産業や、これを用いた装置等への適用に有効である。

Claims (7)

1. 対象者の顔面から取得した表情の情報から感情の表出度合を解析し、これを時系列に示すことにより感情を解析する装置
2. 前記画像及び音声データから得られるデータをエクマン博士が提唱した７つの基礎感情及び無表情に分類し、対象者の過剰を推定する、請求項１に記載の感情解析装置
3. 前記画像及び音声データは、対象者が複数人に増えた場合でも同様に蓄積し解析することを可能とする、請求項１及び２に記載の感情解析装置
4. 前記画像及び音声データは、対象者が複数人であった場合、互いの呼応の状況やその場の共感度、共感度に対する対象者の感情その差異を測ることも可能とする、請求項１〜３に記載の感情解析装置
5. 前記画像データは、画素数にして１５０×１５０ピクセル程度の顔面の画像データから９３パーセント以上の精度で感情の測定が可能であり、他方式と比べてデータ効率を非常に高くすることが可能な、請求項１〜４に記載の感情解析装置
6. 前記解析装置にて得られた解析結果は、任意の箇所で録音した音声データを再生し、感情データと併せて回数に制限なくレビューすることができ、より深いインサイトを得ることを可能とする、請求項１〜５に記載の感情解析装置
7. 測定された感情の起伏パターンから、適切な対応方針について自動的にアドバイスを生成することができ、既存の通信仕様のデバイスなどを用いてより直感的に適切な行動を促すことを可能とする感情解析装置

Images