JP2021052812A - 感情分析システム - Google Patents

Abstract

【課題】被験者の感情を分析して、報知する感情分析システムを提供する。【解決手段】感情分析システム１０は、被験者の心拍数と体温とを検出する検出部１１を備える。感情分析システム１０は、検出部１１により検出された心拍数と体温とを取得し、被験者の感情を分析する取得部１２を備える。感情分析システム１０は、取得部１２により分析された感情を複数に分類し報知する報知部１３を備える。報知部１３は、表示部を備える。感情は、複数に分類されている。さらに複数の感情は、複数の異なる色に割り当てられている。報知部１３は、表示部によって感情に対応する色を表示する。【選択図】図１

Description

本開示は、被験者の感情を分析するシステムに関するものである。

特許文献１および特許文献２は、被験者の感情を推定する技術を開示している。

特開２０１７−８６９９２号公報 特開２０１２−０５９１０７号公報

この開示の目的は、被験者の感情を分析して報知する感情分析システムを提供することである。

この開示の他の目的は、被験者の感情を直感的に誰もが理解可能な形態で報知する感情分析システムを提供することである。

この開示のさらに他の目的は、被験者の感情の改善を支援する感情分析システムを提供することである。

この開示の別の目的は、被験者の感情と、その感情に対して提供された感情の改善策の後の感情の変化をもとに、後続の改善策を修正する感情分析システムを提供することである。

上記の課題を解決するため、本開示は次の構成を含む。

被験者の心拍数と体温を検出する検出部、検出部により検出された心拍数と体温を取得し、被験者の感情を分析する取得部、および、取得部によって分析された感情を、利用者に対して報知する報知部を備える感情分析システム。

上記感情分析システムにおいて、報知部は、取得部によって分析された感情を複数に分類し、分類された感情を、色、数字、文字、記号、絵画、および模様の少なくともひとつを含む視覚的情報により表示する表示部、音、音声、および音楽の少なくともひとつを含む聴覚的情報により出力する音出力部、または、振動、形状、および表面粗さを含む触覚的情報により出力する触感出力部の少なくともひとつを備える。

上記感情分析システムにおいて、報知部は、取得部によって分析された感情を改善するための改善策を報知する。

上記感情分析システムにおいて、報知部は、取得部によって分析された感情を維持するための維持策を報知する。

上記感情分析システムにおいて、取得部は、被験者の感情をラッセル円環に基づいて分析し、報知部は、ラッセル円環の左半分である不快領域と判断されたときには、左半分の側から右半分の快領域へ被験者の感情を変化させるような視覚的情報、あるいは聴覚的情報、あるいは触覚的情報の少なくとも一つを出力する。

上記感情分析システムにおいて、取得部は、被験者の感情をラッセル円環に基づいて分析し、報知部は、ラッセル円環の半径方向中心側へ被験者の感情を変化させるような視覚的情報、あるいは聴覚的情報、あるいは触覚的情報の少なくとも一つを出力する。

報知部は、感情を改善する場合には、被験者の現在の行為から、異なる別の行為への変更を促すメッセージを出力し、および／または、感情を維持する場合には、被験者に直接的または間接的に褒賞を与えるメッセージを出力する感情分析システム。

被験者が装着する装着型端末と、その端末と無線あるいは有線で電子的信号やデータを送受信する携帯型端末とを有する感情分析システムにおいて、被験者の心拍数と体温を検出する検出部、心拍数と体温を取得し感情を分析する取得部、および、分析した感情を表示する表示部を備えており、装着型端末には検出部と表示部を搭載し、携帯型端末には取得部と表示部を搭載し、さらに、装着型端末と携帯型端末は無線通信あるいは有線通信のどちらかで通信する通信部を有する感情分析システム。

携帯型端末に、感情を表す言語的なメッセージを複数備え、それらのメッセージの中から感情に応じたものを、装着型端末および携帯型端末の表示部に自動的に視覚的に表示し、および／または、メッセージを音声によって出力する音出力部を備える、感情分析システム。

装着型端末あるいは携帯型端末のどちらか、あるいはその両方、および、分離された別の表示手段に表示されたメッセージに対して、被験者が返事や回答の被験者メッセージを端末から入力できるようになっており、かつ、被験者メッセージに対し携帯型端末がさらに返信を送ることができるような会話提供部を備える、感情分析システム。

感情分析システムの基本構成を示す図である。 被験者の心拍数と皮膚温から感情を分析するラッセル円環である。 感情分析システムの基本機能を示すフローチャートである。 感情分析方法を示すフローチャートである。 第１実施形態のブロック図である。 第２実施形態のブロック図である。 装着型端末または携帯型端末とその表示部の例を示す図である。 装着型端末および携帯型端末とその接続の例を示す図である。 第９実施形態のブロック図である。

以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。

（第１実施形態）
第１実施形態にかかる感情分析システムについて図１〜図５を参照して説明する。

感情分析システムの基本構成を図１に示す。ここでは、感情分析改善システムとしても機能する感情分析システムについて示してあるが、当該機能を備えていない構成であっても良い。図１に示すように、感情分析システム１０（ＥＡＮＡ）は、検出部１１（ＤＥＴ）と、取得部１２（ＡＣＣ）と、報知部１３（ＮＯＴ）とを備える。

被験者の心拍数と体温を検出する検出部１１は、被験者に装着された装着型端末１ａ、または被験者に装着された装着型測定器１ｂによって提供することができる。装着型端末１ａは、例えば、脱着可能な腕時計型端末によって提供できる。装着型測定器１ｂは、例えば、肌にテープで貼付された端末、または皮下に埋設されたインプラントによって提供できる。検出部１１は、一定の期間にわたって被験者の心拍数および体温を蓄積する。このようなデータの蓄積は、非遷移的な実体的メモリ装置によって実現される。

取得部１２は、いわゆるコンピュータシステムによって提供することができる。コンピュータシステムは、集中的に、または分散的に配置することができる。取得部１２は、例えば、被験者に装着された装着型端末１ａに設けることができる。また、取得部１２は、装着型端末１ａ、および、後述の実施形態に開示される多様な端末機器２ａ、２ｂ、３ａ（図６、図９参照）に設けることができる。取得部１２は、後続の報知部１３とは別の機器に設けられてもよい。また、一人の被験者に対してひとつまたは複数の取得部１２が設けられてもよい。取得部１２は、利用者が利用可能な端末機器に設けることができる。

報知部１３は、取得部１２によって分析された感情を複数に分類して報知するものである。報知部１３は、装着型端末１ａに設けることができる。また、報知部１３は、装着型端末１ａ、および、後述の実施形態に開示される多様な端末機器２ａ、２ｂ、３ａに設けることができる。一人の被験者に対してひとつまたは複数の報知部１３が設けられてもよい。報知部１３は、利用者が利用可能な端末機器に設けることができる。

報知部１３は、分類された感情を、色、数字、文字、記号、絵画、および模様の少なくともひとつを含む視覚的情報により表示する表示部を備えることができる。報知部１３は、分類された感情を、音、音声、および音楽の少なくともひとつを含む聴覚的情報により出力する音出力部を備えることができる。報知部１３は、分類された感情を、振動、形状、および表面粗さを含む触覚的情報により出力する触感出力部を備えることができる。報知部１３は、表示部、音出力部、および触感出力部の少なくともひとつを備えることができる。

報知部１３は、少なくとも表示部を備えることが望ましい。さらに、この実施形態では、感情を直感的に誰でも理解可能に報知するために、異なる感情を異なる色に割り当てて、感情を色で表示できる表示器を備えることが望ましい。さらに、報知部１３は、取得部１２によって分析された感情を改善するための改善策を報知する場合がある。報知部１３は、被験者の感情の改善を支援するメッセージを表示部、音出力部、または触感出力部によって提供する場合がある。

この実施形態は、図５に示すように、分析した感情を表示する表示部１ｃを備えた装着型端末１ａを有する。また、検出部１１は、装着型測定器１ｂとして装着型端末１ａとは別に、装着型端末１ａから離れて被験者の体、例えば心臓近傍の皮膚上に装着されていてもよい。この場合、装着型端末１ａと装着型測定器１ｂの間は、何らかの通信手段、例えば無線通信でつながれ、心拍数と体温のデータを互いに送受信することができる。通信手段は、装着型端末１ａに設けられた通信部１ｄと、装着型測定器１ｂに設けられた通信部１ｅとによって提供される。

感情分析方法は例えば次のように実行される。装着型端末１ａ、あるいは、装着型測定器１ｂは、検出部１１として機能する。検出部１１は、被験者の心拍数と皮膚温を測定する。取得部１２は、測定された心拍数と皮膚温から、被験者の感情を図２のチャートに基づいて分析する。この実施形態では、装着型端末１ａのコンピュータシステムによって分析する。

報知部１３は、取得部１２によって分析した感情を、装着型端末１ａの表示部１ｃに表示する。表示部１ｃは、ＬＥＤのような発光体でもよいし、液晶等を用いた画面でもよい。表示の態様は、感情に相当する色を基本要素として、感情を示す数字、記号、文字等である。

また、装着型端末１ａは、バイブレータと呼ばれるモータによって提供される触感出力部を有する。装着型端末１ａの報知部１３は、被験者の感情が図２の注意圏および危険圏に入ったときに、小刻みにそれぞれのパターンで振動して、注意圏および危険圏への遷移を被験者に直感的に伝える機能も持つ。

注意圏ではその区域の感情の色を連続的に報知部１３に点灯させ、危険圏に入ったら点滅させて断続的に表示させる。こうすることによって、被験者は自分自身で自らの感情を客観的に知ることができ、被験者の支援者など報知部１３を見る人は、被験者の感情を知ることができる。

ここで、装着型とは、被験者の体に常時触れさせておいて、心拍数や体温のようなデータを、被験者に測定の意思がなくても検出させることができるようなものを指す。

＜システムの基本構成＞
上記したように、感情分析システム１０（ＥＡＮＡ）は、検出部１１（ＤＥＴ）と、取得部１２（ＡＣＣ）と、報知部１３（ＮＯＴ）とを備える。検出部１１は、被験者３１（ＥＸＰ）の心拍と体温を計測する。取得部１２は、ラッセル円環上の座標を算出するラッセル円環算出部１４（ＣＡＬ）と、ラッセル円環上の座標を主要な要素として感情を分析する分析部１５（ＡＮＡ）と、分析された感情から報知データを生成する報知データ生成部１６（ＣＲＥ）とを有する。報知データ生成部１６は、分析された感情を、だれでも理解しやすい色によって報知するための報知データを生成する。

また、この感情分析システムは、感情分析改善システムとして機能するためのアドバイス生成部１７（ＡＤＶ）を備える。アドバイス生成部１７は、感情を改善するための視覚、または音声によるメッセージを生成する。すなわち、アドバイス生成部１７は、ラッセル円環上の現在の座標を、円環半径方向の原点に近い方向へ移動させるために有効とされるメッセージを生成する。円環左半分の不快領域に現在の座標がある場合は、円環右半分の快領域の側へそれを移動させるために有効とされるメッセージを生成する。これらのメッセージは、被験者のその時点の感情を知らせ、何か別な行動をとることを促すものであり、例えば次のようなものである。「今は気持ちが不安定になっているようです。」「今いる場所から離れて、３回深呼吸しましょう。」「今していることを一旦中断して、３回深呼吸しましょう。」
また、アドバイス生成部１７は、ラッセル円環上の現在の座標が、円環右半分の快領域にある場合は、その領域にある状態を維持し、さらに、円環半径方向の原点に近い方向へ移動させるために有効とされるメッセージを生成する。これらのメッセージは、被験者のその時点の感情を知らせ、それまでの感情維持の努力を認め、その継続を促すものである。例えば次のようなものである。「現在まで２時間以上も気持ちが落ち着いています。」「これはあなたの感情維持の３番目に長い記録です。素晴らしい成果を達成しました。」「いつものお気に入りのおやつを摂ってはどうでしょうか。」「この気持ちの状態をできるだけ長く維持できるよう、３回深呼吸してみましょう。」
この結果、報知部１３は、分析された被験者３１の感情を示すだけでなく、メッセージを報知する。しかも、このメッセージは、行為変更メッセージ、および／または、褒賞メッセージを含む。さらに、メッセージは、推奨行為メッセージを追加的に含む場合がある。

報知部１３は、分析された感情を改善する場合には、被験者３１の現在の行為から、異なる別の行為への変更を促す行為変更メッセージを出力する。行為変更メッセージは、被験者３１に直接的または間接的に与えられる。行為変更メッセージは、支援者３２に与えられてもよい。行為変更メッセージを受けた支援者３２は、被験者３１の行為を変更するように、被験者３１に働きかけることができる。

報知部１３は、分析された感情を維持する場合には、被験者３１に直接的または間接的に褒賞を与える褒賞メッセージを出力する。褒賞メッセージは、被験者３１に対して直接的に与えられてもよい。さらに、褒賞メッセージは、支援者３２に与えられてもよい。この場合、支援者３２から被験者３１に褒賞が与えられてもよい。褒賞は、被験者３１を褒める言葉、被験者３１が好む嗜好品、被験者３１が好む物品、画像などの少なくともひとつを含む。

報知部１３は、感情を改善する場合に、感情を改善するために有効な被験者３１の行為を示す推奨行為メッセージを出力する場合がある。また、報知部１３は、感情を維持する場合に、感情を維持するために有効な被験者３１の行為を示す推奨行為メッセージを出力する場合がある。推奨行為メッセージは、例えば、「深呼吸」によって例示されている。

メッセージは、あらかじめ設定されて記憶装置に格納されている。例えば、怒りの感情を平静な感情に戻すための複数のメッセージがあらかじめ格納されている。アドバイス生成部１７は、例えば、メッセージごとにあらかじめ設定された強度データに応じて、順に強度を上げるようにメッセージを生成する。アドバイス生成部１７は、メッセージを生成するために、ラッセル円環算出部１４によって算出されたデータを利用する。アドバイス生成部１７は、被験者および支援者を含む利用者にメッセージを報知するために報知部１３を利用する。

さらに、この感情分析システムは学習部１８（ＬＥＡ）を備える。学習部１８は、生成した旧メッセージの効き目（効果）をフィードバック情報に基づいて評価し、引き続いて発生される新メッセージを変更する。このようなフィードバック情報に基づくメッセージの変化は、学習制御と呼ばれる。メッセージの変更または変化は、あらかじめ格納されたメッセージを選択することにより実行される。メッセージの変更または変化は、例えば、語尾の強さの変化によって与えられる。メッセージの変更または変化は、他の感情分析システムとのデータ統合によって得られた新しいメッセージの追加格納と、新しいメッセージの利用とによって実行されてもよい。または、メッセージの変更または変化は、他の感情分析システムとのデータ統合によって得られた新しいメッセージを格納し、その新しいメッセージへの切り替えによって実行されてもよい。

フィードバック情報のひとつは、旧メッセージの後のラッセル円環上における最新の感情の座標の変化から得ることができる。旧座標から新座標への変化が、目標とする座標への接近であるか、目標座標からの離間であるかによって旧メッセージの効き目が評価される。フィードバック情報を得るために、学習部１８はラッセル円環算出部１４から座標情報を取得する。フィードバック情報のひとつは、被験者からの申告、すなわちシステムへの入力によって得られる。フィードバック情報のひとつは、支援者３２（ＳＵＰ）からの申告、すなわちシステムへの入力によって得られる。支援者３２からの申告をフィードバック情報のひとつとすることで、客観的な学習が可能となる。被験者３１または支援者３２を含む利用者からの申告は、教示部１９（ＴＥＡ）から学習部１８に入力される。

このような学習制御機能を備えることにより、メッセージの提供による感情改善機能は、被験者個人の個性に適合することができる。具体的には、より感情が改善されやすいようにメッセージが調節される。また、このような学習制御機能を備えることにより、望ましい感情の変化が発生するようにメッセージが調節される。

報知部１３の一部または全体は、人工知能２０（ＡＴＩ）によって提供されてもよい。感情分析システムは、感情の分析、メッセージの選択および表示、メッセージの送受信を、人工知能２０を搭載したサーバシステムによって提供する。このサーバシステムは独立したハードウェア内に置かれてもよいし、クラウド上に設置されてもよい。人工知能２０から被験者３１へ提供されたメッセージ、およびメッセージに対応するフィードバック情報を含む履歴情報は、すべて人工知能２０に記録される。この結果、安全圏にある感情を維持するメッセージの効果、あるいは、注意圏または危険圏にある感情を安全圏に戻すメッセージの効果が自動的に蓄積される。この結果、被験者の感情を良い状態に維持する効果が高いメッセージ、および、被験者の感情を良い領域に変化させる効果が高いメッセージが学習される。人工知能は、それら効果が高いメッセージが再生される頻度を高くするように設定されている。また、これらの学習により人工知能２０自身がメッセージを作成する。

人工知能２０は、複数の被験者３３（ＥＸＰＡ）に関する複数の感情分析システム２１（ＥＡＮＡＳ）の学習データを統合する。ある被験者に対する人工知能からの回答は、特定の被験者３３のために集められた学習データからも、その他の被験者から集めた学習データの中からも選択される。これによって、より適切な言語的メッセージをより早く作成し、送信させる。

人工知能２０は、被験者３１が置かれた環境を検出する環境検出部２２（ＥＤＥＴ）を備える。環境検出部２２は、被験者３１が置かれた環境の情報を検出する。環境の情報には、日時、温度、湿度、気圧、周囲の騒音レベルと音質、周囲の人数、周囲の明るさの少なくともひとつを含む。学習部１８を提供する人工知能２０は、ラッセル円環上の座標の変化と、環境とをモニタすることにより、座標の変化、すなわち感情の変化と環境とを関連づける。これにより、環境の変化から感情の変化を予測し、その予測された感情の変化を被験者に報知する。これにより、過剰に大きい感情の振れ幅を未然に防止することができる。さらに、人工知能２０は、感情の変化と環境の変化とを関連づけることにより、新たなメッセージを自動的に生成してもよい。

＜感情を分析する方法＞
被験者の生体情報、ここでは心拍数ＨＲと体温ＢＴを使って感情を分析する考え方を図２に示す。まず、被験者から検出した心拍数と体温のデータからそれぞれの平常な値を平常値ＳＴＤとして算出する。被験者が安静にしている状態の数値を平常値として使い、例えば体温であれば目覚めの時の数値を用いてもよい。また、被験者の心拍数と体温の最大値と最小値とを計測する。

最大値および最小値とは、被験者の日常生活における最大および最小の心拍数あるいは体温である。例えば、１日の測定のなかで記録された最大あるいは最小の値を言う。これら数値を仮の最大値および最小値とし、翌日以降は、これらの仮最大値及び仮最小値を超える値があれば、それまでの最大値あるいは最小値を更新する。超える値がない場合は、更新せずに、前日までの最大値および最小値を用いる。平常値と、最大値および最小値とは、初期値として与えられていてもよい。そして、次の式から、平常値を基準として、最大値および最小値に対する今回の測定値の割合が、心拍数と体温のそれぞれについて求められる。

測定値が平常値以上の場合、
（測定値−平常値）／(最大値−平常値)／１００ （％）（式１）
測定値が平常値未満の場合、
（測定値−平常値）／(最小値−平常値)／１００ （％）（式２）
こうして求められた割合は、縦軸を心拍数、横軸を体温としたグラフにプロットされる。さらに、グラフは、ラッセルの円環モデルに重ね合わせられる。ラッセルの円環モデルによると、人間の感情は（１）覚醒ＡＲＳ、（２）苦痛ＤＳＴ、（３）悲しみＭＩＳ、（４）憂鬱ＤＥＰ、（５）眠気ＳＬＰ、（６）満足ＣＮＴ、（７）快楽ＰＬＳ、（８）興奮ＥＸＣの８種類に分類される。これらの感情は、円上に４５度刻みで配置され、０度：快楽、４５度：興奮、９０度：覚醒、１３５度：苦痛、１８０度：悲しみ、２２５度：憂鬱、２７０度：眠気、３１５度：満足、となっている。

また、人間の体温は、感情が快の状態では上昇し、不快（例えば悲しみ）の状態では下降することが心理学の研究から知られている。人間の心拍数は、覚醒状態では上昇し、眠い状態では下降することが、生物学の研究から知られている。したがって、人間の感情と、心拍数および体温の関係は、図２のように配置することが可能である。各感情の軸に＋２２．５度〜−２２．５度すなわち幅４５度を割り当てる。そして、プロットした場所が当てはまる領域を、その時点における被験者の感情であると判断する。なお、軸の０点は心拍数および体温とも平常値であることを示す。

円環モデル上におけるプロットの位置は、８種類の感情のいずれかを示す。よって、この実施形態では、ラッセルの円環モデル上における被験者の心拍数および体温の交点に基づいて、被験者の感情を複数の分類のひとつとして分析している。

また、心拍数および体温の測定値の最高値ＭＡＸおよび最小値ＭＩＮに対する比率に応じて、円盤の半径を、例えば３分割する。すなわち、例えば０％〜２５％を安全圏ＳＴＢ、２５％〜７０％を注意圏ＣＡＴ、７０％以上を危険圏ＷＡＲとする。この分割比率および分割数は被験者の心理的身体的状態に応じて例えば４分割などに変更してもよい。

分析した８つの感情に８色の色を割り当てる。例えば、苦痛は赤、悲しみは橙、憂鬱は紫、眠気は黄、満足は青、快楽は緑、興奮は桃色、覚醒は薄青（水色）、である。または、各感情に数字を割り当て、圏の別を割合の数値（例えば６５％）で表示してもよい。ただし、安全圏内はどの感情であっても「快楽」の色で表示させる。

＜感情分析システムの基本機能＞
図３は、感情を分析し、改善する処理Ｓ１６１の流れを示す。感情分析システムは、ステップＳ１６２において、被験者の生体情報、例えば心拍数、体温、血中酸素濃度、表情を検知する。感情分析システムは、ステップＳ１６３において、検知された生体情報を使って被験者の感情を分析する。感情分析システムは、ステップＳ１６４において、分析した感情が悪いか、良いかを判断する。ここでの判断は、ラッセル円環上における被験者の生体情報が示す座標に基づいて判断される。感情分析システムは、ステップＳ１６５またはステップＳ１６７において、被験者が自分自身の客観的な感情を、認知できるように報知する。

感情分析システムは、分析した感情が怒りや悲しみのような悪い感情であった場合、ステップＳ１６６において、その感情を改善して良い感情にするメッセージを提供する。すなわち、被験者の感情が、ラッセル円環において左半分の領域に示される感情の場合には、被験者の感情を、ラッセル円環において右方向へ移動させるためのメッセージを提供する。

感情分析システムは、分析した感情が喜びや満足のような良い感情の場合、ステップＳ１６８において、良い感情を維持するために、被験者にメッセージを提供する。すなわち、被験者の感情が、ラッセル円環において右半分の領域に示される感情の場合には、被験者の感情を、ラッセル円環において右半分の領域に維持するためのメッセージを提供する。

提供されるメッセージは、単なる報知に留まらない被験者への積極的な働きかけともいえる。ステップＳ１６５またはステップＳ１６７における報知と、ステップＳ１６６またはステップＳ１６８におけるメッセージの提供とは、報知部１３によって行われる。

＜感情分析の流れ図＞
図４は、Ｓ１６２からＳ１６７までの処理をより詳細に示す。まず、システムは、ステップＳ１５１において、被験者の心拍数と体温とを入力する。システムは、ステップＳ１５２において、心拍数と体温とを蓄積する。システムは、ステップＳ１５３において、上記平常値および最大値および最小値を算出する。システムは、ステップＳ１５４において、心拍数と体温とから被験者の現在の感情を分析する。

システムは、ステップＳ１５５において被験者の感情を報知する。システムは、ステップＳ１５６において、そのときの感情にあらかじめ割り当てられている色を特定する。システムは、ステップＳ１５７において、報知部１３に特定した色を表示する。

このとき、報知部１３は、分析した感情の色だけでなく、ラッセルの円環モデルを表示してもよい。さらに、報知部１３は、被験者の心拍数と体温とに基づくプロットを表示してもよい。報知部１３は、具体的には、ラッセルの円環モデルを線画によって表示し、プロットを点として表示し、さらにそのときの感情を示す色を背景色として表示する。システムは、ステップＳ１５８において、ラッセルの円環モデル上におけるプロット位置に応じて、背景色の連続点灯と点滅点灯とを選択し、切り替える。このような感情分析方法のための処理は、繰り返して実行されている。

感情分析システムによれば、被験者３１が自身の感情およびその程度を客観的に把握することができる。特に、報知部１３の色によって誰でも直感的に感情を把握することができる。このため、被験者３１がＡＳＤ（自閉症スペクトラム障害）であるような場合は、自分の感情の変化を客観的に認識させることができる。顕著な場合、被験者３１は、自分の感情が制御困難になる前に、自分の感情の変化を客観的に認識し、感情を制御困難な状況に陥ることを回避する行動をとることができる。被験者３１が定型発達者である場合は、自身のストレスの程度が上昇する前にその対処をすることができる。この結果、感情分析システムは、日常生活において被験者３１の心理的および精神的負担を減らすことができる。このように、感情分析システムは、感情を分析し、色を含む視覚的な情報によって客観的に表示し、被験者３１または支援者３２に認識させる。さらに、感情分析システムは、単に分析された感情を報知するだけでなく、感情の悪化を被験者３１および支援者３２に認識させる。

さらに、感情分析システムは、単に感情を認識させるだけなく、良い感情を維持するための追加情報、および／または、悪化した感情を改善するための追加情報を提供する。追加情報の提供は、予め複数の追加情報を半導体メモリ等の記憶媒体に格納し、それら格納された複数の追加情報を選択し、再生してもよい。また、追加情報は、実際の利用において学習されてもよい。また、追加情報は、利用者によって追加されてもよい。また、追加情報は、インターネットなどのネットワークを経由して追加、またはネットワーク上において選択されてもよい。

追加情報は、文字、声など利用者が理解可能な情報として提供される。さらに、追加情報は、利用者の注意を惹くように補助的な形態をとる場合がある。追加情報は、例えば、被験者３１の注意を惹きやすいマンガのキャラクターのような絵画的な画像とともに提示される文字、および／または声を含むことができる。マンガのキャラクターのような絵画的な画像は、被験者３１の感情が悪化しつつある局面においても、被験者３１の注意を惹くことができる。

また、被験者３１がＡＳＤの小学生などの低年齢者であったり、認知症患者であるような場合は、その支援者３２も被験者３１の感情を把握できる。なお、支援者３２には、被験者３１の保護者、被験者３１の介助者、または支援組織の職員が含まれる。よって、被験者３１の気持ちに即していて、かつ、無駄のない、効果的な支援や介助をおこなうことが可能になる。

（第２実施形態）
第２実施形態を図６に示す。第２実施形態は、第１実施形態に加えて、例えばスマートフォンやタブレットのような携帯型端末２ａを含む。装着型端末１ａおよび装着型測定器１ｂと携帯型端末２ａは、何らかの通信手段、例えば無線通信で接続され、心拍数と体温のデータを互いに送受信することができる。

装着型端末１ａまたは携帯型端末とその表示部１ｃの例を図７に示す。表示部１ｃの上部には、例えば円形の部分１ｃ１があり、分析された感情がここに色で表示される。円形部分１ｃ１の下には、言語的メッセージを表示する部分となるメッセージ欄１ｃ２および１ｃ３がある。感情改善あるいは感情維持を目的とした被験者へのメッセージが被験者向けメッセージ欄１ｃ２に表示される。それに対する被験者からの反応の入力メッセージは１ｃ３に表示される。また、円形部分１ｃ１は、図２の、ラッセルの円環モデルに心拍数と体温の指標を加えたものを表示してもよい。

また、第２実施形態において、装着型端末１ａに検出部１１および表示部１ｃを搭載した例を図８に示す。

また、装着型端末１ａと携帯型端末２ａとを有線通信手段４１で接続された例も図８に示す。有線通信手段とは、例えばＵＳＢケーブルである。

動作の１例は、第１の実施形態の動作例に加えて、被験者の感情を携帯型端末２ａでも分析するものである。装着型端末１ａあるいは装着型測定器１ｂによって被験者の心拍数と皮膚温を測定する。測定された心拍数と皮膚温から、図２の考え方に基づいて被験者の感情を携帯型端末２ａで分析する。分析した感情が携帯型端末２ａおよび装着型端末１ａの両方、あるいはこれらのどちらかの表示部に表示される。

さらにもう一つの動作例は、携帯型端末２ａの代わり、あるいは、携帯型端末２ａに加えて、パソコンの画面やテレビモニター等の他の機器２ｂを用いるものである。携帯型端末２ａで分析された感情をパソコンの画面やテレビモニター等の他の機器２ｂにも表示する。これによって、被験者の周辺の支援者が被験者の感情を確認することができる。

（第３実施形態）
第３実施形態は、第２実施形態において、携帯型端末２ａ、あるいはパソコンの画面やテレビモニター等の他の機器２ｂに表示する被験者の感情の色の中に、赤、橙、紫、黄、青、薄青（水色）、桃色、緑を含むものである。

（第４実施形態）
第４実施形態は、第２実施形態、あるいは第３実施形態において、装着型端末１ａ、あるいは携帯型端末２ａ、あるいはパソコンの画面やテレビモニター等の他の機器２ｂに、現在の被験者の感情を示す言語のメッセージを表示するものである。また、携帯型端末２ａに音声出力部を備えており、言語のメッセージを音声で出力する機能を持つものである。例えば、分析された被験者の感情が「苦痛、５０％」であった場合は、「只今あなたは中程度の苦痛を感じています。」というようなメッセージが表示されるものである。これらのメッセージはあらかじめ携帯型端末２ａ内に複数保管されており、分析された感情に合わせて携帯型端末２ａ内で適切なものが自動的に選定されて送信される。これらのメッセージは、一定の時間間隔、例えば１０分毎に、毎回異なるものが表示される場合がある。また、言語のメッセージの他に、絵画のメッセージが表示されてもよい。また、言語のメッセージは、音声出力部を通して音声によって被験者に伝わるようになっていてもよい。

（第５実施形態）
第４実施形態に加えて、被験者の感情が安全圏にあると判断される場合は、その状態を維持する行動を促すようなメッセージが提供される。メッセージは、言語のメッセージ、あるいは絵画のメッセージを含む。メッセージは、装着型端末１ａ、あるいは携帯型端末２ａ、あるいはパソコンの画面やテレビモニター等の他の機器２ｂに表示されるものである。

（第６実施形態）
第４実施形態に加えて、被験者の感情が注意圏あるいは危険圏にあると判断される場合は、その感情を安全圏に戻すためのメッセージが提供される。メッセージは、言語のメッセージ、あるいは絵画のメッセージを含む。メッセージは、装着型端末１ａ、あるいは携帯型端末２ａ、あるいはパソコンの画面やテレビモニター等の他の機器２ｂに表示されるものである。例えば、分析された被験者の感情が「苦痛、５０％」であった場合は、「そろそろ苦痛を取り除く行動をしてもいい頃合いです。深呼吸して体操をし、気持ちを落ち着けましょう。」というようなメッセージが示される。これらのメッセージは、被験者の感情が安全圏に入るまで、一定の時間間隔で、毎回異なるものが表示される場合がある。

この時、システムは、心拍数と体温を継続的に取得して感情を連続的に判断し続けることにより、表示したメッセージが被験者の感情改善に効果があったかどうか、どの程度の効果があったかを定量的に測定することができる。この、測定→感情分析→メッセージ表示→測定→感情分析→次のメッセージ表示、というサイクルを繰り返すことにより、表示したメッセージとその効果をシステムは記憶し、その後はより感情改善効果が高いメッセージをより短時間で表示することができる。これをこの実施形態では「学習」と呼ぶことにする。

この実施形態では、報知部１３は、取得部１２によって分析された感情を改善するための改善策を報知する。単に感情を表示するだけでなく、改善策が報知される。これにより、被験者および／または支援者を含む利用者は、被験者の感情を改善することができる。

（第７実施形態）
第４、第５、第６実施形態において、被験者の好みに合わせて、メッセージの言葉遣いを選択し、変更でき、あるいは、メッセージを伝達するキャラクターを選択し、変更できるものである。例えば、子供向け、大人向け、老人向け、男性向け、女性向け、親し気（したしげ）な友人調、年長者調、孫調、召使い調、教師調、などである。これらメッセージの調子は、報知部１３にあらかじめ格納されている。利用者は、例えば携帯型端末２ａの操作部によってメッセージの調子を選択する。

（第８実施形態）
第７実施形態において、装着型端末１ａの表示部、あるいは携帯型端末２ａの表示部、あるいはパソコンの画面やテレビモニター等の他の機器２ｂ（分離された別の表示手段）に表示されたメッセージに対し、被験者が返事や回答の被験者メッセージを入力できるようにしたものである。被験者メッセージを入力するために、被験者が装着している装着型端末１ａ、または被験者が所持している携帯型端末２ａは、音声入力機能、またはテキスト入力機能を有する。音声入力機能は、例えば、マイクと、音声認識装置とによって提供できる。テキスト入力機能は、キーボードによって提供できる。さらに、被験者メッセージに対し、携帯型端末２ａがさらにメッセージ（返信）を送ることができるものである。携帯型端末２ａは、被験者メッセージに対する返信を生成するための会話提供部を有する。会話提供部は、被験者が、あたかも人間と会話をしているかのような感覚を覚えるような返信を提供する。会話提供部は、それ自身が提供する会話の程度に応じて、予め用意された複数の返信からいずれかひとつを選択するだけのボット装置から、人工知能と呼ばれる装置まで、多様な装置を利用可能である。これにより、被験者はあたかも人間と会話をしているかのようにメッセージの送受信をおこなう。さらに、会話提供部は、被験者とオペレータとを交信可能に接続する通信回線でもよい。

（第９実施形態）
第９実施形態を図９に示す。第２から第８実施形態における感情の分析、メッセージの選択および表示を、人工知能を搭載したサーバシステム３ａでおこなうものである。このサーバシステムは独立したハードウェア内に置かれてもよいが、クラウド上に設置されてもよい。

被験者と人工知能との間におけるメッセージと被験者メッセージとのやりとりはすべて人工知能に記録される。それらメッセージおよび被験者メッセージの関係から、落ち着いた感情の維持の効果、あるいは、注意圏または危険圏にある感情を安全圏に戻す効果が自動的に評価され、自動的に蓄積される。

被験者と人工知能との間におけるメッセージと被験者メッセージとのやり取りを人工知能に繰り返させることによって、個々の被験者に合わせて適切な長さ、抽象度、表現、言葉遣いのメッセージを人工知能に学習させ、人工知能がメッセージを作成できるようにする。

（第１０実施形態）
この実施形態では、第９実施形態において、複数の被験者に対する人工知能の学習データが統合される。学習データは、ネットワークを介して収集され、特定の被験者が利用可能なデータセットとして利用可能とされる。ある被験者に対する回答は、その被験者のために人工知能を強化学習などさせて用意されたデータセットに加えて、その他の複数の被験者から集めた学習データの中からも人工知能に選択させる。複数の被験者による感情分析システムの利用と、それら複数の学習データの統合と、統合された学習データを特定の被験者のために利用する行為とが含まれる。これによって、より適切な言語的メッセージをより早く作成し、送信させるものである。

１１： 検出部、１２： 取得部、１３： 報知部、
１ａ： 装着型端末
１ｂ： 装着型検出部
２ａ： 携帯型端末
２ｂ： パソコンの画面やテレビモニター等
３ａ： 人工知能を搭載したサーバシステム

Claims (10)

1. 被験者の心拍数と体温を検出する検出部、
   前記検出部により検出された心拍数と体温を取得し、前記被験者の感情を分析する取得部、および、
   前記取得部によって分析された感情を、利用者に対して報知する報知部を備える感情分析システム。
2. 前記報知部は、前記取得部によって分析された感情を複数に分類し、分類された感情を、色、数字、文字、記号、絵画、および模様の少なくともひとつを含む視覚的情報により表示する表示部、音、音声、および音楽の少なくともひとつを含む聴覚的情報により出力する音出力部、または、振動、形状、および表面粗さを含む触覚的情報により出力する触感出力部の少なくともひとつを備える請求項１に記載の感情分析システム。
3. 前記報知部は、前記取得部によって分析された感情を改善するための改善策を報知する請求項１または２に記載の感情分析システム。
4. 前記報知部は、前記取得部によって分析された感情を維持するための維持策を報知する請求項１ないし３のいずれか１つに記載の感情分析システム。
5. 前記取得部は、被験者の感情をラッセル円環に基づいて分析し、
   前記報知部は、ラッセル円環の左半分である不快領域と判断されたときには、左半分の側から右半分の快領域へ被験者の感情を変化させるような視覚的情報、あるいは聴覚的情報、あるいは触覚的情報の少なくとも一つを出力する、請求項１ないし４のいずれか１つに記載の感情分析システム。
6. 前記取得部は、被験者の感情をラッセル円環に基づいて分析し、
   前記報知部は、ラッセル円環の半径方向中心側へ被験者の感情を変化させるような視覚的情報、あるいは聴覚的情報、あるいは触覚的情報の少なくとも一つを出力する、請求項１ないし５のいずれか１つに記載の感情分析システム。
7. 前記報知部は、前記感情を改善する場合には、前記被験者の現在の行為から、異なる別の行為への変更を促すメッセージを出力し、および／または、前記感情を維持する場合には、前記被験者に直接的または間接的に褒賞を与えるメッセージを出力する請求項１ないし６のいずれか１つに記載の感情分析システム。
8. 被験者が装着する装着型端末、
   その端末と無線あるいは有線で電子的信号やデータを送受信する携帯型端末、
   被験者の心拍数と体温を検出する検出部、
   心拍数と体温を取得し感情を分析する取得部、および、
   分析した感情を表示する表示部を備えており、
   前記装着型端末には前記検出部と前記表示部を搭載し、
   前記携帯型端末には前記取得部と前記表示部を搭載し、さらに、
   前記装着型端末と前記携帯型端末とは、前記無線あるいは前記有線のどちらかで通信する通信部を搭載している感情分析システム。
9. 前記携帯型端末に、感情を表す言語的なメッセージを複数備え、
   それらのメッセージの中から被験者の感情に応じたものを、前記装着型端末および前記携帯型端末の前記表示部に自動的に視覚的に表示し、および／または、
   前記メッセージを音声によって出力する音出力部を備える、請求項８に記載の感情分析システム。
10. 前記装着型端末あるいは前記携帯型端末のどちらか、あるいはその両方、および、分離された別の表示手段に表示された前記メッセージに対して、前記被験者が返事や回答の被験者メッセージを端末から入力できるようになっており、
    かつ、前記被験者メッセージに対し前記携帯型端末がさらに返信を送ることができるような会話提供部を備える、請求項９に記載の感情分析システム。

Images