JP2021108021A - 感情分析システムおよび感情分析方法 - Google Patents

Abstract

【課題】介護スタッフおよび被介護者に向けた快適な介護サービスの授受の実現を効率的に支援する。【解決手段】感情分析システムは、介護者および被介護者のうち少なくとも一方の発話に基づく音声を収音するマイクと、介護者および被介護者を撮像した画像を取得するカメラと、マイクにより収音された発話の音声データとカメラにより撮像された介護者および被介護者の画像データとのうち少なくとも一方に基づいて、介護者および被介護者のそれぞれの相手に対する感情を示す感情データを導出する感情処理部と、介護者および被介護者のそれぞれの感情データに基づいて、介護者へのアクションプランを決定し、介護者が所持する介護者端末に通知するフィードバック部と、を備える。【選択図】図２

Description

本開示は、感情分析システムおよび感情分析方法に関する。

特許文献１には、複数の月間サービス提供票の介護サービス単位を介護事業所の予定マトリックスに分布させて、介護サービスマトリックス分布を参考にスタッフ数およびその勤務時間シフトを調整することで、最少スタッフ数と最少勤務時間でミスマッチのない介護サービス管理を行う、訪問介護看護のためのマトリックスイノベーション管理法が開示されている。

特開２０１５−１８０９８４号公報

特許文献１の技術では最少スタッフ数と最少勤務時間で効率的に介護サービスを提供することがフォーカスされており、介護サービスを受ける被介護者（例えば高齢者）と介護スタッフとの間の人的な相性の良し悪しを考慮して介護サービスの割り当てを行うことはできない。実際の介護サービスの現場では人的な相性の良し悪しによる各種の問題が発生していることが少なくなく、介護スタッフにとっても被介護者にとっても快適な介護サービスの授受の実現を行う上で、改善の余地があったと考えられる。

本開示は、上述した従来の状況に鑑みて案出され、介護スタッフおよび被介護者に向けた快適な介護サービスの授受の実現を効率的に支援する感情分析システムおよび感情分析方法を提供することを目的とする。

本開示は、介護者および被介護者のうち少なくとも一方の発話に基づく音声を収音するマイクと、前記介護者および被介護者を撮像した画像を取得するカメラと、前記マイクにより収音された前記発話の音声データと前記カメラにより撮像された前記介護者および被介護者の画像データとのうち少なくとも一方に基づいて、前記介護者および被介護者のそれぞれの相手に対する感情を示す感情データを導出する感情処理部と、前記介護者および被介護者のそれぞれの前記感情データに基づいて、前記介護者へのアクションプランを決定し、前記介護者が所持する介護者端末に通知するフィードバック部と、を備える、感情分析システムである。

本開示によれば、介護スタッフおよび被介護者に向けた快適な介護サービスの授受の実現を効率的に支援できる。

実施の形態１に係る感情分析システムの概要の一例を示す図 感情分析システムのハードウェア構成例を示す図 実施の形態１に係る感情分析システムの動作手順例を示すフローチャート 共感推定テーブルの登録内容の一例を示す図 発話量・フィードバックテーブルの登録内容の一例を示す図 テンポ・フィードバックテーブルの登録内容の一例を示す図 ストレス・フィードバックテーブルの登録内容を示す図 感情・ストレステーブルの登録内容の一例を示す図

以下、適宜図面を参照しながら、本開示に係る感情分析システムおよび感情分析方法を具体的に開示した実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図１は、実施の形態１に係る感情分析システム５の概要の一例を示す図である。ここでは、被介護者ｏｈ１は、例えば、介護が必要となる高齢者であり、車イスに座ったまま移動する。介護者の一例としての介護スタッフｓｆ１は、例えば、被介護者ｏｈ１を介護する介護施設等に勤務する女性スタッフである。なお、介護スタッフｓｔ１は男性スタッフでもよいことは言うまでもない。監視ロボット１００は、被介護者ｏｈ１および介護スタッフｓｆ１のそれぞれの状況等をモニタリングする監視装置の一例である。

監視ロボット１００は、例えば、駆動輪および従動輪を備えた単一の自立走行型ロボットであり、病院あるいは老人ホーム等の介護施設内を自由に移動自在である。監視ロボット１００は、カメラ１０１、マイク１０２および通信部１０３を有し、カメラ１０１で被介護者ｏｈ１および介護スタッフｓｆ１を撮像し、マイク１０２で被介護者ｏｈ１および介護スタッフｓｆ１が発話する音声を収音する。監視ロボット１００は、通信部１０３でこれらの画像データおよび音声データのそれぞれのペアをサーバ２００（図２参照）に常時あるいは定期的に送信する。

例えば、監視ロボット１００は、カメラ１０１で撮像された画像を解析して被介護者ｏｈ１および介護スタッフｓｆ１を認識すると、被介護者ｏｈ１および介護スタッフｓｆ１のいる場所に近づき、被介護者ｏｈ１および介護スタッフｓｆ１の顔部分をズームアップしてカメラ１０１で撮像する。また同時に、監視ロボット１００は、マイク１０２で両者（つまり、被介護者ｏｈ１および介護スタッフｓｆ１）が発話する音声を収音する。なお、監視ロボット１００は、介護スタッフｓｆ１または被介護者ｏｈ１のいずれか一方を画像解析によって認識し、そのいずれか一方の後に付いていくように移動することも可能である。

なお、監視ロボット１００の代わりに、介護施設内の１箇所もしくは複数の箇所にそれぞれ設置された、マイク付きの監視カメラが、被介護者ｏｈ１および介護スタッフｓｆ１を撮像するとともに、被介護者ｏｈ１および介護スタッフｓｆ１の会話の音声を収音してもよい。

また、監視ロボット１００は、被介護者ｏｈ１および介護スタッフｓｆ１が映る画像データと被介護者ｏｈ１および介護スタッフｓｆ１の音声データをサーバ２００（後述参照）に送信することなく、これらの画像データおよび音声データの少なくとも一方を用いて被介護者ｏｈ１および介護スタッフｓｆ１のそれぞれの感情を推定して両者の共感度を推定し、この共感度に対応するアクションプランを決定することも可能である。監視ロボット１００は、決定したアクションプランを介護スタッフｓｆ１にフィードバックする必要がある場合、例えば介護スタッフｓｆ１が所持する介護スタッフ端末３０１にメッセージとして送る。メッセージは、感情分析結果およびアクションプランを含む。また、監視ロボット１００は、例えば介護スタッフの上司、および介護スタッフを雇用または派遣する会社に対し、アクションプランを通知してもよい。

図２は、感情分析システム５のハードウェア構成例を示す図である。図５の感情分析システム５は、監視ロボット１００と、サーバ２００と、少なくとも１台の端末３００と、を含む構成である。監視ロボット１００、サーバ２００および端末３００は、ネットワークＮＷを介して相互にデータ通信が可能に接続される。

監視ロボット１００（図１参照）は、被介護者ｏｈ１と介護スタッフｓｆ１をモニタリングする。監視ロボット１００は、プロセッサ１１０、メモリ１１１、通信部１０３、カメラ１０１、マイク１０２、および駆動部１１５を少なくとも有する。

カメラ１０１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子（イメージセンサ）を有し、被写体からの光を撮像面に結像し、結像した光学像を電気信号に変換して映像信号を出力する。カメラ１０１で撮像された画像データは、メモリ１１１に記憶される。なお、カメラ１０１の台数は、１台に限らず、複数台であってもよい。また、カメラ１０１は、夜間あるいは暗所等で撮像できるように、近赤外光を照射してその反射光を受光可能な赤外線カメラを備えてもよい。カメラ１０１は、固定カメラでもよいし、パン・チルト・ズーム可能なＰＴＺ（Ｐａｎ Ｔｉｌｔ Ｚｏｏｍ）カメラであってもよい。また、カメラ１０１は、一対のカメラによって被写体の立体映像（３Ｄ画像）を撮像可能なステレオカメラであってもよい。

マイク１０２は、指向性マイクあるいは無指向性マイクのいずれでもよい。マイクは、高音質小型エレクトレットコンデンサーマイクロホン（ＥＣＭ：Ｅｌｅｃｔｒｅｔ Ｃｏｎｄｅｎｓｅｒ Ｍｉｃｒｏｐｈｏｎｅ）の単体、複数のＥＣＭで構成されるマイクアレイでもよい。

プロセッサ１１０は、メモリ１１１に保持されたプログラムを実行することで各種機能を実現する。プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を含んでよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等で設計された専用の電子回路、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等で再構成可能に設計された電子回路で構成されてもよい。

メモリ１１１は、プロセッサ１１０のワーキングメモリとして使用される他、各種データ、情報、プログラムを記憶する。メモリ１１１は、一次記憶装置（例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ））を含む。メモリ１１１は、二次記憶装置（例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ））、または三次記憶装置（例えば光ディスク、ＳＤカード）を含んでよい。

通信部１０３は、ネットワークＮＷに接続されたサーバ２００および端末３００のそれぞれとの間で通信（例えば無線通信）を行う。通信部１０３は、ネットワークＮＷに接続可能なネットワークインターフェース、近距離無線通信インターフェース等を有する。通信部１０３は、カメラ１０１で撮像された画像データ、およびマイク１０２で収音された音声データをサーバ２００に送信する。また、通信部１０３は、サーバ２００から感情分析結果に基づくアクションプランを受信した場合、ネットワークＮＷを介して端末３００にアクションプランを転送してもよい。通信部による通信方式は、例えば、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｋ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、電力線通信、近距離無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信）、携帯電話用の通信等の通信方式を含んでよい。

駆動部１１５は、プロセッサ１１０の指示に従い、監視ロボット１００に備えられる駆動輪（図示略）を回転駆動する。

サーバ２００は、監視ロボット１００から送られた被介護者ｏｈ１および介護スタッフｓｆ１の画像データおよび音声データのうち少なくとも一方を用いて、被介護者ｏｈ１および介護スタッフｓｆ１の感情を推定して両者の共感度を推定する。サーバ２００は、この推定された共感度に基づいて、その共感度に対応する介護スタッフｓｆ１へのアクションプラン（例えば取るべき行動あるいはその指針）を決定する。

サーバ２００は、監視ロボット１００から送られた、被介護者ｏｈ１および介護スタッフｓｆ１の音声データおよび画像データを基に、被介護者ｏｈ１および介護スタッフｓｆ１の双方の感情（つまり、一方が他方に対する感情）を推定し、感情の推定結果を基に共感度（言い換えると、相性）を推定する。サーバ２００は、両者の相性が良いと判定した場合には特に何もしないが、両者の相性が良くないと判定した場合にはアクションプランを実行する。サーバ２００は、プロセッサ２０１、メモリ２０２、通信部２０３、およびストレージ２０４を有する。

プロセッサ２０１は、メモリ２０２に保持されたプログラムを実行することで実現する各種機能、具体的に感情推定部２１１、共感推定部２１２、ミスマッチ検知部２１３、およびアクション決定部２１４を含む。プロセッサは、ＣＰＵ、ＤＳＰ、ＧＰＵ等を含んでよい。また、ＡＳＩＣ等で設計された専用の電子回路、ＦＰＧＡ等で再構成可能に設計された電子回路で構成されてもよい

感情処理部の一例としての感情推定部２１１は、介護スタッフｓｆ１および被介護者ｏｈ１が発話する音声の音声データと介護スタッフｓｆ１および被介護者ｏｈ１の生体データ（いわゆるバイタルデータ）とのうち少なくとも１つに基づいて、介護スタッフｓｆ１および被介護者ｏｈ１のそれぞれの感情を推定する。生体データとして、ここでは、カメラ１０１で介護スタッフｓｆ１および被介護者ｏｈ１を撮像し、撮像画像に含まれる介護スタッフｓｆ１および被介護者ｏｈ１のそれぞれの肌色部分の変化を基に推定される心拍の変動を示すデータが用いられる。なお、介護スタッフｓｆ１および被介護者ｏｈ１等の人物が発話する音声の音声データおよび人物の心拍変動データを基に、感情を推定する技術は、公知である。

後述する動作例１では、感情推定部２１１は、介護スタッフｓｆ１および被介護者ｏｈ１のそれぞれの音声の音声データを基に、両者の感情を推定する。

後述する動作例２では、感情推定部２１１は、介護スタッフｓｆ１および被介護者ｏｈ１のそれぞれの心拍変動データを基に、両者の感情を推定する。

感情処理部の一例としての共感推定部２１２は、感情推定部２１１により推定された被介護者ｏｈ１の感情および介護スタッフｓｆ１の感情を基に、共感推定テーブルＴｂ１（図４参照）に従い、両者の共感度（つまり、介護スタッフｓｆ１および被介護者ｏｈ１間の心理的な相性の良し悪し）を推定する。

感情処理部の一例としてのミスマッチ検知部２１３は、共感推定部２１２の出力に基づいて被介護者ｏｈ１および介護スタッフｓｆ１間の相性が良くないと判定した場合に、介護サービスを提供する上での両者の組み合わせはミスマッチである旨を検知する。

フィードバック部の一例としてのアクション決定部２１４は、ミスマッチ検知部２１３によってミスマッチが検知された場合、介護スタッフｓｆ１に対するアクションプランを決定する。アクションプランとして、例えば被介護者ｏｈ１にヒアリングを行うこと、介護スタッフｓｆ１を指導すること等が挙げられる。介護スタッフｓｆ１への指導は、メッセージとして、決定したアクションプランをフィードバックすることで行われる。

メモリ２０２は、プロセッサのワーキングメモリとして使用される他、各種データ、情報、プログラムを記憶する。メモリ２０２は、一次記憶装置（例えばＲＡＭまたはＲＯＭ）を含む。メモリ２０２は、二次記憶装置（例えばＨＤＤ、ＳＳＤ）、または三次記憶装置（例えば光ディスク、ＳＤカード）を含んでよい。

通信部２０３は、ネットワークＮＷを介して無線又は有線で監視ロボット１００および端末３００との間で通信（例えば無線通信）する。サーバ２００が被介護者ｏｈ１および介護スタッフｓｆ１に対しアクションプランを行う場合、通信部２０３は、ネットワークＮＷを介して端末３００に直接にフィードバックしてもよいし、監視ロボット１００が転送する場合、ネットワークＮＷを介して監視ロボット１００にアクションプランをフィードバックしてもよい。通信部２０３による通信方式は、例えば、ＷＡＮ、ＬＡＮ、ＬＴＥ、５Ｇ等の移動体通信、電力線通信、近距離無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信）、携帯電話用の通信等の通信方式を含んでよい。

ストレージ２０４は、ＨＤＤまたはＳＳＤで構成される。ストレージ２０４は、推定された被介護者ｏｈ１および介護スタッフｓｆ１のそれぞれの感情データ、共感度をそれぞれ示すデータ等を、被介護者ｏｈ１の識別ＩＤおよび介護スタッフｓｆ１の識別ＩＤとともに関連付けて蓄積するデータベースである。ストレージ２０４は、例えば被介護者ｏｈ１の感情が「心地良い」、「快適」等、リラックスしている場合に値が高くなるような、介護スタッフｓｆ１を評価する評価データを蓄積してもよい。

端末３００は、介護スタッフｓｆ１が所持する介護スタッフ端末３０１、介護スタッフｓｆ１の上司が所持する上司端末３０２、および介護スタッフを雇用または派遣する会社の会社端末３０３を含む。特に、これらの端末を区別する必要が無い場合、単に端末３００と称する。端末３００は、スマートフォン、タブレット端末、ノートパソコン等である。

なお、ここでは、サーバ２００は、被介護者ｏｈ１および介護スタッフｓｆ１の音声データおよび画像データを基に、被介護者ｏｈ１および介護スタッフｓｆ１の双方の感情を推定して両者の相性を推定し、両者の相性が良くない場合にアクションプランを実行した。これらの動作は、サーバ２００の代わりに、監視ロボット１００が一括して行ってもよい。監視ロボット１００が行う場合、感情分析システムは、サーバ２００を省いて構成される。

次に、実施の形態１に係る感情分析システム５の動作例を順に説明する。

（動作例１：音声データを用いた感情推定）
動作例１では、被介護者ｏｈ１および介護スタッフｓｆ１のそれぞれが発話する音声の音声データを基に、被介護者ｏｈ１および介護スタッフｓｆ１の双方の感情を推定する場合を示す。ここで、発話する音声の音声データを用いて、人物の感情を推定する技術は、公知の技術である。例えば、特開２０１５−９９３０４号公報には、複数の感情スコアをそれぞれモデル化した感情モデル集合を記憶し、対話者の入力音声信号からフレームごとに音響特徴量を抽出し、音響特徴量から感情モデル集合を用いてフレームごとに感情スコアを計算する、共感反感箇所検出装置が開示されている。この共感反感箇所検出装置は、計算された感情スコアに基づいてフレームごとに共感反感箇所推定スコアを計算し、この共感反感箇所推定スコアに基づいて対話者の共感反感箇所を推定する。

図３は、実施の形態１に係る感情分析システム５の動作手順例を示すフローチャートである。

図３において、監視ロボット１００は、カメラ１０１により撮像される撮像画像に映る人物（例えば被介護者ｏｈ１および介護スタッフｓｆ１）を認識すると、駆動部１１５によって駆動輪を駆動し、被介護者ｏｈ１および介護スタッフｓｆ１の近くに移動する。監視ロボット１００は、顔等の肌色が判別できるように、ズームアップしてカメラ１０１で被介護者ｏｈ１および介護スタッフｓｆ１を撮像し、被介護者ｏｈ１および介護スタッフｓｆ１の画像データを取得する（Ｓ１）。また、監視ロボット１００は、マイク１０２で被介護者ｏｈ１および介護スタッフｓｆ１が発話する音声を収音して被介護者ｏｈ１および介護スタッフｓｆ１の音声データを取得する（Ｓ１）。監視ロボット１００の通信部１０３は、ステップＳ１で取得された被介護者ｏｈ１および介護スタッフｓｆ１の画像データおよび音声データをサーバ２００に送信する。

サーバ２００の通信部２０３は、監視ロボット１００から被介護者ｏｈ１および介護スタッフｓｆ１の画像データおよび音声データを受信する。感情推定部２１１は、被介護者ｏｈ１および介護スタッフｓｆ１の双方の音声データを基に、それぞれの感情を推定する（Ｓ２）。以下の説明において、声の音声に基づいて推定される感情は、声感情あるいは表面感情とも称される。

共感推定部２１２は、感情推定部２１１によって、推定された被介護者ｏｈ１および介護スタッフｓｆ１の双方の感情を基に、共感推定テーブルＴｂ１に従い、被介護者ｏｈ１および介護スタッフｓｆ１の両者の共感度（つまり、相性の良し悪し）を推定する（Ｓ３）。

サーバ２００のプロセッサ２０１は、推定された被介護者ｏｈ１および介護スタッフｓｆ１の感情データおよび共感度データを、被介護者ｏｈ１の識別ＩＤおよび介護スタッフｓｆ１の識別ＩＤとともにストレージ２０４に蓄積する。また、プロセッサ２０１は、例えば被介護者ｏｈ１の感情が「心地良い」、「快適」等、リラックスしている場合に値が高くなるような、介護スタッフｓｆ１を評価する評価データをストレージ２０４に蓄積してもよい。

図４は、共感推定テーブルＴｂ１の登録内容の一例を示す図である。共感推定テーブルＴｂ１では、被介護者ｏｈ１および介護スタッフｓｆ１の感情は、「怒り」、「落ち込み」、「喜び」、「快適」の４つに分類される。

例えば、被介護者ｏｈ１の感情が「怒り」または「落ち込み」であり、介護スタッフｓｆ１の感情が「怒り」または「落ち込み」である場合、両者の共感度が極めて低く、相性が悪いとして、被介護者ｏｈ１と介護スタッフｓｆ１の組み合わせを変更することを介護スタッフｓｆ１に指示するためのアクションプランが登録されている。

また例えば、被介護者ｏｈ１の感情が「喜び」または「快適」であり、介護スタッフｓｆ１の感情が「怒り」または「落ち込み」である場合、両者の共感度が低く、相性が良くないとして、被介護者ｏｈ１にヒアリングし、介護スタッフｓｆ１を指導することを介護スタッフｓｆ１に指示するためのアクションプランが登録されている。

また例えば、被介護者ｏｈ１の感情が「怒り」または「落ち込み」であり、介護スタッフｓｆ１の感情が「喜び」または「快適」である場合、同様に、両者の共感度が低く、相性が良くないとして、被介護者ｏｈ１にヒアリングし、介護スタッフｓｆ１を指導することを介護スタッフｓｆ１に指示するためのアクションプランが登録されている。

また例えば、被介護者ｏｈ１の感情が「喜び」または「快適」であり、介護スタッフｓｆ１の感情が「喜び」または「快適」である場合、両者の共感度が高く、相性が良いとして、介護スタッフｓｆ１に対するアクションプラン無しが登録されている。なお、感情は、上記４つに限らず、「刺激」、「疲労」等を含んでもよく、より適切な感情表現が可能となる。

アクション決定部２１４は、介護スタッフｓｆ１に対するアクションプランを選択する（Ｓ４）。サーバ２００は、アクション決定部２１４によって選択されたアクションプランの指示（通知）を実行する。例えば、プロセッサ２０１は、通信部２０３を介して、アクション決定部２１４により決定されたアクションプランを介護スタッフｓｆ１が所持する介護スタッフ端末３０１に送信してフィードバックする。なお、プロセッサ２０１は、アクションプランと同時に、被介護者ｏｈ１の評価データを送信してもよい。例えば、プロセッサ２０１は、評価データを含むアクションプランを作成し、介護スタッフｓｆ１にメッセージとして通知してもよい。

サーバ２００の通信部２０３は、介護スタッフｓｆ１の他、作成されたメッセージを介護スタッフｓｆ１の上司が所持する上司端末３０２、または介護スタッフｓｆ１を雇用あるいは派遣している会社の会社端末３０３に送信する。メッセージは、介護スタッフｓｆ１への指導内容を含む。なお、アクション決定部２１４は、被介護者ｏｈ１に対するアクションプラン（例えば、被介護者ｏｈ１との間でヒアリングを行うこと）を決定してもよい。また、アクション決定部２１４は、介護スタッフｓｆ１に対するアクションプランを決定する際、後述する発話量・フィードバックテーブルＴｂ２またはテンポ・フィードバックテーブルＴｂ３を用いてもよい。

図５は、発話量・フィードバックテーブルＴｂ２の登録内容の一例を示す図である。発話量・フィードバックテーブルＴｂ２には、一定期間分の介護スタッフｓｆ１の発話量と被介護者ｏｈ１の発話量との比率を基に、介護スタッフｓｆ１へのフィードバック内容が登録されている。一定期間として、例えば１０分、１時間、３日間、１週間、１ケ月が挙げられる。共感推定部２１２は、一定期間分の発話量の比率を用いて両者の共感度を推定する。これにより、被介護者ｏｈ１と介護スタッフｓｆ１との双方について導出した感情の信頼性が向上する。

具体的に、介護スタッフｓｆ１の発話量と被介護者ｏｈ１の発話量の比率が、１０対０から５対５までの範囲にある場合、介護スタッフｓｆ１へのアクションプランは、「もっと被介護者の話を聞く、質問するように促す」が登録されている。

また、介護スタッフｓｆ１の発話量と被介護者ｏｈ１の発話量の比率が、４対６から２対８までの範囲にある場合、介護スタッフｓｆ１へのアクションプランは、「概ね適切である」が登録されている。

なお、アクションプランが「概ね適切である」である場合、介護スタッフｓｆ１にメッセージが通知されなくてもよい。また、介護スタッフｓｆ１の発話量と被介護者ｏｈ１の発話量の比率が、１対９から０対１０までの範囲にある場合、介護スタッフｓｆ１へのアクションプランは、「もっと被介護者に話しかけるように促す」が登録されている。

なお、ここでは、アクションプランの決定には、一定期間分の単なる発話量が用いられたが、発話量に含まれる子音あるいは母音の数、または母音と子音の比率を用いて、アクションプランが決定されてもよい。これにより、発話量と感情との因果関係がより明瞭になる。

図６は、テンポ・フィードバックテーブルＴｂ３の登録内容の一例を示す図である。テンポ・フィードバックテーブルＴｂ３には、一定時間分の会話のテンポ（話速）を基に、介護スタッフｓｆ１へのアクションプランが登録されている。例えば、介護スタッフｓｆ１の発話速度と被介護者ｏｈ１の発話速度との比率が算出され、この比率が閾値と比べて大きいか否かによってアクションプランが決定される。

感情分析システム５は、被介護者ｏｈ１または介護スタッフｓｆ１の発話時のテンポ（つまり話速）に偏りがある場合、被介護者ｏｈ１および介護スタッフｓｆ１の相性が良くないと判断し、また、テンポがほぼ同じであると被介護者ｏｈ１および介護スタッフｓｆ１の相性が良いと判断することで、相性を適正に判断できる。また、一定期間分のテンポを用いることで、感情の導出結果の信頼性が向上する。

具体的に、介護スタッフｓｆ１のテンポが被介護者ｏｈ１のテンポに比べ、著しく早い場合、介護スタッフｓｆ１へのアクションプランは、「もう少しゆっくり話すよう促す」が登録されている。

また、介護スタッフｓｆ１のテンポが被介護者ｏｈ１のテンポに比べ、早い、ほぼ同じまたは遅い場合、介護スタッフｓｆ１へのアクションプランは、「概ね適切である」が登録されている。

なお、アクションプランが「概ね適切である」である場合、介護スタッフｓｆ１にメッセージが通知されなくてもよい。また、介護スタッフｓｆ１のテンポが被介護者ｏｈ１のテンポに比べ、著しく遅い場合、介護スタッフｓｆ１へのアクションプランは、「もう少し早く話すよう促す」が登録されている。

このように、感情分析システム５の動作例１では、サーバ２００は、監視ロボット１００が収音した被介護者ｏｈ１および介護スタッフｓｆ１の双方が発話する時の音声の音声データを基に、被介護者ｏｈ１および介護スタッフｓｆ１の双方の感情を推定し、共感度に基づくアクションプランの介護スタッフｓｆ１への指示を実行する。つまり、サーバ２００は、アクションプランに相当するメッセージを作成して介護スタッフｓｆ１に通知する。これにより、感情分析システム５は、被介護者ｏｈ１および介護スタッフｓｆ１の会話時の音声の音声データを用いて被介護者ｏｈ１および介護スタッフｓｆ１の両者の感情を推定し、その感情に基づいて得られた共感度に基づくアクションプランの指示を介護スタッフｓｆ１に実行することで、被介護者ｏｈ１に対する介護サービスの質を向上できる。なお、動作例１では、感情分析システム５は、被介護者ｏｈ１および介護スタッフｓｆ１の双方が発話する音声を収音したが、一方が発話する声だけを収音して被介護者ｏｈ１および介護スタッフｓｆ１双方の感情を推定し、共感度を推定してアクションプランの通知を実行してもよい。

（動作例２：バイタルデータを用いた感情推定）
動作例１では、被介護者ｏｈ１および介護スタッフｓｆ１の会話時の音声の音声データを基にして被介護者ｏｈ１および介護スタッフｓｆ１の両者の感情（言い換えると、音声により導かれる表面的な感情）を推定した。動作例２では、被介護者ｏｈ１および介護スタッフｓｆ１の顔部分が映る撮像画像に基づいて得られる両者のバイタルデータを基に内面感情を推定する場合を示す。

バイタルデータとして、例えば、被介護者ｏｈ１および介護スタッフｓｆ１の会話時における心拍変動データを用いる。ここで、心拍変動を基に内面感情（特に、ストレス度）を分析する技術は、公知の技術である。例えば、特許第６３５８５０６号公報には、被験者が撮像された画像データを入力し、入力された画像データの複数フレームにわたる肌色部分の画素値の周期を基に脈拍数を推定することが開示される。同様に、国際公開第２０１７／１５４４７７号には、撮像画像から肌色領域を検出し、肌色領域から抽出した情報に基づき脈波信号を検出し、脈波信号に基づき被検体の脈拍を推定することが開示される。

また、心臓の拍動に起因する心拍間隔（ＲＲＩ）を基に、心拍変動の時系列データとして、ストレス指数が得られることが知られている。心拍変動に基づくストレス指数として、例えば交感神経と副交感神経の全体のバランスを表すＬＦ／ＨＦが挙げられる。ＬＦ（低周波）は、心拍変動の時系列データの０．００４〜０．１５Ｈｚの低周波を表し、メイヤー波と呼ばれる約１０秒周期の血圧変化を信号源とする変動波である。ＨＦ（高周波）は、０．１５〜０．４Ｈｚの高周波数を表し、３秒から４秒程度の周期を持つ呼吸を信号源とする変動波である。ストレス指数であるＬＦ／ＨＦが高い場合、被験者は、交感神経が優位の状態にある。ストレス指数であるＬＦ／ＨＦが低い場合、被験者は、副交感神経が優位の状態にある。

また、心拍変動とリラックスとの間の関係が知られている。例えばリラックス状態では上述した心拍間隔（ＲＲＩ）がある程度変動し、ストレス状態では心拍間隔（ＲＲＩ）がほぼ同じ値である。また、５つの感情、「喜び」、「怒り」、「恐れ」、「悲しみ」、「落ち着き」では、平均のＲＲＩに比べ、ＣＶＲＲ（Ｃｏｅｆｆｉｃｉｅｎｔ ｏｆ Ｖａｒｉａｔｉｏｎ ｏｆ Ｒ−Ｒ ｉｎｔｅｒｖａｌ）が大きく変化する。ストレスとリラックスの判別精度は、７１．４％である。また、５つの感情の判別精度は、５６．９％である。

感情分析システム５は、動作例２において、動作例１と同様に、図３に示す動作手順に従って感情分析の処理を行う。動作例２では、監視ロボット１００のカメラ１０１は、被介護者ｏｈ１および介護スタッフｓｆ１の両者の顔部分が写る（映る）ように、被介護者ｏｈ１および介護スタッフｓｆ１を撮像し、画像データをサーバ２００に送信する。サーバ２００の通信部２０３が監視ロボット１００から被介護者ｏｈ１および介護スタッフｓｆ１双方の画像データを受信すると、感情推定部２１１は、被介護者ｏｈ１および介護スタッフｓｆ１の双方の、会話時の心拍変動だけでなくストレス度を算出する。共感推定部２１２は、被介護者ｏｈ１および介護スタッフｓｆ１の双方のストレス度を基に、後述するストレス・フィードバックテーブルＴｂ４に従い、被介護者ｏｈ１および介護スタッフｓｆ１の共感度（つまり、相性の良し悪し）を推定する。アクション決定部２１４は、共感推定部２１２により推定された共感度を基に、ストレス・フィードバックテーブルＴｂ４に従い、介護スタッフｓｆ１へ指示するべきアクションプランを選択する。アクション決定部２１４は、選択されたアクションプランに相当するメッセージを作成して介護スタッフｓｆ１の所持する介護スタッフ端末３０１等にフィードバックする。

図７は、ストレス・フィードバックテーブルＴｂ４の登録内容の一例を示す図である。ストレス・フィードバックテーブルＴｂ４には、ストレスの有無を示すストレス有無データとして、介護スタッフｓｆ１および被介護者ｏｈ１の双方がストレスを感じている場合、共感度が著しく低い、つまり被介護者ｏｈ１と介護スタッフｓｆ１との相性が良くないとして、介護スタッフｓｆ１を交代させるかもしくは介護スタッフｓｆ１の指導を行うことが登録されている。

また、介護スタッフｓｆ１がストレスを感じており、かつ被介護者ｏｈ１がリラックスしている場合、共感度が低い、例えば介護スタッフｓｆ１がまだ仕事に慣れていないとして、介護スタッフｓｆ１の教育を強化することが登録されている。

また、介護スタッフｓｆ１がリラックスしており、かつ被介護者ｏｈ１がストレスを感じている場合、共感度が低い、例えば介護スタッフｓｆ１が被介護者ｏｈ１の感情に気付いていないとして、介護スタッフｓｆ１の指導を行うことが登録されている。

また、介護スタッフｓｆ１および被介護者ｏｈ１の双方がリラックスしている場合、共感度が高く、特に問題なしとすることが登録されている。

このように、感情分析システム５の動作例２では、サーバ２００は、監視ロボット１００が取得した被介護者ｏｈ１および介護スタッフｓｆ１の画像データに基づく生体データ（心拍変動データの一例）を基に、被介護者ｏｈ１および介護スタッフｓｆ１の双方の感情を推定し、推定された感情により得られた共感度に基づくアクションプランの指示を実行する。つまり、サーバ２００は、アクションプランに相当するメッセージを作成して介護スタッフｓｆ１に通知する。これにより、感情分析システム５は、生体情報である心拍変動データを用いて、表に現れにくい被介護者ｏｈ１の内面感情を推定でき、内面感情による共感度に基づくアクションプランを実行することで、被介護者ｏｈ１に対する介護サービスの質を向上できる。

（動作例３：音声データとバイタルデータとを用いた感情推定）
動作例３では、被介護者ｏｈ１が発話する音声の音声データを基に被介護者ｏｈ１の表面感情を推定するとともに、被介護者ｏｈ１の心拍変動データを基に内面感情を表すストレス度を算出する場合を示す。つまり、動作例３は、動作例１と動作例２とを組み合わせた動作例である。

動作例３では、サーバ２００の通信部２０３が監視ロボット１００から被介護者ｏｈ１の声の音声データおよび顔等の画像データを受信すると、感情推定部２１１は、被介護者ｏｈ１の声の音声データを基に感情を推定するとともに、画像データを基に被介護者ｏｈ１の心拍変動データを取得してストレス度を算出する。共感推定部２１２は、感情推定部２１１によって推定された被介護者ｏｈ１の感情とストレス度とを基に、感情・ストレステーブルＴｂ５にしたがい、被介護者ｏｈ１および介護スタッフｓｆ１の共感度（つまり、相性の良し悪し）を推定する。アクション決定部２１４は、被介護者ｏｈ１および介護スタッフｓｆ１の共感度を基に、感情・ストレステーブルＴｂ５に従い、介護スタッフｓｆ１への指示するべきアクションプランを選択する。アクション決定部２１４は、通信部２０３を介して、選択されたアクションプランに相当するメッセージを作成して介護スタッフｓｆ１の所持する介護スタッフ端末３０１に送信してフィードバックする。

図８は、感情・ストレステーブルＴｂ５の登録内容の一例を示す図である。感情・ストレステーブルＴｂ５には、被介護者ｏｈ１の声感情と被介護者ｏｈ１のストレス度を基に介護スタッフｓｆ１に対するアクションプランが登録される。

具体的に、被介護者ｏｈ１の感情は、「怒り」、「落ち込み」、「喜び」、「快適」の４つに分類される。また、被介護者ｏｈ１のストレス度は、「ストレス」もしくは「平常」の２通りである。「ストレス」は、被介護者ｏｈ１が強いストレスを感じている状態を表す。「平常」は、被介護者ｏｈ１が強いストレスを感じていない状態を表す。なお、「平常」の代わりに「リラックス」の表現が用いられてもよい。

感情・ストレステーブルＴｂ５には、被介護者ｏｈ１が「ストレス」の状態にあり、かつ感情が「怒り」である場合、長期ストレスによって怒りやすくなっているとして、丁寧かつ優しく接することが登録されている。

また、被介護者ｏｈ１が「ストレス」の状態にあり、かつ感情が「落ち込み」である場合、うつ病長期的な要因に要注意であるとして、定期的にヒアリングして報告することが登録されている。

また、被介護者ｏｈ１が「ストレス」の状態にあり、かつ感情が「喜び」である場合、話前後でストレス度の変化を見たいとして、できるだけ声掛けすることが登録されている。この場合、被介護者ｏｈ１が介護スタッフｓｆ１と会話することでストレス度が軽減されることが期待される。

また、被介護者ｏｈ１が「ストレス」の状態にあり、かつ感情が「快適」である場合、「喜び」である場合と同様、話前後でストレス度の変化を見たいとして、できるだけ声掛けすることが登録されている。この場合も、被介護者ｏｈ１が介護スタッフｓｆ１と会話することでストレス度が軽減されることが期待される。

一方、被介護者ｏｈ１が「平常」の状態にあり、かつ感情が「怒り」である場合、単発的な怒りであり、会話の内容または介護スタッフの対応に問題があるかもしれないとして、にこやかに接することが登録されている。

また、被介護者ｏｈ１が「平常」の状態にあり、かつ感情が「落ち込み」である場合、会話の内容で感情が変わったとして、優しく接することが登録されている。

また、被介護者ｏｈ１が「平常」の状態にあり、かつその感情が「喜び」である場合、健全な状態であり、介護スタッフｓｆ１と相性が良く、特に何もしないことが登録されている。

また、被介護者ｏｈ１が「平常」の状態にあり、かつ感情が「快適」である場合、「喜び」である場合と同様、健全な状態であり、介護スタッフｓｆ１と相性が良く、特に何もしないことが登録されている。

なお、ここでは、感情推定部２１１は、被介護者ｏｈ１に対し、声の音声データを基に感情を推定し、画像データを基に会話時の心拍変動データを取得してストレス度を算出したが、併せて、介護スタッフｓｆ１に対しても、声の音声データを基に感情を推定し、画像データを基に会話時の心拍変動データを取得してストレス度を算出してもよい。

このように、感情分析システム５の動作例３では、感情分析システム５は、監視ロボット１００が収音した被介護者ｏｈ１の声の音声データ、および取得した被介護者ｏｈ１の画像データに基づく心拍変動データを基に、被介護者ｏｈ１の感情（つまり表面感情）およびストレス度（つまり内面感情）)を推定し、被介護者ｏｈ１および介護スタッフｓｆ１の共感度に対応するアクションプランを選択し、介護スタッフｓｆ１に対しアクションプランの指示を実行する。これにより、アクション決定部２１４は、被介護者ｏｈ１に対するより適切なアクションプランを選択できる。したがって、感情分析システム５は、被介護者の感情およびストレス度を基に感情分析を行うことができ、介護サービスの質を向上できる。

以上により、感情分析システム５は、介護スタッフｓｆ１および被介護者ｏｈ１のうち少なくとも一方の発話に基づく音声をマイク１０２において収音する。感情分析システム５は、介護スタッフｓｆ１および被介護者ｏｈ１を撮像した画像をカメラ１０１において取得する。感情分析システム５は、マイク１０２により収音された発話の音声データとカメラ１０１により撮像された介護スタッフｓｆ１および被介護者ｏｈ１の画像データとのうち少なくとも一方に基づいて、介護スタッフｓｆ１および被介護者ｏｈ１のそれぞれの感情を感情推定部において推定する（つまり、相手に対する感情を示す感情データを導出する）。感情分析システム５は、介護スタッフｓｆ１および被介護者ｏｈ１のそれぞれの感情データに基づいて、被介護者ｏｈ１へのアクションプランをアクション決定部２１４において決定し、被介護者ｏｈ１が所持する介護スタッフ端末３０１に通知する。

これにより、感情分析システム５は、被介護者ｏｈ１と介護スタッフｓｆ１との間の相性を基に、介護スタッフｓｆ１に対して適切なアドバイスを行うことができる。したがって、被介護者ｏｈ１に対する介護サービスの質が向上する。つまり、感情分析システム５によれば、介護スタッフｓｆ１および被介護者ｏｈ１に向けた快適な介護サービスの授受の実現を効率的に支援できる。

また、感情推定部２１１は、介護スタッフｓｆ１の被介護者ｏｈ１に対する感情（第１の感情データの一例）と、被介護者ｏｈ１の介護スタッフｓｆ１に対する感情（第２の感情データの一例）とを導出する。共感推定部２１２は、これらの感情に基づいて、被介護者ｏｈ１と介護スタッフｓｆ１との間の相性の良し悪しを決定する。アクション決定部２１４は、被介護者ｏｈ１と介護スタッフｓｆ１との間の相性の良し悪しの決定結果に基づいて、介護スタッフｓｆ１へのアクションプランを決定する。これにより、感情分析システム５は、被介護者ｏｈ１と介護スタッフｓｆ１間の相性が良くなるように、アクションプランを実行できる。

また、感情推定部２１１は、一定期間分の介護スタッフｓｆ１の発話量と被介護者ｏｈ１の発話量との比率に基づいて感情を導出する。アクション決定部２１４は、感情の導出結果に基づいて、介護スタッフｓｆ１へのアクションプランを決定する。これにより、感情分析システムは、被介護者ｏｈ１または介護スタッフｓｆ１の発話量に偏りがある場合、相性が良くないと判断し、また、発話量がほぼ同じであると相性が良いと判断することで、相性を数値化できる。したがって、相性の判断精度が向上する。また、一定期間分の発話量を基に比率を算出することで、感情の導出結果の信頼性が向上する。

また、感情推定部２１１は、一定期間分の介護スタッフｓｆ１のテンポ（言い換えると、発話速度）と被介護者ｏｈ１のテンポとの比率に基づいて感情を導出する。アクション決定部２１４は、感情の導出結果に基づいて、介護スタッフｓｆ１へのアクションプランを決定する。これにより、感情分析システム５は、被介護者ｏｈ１または介護スタッフｓｆ１のテンポに偏りがある場合、相性が良くないと判断し、また、テンポがほぼ同じであると相性が良いと判断することで、相性を適正に判断できる。また、一定期間分のテンポを用いることで、感情の導出結果の信頼性が向上する。

また、感情推定部２１１は、介護スタッフｓｆ１および被介護者ｏｈ１の顔部分が映る画像データに基づいて、介護スタッフｓｆ１および被介護者ｏｈ１のそれぞれの心拍の変動に対応するストレスの有無を示すストレス度（ストレス有無データ）を算出（導出）する。アクション決定部２１４は、介護スタッフｓｆ１のストレス度と被介護者ｏｈ１のストレス度とに基づいて、介護スタッフｓｆ１へのアクションプランを決定する。これにより、感情分析システム５は、介護スタッフｓｆ１および被介護者ｏｈ１それぞれの表面に現れない感情、つまり内面感情を考慮して介護スタッフｓｆ１へのアクションプランを選択できる。したがって、被介護者ｏｈ１に対する介護サービスの質がより向上する。

また、感情推定部２１１は、発話の音声データに基づいて被介護者ｏｈ１の表面感情である声感情（第３の感情データの一例）を導出するとともに、被介護者ｏｈ１の顔部分が映る画像データに基づいて被介護者ｏｈ１の内面感情を示すストレス度（第４の感情データの一例）を導出する。アクション決定部２１４は、声感情とストレス度とに基づいて、被介護者ｏｈ１へのアクションプランを決定する。これにより、感情分析システム５は、被介護者ｏｈ１の表面感情と内面感情の双方を考慮して、介護スタッフｓｆ１へのアクションプランを選択できる。したがって、被介護者ｏｈ１に対する介護サービスの質がより一層向上する。

また、マイク１０２、カメラ１０１、感情推定部２１１、共感推定部２１２、ミスマッチ検知部２１３およびアクション決定部２１４は、単一の自律走行型の監視ロボット１００に収容される。これにより、監視ロボット１００が例えば施設内を巡回して介護サービスの向上を図れる。

また、感情分析システム５は、通信部２０３、感情推定部２１１、共感推定部２１２、ミスマッチ検知部２１３およびアクション決定部２１４を備えるサーバ２００と、カメラ１０１により取得された画像の画像データ、およびマイク１０２により収音された発話の音声データをサーバ２００に送信する通信部１０３（通信装置の一例）と、を備える。通信部２０３は、画像データおよび音声データを受信する。これにより、サーバ２００は、別体に設けられたカメラおよびマイクを集中管理できる。また、カメラとマイクの数を増減させることで、感情分析システムの拡張・縮小が容易である。

また、感情分析システム５では、被介護者ｏｈ１および介護スタッフｓｆ１は、いずれも１名である。これにより、感情分析システム５は、例えばマンツーマンで介護を行う場合に介護サービスの質を向上できる。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

例えば、上述した実施の形態１では、１名の介護スタッフが１名の被介護者を介護する場合を示したが、複数名の介護スタッフが１人の被介護者を介護する場合にも、本開示は同様に適用可能である。例えば、複数名の介護スタッフが介護する場合、感情分析システム５は、複数名の介護スタッフに対し推定された感情を平均化し、平均化された感情を基にアクションプランを決定してもよい。また、１名もしくは複数名の介護スタッフが複数名の被介護者を介護する場合も同様に、例えば、感情分析システムは、複数名の被介護者に対し推定された感情を平均化し、平均化された感情を基にアクションプランを決定してもよい。

また、上述した実施の形態１では、介護スタッフｓｆ１と被介護者ｏｈ１との間における相性の良し悪しが推定されたが、被介護者ｏｈ１の家族と介護スタッフｓｆ１との間における相性の良し悪しが推定されてもよい。この場合には、被介護者ｏｈ１の代わりに、被介護者ｏｈ１の家族の感情データが算出される。

また、上述した実施の形態１では、感情分析システム５は、介護スタッフｓｆ１が被介護者ｏｈ１を介護するサービスに適用される場合を示したが、介護に限らず、家庭教師サービスにおいて先生と生徒間の感情を分析する場合、社内において上司と部下の間の感情を分析する場合等、様々な分野において適用可能である。

また、音声データに基づく声感情の推定、心拍変動データに基づく内面感情の推定、および共感度の推定は、機械学習を用いたアルゴリズムで行われてもよい。

また、上述した実施の形態１では、画像データを得るためのカメラ１０１と、音声データを得るためのマイク１０２を使用したが、介護スタッフｓｆ１と被介護者ｏｈ１が着用するスマートウォッチ、リストバンド等のスマートウェアラブル機器を用いて、音声により発話する声と心臓音（つまり心拍信号）の両方のデータを取得してもよい。スマートウェアラブル機器を用いることで、さらに血圧、血糖値等のバイタルデータを得ることも可能であり、感情の推定に反映できる。

本開示は、介護スタッフおよび被介護者に向けた快適な介護サービスの授受の実現を効率的に支援する感情分析システムおよび感情分析方法として有用である。

１００ 監視ロボット
１０１ カメラ
１０２ マイク
１０３、２０３ 通信部
１１１、２０２ メモリ
１１５ 駆動部
２００ サーバ
２０１ プロセッサ
２１１ 感情推定部
２１２ 共感推定部
２１３ ミスマッチ検知部
２１４ アクション決定部

Claims (10)

1. 介護者および被介護者のうち少なくとも一方の発話に基づく音声を収音するマイクと、
   前記介護者および被介護者を撮像した画像を取得するカメラと、
   前記マイクにより収音された前記発話の音声データと前記カメラにより撮像された前記介護者および被介護者の画像データとのうち少なくとも一方に基づいて、前記介護者および被介護者のそれぞれの相手に対する感情を示す感情データを導出する感情処理部と、
   前記介護者および被介護者のそれぞれの前記感情データに基づいて、前記介護者へのアクションプランを決定し、前記介護者が所持する介護者端末に通知するフィードバック部と、を備える、
   感情分析システム。
2. 前記感情処理部は、前記感情データとして、前記介護者の前記被介護者に対する感情を示す第１の感情データと、前記被介護者の前記介護者に対する感情を示す第２の感情データとを導出し、前記第１の感情データおよび前記第２の感情データに基づいて、前記介護者と前記被介護者との間の相性の良し悪しを決定し、
   前記フィードバック部は、前記介護者と前記被介護者との間の相性の良し悪しの決定結果に基づいて、前記介護者へのアクションプランを決定する、
   請求項１に記載の感情分析システム。
3. 前記感情処理部は、一定期間分の前記介護者の発話量と前記被介護者の発話量との比率に基づいて、前記感情データを導出し、
   前記フィードバック部は、前記感情データの導出結果に基づいて、前記介護者へのアクションプランを決定する、
   請求項１に記載の感情分析システム。
4. 前記感情処理部は、一定期間分の前記介護者の発話速度と前記被介護者の発話速度との比率に基づいて、前記感情データを導出し、
   前記フィードバック部は、前記感情データの導出結果に基づいて、前記介護者へのアクションプランを決定する、
   請求項１に記載の感情分析システム。
5. 前記感情処理部は、前記感情データとして、前記介護者および被介護者の顔部分が映る画像データに基づいて、前記介護者および被介護者のそれぞれの心拍の変動に対応するストレスの有無を示すストレス有無データを導出し、
   前記フィードバック部は、前記介護者のストレス有無データと前記被介護者のストレス有無データとに基づいて、前記介護者へのアクションプランを決定する、
   請求項１に記載の感情分析システム。
6. 前記感情処理部は、前記感情データとして、前記発話の音声データに基づいて前記被介護者の感情を示す第３の感情データを導出するとともに、前記被介護者の顔部分が映る画像データに基づいて前記被介護者のそれぞれの感情を示す第４の感情データを導出し、
   前記フィードバック部は、前記第３の感情データと前記第４の感情データとに基づいて、前記介護者へのアクションプランを決定する、
   請求項１に記載の感情分析システム。
7. 前記マイクと前記カメラと前記感情処理部と前記フィードバック部は、単一の自律走行型の監視ロボットに収容される、
   請求項１〜６のうちいずれか一項に記載の感情分析システム。
8. 前記感情分析システムは、
   通信部と前記感情処理部と前記フィードバック部とを備えるサーバと、
   前記カメラにより取得された前記画像の画像データ、および前記マイクにより収音された前記発話の音声データを前記サーバに送信する通信装置と、を備え、
   前記サーバは、前記通信装置から送信された前記画像データおよび前記音声データを前記通信部において受信する、
   請求項１に記載の感情分析システム。
9. 前記介護者および前記被介護者は、いずれも１名である、
   請求項１に記載の感情分析システム。
   の感情分析システム。
10. 感情分析システムにより実行される感情分析方法であって、
    マイクにより、介護者および被介護者のうち少なくとも一方の発話に基づく音声を収音するステップと、
    カメラにより、前記介護者および被介護者を撮像した画像を取得するステップと、
    前記マイクにより収音された前記発話の音声データと前記カメラにより撮像された前記介護者および被介護者の画像データとのうち少なくとも一方に基づいて、前記介護者および被介護者のそれぞれの相手に対する感情を示す感情データを導出するステップと、
    前記介護者および被介護者のそれぞれの前記感情データに基づいて、前記介護者へのアクションプランを決定し、前記介護者が所持する介護者端末に通知するステップと、を有する、
    感情分析方法。

Images