JP2019062490A - 制御装置、制御方法、プログラム及び制御システム - Google Patents

Abstract

【課題】より円滑なコミュニケーションを実現するための技術を提供する。【解決手段】発呼側のユーザーの感情推定情報と着呼側のユーザーの感情推定情報との差分を算出し、前記差分が所定の量を超えるか否かを判断する判断部と、前記差分が前記所定の量を超えると判断された場合に、前記発呼側のユーザー及び前記着呼側のユーザーのうち少なくともいずれか一方に対して、所定の刺激が提示されるように制御する提示制御部と、を備える、制御装置が提供される。【選択図】図１

Description

本発明は、制御装置、制御方法、プログラム及び制御システムに関する。

本願発明者が実施した評価実験の結果から、人は会話の開始時において、話しかけたい相手の感情状態がポジティブ（快）であるほど話しかけ行為をしやすく感じることがわかっている。また、本願発明者がコミュニケーション支援システムに関して実施した調査においても「上司に重要なことを相談するような時には機嫌が良い時を見計らって話しかける」等の経験コメントが得られている。このように、相手の感情状態がポジティブである時に話しかけて会話を開始できることが、円滑なコミュニケーションの実現に重要である。そしてこれは、分散環境下における電話等を用いた遠隔コミュニケーションの場合においても同様にいえることである。

特許文献１には、通信端末を介して通信開始前の他のユーザーの感情状態を含むまたは示す情報（以下、感情情報）を取得することができる情報通信システムが提案されている。

特開２００３−１１０７０３号公報

しかし、特許文献１の情報通信システムでは、ユーザーは他のユーザーの感情を取得情報から「知る」ことはできるが、該他のユーザーに話しかける（電話をかける）前にその感情を「変容」させることはできない。たとえば、特許文献１の情報通信システムを使用して他のユーザーがネガティブな感情であることを知ることができても、それを変容させることはできないため、相手がネガティブな感情であることを知った上で我慢して話しかけるか、いつになるかわからないまま相手が自然にポジティブな感情に変わるのを待ち続けなければならない、という問題があった。

また、非特許文献１では、感情をポジティブもしくはネガティブに誘導された実験参加者同士に会話を行わせ、会話満足度や対人印象を評価した結果、互いの感情が類似している条件（差異小）の方が、非類似の条件（差異大）よりも、互いの対人印象や会話満足度の評価値の差が小さかった。会話の場としての評価では、話者同士の感情状態やその評価間の差異は小さい方が望ましい（一方が高評価で他方が低評価というのは全体から見ると損得が生じており望ましくない）ため、話者同士の感情状態は類似している方が良いといえる。上述の話しかけやすさの問題と併せて考えると、話しかける側と話しかけられる側の感情状態の差異が小さく、かつ両者ができるだけポジティブな感情であること（すなわち両者が同程度にポジティブな感情であること）が、会話開始には最も望ましい状況と言える。（非特許文献１：藤原健、大坊郁夫、感情が会話満足度や対人印象に与える影響―話者間の感情構成への着目、心理学研究、８４（５）、ｐｐ．５２２−５２８、２０１３）。

そこで本発明は、より円滑なコミュニケーションを実現するための技術を提供することを目的とする。一例として、本願発明は、発呼側のユーザーと着呼側のユーザーの感情情報をそれぞれ取得し、両者の感情の状態に差異があった場合に、少なくとも一方の話者に感情誘導刺激を提示することによって、感情誘導刺激が提示される話者の感情の状態を変化させてから、両者間の通信を開始させることを目的とする。さらに一例として、本願発明は、ポジティブ度が低い方の話者に感情誘導刺激を提示してポジティブ度を上げることによって、両者のポジティブ度を高い方に揃える方式で差異を小さくしてから両者間の通話を開始させる、新しい呼制御機能を備えた遠隔コミュニケーションシステムを提供することを目的とする。

上記問題を解決するために、本発明のある観点によれば、発呼側のユーザーの感情推定情報と着呼側のユーザーの感情推定情報との差分を算出し、前記差分が所定の量を超えるか否かを判断する判断部と、前記差分が前記所定の量を超えると判断された場合に、前記発呼側のユーザー及び前記着呼側のユーザーのうち少なくともいずれか一方に対して、所定の刺激が提示されるように制御する提示制御部と、を備える、制御装置が提供される。

前記発呼側のユーザーの感情推定情報は、前記発呼側のユーザーのポジティブ度を含み、前記着呼側のユーザーの感情推定情報は、前記着呼側のユーザーのポジティブ度を含んでもよい。

前記提示制御部は、前記発呼側のユーザー及び前記着呼側のユーザーのうち少なくとも前記ポジティブ度がより低いユーザーに対して前記所定の刺激が提示されるように制御してもよい。

前記制御装置は、前記差分が前記所定の量を超えると判断された場合に、少なくとも前記差分が視認可能に前記発呼側のユーザーに提示されるように制御する契機制御部を備えてもよい。

前記制御装置は、所定の条件が満たされた場合、前記発呼側のユーザーと前記着呼側のユーザーとの間の通信を開始させる契機制御部を備えてもよい。

前記判断部は、前記差分が前記所定の量を超えると判断した場合に、少なくとも前記所定の刺激が提示されたユーザーの感情推定情報に基づいて前記差分を再度算出し、前記差分が前記所定の量以下になったか否かを判断してもよい。

前記契機制御部は、前記差分が前記所定の量以下になったと判断された場合、前記発呼側のユーザーと前記着呼側のユーザーとの間の通信を開始させてもよい。

前記契機制御部は、所定の通信開始指示が入力された場合、前記発呼側のユーザーと前記着呼側のユーザーとの間の通信を開始させてもよい。

前記判断部は、前記差分が前記所定の量を超える時間が所定の時間を経過した場合、前記所定の量が増加するように前記所定の量を変化させてもよい。

前記制御装置は、前記差分が前記所定の量を超えると判断された場合に、前記差分が前記所定の量以下になるまでの予測時間が、前記発呼側のユーザー及び前記着呼側のユーザーのうち少なくともいずれか一方に対して提示されるように制御する予測部を備えてもよい。

前記所定の刺激は、既知の感情誘導刺激のデータと前記感情誘導刺激を受けたユーザーの感情変容の正解情報のデータとに基づいて学習処理によって生成された推定モデルに基づいて、感情が変化しやすいと推定された刺激であってもよい。

前記所定の刺激は、画像表示および音出力の少なくともいずれか一方によって提示されてもよい。

また、本発明の他の観点によれば、発呼側のユーザーの感情推定情報と着呼側のユーザーの感情推定情報との差分を算出し、前記差分が所定の量を超えるか否かを判断することと、前記差分が前記所定の量を超えると判断された場合に、前記発呼側のユーザー及び前記着呼側のユーザーのうち少なくともいずれか一方に対して、所定の刺激が提示されるように制御することと、を含む、制御方法が提供される。

また、本発明の他の観点によれば、コンピュータを、発呼側のユーザーの感情推定情報と着呼側のユーザーの感情推定情報との差分を算出し、前記差分が所定の量を超えるか否かを判断する判断部と、前記差分が前記所定の量を超えると判断された場合に、前記発呼側のユーザー及び前記着呼側のユーザーのうち少なくともいずれか一方に対して、所定の刺激が提示されるように制御する提示制御部と、を備える制御装置として機能させるためのプログラムが提供される。

また、本発明の他の観点によれば、発呼側のユーザーの感情推定情報と着呼側のユーザーの感情推定情報との差分を算出し、前記差分が所定の量を超えるか否かを判断する判断部と、前記差分が前記所定の量を超えると判断された場合に、前記発呼側のユーザー及び前記着呼側のユーザーのうち少なくともいずれか一方に対して、所定の刺激が提示されるように制御する提示制御部と、を備える、制御装置と、前記所定の刺激を提示する提示装置と、を有する、制御システムが提供される。

以上説明したように本発明によれば、より円滑なコミュニケーションを実現するための技術を提供することが可能になる。

本実施形態に係るコミュニケーションシステムの概略的な構成の一例を示す説明図である。 同実施形態に係る感情制御サーバ、センサ端末、コミュニケーション端末のハードウェア構成の一例を示すブロック図である。 同実施形態に係るセンサ端末の機能構成の一例を示すブロック図である。 同実施形態に係るコミュニケーション端末の機能構成の一例を示すブロック図である。 第１の実施形態に係る感情制御サーバの機能構成の一例を示すブロック図である。 感情バランス調整処理中であることを示す表示画面の一例を説明するための説明図である。 感情誘導刺激を含む表示画面の一例を説明するための説明図である。 呼び出し処理中の表示画面の一例を説明するための説明図である。 感情推定部によって記憶部に記憶されるデータテーブルの一例を説明するための説明図である。 本実施形態に係るコミュニケーションシステムの動作シーケンスの一例を示す説明図である。 本実施形態に係るコミュニケーションシステムの動作シーケンスの一例を示す説明図である。 第２の実施形態に係る感情制御サーバの機能構成の一例を示すブロック図である。 感情バランス調整処理中であることを示す表示画面の他の一例を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

まず、図１を参照して、本発明の実施形態に係るコミュニケーションシステム（制御システム）の概略的な構成を説明する。図１は、本実施形態に係るコミュニケーションシステムの概略的な構成の一例を示す説明図である。図１を参照すると、当コミュニケーションシステムは、感情制御サーバ１００（制御装置）、複数のユーザー９００、複数のセンサ端末２００、複数のコミュニケーション端末３００（提示装置）、ＬＡＮ５０を含む。

当コミュニケーションシステムは遠隔地間の情報通信機能を有するため、複数のユーザー９００は互いに空間的に離れて存在してもよく、図１では、拠点ｂＡにユーザー９００Ａ、センサ端末２００Ａ、コミュニケーション端末３００Ａ、拠点ｂＢに、ユーザー９００Ｂ、センサ端末２００Ｂ、コミュニケーション端末３００Ｂが存在するケースを一例として図示している。ユーザー９００Ａと９００Ｂは、互いに遠隔協働（テレワーク）を行っており、拠点ｂＡと拠点ｂＢはリモートオフィスの関係であってもよい。

なお、センサ端末２００Ａとコミュニケーション端末３００Ａはユーザー９００Ａの個別使用端末であってもよい。その場合、ユーザー９００Ａとセンサ端末２００Ａとコミュニケーション端末３００Ａとは、それぞれと対応づけられた通信用の識別情報（以下「通信用ＩＤ」；たとえば電話番号やＩＰ（Internet Protocol）アドレス）のデータ同士を相互に紐づける設定処理を予め行われ、該設定のデータは感情制御サーバ１００に記憶されていてもよい（ユーザー９００Ｂの場合も同様）。

図２は、本実施形態に係る感情制御サーバ１００、センサ端末２００、コミュニケーション端末３００（以下、感情制御サーバ１００、センサ端末２００及びコミュニケーション端末３００それぞれを区別せずに「本実施形態に係る装置」と言う場合がある。）のハードウェア構成の一例を示すブロック図である。なお、上記の各装置のすべてに下記のハードウェア構成のすべてが備えられている必要はなく（たとえば感情制御サーバ１００に直接的にセンサが備えられている必要はない）、後述する各装置の機能構成を実現できるハードウェアモジュールが適宜限定して備えられてもよい。

図２を参照すると、本実施形態に係る装置は、バス８０１、ＣＰＵ（Central Processing Unit）８０３、ＲＯＭ（Read Only
Memory）８０５、ＲＡＭ（Random Access Memory）８０７、記憶装置８０９、通信インタフェース８１１、センサ８１３、入力装置８１５、表示装置８１７、スピーカ８１９を備える。

ＣＰＵ８０３は、本実施形態に係る装置における様々な処理を実行する。また、ＲＯＭ８０５は、本実施形態に係る装置における処理をＣＰＵ８０３に実行させるためのプログラム及びデータを記憶する。また、ＲＡＭ８０７は、ＣＰＵ８０３の処理の実行時に、プログラム及びデータを一時的に記憶する。

バス８０１は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７を相互に接続する。バス８０１には、さらに、記憶装置８０９、通信インタフェース８１１、センサ８１３、入力装置８１５、表示装置８１７及びスピーカ８１９が接続される。バス８０１は、例えば、複数の種類のバスを含む。一例として、バス８０１は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７を接続する高速バスと、該高速バスよりも低速の１つ以上の別のバスを含む。
記憶装置８０９は、本実施形態に係る装置内で一時的または恒久的に保存すべきデータを記憶する。記憶装置８０９は、例えば、ハードディスク（Hard Disk）等の磁気記憶装置であってもよく、または、ＥＥＰＲＯＭ（Electrically
Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash
memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）及びＰＲＡＭ（Phase
change Random Access Memory）等の不揮発性メモリ（nonvolatile
memory）であってもよい。

通信インタフェース８１１は、本実施形態に係る装置が備える通信手段であり、ネットワークを介して（あるいは直接的に）外部装置と通信する。通信インタフェース８１１は、無線通信用のインタフェースであってもよく、この場合に、例えば、通信アンテナ、ＲＦ回路及びその他の通信処理用の回路を含んでもよい。また、通信インタフェース８１１は、有線通信用のインタフェースであってもよく、この場合に、例えば、ＬＡＮ端子、伝送回路及びその他の通信処理用の回路を含んでもよい。

センサ８１３は、たとえばカメラ、マイクロフォン、生体センサ、その他のセンサまたはそれらの複合である。カメラは、被写体を撮像するもので、例えば光学系、撮像素子及び画像処理回路を含む。マイクロフォンは、周囲の音を収音するもので、該音を電気信号へ変換し該電気信号をデジタルデータに変換する。入力装置８１５は、タッチパネル、マウス、視線検出装置等である。

表示装置８１７は、本実施形態に係る装置からの出力画像（すなわち表示画面）を表示するもので、例えば液晶、有機ＥＬ（Organic Light-Emitting Diode）、ＣＲＴ（Cathode
Ray Tube）等を用いて実現され得る。スピーカ８１９は、音声を出力するもので、デジタルデータを電気信号に変換し該電気信号を音声に変換する。

次に、図３を参照して、本実施形態に係る「センサ端末２００」の機能構成の一例を説明する。センサ端末２００は、ユーザー９００の行動や生理反応を外的に計測して取得したデータを後述する感情制御サーバ１００へ送信する。

図３は、本実施形態に係るセンサ端末２００の機能構成の一例を示すブロック図である。図３を参照すると、センサ端末２００は、通信部２１０、計測部２２０及び制御部２３０を備える。なお、図３には図示していないが、センサ端末２００は、計測データを保存するための記憶部や、内部動作状況をユーザーに示すための表示部等をさらに備えていてもよい。

通信部２１０は、他の装置と通信する。たとえば、通信部２１０は、ＬＡＮ５０に直接的に接続され、感情制御サーバ１００と通信する。また、通信部２１０は、他のセンサ端末２００と通信してもよい。なお、通信部２１０は、通信インタフェース８１１により実装され得る。

計測部２２０は、外界を計測してコミュニケーションに関するマルチメディアデータを生成したり、ユーザー９００の行動や生理反応を外的に計測してデータを取得したりする。前記行動や生体反応のデータは、たとえば、カメラにより計測される顔表情や身体姿勢の状態内容を含む画像データ、マイクロフォンにより計測される音声データ、加速度センサにより計測される身体動作の加速度データ、キーボード・マウス・タッチパネル等の入力装置により計測される機器操作データ、各種生体センサにより計測される自律神経系活動（心拍活動、皮膚電気活動、血圧、発汗、呼吸、皮膚・深部体温等）のデータ、中枢神経系活動（脳波、脳血流等）のデータ、視線計測装置により計測される視線運動・瞳孔径・瞬目数等のデータ、唾液または血中の免疫成分のデータ等を含む。

なお、計測部２２０は、センサ８１３により実装され得る。センサ端末２００のセンサ８１３は、ユーザーへの非接触式でも接触式でもよい。センサ端末２００のセンサが接触式の場合、たとえばセンサ端末２００は腕時計等の形状をしたウェアラブル端末であっても構わない。あるいは、センサ端末２００は、ＨＭＤ（Head Mounted Display）であっても構わない。ＨＭＤのタイプは、ゴーグル型であっても構わないし、グラス型であっても構わない。また、センサ端末２００は、カメラ、マイクロフォン、加速度センサ、通信部等を備えたスマートフォンやタブレット端末であっても構わない。

なお、センサ端末２００は、図１の２００Ａ、Ｂのように１名のユーザー９００に対応して１台存在してもよいし、協働空間における環境埋め込み型のセンサを想定して１台のセンサ端末２００が複数のユーザー９００のセンサデータを取得しても構わない。その場合、センサ端末２００は複数のユーザー９００それぞれについてセンサデータと計測対象人物の識別データとの１対１対応の紐づけ処理を行って、センサデータと計測対象人物の識別データとの各組み合わせを記憶または送信する。前記計測対象人物の識別データは、どのようにして得られてもよく、一例として、カメラによる撮像画像から顔認識によって特定される人物の識別データであってもよい。

制御部２３０は、センサ端末２００の様々な機能を提供する。センサ端末２００は、計測だけでなく、前処理、特徴抽出処理、推定を含むデータ分析処理までを実施してもよく、その場合の各種演算処理を制御部２３０が行ってもよい。なお、制御部２３０は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７により実装され得る。

次に、図４を参照して、本実施形態に係る「コミュニケーション端末３００」の機能構成の一例を説明する。コミュニケーション端末３００は、ユーザー９００からの入力に応じて他のユーザー９００のコミュニケーション端末３００へ通信要求処理を行ったり、該他のユーザー９００の感情を推定した情報を取得して該ユーザー９００へ情報提示したりすることができる。

一例として、コミュニケーション端末３００は汎用的なスマートフォンやタブレット端末であってもよい。また、図１ではコミュニケーション端末３００は１名のユーザー９００に対応して１台存在するように図示されているが、複数のユーザー９００に共用される共有型端末であってもよい。さらに別の一例として、コミュニケーション端末３００は、映像通信機能付の現金自動預け払い機ＶＴＭ（Video Teller Machine）、駅自動券売機、ビジュアルコールセンターシステム等の表示部付の筐体装置などから送信される計測データに基づく顧客の感情を推定した情報をサポート担当者に提示する端末であってもよい。

図４は、本実施形態に係るコミュニケーション端末３００の機能構成の一例を示すブロック図である。図４を参照すると、コミュニケーション端末３００は、通信部３１０、記憶部３２０、制御部３３０、入力部３４０及び提示部３５０を備える。

通信部３１０は、他の装置と通信する。たとえば、通信部３１０は、ＬＡＮ５０に直接的に接続され、感情制御サーバ１００と通信する。なお、通信部３１０は、通信インタフェース８１１により実装され得る。

記憶部３２０は、コミュニケーション端末３００の動作のためのプログラム及びデータを記憶する。なお、記憶部３２０は、記憶装置８０９により実装され得る。

制御部３３０は、コミュニケーション端末３００の様々な機能を提供する。なお、制御部３３０は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７により実装され得る。

入力部３４０は、ユーザー９００からの入力を受け付ける。そして、入力部３４０は、入力結果を制御部３３０へ提供する。前記ユーザー９００からの入力とは、たとえば、他のユーザー９００を通信要求相手として指定するもので、該他のユーザー９００の識別情報を選択すること等によって実現される。なお、入力部３４０は、入力装置８１５により実装され得る。

提示部３５０は、制御部３３０による制御に従って、ユーザーによって知覚され得る情報の提示を行う。本発明の第１の実施形態においては、提示部３５０がユーザーによって視覚的に知覚される表示画面を表示する場合を主に想定する。かかる場合、提示部３５０は、表示装置８２３により実現され得る。しかし、提示部３５０がユーザーの聴覚によって知覚される情報を提示する場合、提示部３５０は、スピーカにより実現されてもよい。あるいは、提示部３５０がユーザーの触覚や嗅覚によって知覚される情報を提示する場合、提示部３５０は、触覚または嗅覚提示装置により実現されてもよい。

次に、図５を参照して、第１の実施形態に係る「感情制御サーバ１００」の機能構成の一例を説明する。図５は、第１の実施形態に係る感情制御サーバ１００の機能構成の一例を示すブロック図である。図５を参照すると、感情制御サーバ１００は、通信部１１０、記憶部１２０及び制御部１３０を備える。

通信部１１０は、他の装置と通信する。たとえば、通信部１１０は、ＬＡＮ５０に直接的に接続され、センサ端末２００やコミュニケーション端末３００と通信する。なお、通信部１１０は、通信インタフェース８１１により実装され得る。

記憶部１２０は、感情制御サーバ１００の動作のためのプログラム及びデータを記憶する。記憶部１２０は、感情誘導刺激ＤＢ１２１及び感情認識辞書ＤＢ１２２を含む。感情誘導刺激ＤＢ１２１は、後述する感情誘導刺激のデータを記憶する。さらに、前記感情誘導刺激のデータは、後述する感情変容効果の情報と対応づけられて（タグ付けされて）記憶されてもよい。

なお、感情誘導刺激のデータと感情変容効果の情報とは、どのようにして対応づけられてもよい。例えば、実験などによって感情誘導刺激の提示を受けたユーザーの感情がどのように変容しやすいか（例えば、ポジティブ度が上がりやすい、ポジティブ度が下がりやすいなど）に関する知見があらかじめ得られていれば、その感情誘導刺激のデータに対して感情がどのように変容しやすいかを示す情報（すなわち、感情変容効果の情報）が手動によって対応づけられてもよい。あるいは、既知の感情誘導刺激のデータとその感情誘導刺激を受けたユーザーの感情変容の正解情報のデータとに基づいて学習処理によって感情変容推定モデルが生成されている場合、感情変容推定モデルと新たな感情誘導刺激のデータとに基づいて、当該新たな感情誘導刺激のデータに対応づけられる感情変容効果の情報が推定されてもよい。

感情認識辞書ＤＢ１２２は、ユーザー９００の前記行動や生体反応のデータを記憶し、該行動や生体反応のデータは前記センサ端末２００により取得されたセンサデータを含んでもよい。さらに、感情認識辞書ＤＢ１２２は、ユーザーの感情を推定処理するための感情推定モデル（感情認識辞書）のデータを記憶してもよい。前記感情推定モデルは、予め取得されたセンサデータと、該センサデータ取得時のユーザーの感情の正解情報のデータとを紐づけて学習処理し生成される。前記感情正解情報は、学習処理フェーズにおいてユーザーから質問紙法等により計測されても構わない。また、感情推定モデルはユーザー９００の各個人毎、所定期間毎、ユーザー９００の行動種別毎等でデータを分類および分割しそれぞれ学習処理させることで生成され、条件に応じた複数の感情推定モデルが存在しても構わない。なお、センサデータからユーザーの個人感情を推定する方法は公知（たとえば特開２０１２−５９１０７号公報）であるため、本稿ではこれ以上の説明は省略する。なお、記憶部１２０は、記憶装置８０９により実装され得る。

制御部１３０は、感情制御サーバ１００の様々な機能を提供する。制御部１３０は、感情推定部１３１、感情バランス調整制御部１３３（判断部）、感情誘導刺激提示制御部１３５（提示制御部）及び通話契機制御部１３７（契機制御部）を含む。なお、制御部１３０は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７により実装され得る。

感情推定部１３１は、ユーザー９００からセンサ端末２００及び通信部１１０を介して取得した行動や生体反応の計測データ（センサデータ）に基づいて、ユーザー９００毎の個人感情の推定モデルデータおよびそれにより推定（分類）された感情推定データを生成する。また、感情推定部１３１は、該生成した推定モデルデータと感情推定データを記憶部１２０に記憶させる機能を有する。

ここで、個人感情とその推定方法について説明を補足する。個人感情は、一例として「人が心的過程の中で行うさまざまな情報処理のうちで、人、物、出来事、環境についてする評価的な反応」（Ｏｒｔｏｎｙ ｅｔ ａｌ．，１９８８；大平，２０１０）と定義される。感情の具体的な種類としては、心理学者Ｐａｕｌ Ｅｋｍａｎによる表情に対応する基本感情ベースの離散型モデル上での幸福、驚き、恐れ、怒り、嫌悪、悲しみや、心理学者Ｊａｍｅｓ Ａ． Ｒｕｓｓｅｌｌによる快度及び覚醒度の感情次元ベースの連続型モデルにおける喜怒哀楽の象限などが知られている。他の連続型モデルとしては、Ｗａｔｓｏｎによるポジティブまたはネガティブ感情、Ｗｕｎｄｔによる３軸モデル（快度、興奮度、緊張度）、Ｐｌｕｔｃｈｉｋによる４軸のモデルなどもある。その他、応用的・複合的な感情としては、困惑度、関心度、メンタルストレス、集中度、疲労感、多忙度、創造性、リラックス／緊張度、モチベーション、共感度、信頼度などが挙げられる。さらに、業務活動において集団の雰囲気として体感されるイキイキ感なども高次な感情の一種といえる。本発明の実施形態における感情の定義の有効範囲は、前述の基本感情よりも広く、ユーザーのあらゆる内部「状態」やユーザーの周囲環境や文脈等の影響も加味した「状況」も含むものである。一例として、ポジティブ感情やその度合いは、快度そのものや、快度と覚醒度を合わせたもの、基本感情における幸福の強度の大きさ、もしくは恐れ、怒り、嫌悪、悲しみ等の強度の小ささ等を指標としてあらわされてもよい。

ある人物がどのような感情とその程度にあるかは、たとえば質問紙法を用いることで、該人物の文字、文章、記号による言語的報告によって求めることができる。該質問紙としては“Ａｆｆｅｃｔ Ｇｒｉｄ”などがよく知られている。しかしながら、質問紙を用いた計測方法では回答作業が必要になるため、業務など何か別の作業を行っている日常生活においては計測それ自体が本来の目的作業に支障を及ぼしてしまう可能性がある。

そこで、本コミュニケーションシステムにおいて、感情推定部１３１は、前述のセンサ端末２００により計測される行動や生体反応のデータに基づいて（質問紙法等で求めた）感情を機械的に推定処理する。該推定処理を行うためには、予め学習処理によって生成された感情推定モデルのデータが必要となる。感情推定モデルは、たとえば、ある時点・状況における前記行動や生体反応のセンサデータと前記質問紙の回答データとを対応づけた訓練データの群から生成される。たとえば、オフィスに埋め込まれた無数のカメラやマイクロフォン、ウェアラブル活動量計から計測されたユーザーの顔表情、音声、心拍活動、皮膚電気活動等の行動・生体データと、該ユーザーの主観的感情を質問紙回答した正解データとが対応づけられて訓練データとされる。前記行動や生体反応のセンサデータは、センサからの計測値が変換された学習処理用の特徴量データであってもよい。

特徴量データは、顔の代表的特徴点の位置や各２点間を結ぶ直線の距離や成す角度であってもよい。あるいは、特徴量データは、音声の基本周波数、パワー、平均発話速度、一次ケプストラム係数の最高値と標準偏差であってもよい。あるいは、特徴量データは、心拍数や拍動間隔の平均値や標準偏差、心拍変動性であってもよい。あるいは、特徴量データは、皮膚コンダクタンス水準の平均値や標準偏差や増減低下率などであってもよい。これらの特徴量データはどのように使用されてもよく、ある時点における絶対値として使用されてもよいし、２時点間の相対的な変化率として使用されてもよい。

前記訓練データを用いた感情推定モデルの生成には、学習の手法として、たとえば既知のＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）や深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）法が用いられてもよいし、単純に回帰分析法が利用されてもよい。また、学習モデルはユーザー個人毎に生成されてもよいし、複数のユーザーの訓練データを用いて人間に共通的なモデルが生成されてもよい。感情推定部１３１は、得られた感情推定モデルのデータを用いることで、ある人物の行動・生体データから個人感情を推定できるようになる。

感情制御サーバ１００（たとえば、感情推定部１３１）は、上述の個人感情推定処理のための訓練データや感情の推定モデル自体を生成する機能を有していてもよい。あるいは、訓練データのための前述の特徴量データの生成は、感情制御サーバ１００ではなくセンサ端末２００の方で行い、センサ端末２００が、該特徴量データを感情制御サーバ１００へ送信するようにしてもよい。

図９は、感情推定部１３１によって記憶部１２０に記憶されるデータテーブルの一例を説明するための説明図である。図９のデータテーブルには、ユーザー９００のＩＤ（通信用ＩＤでもよい）、各ユーザー９００の現在時刻で推定された個人感情が記憶されている。さらには、前記個人感情の過去の履歴のデータが記憶されていてもよいし、個人毎の感情推定モデルのデータが記憶されていてもよい。これらのデータは、後述する感情バランス調整制御部１３３によって取得・利用される。

感情バランス調整制御部１３３は、本システムを用いてユーザー９００が通話開始する際に、発呼側ユーザー（話しかける側のユーザー）と着呼側ユーザー（話かけられる側のユーザー）それぞれの推定された感情推定情報を比較し（感情推定情報の差分を算出し）、両者間に所定の量を超える差異があった場合に、発呼側ユーザー及び着呼側ユーザーのうち少なくともいずれか一方に対して、所定の刺激（感情誘導刺激）が提示されるように制御するための処理命令を感情誘導刺激提示制御部１３５に出す。そして、感情バランス調整制御部１３３は、感情誘導刺激を受けたユーザーの感情推定情報が他方のユーザーの感情推定情報に近づいてから、両者間の通話（通信）を開始させる要求命令を通話契機制御部１３７に出す。なお、前記感情誘導に係る処理は後述する感情誘導刺激提示制御部１３５が、前記通話開始に係る処理は後述する通話契機制御部１３７が前記要求命令を受けて行う（後述）。

本実施形態では、感情推定情報として、ユーザーの感情を示す感情値の絶対値を用いる場合を主に想定する。しかし、感情推定情報として、ユーザーの感情を示す感情値の絶対値の代わりに、ユーザーの感情を示す感情値が個人ごとに正規化された（または標準化された）相対値（例えば、最大値を基準とした割合）が用いられてもよい。

また、本実施形態では、感情推定情報の差分が所定の量以下になった場合に、両者間の通話を開始させる場合を主に想定する。しかし、感情推定情報の差分が所定の量以下になった場合に加えて、両者（または通信を行う３人以上のユーザー全員）の感情値（絶対値または相対値）が所定の値よりも大きい場合に、通信が開始されてもよい。そうすれば、より円滑なコミュニケーションの実現が可能となる。例えば、感情推定情報の差分が所定の量以下になった場合に加えて、両者（または通信を行う３人以上のユーザー全員）それぞれの相対値が所定の値（例えば、８０％など）よりも大きい場合に、通信が開始されてもよい。

ここで、感情誘導刺激は、感情推定情報の差分が小さくなるような刺激であればよい。例えば、感情バランス調整制御部１３３は、発呼側のユーザー及び着呼側のユーザーのうち少なくともポジティブ度がより低いユーザーに対して感情誘導刺激（例えば、ポジティブ度が上がりやすい刺激）が提示されるように制御するための処理命令を感情誘導刺激提示制御部１３５に出せばよい。これによって、ポジティブ度がより低いユーザーのポジティブ度が上がる方向に感情誘導され、両者のポジティブ度が近づくことが期待される。

あるいは、感情バランス調整制御部１３３は、ポジティブ度がより低いユーザーに対して感情誘導刺激（例えば、ポジティブ度が上がりやすい刺激）が提示されるように制御するための処理命令の代わりに、または、当該処理命令とともに、ポジティブ度がより高いユーザーに対して感情誘導刺激（例えば、ポジティブ度が下がりやすい刺激）が提示されるように制御するための処理命令を感情誘導刺激提示制御部１３５に出してもよい。これによって、ポジティブ度がより高いユーザーのポジティブ度が下がる方向に感情誘導され、両者のポジティブ度が近づくことが期待される。

以下では、発呼側のユーザーの感情推定情報が、発呼側のユーザーのポジティブ度を含み、着呼側のユーザーの感情推定情報が、着呼側のユーザーのポジティブ度を含む場合を主に想定する。しかし、発呼側のユーザーの感情推定情報は、ポジティブ度に限定されず、ポジティブ度以外の感情を示す情報であってもよい。同様に、着呼側のユーザーの感情推定情報は、ポジティブ度に限定されず、ポジティブ度以外の感情を示す情報であってもよい。

より詳細には、感情バランス調整制御部１３３は、たとえばコミュニケーション端末３００Ａを用いたユーザー９００Ａによるユーザー９００Ｂへの発呼要求信号を通信部１１０を介して受信し、記憶部１２０からユーザー９００Ａおよび９００Ｂの個人感情情報（感情推定情報）のデータを取得して両者を比較処理し、両者間のポジティブ度の差異が所定の量以上であると判定された場合に、ポジティブ度が低い方のユーザー９００のコミュニケーション端末３００へポジティブ度を上げる方向へ感情を変容させる刺激のデータを送信するよう感情誘導刺激提示制御部１３５へ処理要求を出す。

その後、感情バランス調整制御部１３３は、ユーザー９００Ａおよび９００Ｂの個人感情情報（感情推定情報）のデータを随時取得して両者のポジティブ度のモニタリングを続け、両者間のポジティブ度の差異が所定の量以下に小さくなった場合に、ユーザー９００Ａの通信用ＩＤとユーザー９００Ｂの通信用ＩＤのデータに基づいて両者のコミュニケーション端末３００Ａと３００Ｂ間の通信（通話またはメディアストリーミング）を開始させるよう通話契機制御部１３７へ処理要求を出す。

ここで、前記所定の量は、本システムの管理者等によって予め設定されていても構わない（例えば、差異が高い方のポジティブ度の１割を所定の量の閾値とする等）。あるいは、後述する感情誘導刺激による感情変容の結果、両者間の差異がなくなった（ゼロになった）場合を機械的に検出し、その時ポジティブ度の差異が所定の量以下になったと感情バランス調整制御部１３３が判定処理しても構わない。

本実施形態においては、感情誘導刺激提示の開始タイミングを制御するために両者間のポジティブ度の差分と比較される所定の量と、両者間の通信の開始タイミングを制御するために両者間のポジティブ度の差分と比較される所定の量とは、同じである場合を想定している。しかし、感情誘導刺激提示の開始タイミングを制御するために両者間のポジティブ度の差分と比較される所定の量と、両者間の通信の開始タイミングを制御するために両者間のポジティブ度の差分と比較される所定の量とは、厳密に同じでなくてもよく、異なっていてもよい。

また、本実施形態においては、前記所定の量は、一定の値である場合を主に想定する。しかし、前記所定の量は、時間の経過に伴って変化してもよい。例えば、ユーザー９００Ａおよび９００Ｂの少なくともいずれか一方に対して、刺激が提示されたとしても、両者のポジティブ度の差分がなかなか小さくならない場合も想定される。そこで、感情バランス調整制御部１３３は、両者のポジティブ度の差分が前記所定の量を超える時間が所定の時間を経過した場合、前記所定の量が増加するように所定の量を変化させてもよい。これによって、ユーザー９００Ａとユーザー９００Ｂとの間の通信が開始されやすくなる。

一例として、感情バランス調整制御部１３３は、第１の時間（例えば、１分など）が経過しても両者のポジティブ度の差分が前記所定の量以下にならない場合、前記所定の量を増加させてもよく、第１の時間よりも長い第２の時間（例えば、３分など）が経過しても両者のポジティブ度の差分が前記所定の量以下にならない場合、前記所定の量をさらに増加させてもよい。第１の時間および第２の時間は、それぞれ本システムの管理者またはユーザー自身によって設定可能であってよい。

感情誘導刺激提示制御部１３５は、ユーザー９００のコミュニケーション端末３００へポジティブ度を上げる方向に感情を変容させる感情誘導刺激のデータを送信する処理を行う。より詳細には、感情誘導刺激提示制御部１３５は、感情バランス調整制御部１３３から要求命令を受け、感情バランス調整制御部１３３が指定したユーザー９００（比較の結果ポジティブ度が低かった方のユーザー）の通信用ＩＤを取得し、該通信用ＩＤへ感情誘導刺激ＤＢ１２１から取得した適切な感情誘導刺激のデータを送信する。

たとえば、感情誘導刺激は、視聴した者の感情を変容させる作用を有する写真（静止画像）、映像（動画像）、音楽等であってよい。ここで、表示される画像は、単に風景を写した写真などであってもよいし、その風景の特徴を説明したメッセージ付きの写真などであってもよい。また、画像が表示される場合、画像表示にユーザー９００を気づかせるために画像表示とともに所定の効果音が出力されてもよい。前記感情を変容させる作用を有することは、たとえば、刺激に対して事前に主観評価や生理指標評価等を実施し、その作用（ポジティブ度を上げる効果等）を確認しておくことが望ましい。自身で感情誘導刺激を作成せずに、既存に公開されている感情誘導刺激のデータセットを利用してもよい。既存の感情誘導刺激としては、感情誘導標準画像データセットであるＩＡＰＳ（International Affective Picture System）やＧＡＰＥＤ（Geneva Affective PicturE Database）等が知られており、それらに含まれる画像には予め多数の被験者によりポジティブ度や覚醒度の提示変容効果が評価・確認され情報のタグ付けがなされている。

なお、感情誘導方法は上述の方法に限らず、たとえば非特許文献２に紹介されているようにベルテン法や表情を意図的につくらせる方法など多く存在しており、感情誘導刺激提示制御部１３５はそれらの方法をユーザーに再現させるような処理を行っても構わない。（非特許文献２：Westermann, R. et al., Relative effectiveness and validity of mood
induction procedures: A meta-analysis. European Journal of Social Psychology,
26, pp.557-580, 1996.）。

上記したように、感情誘導刺激は、提示を受けたユーザーの感情が変化しやすい（例えば、ポジティブ度が上がりやすい、ポジティブ度が下がりやすいなど）ことが実験によって知られた刺激であってもよい。あるいは、感情誘導刺激は、既知の感情誘導刺激のデータと感情誘導刺激を受けたユーザーの感情変容の正解情報のデータとに基づいて学習処理によって生成された推定モデルに基づいて、感情が変化しやすい（例えば、ポジティブ度が上がりやすい、ポジティブ度が下がりやすいなど）と推定された刺激であってもよい。

また、本実施形態においては、ユーザーに提示される感情誘導刺激が一定である場合を主に想定する。しかし、ユーザーに提示される感情誘導刺激は、時間の経過とともに変化してもよい。例えば、所定の時間が経過しても両者のポジティブ度の差分値が所定の量以下とならない場合には、ユーザーに提示される感情誘導刺激は、より強い変容作用を有する感情誘導刺激に変更されてもよい。感情誘導刺激はどのように変更されてもよい。感情誘導刺激として出力される音量が大きくなってもよい、感情誘導刺激として表示される画像の種類が変更されてもよい。

通話契機制御部１３７は、発呼側のユーザー９００Ａと着呼側のユーザー９００Ｂ間のポジティブ度の差異が所定の量以下であると判定された場合に、ユーザー９００Ａのコミュニケーション端末３００Ａとユーザー９００Ｂのコミュニケーション端末３００Ｂ間の通信を成立させる処理を行う。より詳細には、通話契機制御部１３７は、感情バランス調整制御部１３３から要求命令を受け、感情バランス調整制御部１３３が指定した発呼側と着呼側のユーザー９００の通信用ＩＤをそれぞれ取得し、感情バランス調整制御部１３３から該ユーザー９００間のポジティブ度の差異が所定の量以下になったという判定信号を受信すると、該通信用ＩＤ同士の通信を成立させ、該通信用ＩＤに紐づいたコミュニケーション端末３００同士での通話（音声のみでなくテレビ電話でも構わない）を行えるようにする。

さらに、通話契機制御部１３７は、前述のコミュニケーション端末３００Ａを用いたユーザー９００Ａによるユーザー９００Ｂへの発呼要求信号を受けて、感情バランス調整制御部１３３が感情誘導刺激提示制御部１３５に命令してユーザー９００Ａとユーザー９００Ｂの個人感情のポジティブ度の差異を所定の量以下にするまでの間、その感情バランス調整処理の状況を示す情報を、コミュニケーション端末３００を介してユーザー９００（この場合は特に９００Ａ）に提示する処理を行ってもよい（後述の図６）。なお、感情バランス調整処理の状況を示す情報は、ユーザー９００Ａの代わりに、または、ユーザー９００Ａに追加して、ユーザー９００Ｂに提示されてもよい。

図６は、発呼側のユーザー９００のコミュニケーション端末３００の提示部３５０によって提示された前述の感情バランス調整処理中であることを示す表示画面の一例を説明するための説明図である。

前記表示画面には、着呼側のユーザー９００のＩＤ６１０（図の例ではＩＤは“９００Ｂ”）、発呼側のユーザー９００と着呼側のユーザー９００の感情のポジティブ度の差異が所定の量よりも大きいため感情バランス調整処理を行っている最中であるというメッセージ６２０、さらに、発呼側のユーザー９００と着呼側のユーザー９００の現在の感情のポジティブ度（リアルタイムに値が更新されてもよい）を示すグラフ６３０、今すぐ通話するボタン６４０等が表示されている。

発呼側のユーザー９００と着呼側のユーザー９００の現在の感情のポジティブ度を示すグラフ６３０が提示されることによって、発呼側のユーザー９００は、両者のポジティブ度の差分を視認可能となる。このように、通話契機制御部１３７は、両者のポジティブ度の差分が所定の量を超えると判断された場合に、少なくとも両者のポジティブ度の差分が視認可能に発呼側のユーザー９００に提示されるように制御するとよい。なお、両者のポジティブ度の差分は、グラフ６３０以外の様態（例えば、両者のポジティブ度、両者のポジティブ度の差分値など）によって提示されてもよい。

上記では、通話契機制御部１３７が、両者のポジティブ度の差が所定の量以下になったと判断された場合、発呼側のユーザー９００と着呼側のユーザー９００との間の通信を開始させる例を主に説明した。しかし、通話契機制御部１３７が、発呼側のユーザー９００と着呼側のユーザー９００との間の通信を開始させるタイミングは、かかる例に限定されない。例えば、通話契機制御部１３７は、所定の条件が満たされた場合、発呼側のユーザー９００と着呼側のユーザー９００との間の通信を開始させてもよい。例えば、通話契機制御部１３７は、所定の通信開始指示が入力された場合、発呼側のユーザー９００と着呼側のユーザー９００との間の通信を開始させてもよい。通信開始指示は、今すぐ通話するボタン６４０を選択する操作であってもよい。

今すぐ通話するボタン６４０は、ユーザー９００のポジティブ度の状態に限らずすぐに通話したいという緊急性が高い状況で使用される入力用インタフェースであり、ユーザー９００のタッチ等によって入力を受け付けると、制御部３３０、通信部３１０および通信部１１０を介して信号が送られ、受信した通話契機制御部１３７は即座に発呼側のユーザー９００と着呼側のユーザー９００のコミュニケーション端末３００間の通信を成立させる。

図６の表示画面は、感情バランス調整処理が終了した時点（ポジティブ度の差異が所定の量以下になった時点、または、コミュニケーション端末３００間の通信が成立した時点）まで表示されており、その後は後述の図８の画面や、一般的な通話状態画面に遷移してもよいし、通話状態画面中でも通話中のコミュニケーション支援情報としてたとえば感情のポジティブ度を示すグラフ６３０を表示させ続けてもよい。

図７は、着呼側のユーザー９００のコミュニケーション端末３００の提示部３５０によって提示された前述の感情誘導刺激を含む表示画面の一例を説明するための説明図である。

前記表示画面には、前述の感情誘導刺激７１０（図の例では美しい風景の写真）、感情誘導処理を終了するボタン７２０等が表示されている。感情誘導処理を終了するボタン７２０が、ユーザー９００のタッチ等によって選択されると、制御部３３０は、提示部３５０の表示画面の表示を終了し、また、制御部３３０、通信部３１０および通信部１１０を介して信号が送られ、受信した通話契機制御部１３７は、感情バランス調整制御部１３３へ感情誘導処理が終了されたという情報を送信する。

感情バランス調整制御部１３３は、前記情報を受領すると、前述の感情バランス調整処理を終了し、発呼側のユーザー９００のコミュニケーション端末３００へ前記情報を含むデータのメッセージを送信する。発呼側のユーザー９００は、コミュニケーション端末３００から前記メッセージを参照することができ、次の行動（感情バランス調整処理をスキップして直接的に電話をかける等）を決定できる。

なお、前述の説明では、通話契機制御部１３７は、感情バランス調整処理が終了した時点で通信を成立させ、すぐに通話が開始される例を述べたが、本実施形態は、該動作に限定されない。たとえば、通話開始前に着信・応答の手続きを挿入しても構わない。すなわち、前記感情バランス調整処理が終了した時点で、着呼側のユーザー９００のコミュニケーション端末３００へＩＮＶＩＴＥメッセージが送信され、該コミュニケーション端末３００は該ＩＮＶＩＴＥメッセージを受信するとユーザー９００の呼び出し処理（着信音を鳴らす等）を行い、着呼側のユーザー９００が受話してから通話を開始させても構わない。

図８は、発呼側および着呼側のユーザー９００のコミュニケーション端末３００の提示部３５０によって提示された前記呼び出し処理中の表示画面の一例を説明するための説明図である。前記表示画面には、ユーザー９００呼び出し処理中の一般的な電話待ち受け情報の他に、発呼側のユーザー９００と着呼側のユーザー９００の現在の感情のポジティブ度を示すグラフ８３０が表示されていてもよい。

図８を参照すると、一般的な電話待ち受け情報の例として、提示部３５０Ａによって表示される表示画面には、発呼を中止するための中止するボタン８４０が含まれている。また、提示部３５０Ｂによって表示される表示画面には、着呼に応答するための応答するボタン８５０が含まれている。グラフ８３０は前述の図６のグラフ６３０と同等の情報であるが、図８の画面が表示される時点は、感情バランス調整処理が終了した時点であるので、発呼側のユーザー９００と着呼側のユーザー９００間のポジティブ度の差異は非常に小さくなっている。さらに現在の両者のポジティブ度の大きさ等が示されている。

発呼側のユーザー９００と着呼側のユーザー９００は、お互いの感情状態が類似した状況であること、お互いのポジティブ度の大きさの程度を認知できた状態（お互いの状況把握ができた状態、言い換えるとアウェアネスが共有された状態）で通話を開始することができるため、本システムによる感情バランス調整処理機能がない従来の電話装置と比較して、より円滑に会話のコミュニケーションを始めることができる。

各種の変形例も想定される。上記では、発呼側のユーザー１名と着呼側のユーザー１名の利用状況における感情バランス調整処理機能の例を述べた。しかし、同機能は３名以上のユーザー利用による多人数通話の状況において実現されてもよい。その場合、３以上のポジティブ度間の差異（例えば、３人以上のポジティブ度のうち、最大のポジティブ度と最小のポジティブ度との差異）が所定の量以下になるまで感情バランス調整処理が行われてもよい。ただし、最大のポジティブ度および最小のポジティブ度は、時間経過に伴って変化する可能性もあり得る。

また、上記では、感情推定情報の所定の量を変容対象としているが、前述のように感情には基本感情ベースの離散型モデルの理論も存在し、そのような場合は量ではなく、発呼側と着呼側のユーザーの感情推定情報の「質」を（ポジティブ度がより強い感情に）揃えるように感情バランス調整制御部１３３は動作してもよい。たとえば、発呼側のユーザーの推定感情が基本感情の「幸福」であり、着呼側のユーザーの推定感情が基本感情の「悲しみ」であった場合に、着呼側のユーザーの推定感情が「幸福」や「喜び」等に離散的に変容するように感情誘導刺激の提示制御を行わせてもよい。

また、前記多人数通話は同時に通話開始される必要はなく、すでに本システムを用いて通話が行われている状況で、新たなユーザーが該通話に後から参入する形で多人数通話になる場合にも、感情バランス調整処理が行われてもよい。その場合、後から参入するユーザーを発呼側のユーザーとみなし、感情制御サーバ１００は、すでに通話中のユーザー群の感情推定情報のデータを取得したり、該すでに通話中のユーザー群へ感情誘導刺激を提示したりしても構わない。

続いて、図１０および図１１を参照して、本実施形態に係る情報処理動作の例を説明する。図１０および図１１は、本実施形態に係るコミュニケーションシステムの動作シーケンスの一例を示す説明図である。

後述する動作シーケンスは、図１で示した、拠点ｂＡのユーザー９００Ａがコミュニケーション端末３００Ａを使用して拠点ｂＢにいるユーザー９００Ｂへ発呼を行い、ユーザー９００Ａと９００Ｂ間のポジティブ度の差異が所定の量以上（例として９００Ｂの方が低い状況）であったため、本システムによるユーザー９００Ａと９００Ｂに対する感情バランス調整処理が行われ、ユーザー９００Ａと９００Ｂ間のポジティブ度の差異が所定の量以下になったのちに通話が成立するまでの処理の流れの一例である。

図１１に示したように、ステップＳ１１０１で、ユーザー９００Ａはコミュニケーション端末３００Ａを使用して、ユーザー９００Ｂ（のコミュニケーション端末３００Ｂ）へ発呼する操作入力を行う。ステップＳ１１０３で、コミュニケーション端末３００Ａは、ユーザー９００Ａおよび９００Ｂの識別情報を含んだ通信要求メッセージを生成し、感情制御サーバ１００へ、通信要求メッセージを送信する。

ステップＳ１１０５で、感情制御サーバ１００は、コミュニケーション端末３００Ａから前記通信要求メッセージを受信し、記憶部１２０に予め記憶された設定データからユーザー９００Ａおよび９００Ｂの識別情報と紐づいたセンサ端末２００Ａおよび２００Ｂの通信用ＩＤを特定する、情報通信制御処理を行う。ステップＳ１１０７で、感情制御サーバ１００は、センサ端末２００Ａへ、ステップＳ１１０９で、感情制御サーバ１００は、センサ端末２００Ｂへ、データ要求メッセージを送信する。

ステップＳ１１１１で、センサ端末２００Ａは、ステップＳ１１１３で、センサ端末２００Ｂは、感情制御サーバ１００からデータ要求メッセージを受信し、計測部２２０から外界、たとえばユーザー９００Ａまたは９００Ｂの行動や生体反応等の計測処理を開始して、それらの計測データを取得する。ステップＳ１１１５で、センサ端末２００Ａは、ステップＳ１１１７で、センサ端末２００Ｂは、感情制御サーバ１００へ、前記計測データ（ユーザー９００Ａまたは９００Ｂの行動や生体反応のデータ）を送信する。

ステップＳ１１１９で、感情制御サーバ１００は、受信した前記計測データに基づいて、
ユーザー９００Ａまたは９００Ｂの個人感情のポジティブ度を推定する。さらに、感情制御サーバ１００は、ユーザー９００Ａまたは９００Ｂの個人感情のポジティブ度を比較して、両者間のポジティブ度の差異が所定の量以上であるか否かを判定処理する。もし前記ポジティブ度の差異が所定の量以上であった場合は、次にステップＳ１１２１が実行される。

本動作シーケンスの例では、ユーザー９００Ｂの感情のポジティブ度がユーザー９００Ａより所定の量以上小さかったケースを想定して説明する。また、もし前記ポジティブ度の差異が所定の量以下であった場合は、以降のステップＳ１１２１〜１１４３はスキップされ、次にステップＳ１１４５が実行される。ステップＳ１１２１で、感情制御サーバ１００は、前記ポジティブ度の差異を小さくするように感情バランス調整処理を実行することを決定し、感情誘導刺激の取得などの処理実行の準備を行う。

ステップＳ１１２３で、感情制御サーバ１００は、コミュニケーション端末３００Ｂへ、（ユーザー９００Ｂの感情のポジティブ度を上げる）感情誘導刺激のデータを送信する。ステップＳ１１２５で、コミュニケーション端末３００Ｂは、感情制御サーバ１００から前記感情誘導刺激のデータを受信し、提示部３５０Ｂに感情誘導刺激を含む表示画面を提示する（たとえば前述の図７）。ステップＳ１１２７で、感情制御サーバ１００は、コミュニケーション端末３００Ａへ、感情バランス調整処理中であることを含む処理状況通知のデータを送信する。

ステップＳ１１２９で、コミュニケーション端末３００Ａは、感情制御サーバ１００から前記感情バランス調整処理中であることを含む処理状況通知のデータを受信し、提示部３５０Ａに感情バランス調整処理中であることを示す表示画面を提示する（たとえば前述の図６）。

ステップＳ１１３１〜Ｓ１１４１は、ステップＳ１１２１〜Ｓ１１２９の処理の結果として感情変容されたユーザー９００Ｂのポジティブ度と時間経過の結果として感情変容された可能性があるユーザー９００Ａのポジティブ度とを再び推定するために実行される。ステップＳ１１３１〜Ｓ１１４１は、前述のステップＳ１１０７〜Ｓ１１１７と同等の処理であるため、ここでは説明を省略する。

ステップＳ１１４３で、感情制御サーバ１００は、ステップＳ１１１９と同等の処理を行う。もし前記ポジティブ度の差異が所定の量以上であった場合は、次はステップＳ１１２１が再び実行される。また、もし前記ポジティブ度の差異が所定の量以下であった場合は、次にステップＳ１１４５が実行される。ステップＳ１１４５で、感情制御サーバ１００は、コミュニケーション端末３００Ａへ、ステップＳ１１４７で、感情制御サーバ１００は、コミュニケーション端末３００Ｂへ、通話開始処理を要求するメッセージを送信する。

ステップＳ１１４９で、コミュニケーション端末３００Ａとコミュニケーション端末３００Ｂは、感情制御サーバ１００を介した通話に係る通信処理を開始し、コミュニケーション端末３００Ａとコミュニケーション端末３００Ｂ間で通話を開始することができる。

以上のように、本実施形態によれば、遠隔コミュニケーションシステムにおいて発呼側のユーザーと着呼側のユーザーの感情をポジティブ度が高い方の状態に揃える感情バランス調整機能が実現されることによって、発呼側と着呼側双方のユーザーにとって良好な感情状態で会話を始めることができ、従来の電話システム等と比較してより円滑な遠隔コミュニケーションを行うことができるようになる。

次に、遠隔コミュニケーションシステムの第２の実施形態について説明する。図１２を参照して、第２の実施形態に係る「感情制御サーバ１０００」の機能構成の一例を説明する。図１２は、第２の実施形態に係る感情制御サーバ１０００の機能構成の一例を示すブロック図である。図１２を参照すると、感情制御サーバ１０００は、通信部１１０、記憶部１２０及び制御部１３０を備える。ここで、制御部１３０は、第１の実施形態と異なり、感情誘導作用予測部１３９（予測部）を有する。

感情誘導作用予測部１３９は、発呼側ユーザーおよび着呼側ユーザーそれぞれの推定されたポジティブ度の差分が所定の量を超えると判断された場合に、差分が所定の量以下になるまでの予測時間が、発呼側のユーザー及び前記着呼側のユーザーのうち少なくともいずれか一方に対して提示されるように制御する。以下では、発呼側のユーザーに対して予測時間が提示される場合を主に説明する。

図１３は、発呼側のユーザー９００のコミュニケーション端末３００の提示部３５０によって提示された前述の感情バランス調整処理中であることを示す表示画面の他の一例を説明するための説明図である。第２の実施形態では、図１３に示した予測時間情報６５０のように、感情バランス調整処理中であることを示す表示画面において、該感情バランス調整処理が終了するまでの予測時間がさらに表示される。

感情誘導作用予測部１３９は、ユーザー９００毎の感情誘導作用への反応特性を学習し、あるユーザー９００がある性質の感情誘導刺激を提示された場合に、該ユーザー９００がたとえば何秒後に目標とする感情誘導状態になるのかを予測する。感情誘導作用予測部１３９は、ユーザー９００が前述の感情誘導刺激提示制御部１３５によって感情誘導刺激を提示された時点から、該ユーザー９００の個人感情情報（感情推定情報）のデータを随時取得して、該ユーザー９００の感情誘導刺激に対する個人感情の経時変容特性の情報を含むデータを記憶部１２０に記憶させる。

そのように紐づけられたデータが記憶部１２０に蓄積され、感情誘導作用予測部１３９により学習処理されて、ユーザー９００毎に、どのような感情誘導刺激（たとえば、ポジティブ度を上げるもしくは下げる刺激か、刺激の強度はどれくらいか）を提示するとどのように個人感情が経時変容するか、を推定できる感情誘導反応予測モデルが生成され、該感情誘導反応予測モデルのデータは記憶部１２０に記憶される。

感情誘導作用予測部１３９は、あるユーザー９００が別のユーザー９００へ本システムを用いて電話をかける際に、感情バランス調整制御部１３３が要求し感情誘導刺激提示制御部１３５によって該別のユーザー９００へ提示される感情誘導刺激とその感情変容効果の情報を取得し、該情報のデータを該別のユーザー９００の感情誘導反応予測モデルの入力データとして、出力データとなる個人感情の経時変容の予測データ（たとえば、「６秒後」に発呼側のユーザー９００と該別のユーザー９００間のポジティブ度の差異が所定の量以下に小さくなる等）を生成する。

さらに、感情誘導作用予測部１３９は、前記個人感情の経時変容の予測データを、通信部１１０を介して、発呼側のユーザー９００のコミュニケーション端末３００へ送信する。コミュニケーション端末３００は、前記個人感情の経時変容の予測データを受信し、たとえば感情バランス調整処理が終了するまでの予測時間（例えば、図１３に示した予測時間情報６５０）を提示部３５０へ表示する。

なお、前記感情誘導反応予測モデルは、個人毎ではなく、複数の人物集団における予測モデルであってもよい。

続いて、図１１を参照しながら、第２の実施形態に係る情報処理動作を説明する。図１１のステップＳ１１２１において、感情バランス調整制御部１３３によって感情誘導刺激の内容が決定された際に、感情誘導作用予測部１３９によって前記個人感情の経時変容の予測データが生成されてもよい。また、図１１のステップＳ１１２７において、感情制御サーバ１００は、コミュニケーション端末３００Ａへ、前記個人感情の経時変容の予測データを前述の処理状況通知のデータと併せて送信してもよい。

さらに、図１１のステップＳ１１２９において、コミュニケーション端末３００Ａは、感情制御サーバ１００から個人感情の経時変容の予測データを受信し、提示部３５０Ａに感情バランス調整処理が終了するまでの予測時間を含む表示画面を提示してもよい。

以上のように、第２の実施形態によれば、遠隔コミュニケーションシステムにおいて感情バランス調整機能が動作する際に、発呼側のユーザーに該感情バランス調整機能が終了し会話が開始できるまでの予測時間の情報を提供することができ、発呼側のユーザーが会話開始までの待ち時間を把握できることで、いつ会話を始められるかわからない不安な心理状況になることなく、該感情バランス調整機能をユーザーが利用できる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

たとえば、上記においては、コミュニケーション端末３００の制御部３３０が、提示部３５０によって提示される各種情報のレイアウト（たとえば、図６に示した感情バランス調整処理中であることを示す表示画面、図７に示した感情誘導刺激を含む表示画面、図８に示した呼び出し処理中の表示画面、図１３に示した感情バランス調整処理中であることを示す表示画面など）を決める場合を主に想定した。しかし、提示部３５０によって提示される各種情報のレイアウトは、他の装置（たとえば、感情制御サーバ１００など）によって決められてもよい。

また、上記においては、感情制御サーバ１００が発呼側および着呼側のユーザー９００のコミュニケーション端末３００とは、独立して設けられる場合を主に想定した。しかし、感情制御サーバ１００が有する機能の一部または全部は、発呼側または着呼側のユーザー９００のコミュニケーション端末３００に組み込まれていてもよい。かかる場合には、感情制御サーバ１００と発呼側または着呼側のユーザー９００のコミュニケーション端末３００との間の通信によって実現される機能は、発呼側および着呼側のユーザー９００のコミュニケーション端末３００間のＰ２Ｐ通信によって実現される。

１００ 感情制御サーバ
１１０ 通信部
１２０ 記憶部
１２１ 感情誘導刺激ＤＢ
１２２ 感情認識辞書ＤＢ
１３０ 制御部
１３１ 感情推定部
１３３ 感情バランス調整制御部
１３５ 感情誘導刺激提示制御部
１３７ 通話契機制御部
１３９ 感情誘導作用予測部
１０００ 感情制御サーバ
２００ センサ端末
２１０ 通信部
２２０ 計測部
２３０ 制御部
３００ コミュニケーション端末
３１０ 通信部
３２０ 記憶部
３３０ 制御部
３４０ 入力部
３５０ 提示部

Claims (14)

1. 発呼側のユーザーの感情推定情報と着呼側のユーザーの感情推定情報との差分を算出し、前記差分が所定の量を超えるか否かを判断する判断部と、
   前記差分が前記所定の量を超えると判断された場合に、前記発呼側のユーザー及び前記着呼側のユーザーのうち少なくともいずれか一方に対して、所定の刺激が提示されるように制御する提示制御部と、
   を備える、制御装置。
2. 前記発呼側のユーザーの感情推定情報は、前記発呼側のユーザーのポジティブ度を含み、
   前記着呼側のユーザーの感情推定情報は、前記着呼側のユーザーのポジティブ度を含む、
   請求項１に記載の制御装置。
3. 前記提示制御部は、前記発呼側のユーザー及び前記着呼側のユーザーのうち少なくとも前記ポジティブ度がより低いユーザーに対して前記所定の刺激が提示されるように制御する、
   請求項２に記載の制御装置。
4. 前記制御装置は、前記差分が前記所定の量を超えると判断された場合に、少なくとも前記差分が視認可能に前記発呼側のユーザーに提示されるように制御する契機制御部を備える、
   請求項１に記載の制御装置。
5. 前記制御装置は、所定の条件が満たされた場合、前記発呼側のユーザーと前記着呼側のユーザーとの間の通信を開始させる契機制御部を備える、
   請求項１に記載の制御装置。
6. 前記判断部は、前記差分が前記所定の量を超えると判断した場合に、少なくとも前記所定の刺激が提示されたユーザーの感情推定情報に基づいて前記差分を再度算出し、前記差分が前記所定の量以下になったか否かを判断し、
   前記契機制御部は、前記差分が前記所定の量以下になったと判断された場合、前記発呼側のユーザーと前記着呼側のユーザーとの間の通信を開始させる、
   請求項５に記載の制御装置。
7. 前記契機制御部は、所定の通信開始指示が入力された場合、前記発呼側のユーザーと前記着呼側のユーザーとの間の通信を開始させる、
   請求項５に記載の制御装置。
8. 前記判断部は、前記差分が前記所定の量を超える時間が所定の時間を経過した場合、前記所定の量が増加するように前記所定の量を変化させる、
   請求項１に記載の制御装置。
9. 前記制御装置は、前記差分が前記所定の量を超えると判断された場合に、前記差分が前記所定の量以下になるまでの予測時間が、前記発呼側のユーザー及び前記着呼側のユーザーのうち少なくともいずれか一方に対して提示されるように制御する予測部を備える、
   請求項１に記載の制御装置。
10. 前記所定の刺激は、既知の感情誘導刺激のデータと前記感情誘導刺激を受けたユーザーの感情変容の正解情報のデータとに基づいて学習処理によって生成された推定モデルに基づいて、感情が変化しやすいと推定された刺激である、
    請求項１に記載の制御装置。
11. 前記所定の刺激は、画像表示および音出力の少なくともいずれか一方によって提示される、
    請求項１に記載の制御装置。
12. 発呼側のユーザーの感情推定情報と着呼側のユーザーの感情推定情報との差分を算出し、前記差分が所定の量を超えるか否かを判断することと、
    前記差分が前記所定の量を超えると判断された場合に、前記発呼側のユーザー及び前記着呼側のユーザーのうち少なくともいずれか一方に対して、所定の刺激が提示されるように制御することと、
    を含む、制御方法。
13. コンピュータを、
    発呼側のユーザーの感情推定情報と着呼側のユーザーの感情推定情報との差分を算出し、前記差分が所定の量を超えるか否かを判断する判断部と、
    前記差分が前記所定の量を超えると判断された場合に、前記発呼側のユーザー及び前記着呼側のユーザーのうち少なくともいずれか一方に対して、所定の刺激が提示されるように制御する提示制御部と、
    を備える制御装置として機能させるためのプログラム。
14. 発呼側のユーザーの感情推定情報と着呼側のユーザーの感情推定情報との差分を算出し、前記差分が所定の量を超えるか否かを判断する判断部と、
    前記差分が前記所定の量を超えると判断された場合に、前記発呼側のユーザー及び前記着呼側のユーザーのうち少なくともいずれか一方に対して、所定の刺激が提示されるように制御する提示制御部と、
    を備える、制御装置と、
    前記所定の刺激を提示する提示装置と、
    を有する、制御システム。

Images