JP2021194476A - 情報処理方法、情報処理システムおよびプログラム - Google Patents

Abstract

【課題】複数の人の間に生じる感情的な相互作用を適切に推定することができる情報処理方法を提供する。【解決手段】この情報処理方法は、コンピュータによって行われる情報処理方法であって、複数の人のそれぞれの心拍に関する心拍情報を取得し（ステップＳ２）、その複数の人のそれぞれの心拍情報の変化の相関に基づいて、その複数の人の間における共感度を導出し（ステップＳ４）、導出された共感度を示す共感度情報を出力する（ステップＳ５）。【選択図】図９

Description

本開示は、生理データを用いた情報処理方法などに関する。

従来、生理データを用いた情報処理方法として、撮像画像に映し出されている身体の複数の領域が同一のユーザに属するものであるか否かを、生理データである脈波を用いて判定する方法が提案されている（例えば、特許文献１参照）。この情報処理方法では、撮像画像の上記複数の領域のそれぞれから脈波を検出し、それらの脈波の相関に基づいて、その複数の領域が同一のユーザに属するものであるか否かを判定する。

特開２０１６−３５７５９号公報

しかしながら、上記特許文献１の情報処理方法では、複数の人の間に生じる感情的な相互作用まで推定することは難しいという課題がある。

そこで、本開示は、複数の人の間に生じる感情的な相互作用を適切に推定することができる情報処理方法を提供する。

本開示の一態様に係る情報処理方法は、コンピュータが行う情報処理方法であって、複数の人のそれぞれの心拍に関する心拍情報を取得し、前記複数の人のそれぞれの前記心拍情報の変化の相関に基づいて、前記複数の人の間における共感度を導出し、導出された前記共感度を示す共感度情報を出力する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。

本開示の情報処理方法は、複数の人の間に生じる感情的な相互作用を適切に推定することができる。

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施の形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

図１は、実施の形態１における情報処理システムの構成を示すブロック図である。 図２は、実施の形態１における心拍取得部で取得される２人の心拍情報の一例と、それらの心拍情報の相関を説明するための図である。 図３は、実施の形態１における情報処理システムの適用例を示す図である。 図４は、実施の形態１における情報処理システムの他の適用例を示す図である。 図５は、実施の形態１における情報処理システムによって得られる、会議の出席者のそれぞれの心拍数の時間変化と、２人の出席者間の相関係数の時間変化とを示す図である。 図６は、実施の形態１における表示部による表示の一例を示す図である。 図７は、実施の形態１における表示部による表示の他の例を示す図である。 図８は、実施の形態１における情報処理システムの他の適用例を示す図である。 図９は、実施の形態１における情報処理システムの処理動作を示すフローチャートである。 図１０は、実施の形態１における情報処理システムの多種多様な適用例を示す図である。 図１１は、実験によって得られたグラフであって、ＲＲＩ変化量およびＣｖＲＲ変化量とストレスの要因との関係を図である。 図１２は、実施の形態２における共感処理部によるストレスの要因の判定方法を説明するための図である。 図１３は、実施の形態２における共感処理部が複数の人のそれぞれのストレスの要因から共感度を導出する一例を示す図である。 図１４は、実施の形態３における情報処理システムの構成を示すブロック図である。 図１５は、実施の形態３における共感処理部によるストレスの要因の判定方法を説明するための図である。 図１６は、実施の形態３における情報処理システムの処理動作を示すフローチャートである。

（本開示の基礎となった知見）
本開示の一態様に係る情報処理方法は、コンピュータが行う情報処理方法であって、複数の人のそれぞれの心拍に関する心拍情報を取得し、前記複数の人のそれぞれの前記心拍情報の変化の相関に基づいて、前記複数の人の間における共感度を導出し、導出された前記共感度を示す共感度情報を出力する。

これにより、複数の人の間に生じる感情的な相互作用である共感度を適切に推定することができる。

また、前記心拍情報の取得では、前記複数の人のそれぞれの同一期間における前記心拍情報を取得してもよい。

これにより、同一期間における複数の人の共感度を適切に推定することができる。

また、前記心拍情報の取得では、前記複数の人のそれぞれの同一対象物に対する認知結果によって生じる前記心拍情報を取得してもよい。

これにより、複数の人が同一対象物を認知するタイミングが異なっていても、同一対象物に対する複数の人の共感度を適切に推定することができる。

また、前記情報処理方法では、さらに、少なくとも１つの撮像装置が前記複数の人を撮影することによって生成される、前記複数の人のそれぞれの顔が映し出された第１動画像データを取得し、前記心拍情報の取得では、前記第１動画像データを解析することによって、前記複数の人のそれぞれの前記心拍情報を取得してもよい。例えば、前記第１動画像データは、複数の第２動画像データを含み、前記第１動画像データの取得では、前記複数の第２動画像データを複数の前記撮像装置からそれぞれ取得し、前記複数の第２動画像データのそれぞれは、前記撮像装置が撮影することによって生成される、前記複数の人のうちの１人の顔が映し出されたデータであってもよい。

これにより、少なくとも１つの撮像装置による撮影によって生成される第１動画像データまたは複数の第２動画像データから、複数の人のそれぞれの心拍情報が取得される。したがって、少なくとも１つの撮像装置が複数の人から離れていても、その複数の人の共感度を適切に推定することができる。また、ノート型パーソナルコンピュータまたはスマートフォンなどのモバイル端末に備えられている撮像装置によって、複数の人の共感度を簡単に推定することができる。また、１つの撮像装置が複数の人を撮影する場合には、複数の撮像装置が複数の人を撮影する場合に比べて、共感度の推定に必要とされる撮像装置の数を少なくすることができる。

また、前記情報処理方法では、さらに、前記第１動画像データに対する画像認識によって、前記複数の人のそれぞれの表情を特定し、前記共感度の導出では、前記複数の人のそれぞれの前記心拍情報の変化の相関と、前記複数の人のそれぞれの特定された前記表情とに基づいて、前記複数の人の間における共感度を導出してもよい。

これにより、心拍情報の変化の相関だけでなく、表情にも基づいて、共感度が導出されるため、その共感度の推定精度を向上することができる。また、複数の人の表情は、心拍情報の取得に用いられた撮像装置の第１動画像データから特定されるため、それらの表情の特定のための専用の装置を省くことができる。したがって、全体のシステム構成を簡単にすることができる。

また、前記共感度情報の出力では、前記第１動画像データと前記共感度情報とを表示部に出力することによって、前記第１動画像データに映し出される前記複数の人のそれぞれの顔の動画像を、前記共感度情報に基づいて前記表示部に表示し、前記共感度情報は、前記表示部に表示される前記複数の人のそれぞれの動画像間の距離によって示されてもよい。

これにより、複数の人の間の共感度を簡単な表示で知らせることができる。

また、前記心拍情報は、心拍数および心拍揺らぎのうちの少なくとも１つを示してもよい。

これにより、共感度の推定精度を向上することができる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

（実施の形態１）
図１は、本実施の形態における情報処理システムの構成を示すブロック図である。

本実施の形態における情報処理システム１０は、複数のセンサ２１によって得られた、複数の人のそれぞれのセンシング情報に基づいて、複数の人の間の共感度を推定する装置である。このような本実施の形態における情報処理システム１０は、心拍取得部１１と、共感処理部１２と、出力部１３とを備える。

心拍取得部１１は、複数の人のそれぞれの心拍に関する情報を心拍情報として取得する。具体的には、心拍取得部１１は、複数のセンサ２１から、複数の人のそれぞれのセンシング情報を取得し、そのセンシング情報を解析することによって、そのセンシング情報からその人の心拍情報を取得する。センサ２１は、例えば、人を撮影することによって、その人の顔画像をセンシング情報として生成するカメラである。その顔画像は、例えば、人の顔が映し出された動画像である。この場合、心拍取得部１１は、その顔画像から、映像脈波抽出によって人のＲＲＩ、心拍数、または心拍揺らぎを示す心拍情報を取得する。つまり、心拍取得部１１は、顔画像に映し出されている人の顔にある皮膚の色度の変化に基づいて、その心拍情報を取得する。なお、心拍情報によって示されるＲＲＩ、心拍数または心拍揺らぎは、１〜５分程度の期間における平均値であってもよい。

ＲＲＩは、連続する２つの心拍のＲ波のピークの間隔である心拍間隔（Ｒ−Ｒ ｉｎｔｅｒｖａｌｓ）である。

心拍数は、例えば１分間あたりの拍動の数であって、ＲＲＩの秒数で６０秒を除算することによって算出される数である。

心拍揺らぎは、例えば、ＣｖＲＲ（Ｃｏｅｆｆｉｃｉｅｎｔ ｏｆ Ｖａｒｉａｔｉｏｎ ｏｆ Ｒ−Ｒ ｉｎｔｅｒｖａｌｓ）である。ＣｖＲＲは、心拍変動の変動係数であって、例えば、「ＣｖＲＲ＝（任意時間帯におけるＲＲＩの標準偏差ＳＤ）／（任意時間帯におけるＲＲＩの平均）」によって算出される。つまり、ＣｖＲＲは、任意時間帯におけるＲＲＩの標準偏差ＳＤを、任意時間帯におけるＲＲＩの平均値で規格化することにより算出される。

なお、心拍揺らぎは、ＨＦ（Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ）またはＬＦ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ）であってもよい。ＨＦおよびＬＦは、ＲＲＩの等間隔時系列データを、高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＦＦＴ）を用いて周波数解析することによって得られるパワースペクトルから算出される。ＨＦは、０．１４Ｈｚ〜０．４Ｈｚの高周波数領域のパワースペクトルの積分値であり、副交感神経の活動量が反映されていると考えられている。また、ＬＦは、０．０４Ｈｚ〜０．１４Ｈｚの低周波数領域のパワースペクトルの積分値であり、交感神経および副交感神経の活動量が反映されていると考えられている。なお、ＦＦＴの周波数変換は、５秒間隔で行われてもよい。

ここで、本実施の形態における心拍取得部１１は、複数のセンサ２１からではなく、１つのセンサ２１から、複数の人のそれぞれのセンシング情報を取得してもよい。この場合、カメラとして構成されているセンサ２１は、複数の人の顔が映し出された動画像データを取得する。この動画像データには、複数の人のそれぞれのセンシング情報である顔画像が含まれている。心拍取得部１１は、その動画像データに含まれる各顔画像を画像認識処理によって認識し、その各顔画像から心拍情報を取得する。

つまり、本実施の形態における心拍取得部１１は、少なくとも１つの撮像装置が複数の人を撮影することによって生成される、複数の人のそれぞれの顔が映し出された第１動画像データを取得する。そして、心拍取得部１１は、その第１動画像データを解析することによって、その複数の人のそれぞれの心拍情報を取得する。また、第１動画像データは、複数の第２動画像データを含んでいてもよい。この場合、心拍取得部１１は、複数の第２動画像データを複数の撮像装置からそれぞれ取得する。その複数の第２動画像データのそれぞれは、撮像装置が撮影することによって生成される、複数の人のうちの１人の顔が映し出されたデータである。つまり、その複数の第２動画像データのそれぞれは、上述の例のように、複数のセンサ２１のそれぞれによって得られたセンシング情報である。

これにより、少なくとも１つの撮像装置による撮影によって生成される第１動画像データまたは複数の第２動画像データから、複数の人のそれぞれの心拍情報が取得される。したがって、少なくとも１つの撮像装置が複数の人から離れていても、その複数の人の共感度を適切に推定することができる。また、ノート型パーソナルコンピュータまたはスマートフォンなどのモバイル端末に備えられている撮像装置によって、複数の人の共感度を簡単に推定することができる。また、１つの撮像装置が複数の人を撮影する場合には、複数の撮像装置が複数の人を撮影する場合に比べて、共感度の推定に必要とされる撮像装置の数を少なくすることができる。

なお、センサ２１は、カメラに限らず、心電または脈波を計測するウェアラブルデバイスであってもよい。ウェアラブルデバイスは、フォトトランジスタおよびフォトダイオードを備え、血管中の血液量の変化を反射光または透過光により測定することによって、脈波を計測してもよい。そして、ウェアラブルデバイスは、その脈波の計測結果をセンシング情報として心拍取得部１１に出力する。心拍取得部１１は、このようなセンシング情報から、人のＲＲＩ、心拍数またはＣｖＲＲを示す心拍情報を取得する。

共感処理部１２は、心拍取得部１１によって取得された、複数の人のそれぞれの心拍情報の変化の相関に基づいて、複数の人の間における共感度を導出する。

出力部１３は、共感処理部１２によって導出された共感度を示す共感度情報を出力する。例えば、出力部１３は、複数の人のそれぞれで用いられる表示部２２にその共感度情報を出力する。したがって、複数の人は、その表示部２２を見ることによって、複数の人の間における共感度を把握することができる。このような表示部２２は、例えば、液晶ディスプレイ、プラズマディスプレイ、または有機ＥＬ（Electro-Luminescence）ディスプレイなどである。なお、出力部１３は、１つの表示部２２のみにその共感度情報を出力してもよい。

図２は、心拍取得部１１で取得される２人の心拍情報の一例と、それらの心拍情報の相関を説明するための図である。具体的には、図２の（ａ）は、所定の期間における人Ａと人Ｂのそれぞれの心拍数を示すグラフであり、図２の（ｂ）は、複数の人の心拍情報の相関係数と相関の強さとの関係を示す。

心拍取得部１１は、図２の（ａ）に示すように、人Ａの心拍数と、人Ｂの心拍数とをそれぞれ心拍情報として取得する。なお、図２の（ａ）に示すグラフの横軸は、人Ａの心拍数を示し、その縦軸は人Ｂの心拍数を示す。また、図２の（ａ）のグラフに含まれる１つのドットは、略同一タイミングにおける人Ａおよび人Ｂのそれぞれの心拍数を示す。

共感処理部１２は、例えば３０秒〜２分間の期間ごとに、その期間における人Ａと人Ｂとの間の心拍情報の相関関係を解析する。つまり、共感処理部１２は、人Ａおよび人Ｂのそれぞれの心拍数の時系列データから相関係数を算出する処理を周期的に行う。これにより、相関係数の時間変化が把握される。

共感処理部１２は、このように算出される相関係数から、人Ａと人Ｂとの間の共感度を導出する。例えば、共感処理部１２は、人Ａと人Ｂの相関係数の符号が正であり、かつ、相関係数が閾値よりも大きい場合には、人Ａと人Ｂとが共感したことを示す共感度を導出する。

ここで、図２の（ｂ）に示すように、相関係数ｒと相関の強さとの関係が用いられてもよい。例えば、相関係数ｒが０．２以下である場合には、その相関係数ｒは、殆ど相関がないことを示す。また、相関係数ｒが０．２よりも大きく０．４以下である場合には、その相関係数ｒは、弱い相関があることを示す。そして、相関係数ｒが０．４よりも大きく０．７以下である場合には、その相関係数は、相関があることを示す。

したがって、共感処理部１２は、相関係数が０．４よりも大きい場合に、人Ａと人Ｂとが共感したことを示す共感度を導出してもよい。この場合、閾値は０．４である。共感処理部１２は、その閾値を用いて、０および１の２値で示される共感度を導出してもよい。つまり、共感処理部１２は、相関係数が閾値よりも大きい場合に、人Ａと人Ｂとが共感していることを示す共感度＝１を導出し、相関係数が閾値以下の場合に、人Ａと人Ｂとが共感していないことを示す共感度＝０を導出する。

また、共感処理部１２は、図２の（ｂ）に示すように、相関係数の値に応じた５つのレベルのうちの何れかの１つのレベルを共感度として導出してもよい。例えば、５つのレベルのそれぞれの相関係数ｒは、レベル１＜レベル２＜レベル３＜レベル４＜レベル５のように設定されている。このような場合、共感処理部１２は、例えば相関係数ｒが０．４よりも大きく０．７以下であれば、レベル３を共感度として導出する。または、共感処理部１２は、相関係数に１００を乗じることによって得られる値、または、相関係数を変換関数に入力することによって得られる０〜１００までの数値を、共感度として導出してもよい。

図３は、情報処理システム１０の適用例を示す図である。

情報処理システム１０は、図３に示すように、人Ａおよび人Ｂの２人の間の共感度を導出してもよい。

人Ａおよび人Ｂは、例えば、それぞれの机の前の椅子に座り、互に向き合う。２人のそれぞれの机には、表示部２２、センサ２１、パーソナルコンピュータ２３、およびキーボード２４が配置されている。センサ２１は、カメラとして構成され、表示部２２に取り付けられている。人Ａおよび人Ｂは、会話を行っていてもよく、２人のそれぞれの表示部２２に表示される同じ動画を見ていてもよい。

情報処理システム１０は、人Ａに対して配置されたセンサ２１と表示部２２とに、その人Ａに対して配置されたパーソナルコンピュータ２３を介して接続されている。同様に、情報処理システム１０は、人Ｂに対して配置されたセンサ２１と表示部２２とに、その人Ｂに対して配置されたパーソナルコンピュータ２３を介して接続されている。

人Ａのセンサ２１は、その人Ａの顔を撮影し、その人Ａの顔画像をセンシング情報としてパーソナルコンピュータ２３を介して情報処理システム１０に送信する。人Ｂのセンサ２１も、同様に、その人Ｂの顔を撮影し、その人Ｂの顔画像をセンシング情報としてパーソナルコンピュータ２３を介して情報処理システム１０に送信する。

情報処理システム１０の心拍取得部１１は、人Ａのセンサ２１から送信されるセンシング情報を用いて人Ａの心拍情報を取得し、人Ｂのセンサ２１から送信されるセンシング情報を用いて人Ｂの心拍情報を取得する。そして、共感処理部１２は、それらの心拍情報の相関係数を算出し、その相関係数に応じた共感度を導出する。この共感度は、例えば、センサ２１による撮影が行われるときに、人Ａおよび人Ｂが会話を行っていれば、その会話に対する２人の共感度であり、人Ａおよび人Ｂが動画を見ていれば、その動画に対する２人の共感度である。

出力部１３は、その共感度を示す共感度情報を、人Ａおよび人Ｂのそれぞれのパーソナルコンピュータ２３に送信することによって、それらのパーソナルコンピュータ２３に接続された表示部２２に、その共感度情報を表示する。

なお、センサ２１は、カメラとしてではなく、ウェアラブルデバイスとし構成されていてもよい。この場合、ウェアラブルデバイスは、人Ａおよび人Ｂのそれぞれの例えば手首に取り付けられ、その手首から得られるセンシング情報を、パーソナルコンピュータ２３を介して、または、パーソナルコンピュータ２３を介さずに、情報処理システム１０に送信する。

図４は、情報処理システム１０の他の適用例を示す図である。

情報処理システム１０は、会議に出席している複数の人の間の共感度を導出してもよい。

例えば、会議の複数の出席者のそれぞれは、例えばノート型パーソナルコンピュータ（以下、ノートパソコンという）２３ａを会議室に持参してテーブルの前の椅子に座る。ノートパソコン２３ａには、カメラとして構成されているセンサ２１と、表示部２２とが備えられている。そして、複数の出席者は会議を行う。

図３の例と同様に、各出席者のセンサ２１は、その出席者の顔を撮影し、その出席者の顔画像をセンシング情報として情報処理システム１０に送信する。情報処理システム１０の心拍取得部１１は、各出席者のセンサ２１から送信されるセンシング情報を用いてその出席者の心拍情報を取得する。そして、共感処理部１２は、それらの心拍情報の相関係数を算出し、その相関係数に応じた共感度を導出する。この共感度は、例えば、会議の発話または発言の内容に対する共感度である。また、共感処理部１２は、後述のように、話者認識または画像認識によって発話者を特定してもよい。この場合には、共感処理部１２は、発話者間の共感度を算出することができる。

出力部１３は、その共感度を示す共感度情報を、各出席者のノートパソコン２３ａに送信することによって、そのノートパソコン２３ａの表示部２２にその共感度情報を表示する。例えば、ノートパソコン２３ａの表示部２２には、そのノートパソコン２３ａの所有者である出席者と、他の各出席者との間の共感度を示す共感度情報が表示される。また、出力部１３は、それらの共感度の例えば平均値を示す共感度情報を表示してもよい。この平均値は、会議全体のその所有者に対する共感度を示していると言える。

また、出力部１３は、各出席者のノートパソコン２３ａの表示部２２に共感度情報を表示することなく、その会議の議長が所持するノートパソコン２３ａの表示部２２のみに共感度情報を表示してもよい。あるいは、出力部１３は、全ての出席者のうちの発言者が所持するノートパソコン２３ａの表示部２２のみに共感度情報を表示してもよい。

なお、図４に示す例では、複数の出席者は、会議室に集まるが、このような会議室に集まることなく、それぞれ遠隔からテレビ会議を行ってもよい。

図５は、会議の出席者のそれぞれの心拍数の時間変化と、２人の出席者間の相関係数の時間変化とを示す図である。具体的には、図５の（ａ）〜（ｃ）は、それぞれ出席者Ｘ、ＹおよびＺの心拍情報によって示される心拍の時間変化を示すグラフである。これらのグラフの横軸は、時刻を示し、その縦軸は、心拍数を示す。また、図５の（ｄ）は、出席者Ｘと出席者Ｙの間の相関係数の時間変化を示すグラフであり、図５の（ｅ）は、出席者Ｘと出席者Ｚの間の相関係数の時間変化を示すグラフである。これらのグラフの横軸は、時刻を示し、その縦軸は、相関係数を示す。

心拍取得部１１は、会議が行われているときに、図５の（ａ）〜（ｃ）に示すように、出席者Ｘ、ＹおよびＺのそれぞれの心拍数を示す心拍情報を周期的に取得する。共感処理部１２は、出席者Ｘおよび出席者Ｙのそれぞれの心拍情報に基づいて、図５の（ｄ）に示す出席者Ｘと出席者Ｙとの間の相関係数を周期的に算出する。同様に、共感処理部１２は、出席者Ｘおよび出席者Ｚのそれぞれの心拍情報に基づいて、図５の（ｅ）に示す出席者Ｘと出席者Ｚとの間の相関係数を周期的に算出する。

ここで、例えば、図５の（ａ）〜（ｃ）に示すように、時刻ｔ１〜ｔ３において出席者Ｘが発言すると、その発言が行われている期間では、出席者Ｘと出席者Ｚのそれぞれの心拍数が上昇し、出席者Ｙの心拍数は、その期間において殆ど変化しない。このような場合、図５の（ｅ）に示すように、出席者Ｘと出席者Ｚとの間の相関係数は、その期間に対応する時刻ｔ２〜ｔ４において閾値よりも大きくなる。したがって、共感処理部１２は、その時刻ｔ２〜ｔ４において出席者Ｘと出席者Ｚとは共感していることを示す共感度を導出する。すなわち、共感処理部１２は、時刻ｔ２〜ｔ４において出席者Ｘと出席者Ｚとは共感していると推定する。一方、図５の（ｄ）に示すように、出席者Ｘと出席者Ｙとの間の相関係数は、出席者Ｘが発言していても、閾値以下である。したがって、共感処理部１２は、出席者Ｘが発言している期間において、出席者Ｘと出席者Ｙとは共感していないことを示す共感度を導出する。すなわち、共感処理部１２は、出席者Ｘと出席者Ｙとは共感していないと推定する。

また、例えば、図５の（ａ）〜（ｃ）に示すように、時刻ｔ５〜ｔ７において出席者Ｙが発言すると、その発言が行われている期間では、出席者Ｘと出席者Ｙのそれぞれの心拍数が上昇し、出席者Ｚの心拍数は、その期間において殆ど変化しない。このような場合、図５の（ｄ）に示すように、出席者Ｘと出席者Ｙとの間の相関係数は、その期間に対応する時刻ｔ６〜ｔ８において閾値よりも大きくなる。したがって、共感処理部１２は、その時刻ｔ６〜ｔ８において出席者Ｘと出席者Ｙとは共感していることを示す共感度を導出する。すなわち、共感処理部１２は、時刻ｔ６〜ｔ８において出席者Ｘと出席者Ｙとは共感していると推定する。一方、図５の（ｅ）に示すように、出席者Ｘと出席者Ｚとの間の相関係数は、出席者Ｙが発言していても、閾値以下である。したがって、共感処理部１２は、出席者Ｙが発言している期間において、出席者Ｘと出席者Ｚとは共感していないことを示す共感度を導出する。すなわち、共感処理部１２は、出席者Ｘと出席者Ｚとは共感していないと推定する。

ここで、共感処理部１２は、例えば、会議室に設置されたマイクからの出力信号に基づいて、話者認識を行うことにより、発言者を特定してもよい。あるいは、共感処理部１２は、各センサ２１から得られるセンシング情報である顔画像に対して画像認識処理を行うことにより、発言者を特定してもよい。例えば、時刻ｔ１〜ｔ３では、発言者として出席者Ｘが特定される。したがって、共感処理部１２は、図５の（ｅ）に示すように、出席者Ｘが発言している期間に少なくとも一部重なる時刻ｔ２〜ｔ４において、出席者Ｘと出席者Ｚとが共感していると推定すると、その２人が共感している対象は、出席者Ｘの発言であると判断する。この場合、出席者Ｚから出席者Ｘへの共感の方向が特定される。同様に、時刻ｔ５〜ｔ７では、発言者として出席者Ｙが特定される。したがって、共感処理部１２は、図５の（ｄ）に示すように、出席者Ｙが発言している期間に少なくとも一部重なる時刻ｔ６〜ｔ８において、出席者Ｘと出席者Ｙとが共感していると推定すると、その２人が共感している対象は、出席者Ｙの発言であると判断する。この場合、出席者Ｘから出席者Ｙへの共感の方向が特定される。出力部１３は、このような共感の方向を表示部２２に表示してもよい。

このように、本実施の形態では、心拍取得部１１は、複数の人のそれぞれの同一期間における心拍情報を取得する。例えば、心拍取得部１１は、上述のように時刻ｔ１〜ｔ３の期間における出席者Ｘ、ＹおよびＺの心拍情報を取得し、時刻ｔ５〜ｔ７の期間における出席者Ｘ、ＹおよびＺの心拍情報を取得する。これにより、同一期間における複数の人の共感度を適切に推定することができる。

なお、本実施の形態における心拍取得部１１は、複数の人のそれぞれの同一期間における心拍情報を取得することなく、複数の人のそれぞれの同一対象物に対する認知結果によって生じる心拍情報を取得してもよい。つまり、心拍取得部１１は、互いに異なる期間において、複数の人のそれぞれの心拍情報を取得してもよい。この場合、複数の人のそれぞれは、その互いに異なる期間において同一対象物を認知している。例えば、その同一対象物は、動画像または静止画であってもよく、音響データであってもよい。これにより、複数の人が同一対象物を認知するタイミングが異なっていても、同一対象物に対する複数の人の共感度を適切に推定することができる。

図６は、表示部２２による表示の一例を示す図である。

例えば、出力部１３は、例えば図６の（ａ）に示すように、人Ａのセンシング情報である顔画像Ａ１と、人Ｂのセンシング情報である顔画像Ｂ１と、人Ａと人Ｂとの間の共感度を示すバーＣ１とを、表示部２２に表示する。バーＣ１は、例えば顔画像Ａ１と顔画像Ｂ１とを結び、共感度が大きいほど太く表示される。または、バーＣ１は、共感度が大きいほど短く表示される。この例では、共感度情報は、バーＣ１として表示される。なお、バーＣ１は、矢印として表示されてもよい。

また、出力部１３は、例えば図６の（ｂ）に示すように、人Ａのセンシング情報である顔画像Ａ１と、人Ｂのセンシング情報である顔画像Ｂ１とを、共感度に応じた距離だけ離して表示部２２に表示してもよい。この場合、共感度情報は、顔画像Ａ１と顔画像Ｂ１との間の距離として表示される。つまり、出力部１３は、上述の第１動画像データと共感度情報とを表示部２２に出力する。その結果、第１動画像データに映し出される複数の人のそれぞれの顔の動画像は、その共感度情報に基づいて表示部２２に表示される。また、その共感度情報は、表示部２２に表示されるその複数の人のそれぞれの動画像間の距離によって示される。これにより、複数の人の間の共感度を簡単な表示で知らせることができる。

図７は、表示部２２による表示の他の例を示す図である。

例えば、出力部１３は、例えば図７の（ａ）に示すように、顔画像を表示することなく、人Ａと人Ｂとの間の共感度を示すバーＣ２を表示部２２に表示してもよい。つまり、共感度情報は、棒グラフとして表示される。具体的には、共感度情報は、共感度が大きいほど縦に長く伸びるバーＣ２として表示される。さらに、出力部１３は、バーＣ２だけでなく、「共感度 ８７％」などのように共感度を数値として表示部２２に表示してもよい。あるいは、出力部１３は、バーＣ２を表示することなく、共感度を示す数値のみを共感度情報として表示部２２に表示してもよい。

また、出力部１３は、例えば図７の（ｂ）に示すように、さらに、人Ａのセンシング情報である顔画像Ａ１と、人Ｂのセンシング情報である顔画像Ｂ１と、人Ａの心拍変化を示すバーＤ１と、人Ｂの心拍変化を示すバーＤ２とを、表示部２２に表示してもよい。心拍変化は、例えば、人の安静時における心拍情報と、その人の現在の心拍情報との差分を、現在の心拍情報で除算することによって得られる数値であってもよい。

なお、共感度情報は、図６および図７に示す形態に限らず、任意の形態で表示されてもよい。例えば、出力部１３は、棒グラフに限らず円グラフなどのグラフで共感度情報を表示してもよい。また、上述の例では、共感度情報によって示される共感度が、誰と誰の共感度かが分かるように、その共感度に対応する人の顔画像が表示される。その顔画像は、動画像であってもよく、写真などの静止画像であってもよい。また、出力部１３は、その共感度に対応する人のイラスト、名前、またはイニシャルを表示部２２に表示してもよい。

図８は、情報処理システム１０の他の適用例を示す図である。

情報処理システム１０は、スマートフォンなどのモバイル端末２３ｂを用いたコミュニケーションシステムに適用されてもよい。例えば、モバイル端末２３ｂには、テレビ電話の会話アプリケーションソフトウェア、または、男女ペアのマッチングアプリケーションソフトウェアがインストールされて実行される。

人Ａおよび人Ｂのそれぞれは、モバイル端末２３ｂを操作することによってコミュニケーションシステムを利用する。モバイル端末２３ｂには、カメラとして構成されているセンサ２１と、表示部２２とが備えられている。そして、人Ａおよび人Ｂは、それらのモバイル端末２３ｂを用いて互いにコミュニケーションを行う。

人Ａのセンサ２１は、その人Ａの顔を撮影し、その人Ａの顔画像をセンシング情報として情報処理システム１０に送信する。人Ｂのセンサ２１も、同様に、その人Ｂの顔を撮影し、その人Ｂの顔画像をセンシング情報として情報処理システム１０に送信する。

情報処理システム１０の心拍取得部１１は、人Ａのセンサ２１から送信されるセンシング情報を用いて人Ａの心拍情報を取得し、人Ｂのセンサ２１から送信されるセンシング情報を用いて人Ｂの心拍情報を取得する。そして、共感処理部１２は、それらの心拍情報の相関係数を算出し、その相関係数に応じた共感度を導出する。

出力部１３は、その共感度を示す共感度情報を、人Ａおよび人Ｂのそれぞれのモバイル端末２３ｂに送信する。さらに、出力部１３は、人Ａの心拍変化と顔画像Ａ１とを、人Ｂのモバイル端末２３ｂに送信し、人Ｂの心拍変化と顔画像とを、人Ａのモバイル端末２３ｂに送信する。これにより、人Ｂのモバイル端末２３ｂの表示部２２には、図８に示すように、人Ａの顔画像Ａ１と、人Ａの心拍変化を示すバーＤ１と、人Ａと人Ｂとの間の共感度を示すバーＣ２とが表示される。同様に、人Ａのモバイル端末２３ｂの表示部２２には、人Ｂの顔画像と、人Ｂの心拍変化を示すバーと、人Ａと人Ｂとの間の共感度を示すバーとが表示される。これらの共感度を示すバーは、共感度情報として表示される。

これにより、人Ａは、人Ｂと共感しているか否かを把握することができ、人Ｂは、人Ａと共感しているか否かを把握することができる。例えば、人Ａと人Ｂは、互に相手の顔画像を見て、互にモバイル端末２３ｂを用いた会話を行うことによって、相手が自分に共感してくれているかを、２人の心拍情報から得られて表示部２２に表示されている共感度情報によって知ることができる。したがって、このコミュニケーションシステムが２人以上の複数人で利用される場合には、その複数人の中から自分に好意を持っている人を見つけ出すことができる。

なお、出力部１３は、人Ａおよび人Ｂのそれぞれのモバイル端末２３ｂに共感度情報を送信することなく、何れか一方のモバイル端末２３ｂのみにその共感度情報を送信してもよい。この場合には、人Ａおよび人Ｂのうちの何れか一方のモバイル端末２３ｂの表示部２２のみに、共感度情報が表示される。

図９は、本実施の形態における情報処理システム１０の処理動作を示すフローチャートである。

まず、情報処理システム１０の心拍取得部１１は、複数のセンサ２１から、複数の人のそれぞれのセンシング情報を取得する（ステップＳ１）。そして、心拍取得部１１は、そのセンシング情報から、心拍数、ＲＲＩ、または心拍揺らぎを示す心拍情報を取得する（ステップＳ２）。これにより、複数の人のそれぞれの心拍情報が取得される。

次に、共感処理部１２は、その複数の人のそれぞれの心拍情報の変化に基づく相関係数を算出し（ステップＳ３）、その相関係数から共感度を導出する（ステップＳ４）。

そして、出力部１３は、その導出された共感度を示す共感度情報を、例えば表示部２２に出力することによって、その共感度情報を表示部２２に表示する（ステップＳ５）。

図１０は、情報処理システム１０の多種多様な適用例を示す図である。

例えば、図１０の（ａ）に示すように、情報処理システム１０は、医療におけるカウンセリングに用いられてもよい。セラピストおよび患者は、例えば、それぞれカメラとして構成されたセンサ２１を備えるノートパソコン２３ａを利用する。情報処理システム１０は、それらのセンサ２１から、セラピストおよび患者のセンシング情報を取得して、セラピストおよび患者の共感度を導出する。そして、情報処理システム１０は、その共感度を示す共感度情報を、セラピストおよび患者のそれぞれのノートパソコン２３ａの表示部２２に表示する。なお、情報処理システム１０は、セラピストのノートパソコン２３ａの表示部２２にのみ、その共感度情報を表示してもよい。これにより、セラピストは、その共感度情報によって示される共感度を参考にすることによって、患者に対するカウンセリングを効率的に行うことができる。また、患者も、その共感度を参考にすることによって、セラピストの対応を評価することができる。なお、セラピストは、医師であってもよい。

また、図１０の（ｃ）に示すように、情報処理システム１０は、医療に関わらず一般的なカウンセリングに用いられてもよい。情報処理システム１０は、上述と同様、カウンセラーおよびクライアントのセンシング情報を取得して、カウンセラーおよびクライアントの共感度を導出する。そして、情報処理システム１０は、その共感度を示す共感度情報を、カウンセラーおよびクライアントのそれぞれのノートパソコン２３ａの表示部２２に表示する。

また、図１０の（ｂ）に示すように、情報処理システム１０は、遠隔医療に用いられてもよい。医師と患者は地理的に互いに離れた場所にいる。医師は、病院などの医療施設にいて、例えば、図３に示す例と同様、カメラとして構成されたセンサ２１と、表示部２２と、パーソナルコンピュータ２３とを用いる。患者は、自宅にいて、医師と同様に、センサ２１と、表示部２２と、パーソナルコンピュータ２３とを用いる。情報処理システム１０は、それらのセンサ２１から、医師および患者のセンシング情報を取得して、医師および患者の共感度を導出する。そして、情報処理システム１０は、その共感度を示す共感度情報を、医師および患者のそれぞれの表示部２２に表示する。情報処理システム１０は、医師のノートパソコン２３ａの表示部２２にのみ、その共感度を表示してもよい。これにより、医師は、その共感度情報によって示される共感度を参考にすることによって、患者から遠く離れていても、その患者に対するカウンセリングを効率的に行うことができる。また、患者も、その共感度を参考にすることによって、医師から遠く離れていても、その医師の対応を評価することができる。

以上のように、本実施の形態における情報処理システム１０は、複数の人のそれぞれの心拍に関する心拍情報を取得し、その複数の人のそれぞれの心拍情報の変化の相関に基づいて、複数の人の間における共感度を導出する。そして、情報処理システム１０は、その導出された共感度を示す共感度情報を出力する。これにより、複数の人の間に生じる感情的な相互作用である共感度を適切に推定することができる。

また、本実施の形態における情報処理システム１０は、心拍情報の変化の相関に基づいて共感度を導出するが、その心拍情報の変化の相関だけでなく、複数の人のそれぞれの表情にも基づいて共感度を導出してもよい。つまり、共感処理部１２は、上述の第１動画像データに対する画像認識によって、複数の人のそれぞれの表情を特定する。そして、共感処理部１２は、その複数の人のそれぞれの心拍情報の変化の相関と、その複数の人のそれぞれの特定された表情とに基づいて、その複数の人の間における共感度を導出する。なお、第１動画像データは、少なくとも１つのセンサ２１が複数の人を撮影することによって生成される、その複数の人のそれぞれの顔が映し出されたデータである。この第１動画像データには、複数のセンサ２１のそれぞれの撮影によって生成された第２動画像データが含まれてもよい。

例えば、上述のように、複数のセンサ２１がカメラとして構成されている場合、情報処理システム１０は、複数の人のそれぞれについて、その人の顔が映し出されたセンシング情報である第２動画像データを取得する。共感処理部１２は、その第２動画像データに対する画像認識を行うことによって、その第２動画像データに映し出されている人の顔の表情を特定する。または、共感処理部１２は、機械学習済みの学習モデルにその第２動画像データを入力することによって、その第２動画像データに映し出されている人の顔の表情を特定する。例えば、共感処理部１２は、喜んでいる表情、怒っている表情、悲しんでいる表情、および、楽しんでいる表情のうちの何れかの表情を特定する。または、共感処理部１２は、これらの４つの表情のそれぞれを数値として特定してもよい。この場合、人の表情は、４つの数値からなるベクトルとして表現される。これにより、複数の人の表情が特定される。そして、共感処理部１２は、複数の人の表情の類似度を導出する。類似度は、０〜１の数値として導出されてもよい。共感処理部１２は、例えば、その類似度と相関係数との平均値に１００を乗ずることによって、複数の人の間の共感度を導出してもよい。

このように、心拍情報の変化の相関だけでなく、表情にも基づいて、共感度が導出されるため、その共感度の推定精度を向上することができる。また、複数の人の表情は、心拍情報の取得に用いられたセンサ２１のセンシング情報から特定される。つまり、それらの表情は、カメラの動画像データから特定される。したがって、それらの表情の特定のための専用の装置を省くことができる。したがって、全体のシステム構成を簡単にすることができる。

また、上述の例では、第２動画像データから表情が特定されたが、音声データから表情が特定されてもよい。この場合には、共感処理部１２は、マイクから出力される音声データを取得し、その音声データを解析することによって複数の人のそれぞれの表情を特定する。その解析には、機械学習が用いられてもよい。

また、共感度の導出には、表情の代わりに、あるいは、表情と共に、心理状態が反映された他の生理データが用いられてもよい。他の生理データは、人の動きの加速度、顔の温度、または、手の発汗量などを示すデータであってもよい。顔の温度は、熱電対によって計測されてもよく、赤外線サーモグラフィによって計測されてもよい。また、発汗量は、手に付けられた電極によって計測されてもよい。これにより、共感度の推定精度をより向上することができる。

また、本実施の形態における情報処理システム１０の心拍取得部１１は、心拍数、ＲＲＩまたは心拍揺らぎを示す心拍情報を取得する。しかし、その心拍情報は、心拍数および心拍揺らぎのうちの少なくとも１つを示してもよい。または、心拍取得部１１は、心拍数、ＲＲＩおよび心拍揺らぎのうちの少なくとも２つを示す心拍情報を取得してもよい。この場合、共感処理部１２は、例えば、心拍数の相関係数と、ＲＲＩの相関係数と、心拍揺らぎの相関係数とのうちの少なくとも２つの平均値を算出し、その平均値から共感度を導出してもよい。これにより、共感度の推定精度を向上することができる。

また、本実施の形態における情報処理システム１０の共感処理部１２は、複数の人のそれぞれの心拍情報の相関係数に基づいて共感度を導出するが、その相関係数を算出することなく、心拍情報の変化の相関に基づいて共感度を導出してもよい。例えば、共感処理部１２は、複数の人のそれぞれの心拍情報の変化のタイミングの一致度に基づいて、その複数の人の共感度を導出してもよい。そのタイミングは、例えば、心拍数などの上昇または下降のタイミングである。また、共感処理部１２は、複数の人のそれぞれの心拍数が基準値よりも高い期間の一致度に基づいて、その複数の人の共感度を導出してもよい。その基準値は、人それぞれに設定された心拍数の値であって、例えば人が安静状態にある期間におけるその人の心拍数の平均値である。

（実施の形態２）
本実施の形態における情報処理システム１０は、複数の人のそれぞれのストレスの要因を判定し、それらの要因に基づいて、複数の人の間における共感度を導出する。例えば、本実施の形態における心拍情報は、ＲＲＩとＣｖＲＲと示す。そして、ＲＲＩの変化を示すＲＲＩ変化量と、ＣｖＲＲの変化を示すＣｖＲＲ変化量とが用いられる。情報処理システムは、複数の人のそれぞれについて、その人のＲＲＩ変化量およびＣｖＲＲ変化量に基づいて、その人のストレスの要因を判定する。そして、情報処理システム１０は、複数の人のそれぞれのストレスの要因が共通していれば、そのストレスの要因に相関があるため、その複数の人が共感していると推定する。一方、情報処理システムは、複数の人のそれぞれのストレスの要因が共通していなければ、そのストレスの要因に相関がないため、その複数の人は共感していないと推定する。

図１１は、実験によって得られたグラフであって、ＲＲＩ変化量およびＣｖＲＲ変化量とストレスの要因との関係を図である。なお、図１１のグラフの横軸は、ＲＲＩ変化量（％）を示し、その縦軸は、ＣｖＲＲ変化量（％）を示す。

人のＲＲＩ変化量とＣｖＲＲ変化量とは、その人のストレスの要因によって異なることが、実験によって確かめられている。実験では、２０名の被験者のそれぞれに対してストレスの要因が異なる３種類のタスクが与えられ、タスクを実行している被験者のＲＲＩおよびＣｖＲＲが測定された。３種類のタスクは、対人に関するストレスを受けるタスクと、痛みに関するストレスを受けるタスクと、思考疲労に関するストレスを受けるタスクである。

ＲＲＩ変化量（％）は、「ＲＲＩ変化量＝｛（タスク実行中のＲＲＩの平均値）−（安静時のＲＲＩの平均値）｝／（安静時のＲＲＩの平均値）×１００・・・（式１）」によって算出された。なお、安静時のＲＲＩは、被験者がタスクを実施する前に、そのタスクを実行する姿勢と同じ姿勢で、５分間測定されたＲＲＩである。そして、安静時のＲＲＩの平均値は、その測定開始６０秒後から２４０秒間のＲＲＩの平均値である。タスク実行中のＲＲＩの平均値は、被験者がタスクを実行している間に測定されたＲＲＩのうち、測定開始６０秒後から２４０秒間のＲＲＩの平均値である。

ＣｖＲＲ変化量（％）は、「ＣｖＲＲ変化量＝｛（タスク実行中のＣｖＲＲの平均値）−（安静時のＣｖＲＲの平均値）｝／（安静時のＣｖＲＲの平均値）×１００・・・（式２）」によって算出された。なお、安静時のＣｖＲＲは、被験者がタスクを実施する前に、そのタスクを実行する姿勢と同じ姿勢で、５分間測定されたＣｖＲＲである。そして、安静時のＣｖＲＲの平均値は、その測定開始６０秒後から２４０秒間のＣｖＲＲの平均値である。タスク実行中のＣｖＲＲの平均値は、被験者がタスクを実行している間に測定されたＣｖＲＲのうち、測定開始６０秒後から２４０秒間のＣｖＲＲの平均値である。

図１１のグラフは、タスクの種類ごと、すなわちストレスの要因ごとの、その２０名の被験者のそれぞれのＲＲＩ変化量の平均値およびＣｖＲＲ変化量の平均値を示す。グラフ中の〇印は、ストレスの要因が「対人」である場合における、２０名のＲＲＩ変化量の平均値およびＣｖＲＲ変化量の平均値を示す。また、グラフ中の△印は、ストレスの要因が「痛み」である場合における、２０名のＲＲＩ変化量の平均値およびＣｖＲＲ変化量の平均値を示す。また、グラフ中の×印は、ストレスの要因が「思考疲労」である場合における、２０名のＲＲＩ変化量の平均値およびＣｖＲＲ変化量の平均値を示す。

したがって、本実施の形態における情報処理システム１０は、図１１に示すＲＲＩ変化量およびＣｖＲＲ変化量とストレスの要因との関係を用いて、複数の人のそれぞれのストレスの要因を判定する。なお、本実施の形態における情報処理システム１０は、実施の形態１と同様、図１に示す構成を有する。また、センサ２１も、実施の形態１と同様、カメラとして構成されていてもよく、ウェアラブルデバイスとして構成されていてもよい。本実施の形態における情報処理システム１０の心拍取得部１１は、複数のセンサ２１のそれぞれからセンシング情報を取得し、それらのセンシング情報から、複数の人のそれぞれについて、その人のＲＲＩおよびＣｖＲＲを示す心拍情報を取得する。

図１２は、共感処理部１２によるストレスの要因の判定方法を説明するための図である。

情報処理システム１０の共感処理部１２は、上述の（式１）および（式２）を用いて、複数の人のそれぞれのＲＲＩ変化量およびＣｖＲＲ変化量を算出する。なお、（式１）および（式２）におけるタスクは、どのようなタスクであってもよい。そして、共感処理部１２は、図１２に示すように、それらの変化量に基づいて、ストレスの要因を判定する。

例えば、共感処理部１２は、人のＲＲＩが安静時から大きく低下し、かつ、その人のＣｖＲＲが安静時から大きく上昇した場合、その人のストレスの要因は「対人」であると判定する。また、共感処理部１２は、人のＲＲＩが安静時から少し上昇し、かつ、その人のＣｖＲＲが安静時から殆ど変化しなかった場合、その人のストレスの要因は「痛み」であると判定する。また、共感処理部１２は、人のＲＲＩが安静時から殆ど変化せず、かつ、その人のＣｖＲＲが安静時から大きく低下した場合、その人のストレスの要因は「思考疲労」であると判定する。

具体的には、ＲＲＩ変化量に対して正の第１閾値および負の第２閾値が設定され、ＣｖＲＲ変化量に対して正の第３閾値および負の第４閾値が設定される。この場合、共感処理部１２は、人のＲＲＩ変化量が負の第２閾値よりも低く、かつ、その人のＣｖＲＲ変化量が正の第３閾値以上の場合、その人のストレスの要因は「対人」であると判定する。

また、共感処理部１２は、人のＲＲＩ変化量が正の第１閾値以上であり、かつ、その人のＣｖＲＲ変化量が正の第３閾値よりも低く、負の第４閾値以上である場合、その人のストレスの要因は「痛み」であると判定する。

また、共感処理部１２は、人のＲＲＩ変化量が正の第１閾値よりも低く、負の第２閾値以上であって、かつ、その人のＣｖＲＲ変化量が負の第４閾値よりも低い場合、その人のストレスの要因は「思考疲労」であると判定する。

図１３は、複数の人のそれぞれのストレスの要因から共感度が導出される一例を示す図である。

情報処理システム１０は、例えば、人Ａ、ＢおよびＣのそれぞれの心拍情報に基づいて、それらの人のストレスの要因を判定する。具体的には、情報処理システム１０は、人Ａに対して、時刻ｔ１１〜ｔ１４におけるストレスの要因が「対人」であると判定し、時刻ｔ１５〜ｔ１７におけるストレスの要因が「思考疲労」であると判定する。また、情報処理システム１０は、人Ｂに対して、時刻ｔ１６〜ｔ１８におけるストレスの要因が「思考疲労」であると判定する。さらに、情報処理システム１０は、人Ｃに対して、時刻ｔ１２〜ｔ１３におけるストレスの要因が「対人」であると判定する。

このような場合、情報処理システム１０の共感処理部１２は、時刻ｔ１２〜ｔ１３の期間では、人Ａと人Ｃのそれぞれのストレスの要因が一致しているため、その期間において人Ａと人Ｃとは共感していると推定する。つまり、共感処理部１２は、時刻ｔ１２〜ｔ１３における人Ａと人Ｃとの間の共感度として例えば「１」を導出する。同様に、共感処理部１２は、時刻ｔ１６〜ｔ１７の期間では、人Ａと人Ｂのそれぞれのストレスの要因が一致しているため、その期間において人Ａと人Ｂとは共感していると推定する。つまり、共感処理部１２は、時刻ｔ１６〜ｔ１７における人Ａと人Ｂとの間の共感度として例えば「１」を導出する。なお、共感処理部１２は、人Ａ、人Ｂおよび人Ｃの３人の共感度を導出してもよい。例えば、共感処理部１２は、期間ごとに、その期間における人Ａと人Ｂとの間の共感度と、その期間における人Ａと人Ｃとの間の共感度と、その期間における人Ｂと人Ｃとの間の共感度との平均値を、３人の共感度として導出する。

出力部１３は、このように導出された共感度を示す共感度情報を、表示部２２に表示する。このとき、出力部１３は、３人のうちの何れの２人が共感しているかを表示部２２に表示してもよい。出力部１３は、人Ａ、ＢおよびＣの３人のストレスの要因が一致する期間があれば、その期間における３人の共感度が「１」であること、すなわち、その期間において３人が共感していることを、表示部２２に表示してもよい。

なお、出力部１３は、複数の人のうちの何れの２人が共感しているかを表示部２２に表示するときには、その２人で一致しているストレスの要因も表示部２２に表示してもよい。例えば、出力部１３は、情報処理システム１０の適用先に応じて、そのストレスの要因の表示内容を変更してもよい。例えば、情報処理システム１０が、図８の例のように、男女ペアのマッチングなどに適用される場合、出力部１３は、ストレスの要因が「対人」であっても、「対人」とは異なる表示内容を表示部２２に表示する。つまり、男女ペアのマッチングにおける「対人」に起因するストレスは、２人が互いに好意を持ったときに生じると考えられる。したがって、出力部１３は、そのストレスの要因の表示内容を、「対人」から、例えば「ときめき」、「相性」または「ポジティブ」に変更して表示部２２に表示してもよい。

以上のように、本実施の形態における情報処理システム１０は、複数の人のそれぞれのＲＲＩ変化量およびＣｖＲＲ変化量を算出し、それらの変化量から判定されるストレスの要因の相関に基づいて、複数の人の間における共感度を導出する。つまり、本実施の形態であっても、複数の人のそれぞれの心拍情報の変化の相関に基づいて、その複数の人の間における共感度が導出される。したがって、本実施の形態でも、複数の人の間に生じる感情的な相互作用である共感度を適切に推定することができる。

（実施の形態３）
実施の形態１および２では、情報処理システム１０は、心拍情報を用いて共感度を導出する。本実施の形態では、心拍情報だけでなく、複数の人のそれぞれの心拍以外の生理データであるＳＣ情報も用いて共感度が導出される。ＳＣ情報は、人の指先の皮膚コンダクタンス（Ｓｋｉｎ Ｃｏｎｄｕｃｔａｎｃｅ）を示す情報である。なお、皮膚コンダクタンスは、以下、ＳＣとも呼ばれる。

図１４は、本実施の形態における情報処理システムの構成を示すブロック図である。

本実施の形態における情報処理システム１０ａは、心拍情報とＳＣ情報とに基づいて、複数の人の間の共感度を推定する装置である。このような本実施の形態における情報処理システム１０ａは、心拍取得部１１ａと、ＳＣ取得部１１ｂと、共感処理部１２ａと、出力部１３とを備える。

心拍取得部１１ａは、実施の形態１および２と同様、人の心拍に関する情報を心拍情報として取得する。具体的には、心拍取得部１１は、複数の第１センサ２１ａから、複数の人のそれぞれの第１センシング情報を取得し、その第１センシング情報を解析することによって、その第１センシング情報からその人の心拍情報を取得する。第１センサ２１ａは、上記実施の形態１および２のセンサ２１と同様、人を撮影することによって、その人の顔画像を第１センシング情報として生成するカメラである。なお、第１センサ２１ａは、カメラに限らず、心電または脈波を計測するウェアラブルデバイスであってもよい。本実施の形態における心拍取得部１１ａは、その複数の人のそれぞれの第１センシング情報から、その人のＲＲＩおよびＣｖＲＲを示す心拍情報を取得する。

ＳＣ取得部１１ｂは、人のＳＣ情報を取得する。具体的には、ＳＣ取得部１１ｂは、複数の第２センサ２１ｂから、複数の人のそれぞれの第２センシング情報を取得し、その第２センシング情報を解析することによって、その第２センシング情報からその人のＳＣ情報を取得する。第２センサ２１ｂは、例えば、一対の検出電極を備えるセンサであって、人の指先に巻き付けられ、その指先の皮膚の電位を示す情報を第２センシング情報として出力する。本実施の形態におけるＳＣ取得部１１ｂは、その複数の人のそれぞれの第２センシング情報を解析することによって、その人の皮膚コンダクタンスを示すＳＣ情報を取得する。

共感処理部１２ａは、上記実施の形態２と同様、心拍取得部１１ａによって取得された心拍情報に基づいて、人のＲＲＩ変化量およびＣｖＲＲ変化量を算出する。さらに、本実施の形態における共感処理部１２ａは、ＳＣ取得部１１ｂによって取得されたＳＣ情報に基づいて、人の皮膚コンダクタンス変化量を算出する。なお、皮膚コンダクタンス変化量は、以下、ＳＣ変化量とも呼ばれる。

具体的には、共感処理部１２ａは、「ＳＣ変化量＝｛（タスク実行中のＳＣの平均値）−（安静時のＳＣの平均値）｝／（安静時のＳＣの平均値）×１００・・・（式３）」によって、ＳＣ変化量を算出する。なお、安静時のＳＣは、人がタスクを実施する前に、そのタスクを実行する姿勢と同じ姿勢で、例えば５分間測定されたＳＣである。そして、安静時のＳＣの平均値は、例えば、その測定開始６０秒後から２４０秒間のＳＣの平均値である。タスク実行中のＳＣの平均値は、人がタスクを実行している間に測定されたＳＣのうち、例えば、測定開始６０秒後における２４０秒間のＳＣの平均値である。また、（式３）におけるタスクは、どのようなタスクであってもよい。

そして、共感処理部１２ａは、ＲＲＩ変化量、ＣｖＲＲ変化量およびＳＣ変化量に基づいて、ストレスの要因を判定する。さらに、共感処理部１２ａは、複数の人のそれぞれのストレスの要因に基づいて、その複数の人の間の共感度を導出する。

出力部１３は、上記実施の形態１および２と同様、共感処理部１２ａによって導出された共感度を示す共感度情報を出力する。

図１５は、共感処理部１２ａによるストレスの要因の判定方法を説明するための図である。

例えば、共感処理部１２ａは、人のＲＲＩが安静時から低下し、その人のＣｖＲＲが安静時から上昇し、さらに、その人のＳＣが安静時から上昇した場合、その人のストレスの要因は「対人」であると判定する。また、共感処理部１２ａは、人のＲＲＩが安静時から上昇し、その人のＣｖＲＲが安静時から殆ど変化せず、さらに、その人のＳＣが安静時から上昇した場合、その人のストレスの要因は「痛み」であると判定する。また、共感処理部１２ａは、人のＲＲＩが安静時から殆ど変化せず、その人のＣｖＲＲが安静時から低下し、さらに、その人のＳＣが安静時から殆ど変化しなかった場合、その人のストレスの要因は「思考疲労」であると判定する。

具体的には、ＲＲＩ変化量に対して正の第１閾値および負の第２閾値が設定され、ＣｖＲＲ変化量に対して正の第３閾値および負の第４閾値が設定され、ＳＣ変化量に対して正の第５閾値および負の第６閾値が設定される。この場合、共感処理部１２ａは、（ａ）人のＲＲＩ変化量が負の第２閾値よりも低く、（ｂ）その人のＣｖＲＲ変化量が正の第３閾値以上であり、（ｃ）その人のＳＣ変化量が正の第５閾値以上である場合、その人のストレスの要因は「対人」であると判定する。

また、共感処理部１２ａは、（ａ）人のＲＲＩ変化量が正の第１閾値以上であり、（ｂ）その人のＣｖＲＲ変化量が正の第３閾値よりも低く、負の第４閾値以上であり、（ｃ）その人のＳＣ変化量が正の第５閾値以上である場合、その人のストレスの要因は「痛み」であると判定する。

また、共感処理部１２ａは、（ａ）人のＲＲＩ変化量が正の第１閾値よりも低く、負の第２閾値以上であって、（ｂ）その人のＣｖＲＲ変化量が負の第４閾値よりも低く、（ｃ）その人のＳＣ変化量が正の第５閾値よりも低く、負の第６閾値以上である場合、その人のストレスの要因は「思考疲労」であると判定する。

図１６は、本実施の形態における情報処理システム１０ａの処理動作を示すフローチャートである。

まず、情報処理システム１０ａの心拍取得部１１ａは、複数の第１センサ２１ａから、複数の人のそれぞれの第１センシング情報を取得する（ステップＳ１）。そして、心拍取得部１１ａは、第１センシング情報から、ＲＲＩおよびＣｖＲＲを示す心拍情報を取得する（ステップＳ２）。これにより、複数の人のそれぞれの心拍情報が取得される。

次に、ＳＣ取得部１１ｂは、複数の第２センサ２１ｂから、複数の人のそれぞれの第２センシング情報を取得する（ステップＳ１ａ）。そして、ＳＣ取得部１１ｂは、第２センシング情報から、皮膚コンダクタンスを示すＳＣ情報を取得する（ステップＳ２ａ）。これにより、複数の人のそれぞれのＳＣ情報が取得される。

次に、共感処理部１２ａは、その複数の人のそれぞれのＲＲＩ変化量、ＣｖＲＲ変化量、およびＳＣ変化量を算出し、それらの変化量に基づいて、その複数の人のそれぞれのストレスの要因を判定する（ステップＳ３ａ）。さらに、共感処理部１２ａは、その複数の人のそれぞれのストレスの要因の相関、すなわち同一の要因が共起しているか否かに基づいて、複数の人の間における共感度を導出する（ステップＳ４ａ）。

そして、出力部１３は、その導出された共感度を示す共感度情報を、例えば表示部２２に出力することによって、その共感度情報を表示部２２に表示する（ステップＳ５）。

以上のように、本実施の形態における情報処理システム１０ａは、複数の人のそれぞれのＲＲＩ変化量、ＣｖＲＲ変化量およびＳＣ変化量を算出し、それらの変化量から判定されるストレスの要因の相関に基づいて、複数の人の間における共感度を導出する。つまり、本実施の形態であっても、複数の人のそれぞれの心拍情報の変化の相関に基づいて、その複数の人の間における共感度が導出される。したがって、本実施の形態でも、複数の人の間に生じる感情的な相互作用である共感度を適切に推定することができる。また、本実施の形態では、実施の形態２と比べて、ＳＣ変化量もストレスの要因の判定に用いられるため、そのストレスの要因の判定精度を向上することができる。その結果、共感度の推定精度を向上することができる。

なお、本実施の形態における情報処理システム１０ａは、人の皮膚コンダクタンスを取得するＳＣ取得部１１ｂを備えるが、ＳＣ取得部１１ｂの代わりに、人の皮膚温度を取得する構成要素を備えてもよい。この場合、第２センサ２１ｂは、例えば熱電対である。また、共感処理部１２ａは、ＳＣ変化量の代わりに、皮膚温度変化量を算出する。具体的には、共感処理部１２ａは、「皮膚温度変化量＝｛（タスク実行中の皮膚温度の平均値）−（安静時の皮膚温度の平均値）｝／（安静時の皮膚温度の平均値）×１００・・・（式４）」によって、皮膚温度変化量を算出する。なお、安静時の皮膚温度は、人がタスクを実施する前に、そのタスクを実行する姿勢と同じ姿勢で、例えば５分間測定された皮膚温度である。そして、安静時の皮膚温度の平均値は、例えば、その測定開始６０秒後から２４０秒間の皮膚温度の平均値である。タスク実行中の皮膚温度の平均値は、人がタスクを実行している間に測定された皮膚温度のうち、例えば、測定開始６０秒後における２４０秒間の皮膚温度の平均値である。また、（式４）におけるタスクは、どのようなタスクであってもよい。共感処理部１２ａは、このような皮膚温度変化量をＳＣ変化量の代わりに用いて、ストレスの要因を判定する。

以上、本開示の１つまたは複数の態様に係る情報処理システムについて、上記実施の形態１〜３に基づいて説明したが、本開示は、それらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態１〜３に施したものも本開示に含まれてもよい。また、上記実施の形態１〜３のそれぞれの構成要素を組み合わせて構築される形態も本開示に含まれてもよい。

例えば、上記実施の形態１では、相関係数から共感度を導出し、実施の形態２および３では、ストレスの要因から共感度を導出する。そこで、相関係数から導出される共感度と、ストレスの要因から導出される共感度との平均値を算出し、その平均値を示す共感度情報を、最終的な共感度情報として表示部２２に表示してもよい。さらに、心拍情報以外の他の生理データも用いて共感度を導出してもよい。他の生理データは、上述のように、表情、人の動きの加速度、顔の温度、または、手の発汗量などを示すデータであってもよい。

また、上記実施の形態１における心拍情報が心拍揺らぎを示す場合、その心拍揺らぎは、交感神経活動量を示すと考えられるＬＦ／ＨＦであってもよい。

また、上記実施の形態２および３における、ＲＲＩ変化量、ＣｖＲＲ変化量、ＳＣ変化量、および皮膚温度変化量は、（式１）〜（式４）に示すように、比として表されるが、差として表されてもよい。

また、上記実施の形態１および２では、カメラであるセンサ２１と、表示部２２と、パーソナルコンピュータ２３とを含むセット、そのセンサ２１と表示部２２とを含むノートパソコン２３ａ、または、そのセンサ２１と表示部２２とを含むモバイル端末２３ｂが用いられる。しかし、そのセット、ノートパソコン２３ａ、またはモバイル端末２３ｂの代わりに、センサ２１と表示部２２とを含むタブレット端末が用いられてもよい。

また、上記実施の形態１〜３では、情報処理システム１０または１０ａは、共感度情報を表示部２２に出力するが、他の機器に出力してもよい。他の機器は、スピーカであってもよい。この場合、その共感度情報がスピーカから音声で報知される。

なお、上記実施の形態１〜３において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Central Processing Unit）またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態１〜３の情報処理システム１０または１０ａなどを実現するソフトウェアは、図９および図１６に示すフローチャートの各ステップをコンピュータに実行させるプログラムである。

また、上記実施の形態１〜３における情報処理システムは、以下のシステムであるとも言える。つまり、情報処理システムは、複数の人のそれぞれの心拍に関する心拍情報を取得するセンサと、その複数の人のそれぞれの心拍情報の変化の相関に基づいて、その複数の人の間における共感度を示す共感度情報を生成し出力する処理回路とを備える。センサは、図１に示す少なくとも１つのセンサ２１、または図１４に示す少なくとも１つの第１センサ２１ａから構成されていてもよい。あるいは、センサは、図１に示す少なくとも１つのセンサ２１と心拍取得部１１とから構成されていてもよく、図１４に示す少なくとも１つの第１センサ２１ａと心拍取得部１１ａとから構成されていてもよい。また、処理回路は、図１に示す共感処理部１２および出力部１３、または、図１４に示す共感処理部１２ａおよび出力部１３から構成されている。なお、処理回路は、例えばＣＰＵまたはプロセッサなどである。

なお、以下のような場合も本開示に含まれる。

（１）上記の少なくとも１つの装置は、具体的には、マイクロプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。そのＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、上記の少なくとも１つの装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の少なくとも１つの装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の少なくとも１つの装置を構成する構成要素の一部または全部は、その装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。

また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

本開示は、例えば複数人のコミュニケーションに用いられるコミュニケーションシステムなどに利用可能である。

１０、１０ａ 情報処理システム
１１、１１ａ 心拍取得部
１１ｂ ＳＣ取得部
１２、１２ａ 共感処理部
１３ 出力部
２１ センサ
２１ａ 第１センサ
２１ｂ 第２センサ
２２ 表示部
２３ パーソナルコンピュータ
２３ａ ノート型パーソナルコンピュータ（ノートパソコン）
２３ｂ モバイル端末
２４ キーボード
Ａ、Ｂ、Ｃ 人
Ｘ、Ｙ、Ｚ 出席者

Claims (10)

1. コンピュータが行う情報処理方法であって、
   複数の人のそれぞれの心拍に関する心拍情報を取得し、
   前記複数の人のそれぞれの前記心拍情報の変化の相関に基づいて、前記複数の人の間における共感度を導出し、
   導出された前記共感度を示す共感度情報を出力する、
   情報処理方法。
2. 前記心拍情報の取得では、
   前記複数の人のそれぞれの同一期間における前記心拍情報を取得する、
   請求項１に記載の情報処理方法。
3. 前記心拍情報の取得では、
   前記複数の人のそれぞれの同一対象物に対する認知結果によって生じる前記心拍情報を取得する、
   請求項１に記載の情報処理方法。
4. 前記情報処理方法では、さらに、
   少なくとも１つの撮像装置が前記複数の人を撮影することによって生成される、前記複数の人のそれぞれの顔が映し出された第１動画像データを取得し、
   前記心拍情報の取得では、
   前記第１動画像データを解析することによって、前記複数の人のそれぞれの前記心拍情報を取得する、
   請求項１〜３の何れか１項に記載の情報処理方法。
5. 前記情報処理方法では、さらに、
   前記第１動画像データに対する画像認識によって、前記複数の人のそれぞれの表情を特定し、
   前記共感度の導出では、
   前記複数の人のそれぞれの前記心拍情報の変化の相関と、前記複数の人のそれぞれの特定された前記表情とに基づいて、前記複数の人の間における共感度を導出する、
   請求項４に記載の情報処理方法。
6. 前記第１動画像データは、複数の第２動画像データを含み、
   前記第１動画像データの取得では、
   前記複数の第２動画像データを複数の前記撮像装置からそれぞれ取得し、
   前記複数の第２動画像データのそれぞれは、前記撮像装置が撮影することによって生成される、前記複数の人のうちの１人の顔が映し出されたデータである、
   請求項４に記載の情報処理方法。
7. 前記共感度情報の出力では、
   前記第１動画像データと前記共感度情報とを表示部に出力することによって、前記第１動画像データに映し出される前記複数の人のそれぞれの顔の動画像を、前記共感度情報に基づいて前記表示部に表示し、
   前記共感度情報は、前記表示部に表示される前記複数の人のそれぞれの動画像間の距離によって示される、
   請求項４〜６の何れか１項に記載の情報処理方法。
8. 前記心拍情報は、心拍数および心拍揺らぎのうちの少なくとも１つを示す、
   請求項１〜７の何れか１項に記載の情報処理方法。
9. 複数の人のそれぞれの心拍に関する心拍情報を取得するセンサと、
   前記複数の人のそれぞれの前記心拍情報の変化の相関に基づいて、前記複数の人の間における共感度を示す共感度情報を生成し出力する処理回路と、
   を備える情報処理システム。
10. 複数の人のそれぞれの心拍に関する心拍情報を取得し、
    前記複数の人のそれぞれの前記心拍情報の変化の相関に基づいて、前記複数の人の間における共感度を導出し、
    導出された前記共感度を示す共感度情報を出力する、
    ことをコンピュータに実行させるプログラム。

Images