JP2021194476A - 情報処理方法、情報処理システムおよびプログラム - Google Patents
情報処理方法、情報処理システムおよびプログラム Download PDFInfo
- Publication number
- JP2021194476A JP2021194476A JP2020105571A JP2020105571A JP2021194476A JP 2021194476 A JP2021194476 A JP 2021194476A JP 2020105571 A JP2020105571 A JP 2020105571A JP 2020105571 A JP2020105571 A JP 2020105571A JP 2021194476 A JP2021194476 A JP 2021194476A
- Authority
- JP
- Japan
- Prior art keywords
- information
- sympathy
- people
- person
- heart rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】複数の人の間に生じる感情的な相互作用を適切に推定することができる情報処理方法を提供する。【解決手段】この情報処理方法は、コンピュータによって行われる情報処理方法であって、複数の人のそれぞれの心拍に関する心拍情報を取得し(ステップS2)、その複数の人のそれぞれの心拍情報の変化の相関に基づいて、その複数の人の間における共感度を導出し(ステップS4)、導出された共感度を示す共感度情報を出力する(ステップS5)。【選択図】図9
Description
本開示は、生理データを用いた情報処理方法などに関する。
従来、生理データを用いた情報処理方法として、撮像画像に映し出されている身体の複数の領域が同一のユーザに属するものであるか否かを、生理データである脈波を用いて判定する方法が提案されている(例えば、特許文献1参照)。この情報処理方法では、撮像画像の上記複数の領域のそれぞれから脈波を検出し、それらの脈波の相関に基づいて、その複数の領域が同一のユーザに属するものであるか否かを判定する。
しかしながら、上記特許文献1の情報処理方法では、複数の人の間に生じる感情的な相互作用まで推定することは難しいという課題がある。
そこで、本開示は、複数の人の間に生じる感情的な相互作用を適切に推定することができる情報処理方法を提供する。
本開示の一態様に係る情報処理方法は、コンピュータが行う情報処理方法であって、複数の人のそれぞれの心拍に関する心拍情報を取得し、前記複数の人のそれぞれの前記心拍情報の変化の相関に基づいて、前記複数の人の間における共感度を導出し、導出された前記共感度を示す共感度情報を出力する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
本開示の情報処理方法は、複数の人の間に生じる感情的な相互作用を適切に推定することができる。
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施の形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
(本開示の基礎となった知見)
本開示の一態様に係る情報処理方法は、コンピュータが行う情報処理方法であって、複数の人のそれぞれの心拍に関する心拍情報を取得し、前記複数の人のそれぞれの前記心拍情報の変化の相関に基づいて、前記複数の人の間における共感度を導出し、導出された前記共感度を示す共感度情報を出力する。
本開示の一態様に係る情報処理方法は、コンピュータが行う情報処理方法であって、複数の人のそれぞれの心拍に関する心拍情報を取得し、前記複数の人のそれぞれの前記心拍情報の変化の相関に基づいて、前記複数の人の間における共感度を導出し、導出された前記共感度を示す共感度情報を出力する。
これにより、複数の人の間に生じる感情的な相互作用である共感度を適切に推定することができる。
また、前記心拍情報の取得では、前記複数の人のそれぞれの同一期間における前記心拍情報を取得してもよい。
これにより、同一期間における複数の人の共感度を適切に推定することができる。
また、前記心拍情報の取得では、前記複数の人のそれぞれの同一対象物に対する認知結果によって生じる前記心拍情報を取得してもよい。
これにより、複数の人が同一対象物を認知するタイミングが異なっていても、同一対象物に対する複数の人の共感度を適切に推定することができる。
また、前記情報処理方法では、さらに、少なくとも1つの撮像装置が前記複数の人を撮影することによって生成される、前記複数の人のそれぞれの顔が映し出された第1動画像データを取得し、前記心拍情報の取得では、前記第1動画像データを解析することによって、前記複数の人のそれぞれの前記心拍情報を取得してもよい。例えば、前記第1動画像データは、複数の第2動画像データを含み、前記第1動画像データの取得では、前記複数の第2動画像データを複数の前記撮像装置からそれぞれ取得し、前記複数の第2動画像データのそれぞれは、前記撮像装置が撮影することによって生成される、前記複数の人のうちの1人の顔が映し出されたデータであってもよい。
これにより、少なくとも1つの撮像装置による撮影によって生成される第1動画像データまたは複数の第2動画像データから、複数の人のそれぞれの心拍情報が取得される。したがって、少なくとも1つの撮像装置が複数の人から離れていても、その複数の人の共感度を適切に推定することができる。また、ノート型パーソナルコンピュータまたはスマートフォンなどのモバイル端末に備えられている撮像装置によって、複数の人の共感度を簡単に推定することができる。また、1つの撮像装置が複数の人を撮影する場合には、複数の撮像装置が複数の人を撮影する場合に比べて、共感度の推定に必要とされる撮像装置の数を少なくすることができる。
また、前記情報処理方法では、さらに、前記第1動画像データに対する画像認識によって、前記複数の人のそれぞれの表情を特定し、前記共感度の導出では、前記複数の人のそれぞれの前記心拍情報の変化の相関と、前記複数の人のそれぞれの特定された前記表情とに基づいて、前記複数の人の間における共感度を導出してもよい。
これにより、心拍情報の変化の相関だけでなく、表情にも基づいて、共感度が導出されるため、その共感度の推定精度を向上することができる。また、複数の人の表情は、心拍情報の取得に用いられた撮像装置の第1動画像データから特定されるため、それらの表情の特定のための専用の装置を省くことができる。したがって、全体のシステム構成を簡単にすることができる。
また、前記共感度情報の出力では、前記第1動画像データと前記共感度情報とを表示部に出力することによって、前記第1動画像データに映し出される前記複数の人のそれぞれの顔の動画像を、前記共感度情報に基づいて前記表示部に表示し、前記共感度情報は、前記表示部に表示される前記複数の人のそれぞれの動画像間の距離によって示されてもよい。
これにより、複数の人の間の共感度を簡単な表示で知らせることができる。
また、前記心拍情報は、心拍数および心拍揺らぎのうちの少なくとも1つを示してもよい。
これにより、共感度の推定精度を向上することができる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
(実施の形態1)
図1は、本実施の形態における情報処理システムの構成を示すブロック図である。
図1は、本実施の形態における情報処理システムの構成を示すブロック図である。
本実施の形態における情報処理システム10は、複数のセンサ21によって得られた、複数の人のそれぞれのセンシング情報に基づいて、複数の人の間の共感度を推定する装置である。このような本実施の形態における情報処理システム10は、心拍取得部11と、共感処理部12と、出力部13とを備える。
心拍取得部11は、複数の人のそれぞれの心拍に関する情報を心拍情報として取得する。具体的には、心拍取得部11は、複数のセンサ21から、複数の人のそれぞれのセンシング情報を取得し、そのセンシング情報を解析することによって、そのセンシング情報からその人の心拍情報を取得する。センサ21は、例えば、人を撮影することによって、その人の顔画像をセンシング情報として生成するカメラである。その顔画像は、例えば、人の顔が映し出された動画像である。この場合、心拍取得部11は、その顔画像から、映像脈波抽出によって人のRRI、心拍数、または心拍揺らぎを示す心拍情報を取得する。つまり、心拍取得部11は、顔画像に映し出されている人の顔にある皮膚の色度の変化に基づいて、その心拍情報を取得する。なお、心拍情報によって示されるRRI、心拍数または心拍揺らぎは、1〜5分程度の期間における平均値であってもよい。
RRIは、連続する2つの心拍のR波のピークの間隔である心拍間隔(R−R intervals)である。
心拍数は、例えば1分間あたりの拍動の数であって、RRIの秒数で60秒を除算することによって算出される数である。
心拍揺らぎは、例えば、CvRR(Coefficient of Variation of R−R intervals)である。CvRRは、心拍変動の変動係数であって、例えば、「CvRR=(任意時間帯におけるRRIの標準偏差SD)/(任意時間帯におけるRRIの平均)」によって算出される。つまり、CvRRは、任意時間帯におけるRRIの標準偏差SDを、任意時間帯におけるRRIの平均値で規格化することにより算出される。
なお、心拍揺らぎは、HF(High Frequency)またはLF(Low Frequency)であってもよい。HFおよびLFは、RRIの等間隔時系列データを、高速フーリエ変換(Fast Fourier Transform:FFT)を用いて周波数解析することによって得られるパワースペクトルから算出される。HFは、0.14Hz〜0.4Hzの高周波数領域のパワースペクトルの積分値であり、副交感神経の活動量が反映されていると考えられている。また、LFは、0.04Hz〜0.14Hzの低周波数領域のパワースペクトルの積分値であり、交感神経および副交感神経の活動量が反映されていると考えられている。なお、FFTの周波数変換は、5秒間隔で行われてもよい。
ここで、本実施の形態における心拍取得部11は、複数のセンサ21からではなく、1つのセンサ21から、複数の人のそれぞれのセンシング情報を取得してもよい。この場合、カメラとして構成されているセンサ21は、複数の人の顔が映し出された動画像データを取得する。この動画像データには、複数の人のそれぞれのセンシング情報である顔画像が含まれている。心拍取得部11は、その動画像データに含まれる各顔画像を画像認識処理によって認識し、その各顔画像から心拍情報を取得する。
つまり、本実施の形態における心拍取得部11は、少なくとも1つの撮像装置が複数の人を撮影することによって生成される、複数の人のそれぞれの顔が映し出された第1動画像データを取得する。そして、心拍取得部11は、その第1動画像データを解析することによって、その複数の人のそれぞれの心拍情報を取得する。また、第1動画像データは、複数の第2動画像データを含んでいてもよい。この場合、心拍取得部11は、複数の第2動画像データを複数の撮像装置からそれぞれ取得する。その複数の第2動画像データのそれぞれは、撮像装置が撮影することによって生成される、複数の人のうちの1人の顔が映し出されたデータである。つまり、その複数の第2動画像データのそれぞれは、上述の例のように、複数のセンサ21のそれぞれによって得られたセンシング情報である。
これにより、少なくとも1つの撮像装置による撮影によって生成される第1動画像データまたは複数の第2動画像データから、複数の人のそれぞれの心拍情報が取得される。したがって、少なくとも1つの撮像装置が複数の人から離れていても、その複数の人の共感度を適切に推定することができる。また、ノート型パーソナルコンピュータまたはスマートフォンなどのモバイル端末に備えられている撮像装置によって、複数の人の共感度を簡単に推定することができる。また、1つの撮像装置が複数の人を撮影する場合には、複数の撮像装置が複数の人を撮影する場合に比べて、共感度の推定に必要とされる撮像装置の数を少なくすることができる。
なお、センサ21は、カメラに限らず、心電または脈波を計測するウェアラブルデバイスであってもよい。ウェアラブルデバイスは、フォトトランジスタおよびフォトダイオードを備え、血管中の血液量の変化を反射光または透過光により測定することによって、脈波を計測してもよい。そして、ウェアラブルデバイスは、その脈波の計測結果をセンシング情報として心拍取得部11に出力する。心拍取得部11は、このようなセンシング情報から、人のRRI、心拍数またはCvRRを示す心拍情報を取得する。
共感処理部12は、心拍取得部11によって取得された、複数の人のそれぞれの心拍情報の変化の相関に基づいて、複数の人の間における共感度を導出する。
出力部13は、共感処理部12によって導出された共感度を示す共感度情報を出力する。例えば、出力部13は、複数の人のそれぞれで用いられる表示部22にその共感度情報を出力する。したがって、複数の人は、その表示部22を見ることによって、複数の人の間における共感度を把握することができる。このような表示部22は、例えば、液晶ディスプレイ、プラズマディスプレイ、または有機EL(Electro-Luminescence)ディスプレイなどである。なお、出力部13は、1つの表示部22のみにその共感度情報を出力してもよい。
図2は、心拍取得部11で取得される2人の心拍情報の一例と、それらの心拍情報の相関を説明するための図である。具体的には、図2の(a)は、所定の期間における人Aと人Bのそれぞれの心拍数を示すグラフであり、図2の(b)は、複数の人の心拍情報の相関係数と相関の強さとの関係を示す。
心拍取得部11は、図2の(a)に示すように、人Aの心拍数と、人Bの心拍数とをそれぞれ心拍情報として取得する。なお、図2の(a)に示すグラフの横軸は、人Aの心拍数を示し、その縦軸は人Bの心拍数を示す。また、図2の(a)のグラフに含まれる1つのドットは、略同一タイミングにおける人Aおよび人Bのそれぞれの心拍数を示す。
共感処理部12は、例えば30秒〜2分間の期間ごとに、その期間における人Aと人Bとの間の心拍情報の相関関係を解析する。つまり、共感処理部12は、人Aおよび人Bのそれぞれの心拍数の時系列データから相関係数を算出する処理を周期的に行う。これにより、相関係数の時間変化が把握される。
共感処理部12は、このように算出される相関係数から、人Aと人Bとの間の共感度を導出する。例えば、共感処理部12は、人Aと人Bの相関係数の符号が正であり、かつ、相関係数が閾値よりも大きい場合には、人Aと人Bとが共感したことを示す共感度を導出する。
ここで、図2の(b)に示すように、相関係数rと相関の強さとの関係が用いられてもよい。例えば、相関係数rが0.2以下である場合には、その相関係数rは、殆ど相関がないことを示す。また、相関係数rが0.2よりも大きく0.4以下である場合には、その相関係数rは、弱い相関があることを示す。そして、相関係数rが0.4よりも大きく0.7以下である場合には、その相関係数は、相関があることを示す。
したがって、共感処理部12は、相関係数が0.4よりも大きい場合に、人Aと人Bとが共感したことを示す共感度を導出してもよい。この場合、閾値は0.4である。共感処理部12は、その閾値を用いて、0および1の2値で示される共感度を導出してもよい。つまり、共感処理部12は、相関係数が閾値よりも大きい場合に、人Aと人Bとが共感していることを示す共感度=1を導出し、相関係数が閾値以下の場合に、人Aと人Bとが共感していないことを示す共感度=0を導出する。
また、共感処理部12は、図2の(b)に示すように、相関係数の値に応じた5つのレベルのうちの何れかの1つのレベルを共感度として導出してもよい。例えば、5つのレベルのそれぞれの相関係数rは、レベル1<レベル2<レベル3<レベル4<レベル5のように設定されている。このような場合、共感処理部12は、例えば相関係数rが0.4よりも大きく0.7以下であれば、レベル3を共感度として導出する。または、共感処理部12は、相関係数に100を乗じることによって得られる値、または、相関係数を変換関数に入力することによって得られる0〜100までの数値を、共感度として導出してもよい。
図3は、情報処理システム10の適用例を示す図である。
情報処理システム10は、図3に示すように、人Aおよび人Bの2人の間の共感度を導出してもよい。
人Aおよび人Bは、例えば、それぞれの机の前の椅子に座り、互に向き合う。2人のそれぞれの机には、表示部22、センサ21、パーソナルコンピュータ23、およびキーボード24が配置されている。センサ21は、カメラとして構成され、表示部22に取り付けられている。人Aおよび人Bは、会話を行っていてもよく、2人のそれぞれの表示部22に表示される同じ動画を見ていてもよい。
情報処理システム10は、人Aに対して配置されたセンサ21と表示部22とに、その人Aに対して配置されたパーソナルコンピュータ23を介して接続されている。同様に、情報処理システム10は、人Bに対して配置されたセンサ21と表示部22とに、その人Bに対して配置されたパーソナルコンピュータ23を介して接続されている。
人Aのセンサ21は、その人Aの顔を撮影し、その人Aの顔画像をセンシング情報としてパーソナルコンピュータ23を介して情報処理システム10に送信する。人Bのセンサ21も、同様に、その人Bの顔を撮影し、その人Bの顔画像をセンシング情報としてパーソナルコンピュータ23を介して情報処理システム10に送信する。
情報処理システム10の心拍取得部11は、人Aのセンサ21から送信されるセンシング情報を用いて人Aの心拍情報を取得し、人Bのセンサ21から送信されるセンシング情報を用いて人Bの心拍情報を取得する。そして、共感処理部12は、それらの心拍情報の相関係数を算出し、その相関係数に応じた共感度を導出する。この共感度は、例えば、センサ21による撮影が行われるときに、人Aおよび人Bが会話を行っていれば、その会話に対する2人の共感度であり、人Aおよび人Bが動画を見ていれば、その動画に対する2人の共感度である。
出力部13は、その共感度を示す共感度情報を、人Aおよび人Bのそれぞれのパーソナルコンピュータ23に送信することによって、それらのパーソナルコンピュータ23に接続された表示部22に、その共感度情報を表示する。
なお、センサ21は、カメラとしてではなく、ウェアラブルデバイスとし構成されていてもよい。この場合、ウェアラブルデバイスは、人Aおよび人Bのそれぞれの例えば手首に取り付けられ、その手首から得られるセンシング情報を、パーソナルコンピュータ23を介して、または、パーソナルコンピュータ23を介さずに、情報処理システム10に送信する。
図4は、情報処理システム10の他の適用例を示す図である。
情報処理システム10は、会議に出席している複数の人の間の共感度を導出してもよい。
例えば、会議の複数の出席者のそれぞれは、例えばノート型パーソナルコンピュータ(以下、ノートパソコンという)23aを会議室に持参してテーブルの前の椅子に座る。ノートパソコン23aには、カメラとして構成されているセンサ21と、表示部22とが備えられている。そして、複数の出席者は会議を行う。
図3の例と同様に、各出席者のセンサ21は、その出席者の顔を撮影し、その出席者の顔画像をセンシング情報として情報処理システム10に送信する。情報処理システム10の心拍取得部11は、各出席者のセンサ21から送信されるセンシング情報を用いてその出席者の心拍情報を取得する。そして、共感処理部12は、それらの心拍情報の相関係数を算出し、その相関係数に応じた共感度を導出する。この共感度は、例えば、会議の発話または発言の内容に対する共感度である。また、共感処理部12は、後述のように、話者認識または画像認識によって発話者を特定してもよい。この場合には、共感処理部12は、発話者間の共感度を算出することができる。
出力部13は、その共感度を示す共感度情報を、各出席者のノートパソコン23aに送信することによって、そのノートパソコン23aの表示部22にその共感度情報を表示する。例えば、ノートパソコン23aの表示部22には、そのノートパソコン23aの所有者である出席者と、他の各出席者との間の共感度を示す共感度情報が表示される。また、出力部13は、それらの共感度の例えば平均値を示す共感度情報を表示してもよい。この平均値は、会議全体のその所有者に対する共感度を示していると言える。
また、出力部13は、各出席者のノートパソコン23aの表示部22に共感度情報を表示することなく、その会議の議長が所持するノートパソコン23aの表示部22のみに共感度情報を表示してもよい。あるいは、出力部13は、全ての出席者のうちの発言者が所持するノートパソコン23aの表示部22のみに共感度情報を表示してもよい。
なお、図4に示す例では、複数の出席者は、会議室に集まるが、このような会議室に集まることなく、それぞれ遠隔からテレビ会議を行ってもよい。
図5は、会議の出席者のそれぞれの心拍数の時間変化と、2人の出席者間の相関係数の時間変化とを示す図である。具体的には、図5の(a)〜(c)は、それぞれ出席者X、YおよびZの心拍情報によって示される心拍の時間変化を示すグラフである。これらのグラフの横軸は、時刻を示し、その縦軸は、心拍数を示す。また、図5の(d)は、出席者Xと出席者Yの間の相関係数の時間変化を示すグラフであり、図5の(e)は、出席者Xと出席者Zの間の相関係数の時間変化を示すグラフである。これらのグラフの横軸は、時刻を示し、その縦軸は、相関係数を示す。
心拍取得部11は、会議が行われているときに、図5の(a)〜(c)に示すように、出席者X、YおよびZのそれぞれの心拍数を示す心拍情報を周期的に取得する。共感処理部12は、出席者Xおよび出席者Yのそれぞれの心拍情報に基づいて、図5の(d)に示す出席者Xと出席者Yとの間の相関係数を周期的に算出する。同様に、共感処理部12は、出席者Xおよび出席者Zのそれぞれの心拍情報に基づいて、図5の(e)に示す出席者Xと出席者Zとの間の相関係数を周期的に算出する。
ここで、例えば、図5の(a)〜(c)に示すように、時刻t1〜t3において出席者Xが発言すると、その発言が行われている期間では、出席者Xと出席者Zのそれぞれの心拍数が上昇し、出席者Yの心拍数は、その期間において殆ど変化しない。このような場合、図5の(e)に示すように、出席者Xと出席者Zとの間の相関係数は、その期間に対応する時刻t2〜t4において閾値よりも大きくなる。したがって、共感処理部12は、その時刻t2〜t4において出席者Xと出席者Zとは共感していることを示す共感度を導出する。すなわち、共感処理部12は、時刻t2〜t4において出席者Xと出席者Zとは共感していると推定する。一方、図5の(d)に示すように、出席者Xと出席者Yとの間の相関係数は、出席者Xが発言していても、閾値以下である。したがって、共感処理部12は、出席者Xが発言している期間において、出席者Xと出席者Yとは共感していないことを示す共感度を導出する。すなわち、共感処理部12は、出席者Xと出席者Yとは共感していないと推定する。
また、例えば、図5の(a)〜(c)に示すように、時刻t5〜t7において出席者Yが発言すると、その発言が行われている期間では、出席者Xと出席者Yのそれぞれの心拍数が上昇し、出席者Zの心拍数は、その期間において殆ど変化しない。このような場合、図5の(d)に示すように、出席者Xと出席者Yとの間の相関係数は、その期間に対応する時刻t6〜t8において閾値よりも大きくなる。したがって、共感処理部12は、その時刻t6〜t8において出席者Xと出席者Yとは共感していることを示す共感度を導出する。すなわち、共感処理部12は、時刻t6〜t8において出席者Xと出席者Yとは共感していると推定する。一方、図5の(e)に示すように、出席者Xと出席者Zとの間の相関係数は、出席者Yが発言していても、閾値以下である。したがって、共感処理部12は、出席者Yが発言している期間において、出席者Xと出席者Zとは共感していないことを示す共感度を導出する。すなわち、共感処理部12は、出席者Xと出席者Zとは共感していないと推定する。
ここで、共感処理部12は、例えば、会議室に設置されたマイクからの出力信号に基づいて、話者認識を行うことにより、発言者を特定してもよい。あるいは、共感処理部12は、各センサ21から得られるセンシング情報である顔画像に対して画像認識処理を行うことにより、発言者を特定してもよい。例えば、時刻t1〜t3では、発言者として出席者Xが特定される。したがって、共感処理部12は、図5の(e)に示すように、出席者Xが発言している期間に少なくとも一部重なる時刻t2〜t4において、出席者Xと出席者Zとが共感していると推定すると、その2人が共感している対象は、出席者Xの発言であると判断する。この場合、出席者Zから出席者Xへの共感の方向が特定される。同様に、時刻t5〜t7では、発言者として出席者Yが特定される。したがって、共感処理部12は、図5の(d)に示すように、出席者Yが発言している期間に少なくとも一部重なる時刻t6〜t8において、出席者Xと出席者Yとが共感していると推定すると、その2人が共感している対象は、出席者Yの発言であると判断する。この場合、出席者Xから出席者Yへの共感の方向が特定される。出力部13は、このような共感の方向を表示部22に表示してもよい。
このように、本実施の形態では、心拍取得部11は、複数の人のそれぞれの同一期間における心拍情報を取得する。例えば、心拍取得部11は、上述のように時刻t1〜t3の期間における出席者X、YおよびZの心拍情報を取得し、時刻t5〜t7の期間における出席者X、YおよびZの心拍情報を取得する。これにより、同一期間における複数の人の共感度を適切に推定することができる。
なお、本実施の形態における心拍取得部11は、複数の人のそれぞれの同一期間における心拍情報を取得することなく、複数の人のそれぞれの同一対象物に対する認知結果によって生じる心拍情報を取得してもよい。つまり、心拍取得部11は、互いに異なる期間において、複数の人のそれぞれの心拍情報を取得してもよい。この場合、複数の人のそれぞれは、その互いに異なる期間において同一対象物を認知している。例えば、その同一対象物は、動画像または静止画であってもよく、音響データであってもよい。これにより、複数の人が同一対象物を認知するタイミングが異なっていても、同一対象物に対する複数の人の共感度を適切に推定することができる。
図6は、表示部22による表示の一例を示す図である。
例えば、出力部13は、例えば図6の(a)に示すように、人Aのセンシング情報である顔画像A1と、人Bのセンシング情報である顔画像B1と、人Aと人Bとの間の共感度を示すバーC1とを、表示部22に表示する。バーC1は、例えば顔画像A1と顔画像B1とを結び、共感度が大きいほど太く表示される。または、バーC1は、共感度が大きいほど短く表示される。この例では、共感度情報は、バーC1として表示される。なお、バーC1は、矢印として表示されてもよい。
また、出力部13は、例えば図6の(b)に示すように、人Aのセンシング情報である顔画像A1と、人Bのセンシング情報である顔画像B1とを、共感度に応じた距離だけ離して表示部22に表示してもよい。この場合、共感度情報は、顔画像A1と顔画像B1との間の距離として表示される。つまり、出力部13は、上述の第1動画像データと共感度情報とを表示部22に出力する。その結果、第1動画像データに映し出される複数の人のそれぞれの顔の動画像は、その共感度情報に基づいて表示部22に表示される。また、その共感度情報は、表示部22に表示されるその複数の人のそれぞれの動画像間の距離によって示される。これにより、複数の人の間の共感度を簡単な表示で知らせることができる。
図7は、表示部22による表示の他の例を示す図である。
例えば、出力部13は、例えば図7の(a)に示すように、顔画像を表示することなく、人Aと人Bとの間の共感度を示すバーC2を表示部22に表示してもよい。つまり、共感度情報は、棒グラフとして表示される。具体的には、共感度情報は、共感度が大きいほど縦に長く伸びるバーC2として表示される。さらに、出力部13は、バーC2だけでなく、「共感度 87%」などのように共感度を数値として表示部22に表示してもよい。あるいは、出力部13は、バーC2を表示することなく、共感度を示す数値のみを共感度情報として表示部22に表示してもよい。
また、出力部13は、例えば図7の(b)に示すように、さらに、人Aのセンシング情報である顔画像A1と、人Bのセンシング情報である顔画像B1と、人Aの心拍変化を示すバーD1と、人Bの心拍変化を示すバーD2とを、表示部22に表示してもよい。心拍変化は、例えば、人の安静時における心拍情報と、その人の現在の心拍情報との差分を、現在の心拍情報で除算することによって得られる数値であってもよい。
なお、共感度情報は、図6および図7に示す形態に限らず、任意の形態で表示されてもよい。例えば、出力部13は、棒グラフに限らず円グラフなどのグラフで共感度情報を表示してもよい。また、上述の例では、共感度情報によって示される共感度が、誰と誰の共感度かが分かるように、その共感度に対応する人の顔画像が表示される。その顔画像は、動画像であってもよく、写真などの静止画像であってもよい。また、出力部13は、その共感度に対応する人のイラスト、名前、またはイニシャルを表示部22に表示してもよい。
図8は、情報処理システム10の他の適用例を示す図である。
情報処理システム10は、スマートフォンなどのモバイル端末23bを用いたコミュニケーションシステムに適用されてもよい。例えば、モバイル端末23bには、テレビ電話の会話アプリケーションソフトウェア、または、男女ペアのマッチングアプリケーションソフトウェアがインストールされて実行される。
人Aおよび人Bのそれぞれは、モバイル端末23bを操作することによってコミュニケーションシステムを利用する。モバイル端末23bには、カメラとして構成されているセンサ21と、表示部22とが備えられている。そして、人Aおよび人Bは、それらのモバイル端末23bを用いて互いにコミュニケーションを行う。
人Aのセンサ21は、その人Aの顔を撮影し、その人Aの顔画像をセンシング情報として情報処理システム10に送信する。人Bのセンサ21も、同様に、その人Bの顔を撮影し、その人Bの顔画像をセンシング情報として情報処理システム10に送信する。
情報処理システム10の心拍取得部11は、人Aのセンサ21から送信されるセンシング情報を用いて人Aの心拍情報を取得し、人Bのセンサ21から送信されるセンシング情報を用いて人Bの心拍情報を取得する。そして、共感処理部12は、それらの心拍情報の相関係数を算出し、その相関係数に応じた共感度を導出する。
出力部13は、その共感度を示す共感度情報を、人Aおよび人Bのそれぞれのモバイル端末23bに送信する。さらに、出力部13は、人Aの心拍変化と顔画像A1とを、人Bのモバイル端末23bに送信し、人Bの心拍変化と顔画像とを、人Aのモバイル端末23bに送信する。これにより、人Bのモバイル端末23bの表示部22には、図8に示すように、人Aの顔画像A1と、人Aの心拍変化を示すバーD1と、人Aと人Bとの間の共感度を示すバーC2とが表示される。同様に、人Aのモバイル端末23bの表示部22には、人Bの顔画像と、人Bの心拍変化を示すバーと、人Aと人Bとの間の共感度を示すバーとが表示される。これらの共感度を示すバーは、共感度情報として表示される。
これにより、人Aは、人Bと共感しているか否かを把握することができ、人Bは、人Aと共感しているか否かを把握することができる。例えば、人Aと人Bは、互に相手の顔画像を見て、互にモバイル端末23bを用いた会話を行うことによって、相手が自分に共感してくれているかを、2人の心拍情報から得られて表示部22に表示されている共感度情報によって知ることができる。したがって、このコミュニケーションシステムが2人以上の複数人で利用される場合には、その複数人の中から自分に好意を持っている人を見つけ出すことができる。
なお、出力部13は、人Aおよび人Bのそれぞれのモバイル端末23bに共感度情報を送信することなく、何れか一方のモバイル端末23bのみにその共感度情報を送信してもよい。この場合には、人Aおよび人Bのうちの何れか一方のモバイル端末23bの表示部22のみに、共感度情報が表示される。
図9は、本実施の形態における情報処理システム10の処理動作を示すフローチャートである。
まず、情報処理システム10の心拍取得部11は、複数のセンサ21から、複数の人のそれぞれのセンシング情報を取得する(ステップS1)。そして、心拍取得部11は、そのセンシング情報から、心拍数、RRI、または心拍揺らぎを示す心拍情報を取得する(ステップS2)。これにより、複数の人のそれぞれの心拍情報が取得される。
次に、共感処理部12は、その複数の人のそれぞれの心拍情報の変化に基づく相関係数を算出し(ステップS3)、その相関係数から共感度を導出する(ステップS4)。
そして、出力部13は、その導出された共感度を示す共感度情報を、例えば表示部22に出力することによって、その共感度情報を表示部22に表示する(ステップS5)。
図10は、情報処理システム10の多種多様な適用例を示す図である。
例えば、図10の(a)に示すように、情報処理システム10は、医療におけるカウンセリングに用いられてもよい。セラピストおよび患者は、例えば、それぞれカメラとして構成されたセンサ21を備えるノートパソコン23aを利用する。情報処理システム10は、それらのセンサ21から、セラピストおよび患者のセンシング情報を取得して、セラピストおよび患者の共感度を導出する。そして、情報処理システム10は、その共感度を示す共感度情報を、セラピストおよび患者のそれぞれのノートパソコン23aの表示部22に表示する。なお、情報処理システム10は、セラピストのノートパソコン23aの表示部22にのみ、その共感度情報を表示してもよい。これにより、セラピストは、その共感度情報によって示される共感度を参考にすることによって、患者に対するカウンセリングを効率的に行うことができる。また、患者も、その共感度を参考にすることによって、セラピストの対応を評価することができる。なお、セラピストは、医師であってもよい。
また、図10の(c)に示すように、情報処理システム10は、医療に関わらず一般的なカウンセリングに用いられてもよい。情報処理システム10は、上述と同様、カウンセラーおよびクライアントのセンシング情報を取得して、カウンセラーおよびクライアントの共感度を導出する。そして、情報処理システム10は、その共感度を示す共感度情報を、カウンセラーおよびクライアントのそれぞれのノートパソコン23aの表示部22に表示する。
また、図10の(b)に示すように、情報処理システム10は、遠隔医療に用いられてもよい。医師と患者は地理的に互いに離れた場所にいる。医師は、病院などの医療施設にいて、例えば、図3に示す例と同様、カメラとして構成されたセンサ21と、表示部22と、パーソナルコンピュータ23とを用いる。患者は、自宅にいて、医師と同様に、センサ21と、表示部22と、パーソナルコンピュータ23とを用いる。情報処理システム10は、それらのセンサ21から、医師および患者のセンシング情報を取得して、医師および患者の共感度を導出する。そして、情報処理システム10は、その共感度を示す共感度情報を、医師および患者のそれぞれの表示部22に表示する。情報処理システム10は、医師のノートパソコン23aの表示部22にのみ、その共感度を表示してもよい。これにより、医師は、その共感度情報によって示される共感度を参考にすることによって、患者から遠く離れていても、その患者に対するカウンセリングを効率的に行うことができる。また、患者も、その共感度を参考にすることによって、医師から遠く離れていても、その医師の対応を評価することができる。
以上のように、本実施の形態における情報処理システム10は、複数の人のそれぞれの心拍に関する心拍情報を取得し、その複数の人のそれぞれの心拍情報の変化の相関に基づいて、複数の人の間における共感度を導出する。そして、情報処理システム10は、その導出された共感度を示す共感度情報を出力する。これにより、複数の人の間に生じる感情的な相互作用である共感度を適切に推定することができる。
また、本実施の形態における情報処理システム10は、心拍情報の変化の相関に基づいて共感度を導出するが、その心拍情報の変化の相関だけでなく、複数の人のそれぞれの表情にも基づいて共感度を導出してもよい。つまり、共感処理部12は、上述の第1動画像データに対する画像認識によって、複数の人のそれぞれの表情を特定する。そして、共感処理部12は、その複数の人のそれぞれの心拍情報の変化の相関と、その複数の人のそれぞれの特定された表情とに基づいて、その複数の人の間における共感度を導出する。なお、第1動画像データは、少なくとも1つのセンサ21が複数の人を撮影することによって生成される、その複数の人のそれぞれの顔が映し出されたデータである。この第1動画像データには、複数のセンサ21のそれぞれの撮影によって生成された第2動画像データが含まれてもよい。
例えば、上述のように、複数のセンサ21がカメラとして構成されている場合、情報処理システム10は、複数の人のそれぞれについて、その人の顔が映し出されたセンシング情報である第2動画像データを取得する。共感処理部12は、その第2動画像データに対する画像認識を行うことによって、その第2動画像データに映し出されている人の顔の表情を特定する。または、共感処理部12は、機械学習済みの学習モデルにその第2動画像データを入力することによって、その第2動画像データに映し出されている人の顔の表情を特定する。例えば、共感処理部12は、喜んでいる表情、怒っている表情、悲しんでいる表情、および、楽しんでいる表情のうちの何れかの表情を特定する。または、共感処理部12は、これらの4つの表情のそれぞれを数値として特定してもよい。この場合、人の表情は、4つの数値からなるベクトルとして表現される。これにより、複数の人の表情が特定される。そして、共感処理部12は、複数の人の表情の類似度を導出する。類似度は、0〜1の数値として導出されてもよい。共感処理部12は、例えば、その類似度と相関係数との平均値に100を乗ずることによって、複数の人の間の共感度を導出してもよい。
このように、心拍情報の変化の相関だけでなく、表情にも基づいて、共感度が導出されるため、その共感度の推定精度を向上することができる。また、複数の人の表情は、心拍情報の取得に用いられたセンサ21のセンシング情報から特定される。つまり、それらの表情は、カメラの動画像データから特定される。したがって、それらの表情の特定のための専用の装置を省くことができる。したがって、全体のシステム構成を簡単にすることができる。
また、上述の例では、第2動画像データから表情が特定されたが、音声データから表情が特定されてもよい。この場合には、共感処理部12は、マイクから出力される音声データを取得し、その音声データを解析することによって複数の人のそれぞれの表情を特定する。その解析には、機械学習が用いられてもよい。
また、共感度の導出には、表情の代わりに、あるいは、表情と共に、心理状態が反映された他の生理データが用いられてもよい。他の生理データは、人の動きの加速度、顔の温度、または、手の発汗量などを示すデータであってもよい。顔の温度は、熱電対によって計測されてもよく、赤外線サーモグラフィによって計測されてもよい。また、発汗量は、手に付けられた電極によって計測されてもよい。これにより、共感度の推定精度をより向上することができる。
また、本実施の形態における情報処理システム10の心拍取得部11は、心拍数、RRIまたは心拍揺らぎを示す心拍情報を取得する。しかし、その心拍情報は、心拍数および心拍揺らぎのうちの少なくとも1つを示してもよい。または、心拍取得部11は、心拍数、RRIおよび心拍揺らぎのうちの少なくとも2つを示す心拍情報を取得してもよい。この場合、共感処理部12は、例えば、心拍数の相関係数と、RRIの相関係数と、心拍揺らぎの相関係数とのうちの少なくとも2つの平均値を算出し、その平均値から共感度を導出してもよい。これにより、共感度の推定精度を向上することができる。
また、本実施の形態における情報処理システム10の共感処理部12は、複数の人のそれぞれの心拍情報の相関係数に基づいて共感度を導出するが、その相関係数を算出することなく、心拍情報の変化の相関に基づいて共感度を導出してもよい。例えば、共感処理部12は、複数の人のそれぞれの心拍情報の変化のタイミングの一致度に基づいて、その複数の人の共感度を導出してもよい。そのタイミングは、例えば、心拍数などの上昇または下降のタイミングである。また、共感処理部12は、複数の人のそれぞれの心拍数が基準値よりも高い期間の一致度に基づいて、その複数の人の共感度を導出してもよい。その基準値は、人それぞれに設定された心拍数の値であって、例えば人が安静状態にある期間におけるその人の心拍数の平均値である。
(実施の形態2)
本実施の形態における情報処理システム10は、複数の人のそれぞれのストレスの要因を判定し、それらの要因に基づいて、複数の人の間における共感度を導出する。例えば、本実施の形態における心拍情報は、RRIとCvRRと示す。そして、RRIの変化を示すRRI変化量と、CvRRの変化を示すCvRR変化量とが用いられる。情報処理システムは、複数の人のそれぞれについて、その人のRRI変化量およびCvRR変化量に基づいて、その人のストレスの要因を判定する。そして、情報処理システム10は、複数の人のそれぞれのストレスの要因が共通していれば、そのストレスの要因に相関があるため、その複数の人が共感していると推定する。一方、情報処理システムは、複数の人のそれぞれのストレスの要因が共通していなければ、そのストレスの要因に相関がないため、その複数の人は共感していないと推定する。
本実施の形態における情報処理システム10は、複数の人のそれぞれのストレスの要因を判定し、それらの要因に基づいて、複数の人の間における共感度を導出する。例えば、本実施の形態における心拍情報は、RRIとCvRRと示す。そして、RRIの変化を示すRRI変化量と、CvRRの変化を示すCvRR変化量とが用いられる。情報処理システムは、複数の人のそれぞれについて、その人のRRI変化量およびCvRR変化量に基づいて、その人のストレスの要因を判定する。そして、情報処理システム10は、複数の人のそれぞれのストレスの要因が共通していれば、そのストレスの要因に相関があるため、その複数の人が共感していると推定する。一方、情報処理システムは、複数の人のそれぞれのストレスの要因が共通していなければ、そのストレスの要因に相関がないため、その複数の人は共感していないと推定する。
図11は、実験によって得られたグラフであって、RRI変化量およびCvRR変化量とストレスの要因との関係を図である。なお、図11のグラフの横軸は、RRI変化量(%)を示し、その縦軸は、CvRR変化量(%)を示す。
人のRRI変化量とCvRR変化量とは、その人のストレスの要因によって異なることが、実験によって確かめられている。実験では、20名の被験者のそれぞれに対してストレスの要因が異なる3種類のタスクが与えられ、タスクを実行している被験者のRRIおよびCvRRが測定された。3種類のタスクは、対人に関するストレスを受けるタスクと、痛みに関するストレスを受けるタスクと、思考疲労に関するストレスを受けるタスクである。
RRI変化量(%)は、「RRI変化量={(タスク実行中のRRIの平均値)−(安静時のRRIの平均値)}/(安静時のRRIの平均値)×100・・・(式1)」によって算出された。なお、安静時のRRIは、被験者がタスクを実施する前に、そのタスクを実行する姿勢と同じ姿勢で、5分間測定されたRRIである。そして、安静時のRRIの平均値は、その測定開始60秒後から240秒間のRRIの平均値である。タスク実行中のRRIの平均値は、被験者がタスクを実行している間に測定されたRRIのうち、測定開始60秒後から240秒間のRRIの平均値である。
CvRR変化量(%)は、「CvRR変化量={(タスク実行中のCvRRの平均値)−(安静時のCvRRの平均値)}/(安静時のCvRRの平均値)×100・・・(式2)」によって算出された。なお、安静時のCvRRは、被験者がタスクを実施する前に、そのタスクを実行する姿勢と同じ姿勢で、5分間測定されたCvRRである。そして、安静時のCvRRの平均値は、その測定開始60秒後から240秒間のCvRRの平均値である。タスク実行中のCvRRの平均値は、被験者がタスクを実行している間に測定されたCvRRのうち、測定開始60秒後から240秒間のCvRRの平均値である。
図11のグラフは、タスクの種類ごと、すなわちストレスの要因ごとの、その20名の被験者のそれぞれのRRI変化量の平均値およびCvRR変化量の平均値を示す。グラフ中の〇印は、ストレスの要因が「対人」である場合における、20名のRRI変化量の平均値およびCvRR変化量の平均値を示す。また、グラフ中の△印は、ストレスの要因が「痛み」である場合における、20名のRRI変化量の平均値およびCvRR変化量の平均値を示す。また、グラフ中の×印は、ストレスの要因が「思考疲労」である場合における、20名のRRI変化量の平均値およびCvRR変化量の平均値を示す。
したがって、本実施の形態における情報処理システム10は、図11に示すRRI変化量およびCvRR変化量とストレスの要因との関係を用いて、複数の人のそれぞれのストレスの要因を判定する。なお、本実施の形態における情報処理システム10は、実施の形態1と同様、図1に示す構成を有する。また、センサ21も、実施の形態1と同様、カメラとして構成されていてもよく、ウェアラブルデバイスとして構成されていてもよい。本実施の形態における情報処理システム10の心拍取得部11は、複数のセンサ21のそれぞれからセンシング情報を取得し、それらのセンシング情報から、複数の人のそれぞれについて、その人のRRIおよびCvRRを示す心拍情報を取得する。
図12は、共感処理部12によるストレスの要因の判定方法を説明するための図である。
情報処理システム10の共感処理部12は、上述の(式1)および(式2)を用いて、複数の人のそれぞれのRRI変化量およびCvRR変化量を算出する。なお、(式1)および(式2)におけるタスクは、どのようなタスクであってもよい。そして、共感処理部12は、図12に示すように、それらの変化量に基づいて、ストレスの要因を判定する。
例えば、共感処理部12は、人のRRIが安静時から大きく低下し、かつ、その人のCvRRが安静時から大きく上昇した場合、その人のストレスの要因は「対人」であると判定する。また、共感処理部12は、人のRRIが安静時から少し上昇し、かつ、その人のCvRRが安静時から殆ど変化しなかった場合、その人のストレスの要因は「痛み」であると判定する。また、共感処理部12は、人のRRIが安静時から殆ど変化せず、かつ、その人のCvRRが安静時から大きく低下した場合、その人のストレスの要因は「思考疲労」であると判定する。
具体的には、RRI変化量に対して正の第1閾値および負の第2閾値が設定され、CvRR変化量に対して正の第3閾値および負の第4閾値が設定される。この場合、共感処理部12は、人のRRI変化量が負の第2閾値よりも低く、かつ、その人のCvRR変化量が正の第3閾値以上の場合、その人のストレスの要因は「対人」であると判定する。
また、共感処理部12は、人のRRI変化量が正の第1閾値以上であり、かつ、その人のCvRR変化量が正の第3閾値よりも低く、負の第4閾値以上である場合、その人のストレスの要因は「痛み」であると判定する。
また、共感処理部12は、人のRRI変化量が正の第1閾値よりも低く、負の第2閾値以上であって、かつ、その人のCvRR変化量が負の第4閾値よりも低い場合、その人のストレスの要因は「思考疲労」であると判定する。
図13は、複数の人のそれぞれのストレスの要因から共感度が導出される一例を示す図である。
情報処理システム10は、例えば、人A、BおよびCのそれぞれの心拍情報に基づいて、それらの人のストレスの要因を判定する。具体的には、情報処理システム10は、人Aに対して、時刻t11〜t14におけるストレスの要因が「対人」であると判定し、時刻t15〜t17におけるストレスの要因が「思考疲労」であると判定する。また、情報処理システム10は、人Bに対して、時刻t16〜t18におけるストレスの要因が「思考疲労」であると判定する。さらに、情報処理システム10は、人Cに対して、時刻t12〜t13におけるストレスの要因が「対人」であると判定する。
このような場合、情報処理システム10の共感処理部12は、時刻t12〜t13の期間では、人Aと人Cのそれぞれのストレスの要因が一致しているため、その期間において人Aと人Cとは共感していると推定する。つまり、共感処理部12は、時刻t12〜t13における人Aと人Cとの間の共感度として例えば「1」を導出する。同様に、共感処理部12は、時刻t16〜t17の期間では、人Aと人Bのそれぞれのストレスの要因が一致しているため、その期間において人Aと人Bとは共感していると推定する。つまり、共感処理部12は、時刻t16〜t17における人Aと人Bとの間の共感度として例えば「1」を導出する。なお、共感処理部12は、人A、人Bおよび人Cの3人の共感度を導出してもよい。例えば、共感処理部12は、期間ごとに、その期間における人Aと人Bとの間の共感度と、その期間における人Aと人Cとの間の共感度と、その期間における人Bと人Cとの間の共感度との平均値を、3人の共感度として導出する。
出力部13は、このように導出された共感度を示す共感度情報を、表示部22に表示する。このとき、出力部13は、3人のうちの何れの2人が共感しているかを表示部22に表示してもよい。出力部13は、人A、BおよびCの3人のストレスの要因が一致する期間があれば、その期間における3人の共感度が「1」であること、すなわち、その期間において3人が共感していることを、表示部22に表示してもよい。
なお、出力部13は、複数の人のうちの何れの2人が共感しているかを表示部22に表示するときには、その2人で一致しているストレスの要因も表示部22に表示してもよい。例えば、出力部13は、情報処理システム10の適用先に応じて、そのストレスの要因の表示内容を変更してもよい。例えば、情報処理システム10が、図8の例のように、男女ペアのマッチングなどに適用される場合、出力部13は、ストレスの要因が「対人」であっても、「対人」とは異なる表示内容を表示部22に表示する。つまり、男女ペアのマッチングにおける「対人」に起因するストレスは、2人が互いに好意を持ったときに生じると考えられる。したがって、出力部13は、そのストレスの要因の表示内容を、「対人」から、例えば「ときめき」、「相性」または「ポジティブ」に変更して表示部22に表示してもよい。
以上のように、本実施の形態における情報処理システム10は、複数の人のそれぞれのRRI変化量およびCvRR変化量を算出し、それらの変化量から判定されるストレスの要因の相関に基づいて、複数の人の間における共感度を導出する。つまり、本実施の形態であっても、複数の人のそれぞれの心拍情報の変化の相関に基づいて、その複数の人の間における共感度が導出される。したがって、本実施の形態でも、複数の人の間に生じる感情的な相互作用である共感度を適切に推定することができる。
(実施の形態3)
実施の形態1および2では、情報処理システム10は、心拍情報を用いて共感度を導出する。本実施の形態では、心拍情報だけでなく、複数の人のそれぞれの心拍以外の生理データであるSC情報も用いて共感度が導出される。SC情報は、人の指先の皮膚コンダクタンス(Skin Conductance)を示す情報である。なお、皮膚コンダクタンスは、以下、SCとも呼ばれる。
実施の形態1および2では、情報処理システム10は、心拍情報を用いて共感度を導出する。本実施の形態では、心拍情報だけでなく、複数の人のそれぞれの心拍以外の生理データであるSC情報も用いて共感度が導出される。SC情報は、人の指先の皮膚コンダクタンス(Skin Conductance)を示す情報である。なお、皮膚コンダクタンスは、以下、SCとも呼ばれる。
図14は、本実施の形態における情報処理システムの構成を示すブロック図である。
本実施の形態における情報処理システム10aは、心拍情報とSC情報とに基づいて、複数の人の間の共感度を推定する装置である。このような本実施の形態における情報処理システム10aは、心拍取得部11aと、SC取得部11bと、共感処理部12aと、出力部13とを備える。
心拍取得部11aは、実施の形態1および2と同様、人の心拍に関する情報を心拍情報として取得する。具体的には、心拍取得部11は、複数の第1センサ21aから、複数の人のそれぞれの第1センシング情報を取得し、その第1センシング情報を解析することによって、その第1センシング情報からその人の心拍情報を取得する。第1センサ21aは、上記実施の形態1および2のセンサ21と同様、人を撮影することによって、その人の顔画像を第1センシング情報として生成するカメラである。なお、第1センサ21aは、カメラに限らず、心電または脈波を計測するウェアラブルデバイスであってもよい。本実施の形態における心拍取得部11aは、その複数の人のそれぞれの第1センシング情報から、その人のRRIおよびCvRRを示す心拍情報を取得する。
SC取得部11bは、人のSC情報を取得する。具体的には、SC取得部11bは、複数の第2センサ21bから、複数の人のそれぞれの第2センシング情報を取得し、その第2センシング情報を解析することによって、その第2センシング情報からその人のSC情報を取得する。第2センサ21bは、例えば、一対の検出電極を備えるセンサであって、人の指先に巻き付けられ、その指先の皮膚の電位を示す情報を第2センシング情報として出力する。本実施の形態におけるSC取得部11bは、その複数の人のそれぞれの第2センシング情報を解析することによって、その人の皮膚コンダクタンスを示すSC情報を取得する。
共感処理部12aは、上記実施の形態2と同様、心拍取得部11aによって取得された心拍情報に基づいて、人のRRI変化量およびCvRR変化量を算出する。さらに、本実施の形態における共感処理部12aは、SC取得部11bによって取得されたSC情報に基づいて、人の皮膚コンダクタンス変化量を算出する。なお、皮膚コンダクタンス変化量は、以下、SC変化量とも呼ばれる。
具体的には、共感処理部12aは、「SC変化量={(タスク実行中のSCの平均値)−(安静時のSCの平均値)}/(安静時のSCの平均値)×100・・・(式3)」によって、SC変化量を算出する。なお、安静時のSCは、人がタスクを実施する前に、そのタスクを実行する姿勢と同じ姿勢で、例えば5分間測定されたSCである。そして、安静時のSCの平均値は、例えば、その測定開始60秒後から240秒間のSCの平均値である。タスク実行中のSCの平均値は、人がタスクを実行している間に測定されたSCのうち、例えば、測定開始60秒後における240秒間のSCの平均値である。また、(式3)におけるタスクは、どのようなタスクであってもよい。
そして、共感処理部12aは、RRI変化量、CvRR変化量およびSC変化量に基づいて、ストレスの要因を判定する。さらに、共感処理部12aは、複数の人のそれぞれのストレスの要因に基づいて、その複数の人の間の共感度を導出する。
出力部13は、上記実施の形態1および2と同様、共感処理部12aによって導出された共感度を示す共感度情報を出力する。
図15は、共感処理部12aによるストレスの要因の判定方法を説明するための図である。
例えば、共感処理部12aは、人のRRIが安静時から低下し、その人のCvRRが安静時から上昇し、さらに、その人のSCが安静時から上昇した場合、その人のストレスの要因は「対人」であると判定する。また、共感処理部12aは、人のRRIが安静時から上昇し、その人のCvRRが安静時から殆ど変化せず、さらに、その人のSCが安静時から上昇した場合、その人のストレスの要因は「痛み」であると判定する。また、共感処理部12aは、人のRRIが安静時から殆ど変化せず、その人のCvRRが安静時から低下し、さらに、その人のSCが安静時から殆ど変化しなかった場合、その人のストレスの要因は「思考疲労」であると判定する。
具体的には、RRI変化量に対して正の第1閾値および負の第2閾値が設定され、CvRR変化量に対して正の第3閾値および負の第4閾値が設定され、SC変化量に対して正の第5閾値および負の第6閾値が設定される。この場合、共感処理部12aは、(a)人のRRI変化量が負の第2閾値よりも低く、(b)その人のCvRR変化量が正の第3閾値以上であり、(c)その人のSC変化量が正の第5閾値以上である場合、その人のストレスの要因は「対人」であると判定する。
また、共感処理部12aは、(a)人のRRI変化量が正の第1閾値以上であり、(b)その人のCvRR変化量が正の第3閾値よりも低く、負の第4閾値以上であり、(c)その人のSC変化量が正の第5閾値以上である場合、その人のストレスの要因は「痛み」であると判定する。
また、共感処理部12aは、(a)人のRRI変化量が正の第1閾値よりも低く、負の第2閾値以上であって、(b)その人のCvRR変化量が負の第4閾値よりも低く、(c)その人のSC変化量が正の第5閾値よりも低く、負の第6閾値以上である場合、その人のストレスの要因は「思考疲労」であると判定する。
図16は、本実施の形態における情報処理システム10aの処理動作を示すフローチャートである。
まず、情報処理システム10aの心拍取得部11aは、複数の第1センサ21aから、複数の人のそれぞれの第1センシング情報を取得する(ステップS1)。そして、心拍取得部11aは、第1センシング情報から、RRIおよびCvRRを示す心拍情報を取得する(ステップS2)。これにより、複数の人のそれぞれの心拍情報が取得される。
次に、SC取得部11bは、複数の第2センサ21bから、複数の人のそれぞれの第2センシング情報を取得する(ステップS1a)。そして、SC取得部11bは、第2センシング情報から、皮膚コンダクタンスを示すSC情報を取得する(ステップS2a)。これにより、複数の人のそれぞれのSC情報が取得される。
次に、共感処理部12aは、その複数の人のそれぞれのRRI変化量、CvRR変化量、およびSC変化量を算出し、それらの変化量に基づいて、その複数の人のそれぞれのストレスの要因を判定する(ステップS3a)。さらに、共感処理部12aは、その複数の人のそれぞれのストレスの要因の相関、すなわち同一の要因が共起しているか否かに基づいて、複数の人の間における共感度を導出する(ステップS4a)。
そして、出力部13は、その導出された共感度を示す共感度情報を、例えば表示部22に出力することによって、その共感度情報を表示部22に表示する(ステップS5)。
以上のように、本実施の形態における情報処理システム10aは、複数の人のそれぞれのRRI変化量、CvRR変化量およびSC変化量を算出し、それらの変化量から判定されるストレスの要因の相関に基づいて、複数の人の間における共感度を導出する。つまり、本実施の形態であっても、複数の人のそれぞれの心拍情報の変化の相関に基づいて、その複数の人の間における共感度が導出される。したがって、本実施の形態でも、複数の人の間に生じる感情的な相互作用である共感度を適切に推定することができる。また、本実施の形態では、実施の形態2と比べて、SC変化量もストレスの要因の判定に用いられるため、そのストレスの要因の判定精度を向上することができる。その結果、共感度の推定精度を向上することができる。
なお、本実施の形態における情報処理システム10aは、人の皮膚コンダクタンスを取得するSC取得部11bを備えるが、SC取得部11bの代わりに、人の皮膚温度を取得する構成要素を備えてもよい。この場合、第2センサ21bは、例えば熱電対である。また、共感処理部12aは、SC変化量の代わりに、皮膚温度変化量を算出する。具体的には、共感処理部12aは、「皮膚温度変化量={(タスク実行中の皮膚温度の平均値)−(安静時の皮膚温度の平均値)}/(安静時の皮膚温度の平均値)×100・・・(式4)」によって、皮膚温度変化量を算出する。なお、安静時の皮膚温度は、人がタスクを実施する前に、そのタスクを実行する姿勢と同じ姿勢で、例えば5分間測定された皮膚温度である。そして、安静時の皮膚温度の平均値は、例えば、その測定開始60秒後から240秒間の皮膚温度の平均値である。タスク実行中の皮膚温度の平均値は、人がタスクを実行している間に測定された皮膚温度のうち、例えば、測定開始60秒後における240秒間の皮膚温度の平均値である。また、(式4)におけるタスクは、どのようなタスクであってもよい。共感処理部12aは、このような皮膚温度変化量をSC変化量の代わりに用いて、ストレスの要因を判定する。
以上、本開示の1つまたは複数の態様に係る情報処理システムについて、上記実施の形態1〜3に基づいて説明したが、本開示は、それらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態1〜3に施したものも本開示に含まれてもよい。また、上記実施の形態1〜3のそれぞれの構成要素を組み合わせて構築される形態も本開示に含まれてもよい。
例えば、上記実施の形態1では、相関係数から共感度を導出し、実施の形態2および3では、ストレスの要因から共感度を導出する。そこで、相関係数から導出される共感度と、ストレスの要因から導出される共感度との平均値を算出し、その平均値を示す共感度情報を、最終的な共感度情報として表示部22に表示してもよい。さらに、心拍情報以外の他の生理データも用いて共感度を導出してもよい。他の生理データは、上述のように、表情、人の動きの加速度、顔の温度、または、手の発汗量などを示すデータであってもよい。
また、上記実施の形態1における心拍情報が心拍揺らぎを示す場合、その心拍揺らぎは、交感神経活動量を示すと考えられるLF/HFであってもよい。
また、上記実施の形態2および3における、RRI変化量、CvRR変化量、SC変化量、および皮膚温度変化量は、(式1)〜(式4)に示すように、比として表されるが、差として表されてもよい。
また、上記実施の形態1および2では、カメラであるセンサ21と、表示部22と、パーソナルコンピュータ23とを含むセット、そのセンサ21と表示部22とを含むノートパソコン23a、または、そのセンサ21と表示部22とを含むモバイル端末23bが用いられる。しかし、そのセット、ノートパソコン23a、またはモバイル端末23bの代わりに、センサ21と表示部22とを含むタブレット端末が用いられてもよい。
また、上記実施の形態1〜3では、情報処理システム10または10aは、共感度情報を表示部22に出力するが、他の機器に出力してもよい。他の機器は、スピーカであってもよい。この場合、その共感度情報がスピーカから音声で報知される。
なお、上記実施の形態1〜3において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU(Central Processing Unit)またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態1〜3の情報処理システム10または10aなどを実現するソフトウェアは、図9および図16に示すフローチャートの各ステップをコンピュータに実行させるプログラムである。
また、上記実施の形態1〜3における情報処理システムは、以下のシステムであるとも言える。つまり、情報処理システムは、複数の人のそれぞれの心拍に関する心拍情報を取得するセンサと、その複数の人のそれぞれの心拍情報の変化の相関に基づいて、その複数の人の間における共感度を示す共感度情報を生成し出力する処理回路とを備える。センサは、図1に示す少なくとも1つのセンサ21、または図14に示す少なくとも1つの第1センサ21aから構成されていてもよい。あるいは、センサは、図1に示す少なくとも1つのセンサ21と心拍取得部11とから構成されていてもよく、図14に示す少なくとも1つの第1センサ21aと心拍取得部11aとから構成されていてもよい。また、処理回路は、図1に示す共感処理部12および出力部13、または、図14に示す共感処理部12aおよび出力部13から構成されている。なお、処理回路は、例えばCPUまたはプロセッサなどである。
なお、以下のような場合も本開示に含まれる。
(1)上記の少なくとも1つの装置は、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。そのRAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、上記の少なくとも1つの装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)上記の少なくとも1つの装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
(3)上記の少なくとも1つの装置を構成する構成要素の一部または全部は、その装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
(4)本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD(Compact Disc)−ROM、DVD、DVD−ROM、DVD−RAM、BD(Blu-ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
本開示は、例えば複数人のコミュニケーションに用いられるコミュニケーションシステムなどに利用可能である。
10、10a 情報処理システム
11、11a 心拍取得部
11b SC取得部
12、12a 共感処理部
13 出力部
21 センサ
21a 第1センサ
21b 第2センサ
22 表示部
23 パーソナルコンピュータ
23a ノート型パーソナルコンピュータ(ノートパソコン)
23b モバイル端末
24 キーボード
A、B、C 人
X、Y、Z 出席者
11、11a 心拍取得部
11b SC取得部
12、12a 共感処理部
13 出力部
21 センサ
21a 第1センサ
21b 第2センサ
22 表示部
23 パーソナルコンピュータ
23a ノート型パーソナルコンピュータ(ノートパソコン)
23b モバイル端末
24 キーボード
A、B、C 人
X、Y、Z 出席者
Claims (10)
- コンピュータが行う情報処理方法であって、
複数の人のそれぞれの心拍に関する心拍情報を取得し、
前記複数の人のそれぞれの前記心拍情報の変化の相関に基づいて、前記複数の人の間における共感度を導出し、
導出された前記共感度を示す共感度情報を出力する、
情報処理方法。 - 前記心拍情報の取得では、
前記複数の人のそれぞれの同一期間における前記心拍情報を取得する、
請求項1に記載の情報処理方法。 - 前記心拍情報の取得では、
前記複数の人のそれぞれの同一対象物に対する認知結果によって生じる前記心拍情報を取得する、
請求項1に記載の情報処理方法。 - 前記情報処理方法では、さらに、
少なくとも1つの撮像装置が前記複数の人を撮影することによって生成される、前記複数の人のそれぞれの顔が映し出された第1動画像データを取得し、
前記心拍情報の取得では、
前記第1動画像データを解析することによって、前記複数の人のそれぞれの前記心拍情報を取得する、
請求項1〜3の何れか1項に記載の情報処理方法。 - 前記情報処理方法では、さらに、
前記第1動画像データに対する画像認識によって、前記複数の人のそれぞれの表情を特定し、
前記共感度の導出では、
前記複数の人のそれぞれの前記心拍情報の変化の相関と、前記複数の人のそれぞれの特定された前記表情とに基づいて、前記複数の人の間における共感度を導出する、
請求項4に記載の情報処理方法。 - 前記第1動画像データは、複数の第2動画像データを含み、
前記第1動画像データの取得では、
前記複数の第2動画像データを複数の前記撮像装置からそれぞれ取得し、
前記複数の第2動画像データのそれぞれは、前記撮像装置が撮影することによって生成される、前記複数の人のうちの1人の顔が映し出されたデータである、
請求項4に記載の情報処理方法。 - 前記共感度情報の出力では、
前記第1動画像データと前記共感度情報とを表示部に出力することによって、前記第1動画像データに映し出される前記複数の人のそれぞれの顔の動画像を、前記共感度情報に基づいて前記表示部に表示し、
前記共感度情報は、前記表示部に表示される前記複数の人のそれぞれの動画像間の距離によって示される、
請求項4〜6の何れか1項に記載の情報処理方法。 - 前記心拍情報は、心拍数および心拍揺らぎのうちの少なくとも1つを示す、
請求項1〜7の何れか1項に記載の情報処理方法。 - 複数の人のそれぞれの心拍に関する心拍情報を取得するセンサと、
前記複数の人のそれぞれの前記心拍情報の変化の相関に基づいて、前記複数の人の間における共感度を示す共感度情報を生成し出力する処理回路と、
を備える情報処理システム。 - 複数の人のそれぞれの心拍に関する心拍情報を取得し、
前記複数の人のそれぞれの前記心拍情報の変化の相関に基づいて、前記複数の人の間における共感度を導出し、
導出された前記共感度を示す共感度情報を出力する、
ことをコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020105571A JP2021194476A (ja) | 2020-06-18 | 2020-06-18 | 情報処理方法、情報処理システムおよびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020105571A JP2021194476A (ja) | 2020-06-18 | 2020-06-18 | 情報処理方法、情報処理システムおよびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021194476A true JP2021194476A (ja) | 2021-12-27 |
Family
ID=79196636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020105571A Pending JP2021194476A (ja) | 2020-06-18 | 2020-06-18 | 情報処理方法、情報処理システムおよびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021194476A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023100937A1 (ja) | 2021-11-30 | 2023-06-08 | キヤノン株式会社 | 光応答性材料および光応答性組成物 |
WO2023145351A1 (ja) * | 2022-01-25 | 2023-08-03 | パナソニックIpマネジメント株式会社 | 情報処理方法、情報処理システムおよびプログラム |
WO2023145350A1 (ja) * | 2022-01-25 | 2023-08-03 | パナソニックIpマネジメント株式会社 | 情報処理方法、情報処理システムおよびプログラム |
-
2020
- 2020-06-18 JP JP2020105571A patent/JP2021194476A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023100937A1 (ja) | 2021-11-30 | 2023-06-08 | キヤノン株式会社 | 光応答性材料および光応答性組成物 |
WO2023145351A1 (ja) * | 2022-01-25 | 2023-08-03 | パナソニックIpマネジメント株式会社 | 情報処理方法、情報処理システムおよびプログラム |
WO2023145350A1 (ja) * | 2022-01-25 | 2023-08-03 | パナソニックIpマネジメント株式会社 | 情報処理方法、情報処理システムおよびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11712168B2 (en) | System and method for physiological feature derivation | |
US10624586B2 (en) | Pulse wave measuring device, mobile device, medical equipment system and biological information communication system | |
Coppetti et al. | Accuracy of smartphone apps for heart rate measurement | |
US20230072213A1 (en) | Systems and methods for multivariate stroke detection | |
JP6101684B2 (ja) | 患者を支援する方法及びシステム | |
JP2021194476A (ja) | 情報処理方法、情報処理システムおよびプログラム | |
EP2698112B1 (en) | Real-time stress determination of an individual | |
US20170344713A1 (en) | Device, system and method for assessing information needs of a person | |
US20210118323A1 (en) | Method and apparatus for interactive monitoring of emotion during teletherapy | |
Westerink et al. | Emotion measurement platform for daily life situations | |
US20160081627A1 (en) | System method for assessing fitness state via a mobile device | |
Steinman et al. | Smartphones and video cameras: future methods for blood pressure measurement | |
JP2017174266A (ja) | 遠隔患者支援システム | |
Ayesha et al. | Heart rate monitoring using PPG with smartphone camera | |
CN108024743A (zh) | 血压分析装置、血压测定装置、血压分析方法、血压分析程序 | |
US20200402641A1 (en) | Systems and methods for capturing and presenting life moment information for subjects with cognitive impairment | |
US20230107691A1 (en) | Closed Loop System Using In-ear Infrasonic Hemodynography and Method Therefor | |
Paliwal et al. | Real time heart rate detection and heart rate variability calculation | |
WO2022065446A1 (ja) | 感情判定装置、感情判定方法及び感情判定プログラム | |
KR20220117632A (ko) | 원격 상담 서비스 제공 방법 및 시스템 | |
Cho et al. | Instant automated inference of perceived mental stress through smartphone ppg and thermal imaging | |
WO2023145351A1 (ja) | 情報処理方法、情報処理システムおよびプログラム | |
US20240282468A1 (en) | System and Method for Realtime Examination of the Patient during Telehealth Video Conferencing | |
WO2023162645A1 (ja) | 情報処理装置、情報処理方法、プログラム、および情報処理システム | |
Lampier et al. | A Deep Learning Approach for Estimating SpO 2 Using a Smartphone Camera |