JP2020010831A - 情報処理システム、情報処理装置およびプログラム - Google Patents

Abstract

【課題】ユーザの内的状態と、内的状態に影響を及ぼしている人とを客観的な方法によって特定する。【解決手段】情報処理システムは、ユーザの内的状態を推定する推定手段と、ユーザが対面している人物に関する対面人物情報を特定する特定手段と、推定手段にて推定した内的状態と、特定手段が特定した対面人物情報とを関連付ける関連手段と、を備える。【選択図】図２

Description

本発明は、情報処理システム、情報処理装置およびプログラムに関する。

例えば特許文献１には、使用者に装着される端末装置と、端末装置から情報を取得するホスト装置とを備える。端末装置は、マイクロフォンにより取得された音声を解析して発話者を識別すると共に、非言語情報である音声特徴量に基づいて発話者の精神活性度を推定し、推定結果を含む発話情報をホスト装置に送信する。ホスト装置は、複数の端末装置から取得した発話情報の中から特定の会話に係る発話情報を抽出して解析し、各発話者の精神活性度の組み合わせに基づいて、会話に参加している各発話者の感情を推定する音声解析システムが記載されている。

特開２０１３−７２９７９号公報

例えば職場などにおいて対象者がある人物からハラスメントを受けているような場合には、対象者の内的状態と、内的状態に影響を及ぼしている人物を特定する必要がある。しかしながら、例えば、対象者に対するアンケートの実施など対象者の自己申告による方法では、対象者が正直に回答することができない可能性があり、正しい情報の収集が困難なことが想定される。

本発明は、ユーザの内的状態と、内的状態に影響を及ぼしている人とを客観的な方法によって特定することを目的とする。

請求項１に記載の発明は、ユーザの内的状態を推定する推定手段と、前記ユーザが対面している人物に関する対面人物情報を特定する特定手段と、前記推定手段にて推定した前記内的状態と、前記特定手段が特定した前記対面人物情報とを関連付ける関連手段と、を備える情報処理システムである。
請求項２に記載の発明は、前記関連手段にて関連付けられた前記内的状態と前記対面人物情報とを予め定められた条件に応じて記録するタイミングを制御する記録制御手段を備える請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記記録制御手段は、前記推定手段により前記ユーザの前記内的状態が既定の状態になったと推定された場合に前記記録を行う請求項２に記載の情報処理システムである。
請求項４に記載の発明は、前記記録制御手段は、ユーザが予め定められた人物と対面していることが特定されたときに前記記録を行う請求項２に記載の情報処理システムである。
請求項５に記載の発明は、前記関連手段は、予め定められた条件に基づいて、前記内的状態と前記対面人物情報との関連付けを行う請求項１に記載の情報処理システムである。
請求項６に記載の発明は、前記関連手段は、ユーザと対面している人物との対面時間に応じて、前記内的状態と前記対面人物情報との関連付けを行う請求項５に記載の情報処理システムである。
請求項７に記載の発明は、前記関連手段は、ユーザが人物との対面を開始した後に、前記内的状態が変化した場合に、前記内的状態と前記対面人物情報とを関連付ける請求項５に記載の情報処理システムである。
請求項８に記載の発明は、前記ユーザの内的状態が既定の状態と推定された場合、対面している人物に対して通知を行う通知手段を備える請求項１に記載の情報処理システムである。
請求項９に記載の発明は、前記通知手段は、前記対面人物が所持する端末装置にて前記通知を行う請求項８に記載の情報処理システムである。
請求項１０に記載の発明は、ユーザの状態に関する状態情報を取得する取得手段と、前記取得手段が取得した前記ユーザの前記状態情報に基づいて、当該ユーザの内的状態を推定する推定手段と、前記取得手段によって前記状態情報の取得が行われた際に、前記ユーザが対面している人物に関する対面人物情報を取得する人物情報取得手段と、前記推定手段にて推定した前記内的状態と、前記人物情報取得手段が取得した前記対面人物情報とを関連付ける関連手段と、を備える情報処理システムである。
請求項１１に記載の発明は、ユーザの内的状態を取得する内的状態取得手段と、前記ユーザが対面している人物に関する対面人物情報を取得する人物情報取得手段と、前記内的状態と前記対面人物情報とを関連付ける関連手段と、を備える情報処理装置である。
請求項１２に記載の発明は、コンピュータに、ユーザの内的状態を取得する機能と、前記ユーザが対面している人物に関する対面人物情報を取得する機能と、前記内的状態と前記対面人物情報とを関連付ける機能と、を実現させるためのプログラムである。

請求項１、１０、１１および１２の発明によれば、ユーザの内的状態と、内的状態に影響を及ぼしている人とを客観的な方法によって特定することができる。
請求項２の発明によれば、関連付けられた内的状態と対面人物情報とを、条件にかかわらず記録を行う場合と比較して、記録が行われる資源を節約することができる。
請求項３の発明によれば、ユーザの全ての内的状態と対面人物情報とを記録するのではなく、既定の状態になったユーザの内的状態と対面人物情報とを記録することが可能になる。
請求項４の発明によれば、全ての人物の対面人物情報と内的状態とを記録するのではなく、ユーザが記録すべき人物と対面したときの対面人物情報と内的状態とを記録することができる。
請求項５の発明によれば、条件にかかわらず内的状態と対面人物情報とを関連付ける場合と比較して、内的状態に影響を及ぼした人物の特定精度を高めることが可能になる。
請求項６の発明によれば、例えばユーザとすれ違っただけなど、ユーザの内的状態に対する影響が少ない対面の仕方をした人物の対面人物情報と内的状態とを関連付けることを抑制できる。
請求項７の発明によれば、ユーザの内的状態に対する影響を及ぼさなかった人物の対面人物情報と内的状態とが関連付けされることを防止できる。
請求項８の発明によれば、ユーザの内的状態が既定の状態になったことを対面している人物に認識させることができる。
請求項９の発明によれば、通知が行われることに伴うユーザの心理的負担を低減しながら、ユーザの内的状態が既定の状態になったことを対面している人物に認識させることができる。

本実施形態の情報処理システムの一例としての全体図である。 本実施形態のサーバ装置の機能構成を示す図である。 ユーザの内的状態および対面人物情報の時間変化を示す一例の図である。 本実施形態の情報処理システムの動作フローの一例である。 本実施形態の情報処理システムの動作フローの一例である。

以下、添付図面を参照して、本発明を実施するための形態について説明する。
［情報処理システム１］
図１は、本実施形態の情報処理システム１の一例としての全体図である。

図１に示すように、本実施形態の情報処理システム１は、ユーザＡの生体情報を取得する第１端末装置１０Ａと、ユーザＢの生体情報を取得する第２端末装置１０Ｂと、ユーザＡおよびユーザＢを含む画像を撮影するカメラ装置２０と、情報処理を行うサーバ装置３０と、を備えている。そして、情報処理システム１において、第１端末装置１０Ａ、第２端末装置１０Ｂ、カメラ装置２０およびサーバ装置３０は、ネットワークを介して相互に情報通信が可能になっている。

なお、第１端末装置１０Ａおよび第２端末装置１０Ｂは、使用するユーザが異なるものの、各々の装置としては同様の構成を用いることができる。従って、以下の説明において、第１端末装置１０Ａおよび第２端末装置１０Ｂを特に区別しない場合には、「端末装置１０」と総称する。また、図１に示す例では、２台の端末装置１０を例示しているが、あくまで一例であり、ユーザの数に応じて２台以上の端末装置１０が設けられていても良い。

また、ネットワークは、各装置の間のデータ通信に用いられる通信ネットワークであれば特に限定されず、例えばＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等として良い。データ通信に用いられる通信回線は、有線か無線かを問わず、これらを併用しても良い。また、各装置は、ゲートウェイ装置やルータ等の中継装置を用い、複数のネットワークや通信回線を介して接続されても良い。

さらに、図１に示す例では、一つのサーバ装置３０が示されているが、サーバ装置３０は、単体のサーバマシンに限定されない。サーバ装置３０は、ネットワーク上に設けられた複数のサーバマシンに分散させてサーバ装置３０の機能を実現しても良い（いわゆるクラウド環境等）。

以下の説明においては、一例として、例えばユーザＡを対象者として、ユーザＡがある人物からハラスメントを受けている場合に、ハラスメントを行っている人物を客観的に特定する例について説明する。

〔端末装置１０〕
端末装置１０は、ネットワークを介して外部装置から取得した情報や、装置内部にて生成された情報を画面等に表示する。
また、本実施形態の端末装置１０には、例えばユーザの腕などユーザの身体に装着されるウェアラブル端末装置を用いることができる。そして、端末装置１０（取得手段の一例）は、ユーザの生体情報（状態情報の一例）を取得する。生体情報は、例えば、皮膚導電率、容積脈波、心拍、心電図など、ユーザの身体の肌などの表面から取得可能なユーザの情報を含む。そして、端末装置は、生体情報の取得対象であるユーザを特定可能な情報とともに、取得した生体情報をサーバ装置３０に送信する。また、端末装置１０は、取得したユーザの生体情報を、時間情報に関連付けてサーバ装置３０に送信する。

〔カメラ装置２０〕
カメラ装置２０は、対象物を含む予め定められた範囲を撮影する。例えば、カメラ装置２０は、ユーザＡが仕事を行うオフィスなどの空間に設置される。そして、カメラ装置２０（人物情報取得手段の一例）は、ユーザおよびユーザに対面する人物が撮影範囲に存在する場合には、ユーザおよび対面する人物を撮影する。さらに、カメラ装置２０は、撮影した画像を一定時間記憶することが可能になっている。そして、カメラ装置２０は、撮影した画像をサーバ装置３０に送信する。
なお、本実施形態のカメラ装置２０は、動画像を撮影するものであるが、予め定められた時間間隔で静止画像を撮影するものであっても構わない。

〔サーバ装置３０〕
図２は、本実施形態のサーバ装置３０の機能構成を示す図である。
図２に示すように、サーバ装置３０は、ユーザＡの内的状態を推定する内的状態推定部３１（推定手段の一例、内的状態取得手段の一例）と、対象者であるユーザＡに対面する人物を特定する対面人物特定部３２（特定手段の一例、人物情報取得手段の一例）と、ユーザＡの内的状態とユーザＡが対面している人物に関する対面人物情報とを関連付ける関連付部３３（関連手段の一例）と、を有している。さらに、サーバ装置３０は、関連付部３３が関連付けた内的状態および対面人物情報を記憶する記憶部３４（記録制御手段の一例）と、ユーザＡの内的状態に応じて通知を行う通知部３５（通知手段の一例）と、を有している。

（内的状態推定部３１）
内的状態推定部３１は、第１端末装置１０ＡからユーザＡの生体情報を取得する。そして、内的状態推定部３１は、生体情報を解析して、ユーザＡの内的状態を推定する。さらに、内的状態推定部３１は、推定したユーザＡの内的状態の情報を、関連付部３３に送信する。この際に、内的状態推定部３１は、内的状態の情報と時間情報とを紐付けて関連付部３３に送る。

また、内的状態推定部３１は、ユーザＡの内的状態が既定の状態であることを特定する。本実施形態において、既定の状態とは、ユーザＡがストレスを感じている状態（以下、ストレス状態）のことである。なお、ストレス状態とは、ユーザＡがネガティブな感情であって興奮度が高い状態である。また、本実施形態では、内的状態がストレス状態になることを、内的状態が悪化すると表現する場合がある。

本実施形態の内的状態推定部３１は、生体情報としてユーザＡの皮膚導電率の情報に基づいて、ユーザＡの興奮度が高いか否かを特定する。ユーザＡの興奮度が高い場合には、ユーザＡの発汗が多くなって皮膚導電率が高くなる。そこで、本実施形態の内的状態推定部３１は、皮膚導電率に応じて、ユーザＡの興奮度を特定する。

さらに、内的状態推定部３１は、生体情報として例えば皮膚導電率の情報を用いる場合に、ユーザＡが置かれている状況や、他のセンサの情報に基づいて、総合的に内的状態を推定する。皮膚導電率は、ユーザＡがポジティブな感情であって興奮度が高い状態にも高くなる場合がある。この場合、本実施形態の内的状態推定部３１は、ユーザＡがストレス状態であるとは特定しないようにしている。

例えばユーザＡが野外でランニングしている場合には、ポジティブな感情であって興奮度が高い状態となる可能性が高い。そこで、内的状態推定部３１は、ユーザＡの位置情報を取得することでユーザＡが置かれている状況を把握し、ユーザＡがストレス状態にあるか否かを判断しても良い。
また、例えばユーザＡが大勢の観衆の前で発表を行っている場合には、ポジティブな感情であって興奮度が高い状態となる可能性が高い。そこで、内的状態推定部３１は、ユーザＡの周囲の画像を取得することでユーザＡが置かれている状況を把握し、ユーザＡがストレス状態にあるか否かを判断しても良い。

さらに、ユーザＡがポジティブな感情である場合には、ユーザＡの表情は明るく、ユーザＡがネガティブな感情である場合には、ユーザＡの表情は暗くなる。そこで、内的状態推定部３１は、例えば、カメラ装置２０から得られるユーザＡの表情に関する情報に基づいて表情解析を行い、ユーザＡがストレス状態であるか否かを判断しても良い。

また、本実施形態の内的状態推定部３１は、生体情報としてユーザＡの容積脈波の情報に基づいてユーザＡのストレス状態を推定する。容積脈波は、ユーザＡの血管の断面積の変化である。そして、容積脈波は、フーリエ変換した場合に、ユーザＡのストレス状態に応じてピーク周波数に特徴的な傾向が現れることが知られている。そこで、内的状態推定部３１は、容積脈波に応じて、ユーザＡのストレス状態を推定しても良い。

同様に、本実施形態の内的状態推定部３１は、生体情報として、心拍や心電図に基づいて、ユーザＡのストレス状態を推定しても良い。
また、内的状態推定部３１は、一つの生体情報を用いてユーザＡのストレス状態を推定しても良く、複数の生体情報を用いてユーザＡのストレス情報を推定しても良い。

さらに、内的状態推定部３１は、ユーザごとの生体情報に関する補正情報を備えている。
生体情報としてユーザの皮膚導電率の情報を用いる場合、ユーザの皮膚導電率の変化は、ユーザに応じてバラツキがあると考えられる。すなわち、皮膚導電率に影響する発汗量には、個人差があると考えられる。そこで、内的状態推定部３１は、皮膚導電率と興奮度との関係をユーザごとに特定する。

内的状態推定部３１は、過去に取得したユーザの皮膚導電率の情報から、そのユーザが取り得る皮膚導電率の最大値またはそれに近い値（上位９９％の値など）を、最大の興奮度とする。さらに、内的状態推定部３１は、ユーザごとに、最小値の皮膚導電率から最大値の皮膚伝導率までを複数の段階に分け、段階に応じて興奮度を区分けしても良い。そして、内的状態推定部３１は、複数の段階に区分された興奮度のうち、最も高い段階の区分をストレス状態と判断しても良い。

なお、上述した皮膚導電率をユーザごとに補正する例は、他の生体情報である容積脈波、心拍、心電図等においても同様に施すことができる。

（対面人物特定部３２）
対面人物特定部３２は、カメラ装置２０からユーザＡを含む画像を取得する。対面人物特定部３２は、ユーザＡに対面する人物の特定を行う。そして、対面人物特定部３２は、ユーザＡに対面する人物の情報（以下、対面人物情報）を関連付部３３に送る。この際に、対面人物特定部３２は、対面人物情報と時間情報とを紐付けて関連付部３３に送る。

対面人物特定部３２は、例えばユーザＡが所属する組織などユーザＡに関係する複数の人物の顔の画像と氏名とを予め記憶している。そして、対面人物特定部３２は、ユーザＡに対面する人物の顔の画像と、予め記憶されている複数の人物の顔の画像とのマッチングを行う。そして、対面人物特定部３２は、対面している人物の氏名を特定する。そして、対面人物特定部３２は、対面人物情報として人物の氏名を関連付部３３に送る。

また、対面人物特定部３２は、ユーザＡに対面する人物の氏名を特定できない場合、ユーザＡに対面している人物の静止画像を関連付部３３に送る。

なお、カメラ装置２０は、空間に設置されるカメラに限定されない。カメラ装置２０は、例えば、ユーザＡの眼鏡などユーザ自身が身につける小型カメラでも良い。この場合、対面人物特定部３２は、ユーザＡに対して正対する人物や、ユーザＡに対して話しかけている人物を、ユーザＡの対面人物として特定する。

また、対面人物の特定は、カメラ装置２０を用いる例に限定されない。
例えば、対面人物特定部３２は、電波送受信端末装置（例えば、ＢＬＥビーコン発信器など）を用いて、ユーザＡに対面する人物の特定を行っても良い。電波送受信端末装置は、例えばビーコンなどの電波を発信するものである。例えば、ユーザＡおよび他の人物は、それぞれ、電波送受信端末装置を身に着ける。そして、対面人物特定部３２は、ユーザＡの電波送受信端末装置が受信したビーコンの情報に基づいて、他の人物がユーザＡに対面していると特定しても良い。

さらに、対面人物特定部３２は、ユーザＡが装着したマイクにて取得した音声情報に基づいて、ユーザＡに対面する人物を特定しても良い。対面人物特定部３２は、ユーザＡに関係する人物の音声に関する情報を予め記憶しておく。そして、対面人物特定部３２は、ユーザＡが装着するマイクから取得した音声情報と、予め記憶しておいた複数の人物の音声情報とのマッチングを行う。そして、対面人物特定部３２は、音声情報に基づいて特定した人物の氏名を関連付部３３に送っても良い。

なお、本実施形態の対面人物特定部３２は、予め記憶された顔の画像と氏名の画像とを参照して、ユーザＡに対面している人物の氏名など人物を具体的に特定することに限定されない。対面人物特定部３２は、カメラ装置２０から取得した画像に基づいて、後に、ユーザＡに対面している人物を特定可能な程度の情報を特定すれば良い。例えば、対面人物特定部３２は、ユーザＡに対面している人物の顔の画像や、対面している人物のＩＤカードなどの対面している人物を一意に特定可能な情報の画像を特定すれば良い。

（関連付部３３）
図３は、ユーザの内的状態および対面人物情報の時間変化を示す一例の図である。
なお、図３には、ユーザＡに対面している人物の対面人物情報と、ユーザＡの内的状態とを時系列で表示している。なお、図３では、内的状態は、ユーザＡの生体情報の一例としての皮膚導電率に基づく例を表示している。さらに、図３では、内的状態として、ストレス状態と推定されるレベルを基準線Ｌで示している。また、図３では、内的状態として、内的状態がストレス状態に向けて平常な状態から悪化する変化領域（Ｉ４、Ｉ５、Ｉ６およびＩ７）を表示している。

本実施形態の関連付部３３は、予め定められた関連付条件に基づいて、内的状態推定部３１が推定したユーザＡの内的状態と、対面人物特定部３２によって特定されたユーザＡが対面している人物の対面人物情報とを関連付ける。

関連付部３３は、内的状態推定部３１によってユーザＡの内的状態が推定できた場合であって、対面人物特定部３２によって対面人物情報が特定できた場合を関連付条件として、特定した対面人物情報と内的状態との関連付けを行う。

図３に示すように、区間Ｓ１においては、ユーザＡの内的状態は特定されているが、ユーザＡが対面している対面人物情報が特定されていない。例えば、ユーザＡが単独でいるようなときは、対面人物特定部３２が対面人物を特定できない。この場合、関連付部３３は、区間Ｓ１における関連付けを行わない。

次に、区間Ｓ２においては、対面人物情報として人物Ｕが特定されているが、ユーザＡの内的状態が特定されていない。例えば、ユーザＡの生体情報を取得できないときなどは、内的状態推定部３１がユーザＡの内的状態を推定できない場合がある。この場合も、関連付部３３は、区間Ｓ２における関連付けを行わない。

また、本実施形態の関連付部３３は、ユーザＡに対面する人物との対面時間が予め定められた閾値以上であることを関連付条件として、特定した対面人物情報と内的状態との関連付けを行う。
区間Ｓ３においては、ユーザＡが対面しているのが人物Ｖであることが特定されている。しかしながら、人物Ｗとの対面時間は、予め定めた閾値未満である。例えば、人物Ｖは、ユーザＡの近くを歩いていて、ユーザＡとすれ違っただけという場合が考えられる。この場合、関連付部３３は、区間Ｓ３における関連付けを行わない。

一方で、内的状態推定部３１は、区間Ｓ４、区間Ｓ５、区間Ｓ６および区間Ｓ７において、ユーザＡの内的状態を特定している。また、対面人物特定部３２は、区間Ｓ４、区間Ｓ５、区間Ｓ６および区間Ｓ７において、人物Ｗ、人物Ｘ、人物Ｙおよび人物ＺがそれぞれユーザＡと対面していることを特定している。そして、人物Ｗ、人物Ｘ、人物Ｙおよび人物ＺのユーザＡとの対面時間は、それぞれ、予め定められた閾値以上になっている。これらの場合には、関連付部３３は、特定した対面人物情報と内的状態との関連付けを行う。

ここで、本実施形態の関連付部３３は、ユーザＡがある人物との対面を開始した後に、内的状態が変化したことを、関連付条件にさらに加えても良い。図３に示す例では、ストレス状態に向けてストレスが増加する変化領域Ｉ４、変化領域Ｉ５、変化領域Ｉ６および変化領域Ｉ７と特定されている。

区間Ｓ４、区間Ｓ５および区間Ｓ７では、ユーザＡが人物Ｗ、人物Ｘおよび人物Ｚとそれぞれ対面を開始してから内的状態が悪化している。これらの場合、人物Ｗ、人物Ｘおよび人物Ｚは、少なくともユーザＡの内的状態を悪化させる方向に影響を及ぼしたと考えられる。
そこで、本実施形態の関連付部３３は、ユーザＡの内的状態が変化する前からユーザＡと対面している人物の対面人物情報と内的状態との関連付けを行うようにする。

一方、区間Ｓ６では、ユーザＡが人物Ｙと対面を開始した時には、既に内的状態が悪化している。すなわち、区間Ｓ６においては、ユーザＡの内的状態が悪化した後に、ユーザＡが人物Ｙと対面した状況となっている。この場合、人物Ｙは、ユーザＡの内的状態が悪化した後に対面しただけであって、ユーザＡの内的状態を悪化させていないと考えられる。
そこで、本実施形態の関連付部３３は、ユーザＡの内的状態が変化した後に、ユーザＡと対面を開始している人物の対面人物情報と内的状態との関連付けは行わない。

（記憶部３４）
記憶部３４は、定められた記憶条件に応じて、内的状態と対面人物情報とを関連付けた情報（以下、関連情報と呼ぶ）を記憶部３４に記憶する。すなわち、記憶部３４は、予め定められた記憶条件を満たさない場合には、関連情報を記憶しないようにしている。

ここで、本実施形態において、記憶部３４は、例えばＨＤＤなどの記憶媒体に、関連情報を比較的長時間の記憶をさせる。一方で、関連付部３３は、例えばメモリなどの作業メモリに、関連情報を一時的に記憶させる。

そして、本実施形態の記憶部３４は、記憶条件として、ユーザＡの内的状態がストレス状態（既定の状態の一例）であることを条件に、関連情報を記憶する。本実施形態では、記憶部３４は、ユーザＡがストレス状態になったときから、ストレス状態で無くなるまでの間の関連情報を記憶する。

図３に示す例では、記憶部３４は、区間Ｓ４における関連情報の記憶を行う。このとき、記憶部３４は、区間Ｓ４における関連情報のうち、ストレス状態である期間を記憶する。
本実施形態の記憶部３４は、ユーザＡの内的状態がストレス状態（既定の状態の一例）であることを条件に記憶を行う場合、区間Ｓ５および区間Ｓ７の関連情報の記憶を行わない。なお、区間Ｓ６に関しては、上述のとおり、関連付部３３により関連情報が作成されていないため、記憶部３４による記憶は行われない。

また、記憶部３４は、記憶条件として、ユーザＡが予め定められた特定の人物と対面していることが特定されたことを条件に、記憶部３４に関連情報を記憶させる。この場合に、記憶部３４は、ユーザＡが予め定められた特定の人物との対面を開始してから、その特定の人物との対面が終了するまでの間、関連情報を記憶する。

例えば、ユーザＡが対面するとユーザＡがストレス状態に移行し易い人物や、ユーザＡに対して立場としてハラスメントを与える可能性がある人物など、ユーザＡにとって特定の人物が存在する場合がある。そこで、記憶部３４は、特定の人物に対面したときの、ユーザＡの内的状態の記録を残すために、特定の人物に対面した場合に、関連情報を記憶するようにしている。

ここでは、記憶部３４は、例えば人物Ｚが予め定められた特定の人物であるとする。この場合、図３に示すように、記憶部３４は、関連情報のうち人物Ｚが対面を開始してから対面を終了するまでの期間を記憶する。

（通知部３５）
通知部３５は、ユーザＡの内的状態がストレス状態になったと判断した場合に、その内的状態に関連付けられた対面人物情報に基づいて特定される人物に対して、ユーザＡがストレスを感じていることを通知する。

通知部３５は、ユーザＡの第１端末装置１０Ａの画面にて、ユーザＡがストレス状態であることを周囲に通知する。なお、本実施形態では、ユーザＡがストレス状態であることを周囲に通知することを、ストレス通知と呼ぶ。例えば、通知部３５は、ユーザＡの第１端末装置１０Ａの画面を例えば赤色などに光らせることでストレス通知を行う。これによって、通知部３５は、ユーザＡに対面している人物を含め、ユーザＡがストレスを感じていることを周囲に通知する。

また、通知部３５は、対面している人物がユーザＢである場合、ユーザＢの第２端末装置１０Ｂに、ユーザＡがストレス状態にあることを通知する。例えば、通知部３５は、ユーザＢの第２端末装置１０Ｂを振動させる。これによって、通知部３５は、ユーザＡに対面している人物であるユーザＢに対して通知する。

さらに、通知部３５は、対面している人物であるユーザＢではなく、例えば、ユーザＡが所属する組織のメンバーに、ユーザＡがストレスを感じていることをメール等により通知しても良い。

なお、通知部３５によるストレス通知は、予め定められた通知条件に基づいて行っても良い。
通知部３５は、ユーザＡがストレス状態にある時間が一定時間以上経過した場合に、ストレス通知を行うようにする。ユーザＡは、他人との会話する際に、話し始めの時間帯だけ緊張するとったユーザＡの性格による一時的なストレス状態になる場合があるためである。
また、通知部３５は、ストレス状態になる特定の人物と対面する回数に応じて、ストレス通知を行うようにする。例えば、ユーザＡは、初対面の人物と対面した場合に、特に緊張し易くなるという場合も考えられるためである。

［情報処理システム１の動作］
図４および図５は、本実施形態の情報処理システム１の動作フローの一例である。
続いて、情報処理システム１の動作について説明する。なお、以下の例では、ユーザＡがユーザＢからハラスメントを受けている例を用いて説明する。
最初に、ユーザＡの内的状態がストレス状態になったことを契機として、関連情報の記憶を行う例について説明する。

図４に示すように、サーバ装置３０の関連付部３３（図２参照）は、内的状態推定部３１から取得した内的状態からユーザＡがストレス状態であるか否かを判断する（ステップ１０１）。ステップ１０１にてユーザＡの内的状態がストレス状態ではないと判断された場合（ステップ１０１にてＮＯ）には、処理を終了し、ステップ１０１に戻る。

一方、ステップ１０１にてユーザＡの内的状態がストレス状態であると判断された場合（ステップ１０１にてＹＥＳ）には、ユーザＡと対面している人物を特定する（ステップ１０２）。この例では、その人物は、ユーザＢであると特定される。
ストレス状態のユーザＡに対面している人物であるユーザＢは、ユーザＡがストレス状態に移行する前からユーザＡと対面しているかを判断する（ステップ１０３）。
ユーザＡに対面している人物であるユーザＢが、ユーザＡがストレス状態に移行した後にユーザＡとの対面を開始している場合（ステップ１０３にてＮＯ）、処理を終了し、ステップ１０１に戻る。

一方で、ストレス状態のユーザＡに対面しているユーザＢが、ユーザＡがストレス状態となる前からユーザＢと対面している場合（ステップ１０３でＹＥＳ）、内的状態とユーザＡに対面している人物の対面人物情報としてユーザＢとを関連付ける（ステップ１０４）。
さらに、記憶部３４は、関連付けられた対面人物情報（この例では、ユーザＢに関する情報）と内的状態とを記憶する（ステップ１０５）。
また、本実施形態では、通知部３５は、対面している人物であるユーザＢが所持している第２端末装置１０Ｂにてストレス通知を実行する（ステップ１０６）。

その後、再び、内的状態推定部３１から取得した内的状態に基づいて、ユーザＡの内的状態がストレス状態（既定の状態の一例）であるか否かを判断する（ステップ１０７）。そして、ユーザＡの内的状態がストレス状態である場合（ステップ１０７でＹＥＳ）には、ステップ１０２に戻り、対面している人物の特定を行い、ステップ１０６までの処理を行う。
一方で、ユーザＡの内的状態がストレス状態ではない場合（ステップ１０７でＮＯ）には、対面人物情報と内的状態とが関連付けられた関連情報の記憶を停止し（Ｓ１０８）、一連の処理を終了する。

次に、図５を参照しながら、ユーザＡが特定の人物に対面したことを契機として、関連付けを行う例について説明する。
図５に示すように、サーバ装置３０の関連付部３３（図２参照）は、対面人物特定部３２から取得した対面人物情報から、ユーザＡに対面している人物が予め定められた特定の人物（この例では、ユーザＢ）であるか否かを判断する（ステップ２０１）。ステップ２０１にて、ユーザＡに対面している人物が特定の人物であるユーザＢでないと判断した場合（ステップ２０１にてＮＯ）には、ステップ２０１に戻る。

一方、ステップ２０１にて、ユーザＡに対面している人物が特定の人物であるユーザＢであると判断した場合には、ユーザＢとの対面を開始してからの対面時間が予め定められた閾値以上であるか否かを判断する（ステップ２０２）。ステップ２０２にて、対面時間が閾値以上であると判断しなかった場合（ステップ２０２にてＮＯ）には、ステップ２０１に戻る。

また、ステップ２０２にて、対面時間が閾値以上であると判断した場合（ステップ２０２にてＹＥＳ）には、ユーザＡの内的状態を取得する（ステップ２０３）。そして、対面している人物であるユーザＢの対面人物情報とユーザＡの内的状態とを関連付ける（ステップ２０４）。
そして、記憶部３４は、関連付けられた対面人物情報（この例では、ユーザＢに関する情報）と内的状態とを記憶する（ステップ２０５）。

さらに、ユーザＡの内的状態がストレス状態であるか否かを判断する（ステップ２０６）。ストレス状態でなければ（ステップ２０６にてＮＯ）、ステップ２０８に進む。一方で、ストレス状態であると判断した場合には（ステップ２０６にてＹＥＳ）、通知部３５は、ユーザＢの第２端末装置１０Ｂにてストレス通知を実行する（ステップ２０７）。

その後、再び、特定の人物と対面しているか否かを判断する（ステップ２０８）。特定の人物との対面が継続している場合（ステップ２０８にてＹＥＳ）には、ステップ２０３に戻る。一方で、特定の人物との対面が終了している場合（ステップ２０８にてＮＯ）には、関連付けた対面人物情報と内的状態との記憶を停止し（ステップ２０９）、ステップ２０１に戻る。

以上のようにして、本実施形態の情報処理システム１では、ユーザＡの内的状態と対面人物情報とを関連付ける関連情報を作成し、ユーザの内的状態に影響を及ぼしている人物と内的状態とを客観的な方法によって特定するようにしている。

なお、上述した実施形態においては、ユーザＡの内的状態および対面人物情報を基準に説明をしているが、あくまで一例である。第２端末装置１０Ｂを装着しているユーザＢの内的状態や対面人物情報に基づいて、上述した一連の処理を行っても良い。同様に、他のユーザについても端末装置を装着することで、同様な処理を行っても良い。

また、本実施形態では、内的状態推定部３１は、端末装置１０Ａから取得したユーザＡの生体情報に基づいて、ユーザＡの内的状態を推定しているが、この例に限定されない。例えば、内的状態推定部３１は、カメラ画像２０から取得したユーザＡの撮影画像（状態情報の一例）に基づいて、撮影画像からだけの情報から、ユーザＡの内的状態を推定しても良い。この場合、内的状態推定部３１は、ユーザＡの撮影画像におけるユーザＡの表情やユーザＡの姿勢に基づいて、ユーザＡの内的状態を推定する。

続いて、本実施形態のサーバ装置３０のハードウェア構成について説明する。
本実施形態のサーバ装置３０は、それぞれ、演算手段であるＣＰＵ（Central Processing Unit）、主記憶手段であるメモリ、磁気ディスク装置（ＨＤＤ：Hard Disk Drive）、ネットワークインターフェイス、ディスプレイ装置を含む表示機構、音声機構、および、キーボードやマウス等の入力デバイス等を備える。
そして、磁気ディスク装置には、ＯＳのプログラムやアプリケーション・プログラムが格納されている。そして、これらのプログラムがメモリに読み込まれてＣＰＵに実行されることにより、本実施形態のサーバ装置３０の各々における各機能部の機能が実現される。
さらに、本実施形態の情報処理システム１における一連の動作をサーバ装置３０にてそれぞれ実現させるプログラムは、例えば通信手段により提供することはもちろん、各種の記録媒体に格納して提供しても良い。

なお、上述した説明において、ユーザの内的状態における既定の状態として、ストレス状態である例を用いたが、既定の状態は、ストレス状態に限定されない。例えば、既定の状態は、ユーザが緊張しておらず、体や心が張り詰めていないリラックスした状態であっても良い。例えば、関連付部３３は、ユーザＡが既定の状態としてリラックス状態であると特定したことを条件として、ユーザＡの内的状態と対面人物情報とを関連付けても良い。また、この場合に、ユーザＡが人物との対面を開始した後に、ユーザＡの内的状態がリラックス状態へと好転した場合に、その人物の対面人物情報と内的状態とを関連付けるようにしても良い。

１…情報処理システム、１０…端末装置、１０Ａ…第１端末装置、１０Ｂ…第２端末装置、２０…カメラ装置、３０…サーバ装置、３１…内的状態推定部、３２…対面人物特定部、３３…関連付部、３４…記憶部、３５…通知部

Claims (12)

1. ユーザの内的状態を推定する推定手段と、
   前記ユーザが対面している人物に関する対面人物情報を特定する特定手段と、
   前記推定手段にて推定した前記内的状態と、前記特定手段が特定した前記対面人物情報とを関連付ける関連手段と、
   を備える情報処理システム。
2. 前記関連手段にて関連付けられた前記内的状態と前記対面人物情報とを予め定められた条件に応じて記録するタイミングを制御する記録制御手段を備える請求項１に記載の情報処理システム。
3. 前記記録制御手段は、前記推定手段により前記ユーザの前記内的状態が既定の状態になったと推定された場合に前記記録を行う請求項２に記載の情報処理システム。
4. 前記記録制御手段は、ユーザが予め定められた人物と対面していることが特定されたときに前記記録を行う請求項２に記載の情報処理システム。
5. 前記関連手段は、予め定められた条件に基づいて、前記内的状態と前記対面人物情報との関連付けを行う請求項１に記載の情報処理システム。
6. 前記関連手段は、ユーザと対面している人物との対面時間に応じて、前記内的状態と前記対面人物情報との関連付けを行う請求項５に記載の情報処理システム。
7. 前記関連手段は、ユーザが人物との対面を開始した後に、前記内的状態が変化した場合に、前記内的状態と前記対面人物情報とを関連付ける請求項５に記載の情報処理システム。
8. 前記ユーザの内的状態が既定の状態と推定された場合、対面している人物に対して通知を行う通知手段を備える請求項１に記載の情報処理システム。
9. 前記通知手段は、前記対面人物が所持する端末装置にて前記通知を行う請求項８に記載の情報処理システム。
10. ユーザの状態に関する状態情報を取得する取得手段と、
    前記取得手段が取得した前記ユーザの前記状態情報に基づいて、当該ユーザの内的状態を推定する推定手段と、
    前記取得手段によって前記状態情報の取得が行われた際に、前記ユーザが対面している人物に関する対面人物情報を取得する人物情報取得手段と、
    前記推定手段にて推定した前記内的状態と、前記人物情報取得手段が取得した前記対面人物情報とを関連付ける関連手段と、
    を備える情報処理システム。
11. ユーザの内的状態を取得する内的状態取得手段と、
    前記ユーザが対面している人物に関する対面人物情報を取得する人物情報取得手段と、
    前記内的状態と前記対面人物情報とを関連付ける関連手段と、
    を備える情報処理装置。
12. コンピュータに、
    ユーザの内的状態を取得する機能と、
    前記ユーザが対面している人物に関する対面人物情報を取得する機能と、
    前記内的状態と前記対面人物情報とを関連付ける機能と、
    を実現させるためのプログラム。