JP2018202012A - 情報処理システム - Google Patents

Abstract

【課題】ユーザの状態をよりリアルに反映したアバターを構成することが可能な情報処理システムを提供する。【解決手段】情報処理システムは、ユーザの心拍数を含むバイタルデータを取得するバイタルデータ取得手段と、バイタルデータ取得手段により取得されたバイタルデータを、通信ネットワークを介してリアルタイムに送信する端末装置と、端末装置から送信されたバイタルデータを処理する情報処理サーバとを備え、情報処理サーバは、バイタルデータを記憶する記憶部と、少なくとも心拍数と該心拍数に基づいて算出される心拍変動率とに基づいて、ユーザの状態を推定するユーザ状態推定部と、少なくともユーザ状態推定部による推定結果が反映されたアバターを表示するための表示用データを作成するアバターデータ作成部と、通信ネットワークを介して表示用データの送信要求を受信した場合に、表示用データを当該要求元に送信する通信インタフェースとを有する。【選択図】図１

Description

本発明は、生体に関する情報を収集して可視化する情報処理システムに関する。

近年、種々のセンサを用いて生体であるユーザに関する情報を収集し、アバターに反映して表示することにより、上記情報を可視化する技術が知られている。ここで、アバターとは、「ネット上でユーザの代わりに登場するキャラクター」（「現代用語の基礎知識２０１７」、自由国民社、第１２３１頁）のことである。

例えば特許文献１には、ウェブ対応アプリケーションに対する感情データを測定する技術が開示されている。詳細には、電気皮膚活性（ＥＤＡ）、加速度計の読み、皮膚温度等の生理的データ、又は、ウェブカメラで観察された顔の表情や頭部ジェスチャに基づいて、ユーザがウェブサイトや映像等のレンダリングと対話する際の精神状態を推論し、この精神状態情報をレンダリングと関連付けることとしている。さらに、特許文献１においては、この精神状態情報を、アバターのような視覚的表現を用いて表示することとしている。

特許文献２には、ユーザの頭部の複数箇所の電位、又は、頭部の加速度若しくは角速度を検出し、これらの検出結果に基づいて頭部の動き及び／又は顔の表情を推定し、推定された表情を頭部の動きと併せてアバターに付与してディスプレイに表示する技術が開示されている。

特表２０１４−５０４４６０号公報 特開２０１６−１２６５００号公報

特許文献１、２のいずれにおいても、ユーザの精神状態や表情をアバターに表示することにより、アバターをコミュニケーションの手段として用いている。しかしながら、近年のリモートコミュニケションの広がりや、多種多様なアプリケーションの登場により、アバターの利用方法もさらに多様且つ高度になることが見込まれる。そのためには、嬉しい、悲しいといった単純な精神状態や表情だけでなく、ユーザの状態をよりリアルに反映したアバターを構成することが望まれる。

そこで、本発明は、かかる事情に鑑みてなされたものであり、ユーザの状態をよりリアルに反映したアバターを構成することが可能な情報処理システムを提供することを目的の１つとする。

上記課題を解決するため、本発明の一態様による情報処理システムは、少なくともユーザの心拍数を含むバイタルデータを取得するバイタルデータ取得手段と、前記バイタルデータ取得手段により取得されたバイタルデータを、通信ネットワークを介してリアルタイムに送信する端末装置と、前記端末装置から送信されたバイタルデータを処理する情報処理サーバと、を備え、前記情報処理サーバは、前記バイタルデータを記憶する記憶部と、少なくとも前記心拍数と、該心拍数に基づいて算出される心拍変動率とに基づいて、前記ユーザの状態をリアルタイムに推定するユーザ状態推定部と、少なくとも前記ユーザ状態推定部による推定結果が反映されたアバターを表示するための表示用データを作成するアバターデータ作成部と、前記通信ネットワークを介して前記表示用データの送信要求を受信した場合に、前記表示用データを当該要求元に送信する通信インタフェースと、を有するものである。

上記情報処理システムにおいて、前記ユーザ状態推定部は、前記ユーザの精神状態を推定し、前記アバターデータ作成部は、前記ユーザの精神状態が反映された前記アバターの表示用データを作成しても良い。

上記情報処理システムにおいて、前記アバターデータ作成部は、前記ユーザの精神状態に応じて前記アバターの表情又は姿勢を変化させた表示用データを作成しても良い。

上記情報処理システムにおいて、前記アバターデータ作成部は、前記ユーザの精神状態に応じて前記アバターのオーラの色又は表示範囲を変化させた表示用データを作成しても良い。

上記情報処理システムにおいて、前記ユーザ状態推定部は、前記ユーザの健康状態を推定し、前記アバターデータ作成部は、前記ユーザの健康状態が反映された前記アバターの表示用データを作成しても良い。

上記情報処理システムにおいて、前記アバターデータ作成部は、前記ユーザの健康状態に応じて前記アバターの色を部分的に変化させた表示用データを作成しても良い。

上記情報処理システムにおいて、前記アバターデータ作成部は、前記ユーザの健康状態に応じて前記アバターのオーラの色又は表示範囲を変化させた表示用データを作成しても良い。

上記情報処理システムにおいて、前記ユーザ状態推定部は、前記ユーザの活動状態を推定し、前記アバターデータ作成部は、前記ユーザの活動状態が反映された前記アバターの表示用データを作成しても良い。

上記情報処理システムにおいて、前記アバターデータ作成部は、前記ユーザの活動状態に応じて前記アバターの形状を変化させた表示用データを作成しても良い。

上記情報処理システムにおいて、前記表示用データは、前記アバターの内部に関する情報を含む３次元データであり、前記要求元からの前記表示用データの送信要求に応じて、前記アバターの内部を表示するための表示用データを作成して前記要求元に送信しても良い。

上記情報処理システムにおいて、前記バイタルデータ取得手段は、前記心拍数とは異なる種類のバイタルデータをさらに取得し、前記情報処理サーバは、互いに異なる複数種類のバイタルデータ間における相関を分析する相関分析部をさらに有し、前記ユーザ状態推定部は、さらに前記相関分析部による分析結果に基づいて、前記ユーザの状態を推定しても良い。

本発明によれば、少なくともユーザの心拍数を含むバイタルデータを取得して、このバイタルデータに基づいてユーザの状態をリアルタイムに推定し、この推定結果が反映されたアバターの表示用データを作成するので、ユーザの状態をよりリアルに反映したアバターを構成することが可能となる。

本発明の実施形態に係る情報処理システムの一例を概略的に示すシステムブロック図である。 図１に示すユーザ端末の構成の一例を概略的に示すシステムブロック図である。 図１に示す情報処理サーバの構成の一例を概略的に示すシステムブロック図である。 図３に示す記憶部に記憶されるユーザ管理データベースに格納される情報の例示する模式図である。 図３に示す記憶部に記憶されるユーザ情報データベースに格納される情報の例示する模式図である。 図３に示す記憶部に記憶される相関情報データベースに格納される情報の例示する模式図である。 図３に示す相関分析部が実行する相関情報データベースの構築処理を示すフローチャートである。 図１に示す情報処理システムにおいて実行される情報収集処理のシーケンス図である。 図１に示す情報処理システムにおいて実行されるアバターの表示処理のシーケンス図である。 アバターの表示例を示す模式図である。 アバターの別の表示例を示す模式図である。 図１に示す情報処理システムのＳＮＳにおける活用例を説明するための図である。 図１に示す情報処理システムのＳＮＳにおける活用例を説明するための図である。

以下、本発明の実施の形態について詳細に説明する。なお、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。

（１）実施形態の構成
図１は、本発明の実施形態に係る情報処理システムの一例を概略的に示すシステムブロック図である。図１に示すように、情報処理システム１は、ユーザの生体情報であるバイタルデータを収集するバイタルデータ収集手段１０と、ユーザ端末２０と、情報処理サーバ３０とを含む。このうち、ユーザ端末２０と情報処理サーバ３０とは、通信ネットワークＮを介して接続されている（但し、これに限定されない）。

ネットワークＮは、インターネット、ＬＡＮ、専用線、電話回線、企業内ネットワーク、移動体通信網、ブルートゥース（Bluetooth：登録商標）、ＷｉＦｉ（Wireless Fidelity）、その他の通信回線、それらの組み合わせ等によって構成される通信網であり、有線であるか無線であるかを問わない。

バイタルデータ収集手段１０は、ユーザの身体に取り付けられ、又は、ユーザの身体の周辺に設置され、ユーザの身体をモニタしてバイタルデータを収集する複数の機器を含む。具体的には、バイタルデータ収集手段１０は、ユーザの心拍数を計測する心拍計１１の他、脈拍計１２、血圧計１３、体温計１４、ユーザの顔や身体の動きを撮影するウェブカメラ１５、ユーザの筋肉の動きを測定する表面筋電位センサ１６等を含む。各機器は、１台ずつ設けても良いし、複数台ずつ設けても良い。例えば、複数の脈拍計１２をユーザの身体の複数箇所にそれぞれ取り付けることにより、測定精度を向上させることができる。この他、ユーザの音声を収集するマイクや、歩数計などをバイタルデータ収集手段１０として設けても良い。

図２は、本発明の実施形態に係る情報処理システムにおけるユーザ端末２０の構成の一例を概略的に示すシステムブロック図である。ユーザ端末２０は、タブレット端末、パーソナルコンピュータ（ＰＣ）、ノートＰＣ、スマートフォン、携帯電話機、携帯情報端末（ＰＤＡ）など、通信ネットワークを介して他の通信機器とデータの授受が可能なあらゆる端末装置を利用することができる。本実施形態においては、タブレット端末に専用のアプリケーションをインストールし、このアプリケーションを実行させることにより、当該タブレット端末をユーザ端末２０と使用する。

ユーザ端末２０は、通信インタフェース２１と、入力部２２と、表示部２３と、撮像部２４と、信号入出力部２５と、記憶部２６と、プロセッサ２７とを備える。

通信インタフェース２１は、ユーザ端末２０を通信ネットワークＮに接続し、通信ネットワークＮ上の他の端末と通信をするためのハードウェアモジュールである。通信インタフェース２１は、例えば、ＩＳＤＮモデム、ＡＤＳＬモデム、ケーブルモデム、光モデム、ソフトモデム等の変調復調装置である。

入力部２２は、各種操作ボタンやタッチパネル等の入力デバイスである。表示部２３は、例えば液晶ディスプレイ又は有機ＥＬディスプレイである。撮像部２４は、タブレット端末に内蔵されたカメラである。

信号入出力部２５は、有線（ケーブル）又はブルートゥース（Bluetooth：登録商標）などの規格に基づく無線通信により外部機器をユーザ端末２０に接続し、当該外部機器との間で信号の送受信を行うインタフェースである。本実施形態においては、バイタルデータ収集手段１０に含まれる各機器が、信号入出力部２５を介してユーザ端末２０に接続される。

記憶部２６は、物理デバイスの記憶領域が提供する論理デバイスであり、ユーザ端末２０の処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、各種データ等を格納する。ここで、物理デバイスは、例えば、半導体メモリ等のコンピュータ読み取り可能な記録媒体である。ドライバプログラムとしては、例えば、通信インタフェース２１を制御するための通信インタフェースドライバプログラム、入力部２２を制御するための入力デバイスドライバプログラム、表示部２３を制御するための表示デバイスドライバプログラム、撮像部２４を制御するための撮像デバイスドライバプログラム、信号入出力部２５に接続される外部機器を制御するための各種ドライバプログラム等が挙げられる。

また、記憶部２６は、これら各種プログラムや各種データのほか、プロセッサ２７が実行することにより、情報処理サーバ３０と連携して所定の動作を実行する専用のアプリケーションプログラム２６１を記憶している。アプリケーションプログラム２６１としては、例えば、バイタルデータ収集手段１０により収集されたバイタルデータを処理するためのアプリケーションプログラム（バイタル情報処理アプリ）、ＳＮＳ（ソーシャルネットワーキングサービス）用のアプリケーションプログラム（ＳＮＳアプリ）、ユーザの健康を管理するためのアプリケーションプログラム（健康管理アプリ）等が挙げられる。

プロセッサ２７は、算術演算、論理演算、ビット演算等を処理する算術論理演算ユニット（ＣＰＵなど）及び各種レジスタから構成され、記憶部２６に格納されている各種プログラムを実行することでユーザ端末２０の各部を中枢的に制御する。各種レジスタは、例えば、プログラムカウンタ、データレジスタ、命令レジスタ、汎用レジスタ等である。また、プロセッサ２７は、アプリケーションプログラム２６１を読み込み、バイタル情報処理、ＳＮＳ、健康管理等のアプリケーション実行部２７１として機能する。

このようなユーザ端末２０は、バイタルデータ収集手段１０から出力された各種バイタルデータを受信し、通信ネットワークＮを介して情報処理サーバ３０に常時且つリアルタイムに送信することが好ましい。

なお、本実施形態においては、バイタルデータ収集手段１０をユーザ端末２０に接続し、ユーザ端末２０を介してバイタルデータを情報処理サーバ３０に送信することとした。しかしながら、バイタルデータ収集手段１０の各々に通信機能を設けると共に、各バイタルデータ収集手段１０の識別コード（ＩＤ）を予め情報処理サーバ３０に登録しておき、各バイタルデータ収集手段１０から情報処理サーバ３０にバイタルデータを直接送信することとしても良い。

また、図１においては、バイタルデータ収集手段１０及びユーザ端末２０を１つずつ図示しているが、これに限定されない。即ち、各々にバイタルデータ収集手段１０が接続された２つ以上のユーザ端末２０を通信ネットワークＮに接続し、各ユーザ端末２０から同時に情報処理サーバ３０にアクセスすることも可能である。

図３は、本発明の実施形態に係る情報処理システムにおける情報処理サーバの構成の一例を概略的に示すシステムブロック図である。情報処理サーバ３０は、ユーザ端末２０（又はバイタルデータ収集手段１０）から送信されたバイタルデータを蓄積すると共に、蓄積されたバイタルデータに基づいてユーザの状態をリアルタイムに推定し、ユーザ端末２０からの要求に応じてユーザの状態を可視化してユーザ端末２０に提供するサーバ装置である。情報処理サーバ３０は、例えば、演算処理能力の高いホストコンピュータによって構成され、そのホストコンピュータにおいて所定のサーバ用プログラムが動作することにより、サーバ機能を発現する。なお、情報処理サーバ３０を構成するコンピュータは、必ずしも１台である必要はなく、通信ネットワークＮ上に分散する複数のコンピュータから構成されてもよい。

情報処理サーバ３０は、通信インタフェース３１と、記憶部３２と、プロセッサ３３とを備える。
通信インタフェース３１は、通信ネットワークＮに接続し、通信ネットワークＮ上の他の端末と通信をするためのハードウェアモジュールである。具体的には、通信インタフェース３１は、例えば、ＩＳＤＮモデム、ＡＤＳＬモデム、ケーブルモデム、光モデム、ソフトモデム等の変調復調装置である。

記憶部３２は、例えば、ディスクドライブまたは半導体メモリ（ＲＯＭ、ＲＡＭなど）等のコンピュータ読み取り可能な記録媒体からなる物理デバイスの記憶領域が提供する論理デバイスである。記憶部３２は、複数の物理デバイスを１つの論理デバイスにマッピングして構築してもよいし、１つの物理デバイスを複数の論理デバイスにマッピングして構築してもよい。記憶部３２は、オペレーティングシステムプログラムやドライバプログラムを含む各種プログラム及びこれらのプログラムの実行中に使用される各種データを格納する。具体的には、記憶部３２は、プロセッサ３３に実行させる情報処理プログラム３２１と、ユーザ管理データベース３２２と、ユーザ情報データベース３２３と、相関情報データベース３２４とを記憶している。

情報処理プログラム３２１は、ユーザのバイタルデータを蓄積し、蓄積したバイタルデータに基づいてユーザの状態（精神状態、健康状態、活動状態等）を可視化して提供する機能を実現するためにプロセッサ３３に実行させるプログラムである。

図４は、ユーザ管理データベース３２２に格納される情報を例示する模式図である。ユーザ管理データベース３２２は、ユーザＩＤ、ユーザ名、及びパスコード等を含むユーザのアカウント情報と、アクセス制限を管理するための情報を格納する。アクセス制限は、当該ユーザに関する情報の閲覧を他ユーザが要求してきた場合に、他ユーザに開示する情報の範囲を制限するためのものである。アクセス制限は、当該ユーザと他ユーザとの関係に応じて、「全て開示する（アクセス制限なし）」から「本人以外には開示しない」までの範囲で、当該ユーザが段階的に設定することができる。

図５は、ユーザ情報データベース３２３に格納される情報を例示する模式図である。ユーザ情報データベース３２３は、ユーザの生年月日、身長、体重、及び血液型等のユーザ基本情報Ｄ１と、バイタルデータＤ２と、バイタルデータＤ２に基づいて推定されたユーザの状態を表すユーザ状態情報Ｄ３とを、ユーザＩＤごとに格納している。

このうち、バイタルデータＤ２は、バイタルデータ収集手段１０により直接取得された一次データと、一次データから取得された二次データとを含む。一次データには、心拍数、脈拍数、血圧、体温、顔や頭皮や身体の筋肉の動き、眼球や瞳孔の動き、音声等が含まれる。また、二次データには、心拍数から算出される心拍変動率、顔や頭皮や身体の筋肉の動きから算出される顔の表情や身体のポーズ、腹部や背中の筋肉の動きから算出される横隔膜の動きや背骨の伸び、眼球の動きから算出される眼球の動きの変動率、声の調子（大きさ、高さ、速さ等）の変化などが含まれる。これらの二次データは、ユーザ端末２０側で算出して情報処理サーバ３０に送信しても良いし、情報処理サーバ３０側で算出しても良い。

なお、バイタルデータＤ２は、ユーザ端末２０からリアルタイムに送信され、情報処理サーバ３０に蓄積されるため、情報処理サーバ３０は、受信してから所定期間（例えば数年）が経過したバイタルデータＤ２を順次削除することとしても良い。この場合であっても、削除対象のバイタルデータから取得されたユーザ状態情報については、保存しておいても良い。

ユーザ状態情報Ｄ３は、感情（喜怒哀楽）やストレスレベル等の精神状態、健康レベルや不調部位等の健康状態、「寝ている」「起きている」「食事中」「運動中」等の活動状態を表す情報を含む。これらの情報は、レベルを数値化して表しても良いし、文字（又は記号）情報で表しても良いし、数値と文字（又は記号）情報とを組み合わせて表しても良い。

図６は、相関情報データベース３２４に格納される情報を例示する模式図である。相関情報データベース３２４は、バイタルデータとユーザの状態（精神状態、健康状態、活動状態）とを関連付けた情報（相関情報）を格納する。相関情報の一例として、互いに異なる複数種類のバイタルデータ（図６においては、データＡ及びＢの２種類）とそのときのユーザの状態との関係を示すテーブルが挙げられる。図６においては、あるバイタルデータ（データＡ）のレベルが「５」、別のバイタルデータ（データＢ）のレベルが「４」であるとき、ユーザの状態は「Ｘ１」であることを示している。

ここで、バイタルデータの１つである心拍数は、体調（例えば平熱時又は発熱時）や、精神状態（例えば落ち着いている時又は緊張若しくは興奮している時）や、活動状態（例えば安静時又は運動時）等に応じて変動する。他方、心拍間隔は、ある程度揺らいでいる状態が正常であり、心身にストレスがかかったり、自律神経機能が低下したりすると、心拍間隔の変動が小さくなることが知られている。また、中医学においては、心拍数及び心拍変動率に基づいて、精神状態（感情やストレスレベル）や健康状態（臓器等の機能レベル）を判断することも行われている。

そこで、心拍数と、心拍間隔の変動率（心拍変動率）とを測定することにより、ユーザの精神状態、健康状態、及び活動状態をある程度推定することが可能となる。さらに、ユーザの他のバイタルデータ（血圧、体温、カメラで捉えられたユーザの眼の動き、顔の筋肉の動き（表情）、声の調子の変化、身体の筋肉の動き（運動）、横隔膜の動き、背骨の伸び等）を併用することにより、ユーザの状態について推定可能な項目を増やすことができると共に、推定精度を向上させることができる。例えば、精神情報及び健康情報の他にも、寝ている、起きている、といった活動状態を推定することもできる。

ここで、ユーザの状態を推定する際に用いられる情報は、バイタルデータのみである必要はなく、バイタルデータに基づいて推定されたユーザの状態（推定結果）を用いても良い。即ち、バイタルデータに基づく推定結果とバイタルデータとに基づいて、さらに別の種類のユーザの状態を推定しても良い。例えば、心拍数及び／又は心拍変動率に基づいて推定されたユーザのストレスレベルと、顔の筋肉の動きとに基づいて、ユーザの精神状態をより詳細に推定することができる。

相関情報データベース３２４は、このようにユーザの状態を推定する際に用いられる相関情報を１つ以上格納している。なお、相関情報は必ずしもテーブルの形態である必要はなく、複数種類のバイタルデータを変数とする関数や、バイタルデータに基づく推定結果とバイタルデータを変数とする関数を、相関情報として格納しても良い。

相関情報データベース３２４に格納される相関情報は、予め外部情報に基づいて作成されたものであっても良いし、情報処理サーバ３０に蓄積されたバイタルデータに基づいて作成されたものであっても良い。さらには、予め外部情報に基づいて作成された相関情報を、情報処理サーバ３０に蓄積されたバイタルデータに基づいて更新することとしても良い。

プロセッサ３３は、算術演算、論理演算、ビット演算等を処理する算術論理演算ユニット（ＣＰＵなど）及び各種レジスタから構成され、記憶部３２に格納されている各種プログラムを実行することで情報処理サーバ３０の各部を中枢的に制御する。各種レジスタは、例えば、プログラムカウンタ、データレジスタ、命令レジスタ、汎用レジスタ等である。また、プロセッサ３３は、情報処理プログラム３２１を実行することにより、ユーザ端末２０と連携して所定の情報処理機能を実現する。

プロセッサ３３が情報処理プログラム３２１を実行することにより実現される機能部には、認証管理部３３１と、ユーザ情報管理部３３２と、ユーザ状態推定部３３３と、アバターデータ作成部３３４と、相関分析部３３５とが含まれる。

認証管理部３３１は、ユーザ端末２０が情報処理サーバ３０にアクセスしてきた際の認証を行う。詳細には、認証管理部３３１は、ユーザ端末２０がアクセスを要求してきた際に、当該ユーザ端末２０にユーザＩＤ及びパスコードの入力を要求し、ユーザ管理データベース３２２を参照して、当該ユーザ端末２０のアクセスを許可するか否かの認証を行う。

ユーザ情報管理部３３２は、ユーザ端末２０から送信される情報に基づいて、ユーザ情報データベース３２３を管理する。
ユーザ状態推定部３３３は、バイタルデータＤ２に蓄積されたバイタルデータと、相関情報データベース３２４とに基づいて、ユーザの状態を推定する。

アバターデータ作成部３３４は、ユーザの分身としてインターネット空間上に表示させるキャラクターであるアバターを作成すると共に、ユーザのバイタルデータ及びユーザ状態推定部３３３による推定結果（ユーザの状態）をアバターに反映して表示させるための表示用データ（以下、アバターデータという）を作成する。アバターに反映させるバイタルデータ及びユーザの状態の種類やアバターの表示方法は特に限定されない。アバターの表示例については後述する。

ここで、バイタルデータはユーザ端末２０からリアルタイムに送信され、推定されるユーザの状態も刻々と変化するため、アバターをアニメーション表示することが好ましい。また、アバターデータ作成部３３４は、アバターデータとして、アバターの内部を表す情報を含む３次元データを作成し、ユーザ端末２０からの要求に応じて、アバターを内部（例えば消化管内）から見た状態の表示用データや、断面の表示用データをその都度構成するようにしても良い。

相関分析部３３５は、ユーザ端末２０から送信されたバイタルデータ（インプットデータ）同士の相関や、バイタルデータ（インプットデータ）とユーザ状態推定部３３３による推定結果（アウトプットデータ）との相関を分析することにより、バイタルデータとユーザの状態とを関連付けた相関情報のデータベースを構築する。

図７は、相関分析部３３５が実行する相関情報データベースの構築処理を示すフローチャートである。
まず、ステップＳ１０において、相関分析部３３５は、ユーザの状態に予め関連付けられた第１の情報と、１種類以上の第２の情報とを取得する。ここで、上述したように、心拍変動率はユーザのストレスレベルと相関があることが知られているため、心拍変動率とストレスレベルとを予め関連付けておくことにより、心拍変動率をステップＳ１０における第１の情報として用いることができる。また、第２の情報としては、例えば眼球など特定の部位の動きや、声の調子の変化、横隔膜の膨らみ方、背骨の伸び等、心拍変動率以外のデータを取得する。第２の情報は、互いに異なる２種類以上の情報であっても良い。

続くステップＳ１１において、相関分析部３３５は、第１の情報と第２の情報との相関を分析する。上述した例においては、心拍変動率と眼球の動きとの相関や、心拍変動率と声の調子の変化との相関、心拍変動率と横隔膜の動きとの相関が分析される。

続くステップＳ１２において、相関分析部３３５は、第１の情報と第２の情報との相関が強いか否かを判定する。例えば、両者間の相関係数が所定値以上である場合には相関が強いと判定され、相関係数が所定値未満である場合には相関が弱いと判定される。

第１の情報と第２の情報との間の相関が弱い場合（ステップＳ１２：Ｙｅｓ）、相関分析部３３５は処理を終了する。
他方、第１の情報と第２の情報との間の相関が強い場合（ステップＳ１２：Ｙｅｓ）、相関分析部３３５は、相関の分析結果に基づき、第１の情報と予め関連付けられているユーザの状態に第２の情報を関連付ける（ステップＳ１３）。詳細には、ユーザの状態に第２の情報を関連付けたテーブルを作成する。或いは、第２の情報を入力変数とし、ユーザの状態を出力値とする関数を作成しても良い。これにより、第２の情報に基づいてユーザの状態を直接推定することが可能となる。上述した例においては、ユーザの眼球の動きのデータから、心拍変動率を経ることなく、ユーザのストレスレベルを推定できるようになる。或いは、声の調子の変化から、ユーザの喜怒哀楽を推定できるようになる。また、横隔膜の膨らみ方や背骨の伸びから、ユーザの緊張の度合いを推定できるようになる。相関分析部３３５は、このようにして取得された第２の情報とユーザの状態との相関情報を、相関情報データベース３２４（図３参照）に蓄積する。その後、相関分析部３３５は処理を終了する。

第１の情報としては、ユーザの状態と関連付けられている情報であれば心拍変動率以外でも用いることができる。例えば、上記ステップＳ１３において眼球の動きとストレスレベルとが一旦関連付けられれば、その次には、眼球の動きをステップＳ１０における新たな第１の情報として用いることも可能となる。この場合、さらに別のバイタルデータをステップＳ１１における第２の情報として、新たな第１の情報との相関を分析することにより、眼球の動きを介してストレスレベルと当該別のバイタルデータとを関連付けることができる。

また、相関を分析する対象としては、バイタルデータ同士の相関に限定されず、ユーザにより任意に入力されたデータとバイタルデータとの相関や、バイタルデータから推定されたデータとバイタルデータとの相関などを分析しても良い。具体的には、ユーザの生年月日、生まれた時間や場所、血液型、ＤＮＡ型、占い（例えば四柱推命）の結果、バイタルデータに対する自分自身の評価などのデータをユーザに入力させ、これらのインプットデータとバイタルデータ（心拍変動率等）との相関を取ることが挙げられる。

このように、バイタルデータ同士の相関や、バイタルデータとバイタルデータ以外のデータとの相関の分析を積み重ねることにより、ユーザの状態（精神状態、健康状態、活動状態）についてより多様な項目を推定することができ、推定精度の向上を図ることもできる。そして、このようにして推定されたユーザの状態をアバターに反映させることにより、よりユーザの現状に近いアバターを表示することが可能となる。さらには、このような相関の分析結果を蓄積することにより、ユーザが自覚していない疾病等を推定できる可能性もある。

また、多数（例えば数百〜数万人）のユーザの分析結果を一定期間（例えば１年間〜数年間）蓄積することにより、ユーザの状態に関する一般的傾向を把握することも可能となる。例えば、Ａ地域出身のＢ月生まれのユーザはＸ病にかかり易いといった傾向を抽出することも可能である。

相関分析部３３５による分析結果は、相関情報データベース３２４に蓄積される。相関分析部３３５の分析により蓄積された相関情報は、当該分析に用いられたユーザの状態を推定するためだけに使用することとしても良い。或いは、一般化することが可能な相関情報は、他のユーザの状態を推定するために使用しても良い。

（２）実施形態の動作
図８は、本発明の実施形態に係る情報処理システム１において実行される情報収集処理のシーケンス図である。
ユーザ端末２０が情報処理サーバ３０にアクセスを要求すると（ステップＳ１０１）、情報処理サーバ３０はユーザ端末２０に対し、ユーザＩＤ及びパスコード、又は、新規ユーザ登録を要求する（ステップＳ２０１）。

ユーザ端末２０が、新規ユーザ登録するためのユーザ登録情報を送信すると（ステップＳ１０２）、情報処理サーバ３０は、ユーザＩＤ及びパスコードを発行すると共に、ユーザ情報を新規に作成する（ステップＳ２０２）。

ユーザ端末２０からユーザＩＤ及びパスコードを送信し（ステップＳ１０３）、情報処理サーバ３０において認証に成功すると（ステップＳ２０３）、当該ユーザ端末２０はログイン状態となり、ユーザ端末２０から情報処理サーバ３０にバイタルデータを蓄積可能な状態となる。

バイタルデータ収集手段１０（図１参照）により収集されたバイタルデータをユーザ端末２０から送信すると（ステップＳ１０４）、情報処理サーバ３０は、バイタルデータを受信してユーザ情報データベース３２３に格納する（ステップＳ２０４）。続いて、情報処理サーバ３０は、蓄積されたバイタルデータに基づいて当該ユーザの状態（精神状態、健康状態、活動状態）を推定し（ステップＳ２０５）、ユーザの状態が反映されたアバターを表示するためのアバターデータを作成する（ステップＳ２０６）。

図９は、本発明の実施形態に係る情報処理システム１において実行されるアバターの表示処理のシーケンス図である。
ユーザ端末２０が、情報処理サーバ３０にアクセスを要求すると（ステップＳ１１１）、情報処理サーバ３０はユーザ端末２０に対し、ユーザＩＤ及びパスコードを要求する（ステップＳ２１１）。

ユーザ端末２０からユーザＩＤ及びパスコードを送信し（ステップＳ１１２）、情報処理サーバ３０において認証に成功すると（ステップＳ２１２）、当該ユーザ端末２０はログイン状態となる。なお、ユーザ端末２０のログイン状態が維持されている場合には、ステップＳ１１２、Ｓ２１１、Ｓ２１２は省略される。

ユーザ端末２０が情報処理サーバ３０に、特定のユーザのアバターデータを要求すると（ステップＳ１１３）、情報処理サーバ３０は、ユーザ管理データベース３２２を参照し、アバターデータを要求されたユーザのアクセス制限を確認する（ステップＳ２１３）。そして、アクセス制限の範囲で、要求されたアバターデータをユーザ端末２０に送信する（ステップＳ２１４）。例えば、アクセス制限が「本人以外には開示しない」と設定されている場合、情報処理サーバ３０は、当該アバターデータのユーザ以外にはアバターデータを送信しない。

ユーザ端末２０は、受信したアバターデータに基づいて、アバターを画面に表示する（ステップＳ１１４）。
図１０は、アバターの表示例を示す模式図であり、人間の全身を模したアバターＡ１を示している。このアバターＡ１に対し、例えば、心臓の模型ａ１１を重畳表示し、ユーザの心拍に合わせて心臓の模型ａ１１を拍動させることとしても良い。また、ユーザの体温に応じて、アバターＡ１の全体の色を変化させても良い。或いは、推定されたユーザの精神状態（例えば喜怒哀楽やストレスレベル）をアバターＡ１の顔ａ１２の表情や色（顔色）に反映させても良い。さらには、推定されたユーザの健康状態（例えば元気〜不調のレベルやストレスレベル）を、アバターＡ１のオーラ（後光）ａ１３に反映させても良い。一例として、元気であるほどオーラａ１３の表示範囲を広くしたり、ストレスレベルに応じてオーラａ１３の色を変化させたりする。また、ユーザの身体における不調な箇所に対応するアバターＡ１の部分の色を、不調の程度に応じて変化させても良い。一例として、ユーザの肩こりがひどい場合に、アバターＡ１の肩の部分ａ１４の明度を落として、血行不良であることを表示する。また、ユーザの活動状態に合わせて、アバターＡ１の形状を変化させても良い。一例として、表面筋電位センサ１６（図１参照）により取得されたユーザの筋肉の動きに応じて、アバターＡ１のポーズを変化させる。

アバターデータ作成部３３４は、ユーザ端末２０から送信される要求に応じて、アバターＡ１の形態を変化させても良い。例えば、ユーザ端末２０の表示部２３に、入力部２２に対する操作により移動可能なスライダーａ１５を表示させ、スライダーａ１５が移動すると、スライダーａ１５の位置を表す情報が情報処理サーバ３０に送信されるようにする。アバターデータ作成部３３４は、スライダーａ１５の位置に応じて、過去のバイタルデータが反映されたアバターデータを作成し、ユーザ端末２０に送信する。それにより、ユーザ端末２０に、ユーザ所望の時期のバイタルデータが反映されたアバターＡ１が表示される。このように、過去のアバターＡ１の表示も可能とすることにより、ユーザは、健康状態等の時系列的な変化を確認することができる。

或いは、ユーザ端末２０の表示部２３に表示されたアバターＡ１に対して所定の操作（例えばタップ操作）を行うことにより、操作された領域が選択された旨を示す情報が情報処理サーバ３０に送信されるようにする。アバターデータ作成部３３４は、選択された領域の内部（例えば臓器）を表すアバターデータを作成し、ユーザ端末２０に送信する。それにより、ユーザ端末２０に、ユーザ所望の内部領域が露出されたアバターＡ１が表示される。内部領域の表示方法は、アバターＡ１の断面を見せる方式であっても良いし、あたかもアバターＡ１の内部に小型のカメラを挿入し、このカメラにより写した映像を見せる方式であっても良い。

図１１は、アバターの別の表示例を示す模式図であり、ユーザの頭部を模したアバターＡ２を示している。このアバターＡ２内に、ユーザの感情を表す領域（感情領域ａ２１）、右脳の活動状態を表す領域（右脳領域ａ２２）、及び、左脳の活動状態を表す領域（左脳領域ａ２３）を設け、バイタルデータや推定されたユーザの状態に応じて、各領域の大きさや色等を変化させる。

以上説明したように、本実施形態によれば、少なくともユーザの心拍数を含むバイタルデータをリアルタイムに取得し、バイタルデータに基づいてリアルタイムに推定されたユーザの状態をもとにアバターデータを作成するので、ユーザの状態をリアルに反映したアバターを構成することが可能となる。

また、本実施形態によれば、複数のバイタルデータ同士の相関や、ユーザの状態の推定結果とバイタルデータとの相関を分析し、これらの相関に基づいてユーザの状態をさらに推定するので、ユーザの状態について推定可能な項目を増やすことができると共に、推定精度を向上させることが可能となる。

このようにユーザのバイタルデータに基づいてアバターを表示する情報処理システム１は、様々なアプリケーションにおいて利用することができる。一例として、情報処理システム１を「ｆａｃｅｂｏｏｋ（登録商標）」や「ＬｉｎｋｅｄＩｎ（登録商標）」のようなＳＮＳ（ソーシャルネットワーキングシステム）と組み合わせることにより、ユーザプロファイルとしてアバターを利用することができる。

図１２及び図１３は、情報処理システム１のＳＮＳにおける活用例を説明するための図である。例えば、図１２に示すように、あるＳＮＳにおいて、ユーザＡは、ユーザＢ、Ｃ、Ｄと「友人」としてつながっているものとする。また、ユーザＢは、ユーザＡの他、ユーザＥ、Ｆと「友人」としてつながっているものとする。これらのユーザの精神状態や健康状態や活動状態、或いは各アバターのオーラを数値化し、ユーザの交友関係に基づいて統計値を算出する。例えば、ユーザＡ〜Ｆのアバターのオーラを数値化したオーラ値が、それぞれ、２、３、８、５、６、４であるものとする。この場合、図１３に示すように、ユーザＡの友人（ユーザＢ、Ｃ、Ｄ）のオーラ値の合計は、３＋８＋５＝１６であり、平均値は約５．３である。他方、ユーザＢの友人（ユーザＡ、Ｅ、Ｆ）のオーラ値の合計は２＋６＋４＝１２であり、平均値は約４である。従って、ユーザＡの方が、ユーザＢよりもオーラ値の高い友人が多いということがわかる。

この他にも、分析に用いる数値を変えることにより、例えば、ユーザＡは性格的に落ち着きのない友人が多い、不健康な友人が多い、といった分析を行うことができる。或いは、ユーザＡの仕事上のネットワークとプライベートのネットワークとの間での比較を行うこともできる。分析に用いる数値としては、オーラ、精神状態、健康状態、活動状態等を数値化したものの他、バイタルデータそのもの（心拍数等）を用いても良い。また、上記説明においては、統計値として平均値を用いたが、中央値や最頻値等を用いても良い。

さらに、図１２に例示したようなネットワークでつながった交友関係の他、投稿した記事に対してフォローするフォロワーや評価をする人について、上述したオーラ値やバイタルデータ等を取得し、ポイントやランキングのような形で表示したりしても良い。それにより、例えば、ユーザＡのフォロワーはストレスレベルが高い、ユーザＢのフォロワーは健康レベルは高いが活動レベルが低い、というように、フォロワー等の傾向を分析することができる。

また、別の例として、人材採用サイトやお見合いサイトにおいて情報処理システム１を利用することも可能である。この場合、会員（就職希望者やお見合い希望者）プロファイルとして、アバターを企業や見合い相手に提示することとしても良い。

また、別の例として、ゲームサイトにおいて情報処理システム１を利用することも可能である。例えば、対戦ゲームにおいてアバター同士を戦わせることとしても良い。

さらに別の例として、健康管理アプリケーションにおいて情報処理システム１を利用することも可能である。この場合、ユーザが遠隔地にいる場合であっても、ユーザ端末２０に表示されたアバターから、脈拍や体温などユーザの健康状態を表す指標を取得することができる。また、アバターの腹部を開いた状態で臓器を表示したり、アバターの消化管を内側から表示したりすることも可能である。さらに、アバターの全身の姿勢を見て、ユーザが自身の姿勢を矯正するといった使用方法も挙げられる。

上記実施形態及び変形例においては人間を情報処理システム１のユーザとしたが、ペットや家畜などの動物をユーザとしても良い。即ち、犬や猫などにバイタルデータ収集手段を装着し、収集されたバイタルデータに基づいて動物のアバターを作成する。この場合、獣医がアバターを見て診察に利用することも可能である。

以上説明した実施形態は、本発明を説明するための一例であり、本発明をその実施形態に限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、様々な変形が可能である。例えば、当業者であれば、実施形態で述べたリソース（ハードウェア資源又はソフトウェア資源）を均等物に置換することが可能であり、そのような置換も本発明の範囲に含まれる。

１ 情報処理システム
１０ バイタルデータ収集手段
１１ 心拍計
１２ 血圧計
１３ 体温計
１４ ウェブカメラ
１５ 表面筋電位センサ
２０ ユーザ端末
２１ 通信インタフェース
２２ 入力部
２３ 表示部
２４ 撮像部
２５ 信号入出力部
２６ 記憶部
２７ プロセッサ
３０ 情報処理サーバ
３１ 通信インタフェース
３２ 記憶部
３３ プロセッサ
２６１ アプリケーションプログラム
２７１ アプリケーション実行部
３２１ 情報処理プログラム
３２２ ユーザ管理データベース
３２３ ユーザ情報データベース
３２４ 相関情報データベース
３３１ 認証管理部
３３２ ユーザ情報管理部
３３３ ユーザ状態推定部
３３４ アバターデータ作成部
３３５ 相関分析部

Claims (11)

1. 少なくともユーザの心拍数を含むバイタルデータを取得するバイタルデータ取得手段と、
   前記バイタルデータ取得手段により取得されたバイタルデータを、通信ネットワークを介してリアルタイムに送信する端末装置と、
   前記端末装置から送信されたバイタルデータを処理する情報処理サーバと、
   を備え、
   前記情報処理サーバは、
   前記バイタルデータを記憶する記憶部と、
   少なくとも前記心拍数と、該心拍数に基づいて算出される心拍変動率とに基づいて、前記ユーザの状態をリアルタイムに推定するユーザ状態推定部と、
   少なくとも前記ユーザ状態推定部による推定結果が反映されたアバターを表示するための表示用データを作成するアバターデータ作成部と、
   前記通信ネットワークを介して前記表示用データの送信要求を受信した場合に、前記表示用データを当該要求元に送信する通信インタフェースと、
   を有する、
   情報処理システム。
2. 前記ユーザ状態推定部は、前記ユーザの精神状態を推定し、
   前記アバターデータ作成部は、前記ユーザの精神状態が反映された前記アバターの表示用データを作成する、
   請求項１に記載の情報処理システム。
3. 前記アバターデータ作成部は、前記ユーザの精神状態に応じて前記アバターの表情又は姿勢を変化させた表示用データを作成する、請求項２に記載の情報処理システム。
4. 前記アバターデータ作成部は、前記ユーザの精神状態に応じて前記アバターのオーラの色又は表示範囲を変化させた表示用データを作成する、請求項２又は３に記載の情報処理システム。
5. 前記ユーザ状態推定部は、前記ユーザの健康状態を推定し、
   前記アバターデータ作成部は、前記ユーザの健康状態が反映された前記アバターの表示用データを作成する、
   請求項１に記載の情報処理システム。
6. 前記アバターデータ作成部は、前記ユーザの健康状態に応じて前記アバターの色を部分的に変化させた表示用データを作成する、請求項５に記載の情報処理システム。
7. 前記アバターデータ作成部は、前記ユーザの健康状態に応じて前記アバターのオーラの色又は表示範囲を変化させた表示用データを作成する、請求項５又は６に記載の情報処理システム。
8. 前記ユーザ状態推定部は、前記ユーザの活動状態を推定し、
   前記アバターデータ作成部は、前記ユーザの活動状態が反映された前記アバターの表示用データを作成する、
   請求項１に記載の情報処理システム。
9. 前記アバターデータ作成部は、前記ユーザの活動状態に応じて前記アバターの形状を変化させた表示用データを作成する、請求項８に記載の情報処理システム。
   
10. 前記表示用データは、前記アバターの内部に関する情報を含む３次元データであり、
    前記要求元からの前記表示用データの送信要求に応じて、前記アバターの内部を表示するための表示用データを作成して前記要求元に送信する、
    請求項２〜９のいずれか１項に記載の情報処理システム。
11. 前記バイタルデータ取得手段は、前記心拍数とは異なる種類のバイタルデータをさらに取得し、
    前記情報処理サーバは、互いに異なる複数種類のバイタルデータ間における相関を分析する相関分析部をさらに有し、
    前記ユーザ状態推定部は、さらに前記相関分析部による分析結果に基づいて、前記ユーザの状態をリアルタイムに推定する、
    請求項２〜１０のいずれか１項に記載の情報処理システム。

Images