JP2006262010A - 遠隔会議・教育システム - Google Patents

Abstract

【課題】非同期遠隔会議において、映像、音声情報に加え、使用者の音声、表情・動作、生体情報のデータから抽出した多様な心理状態推定情報を遠隔地の対話相手に表示することを可能にする。
【解決手段】
複数の端末を、ネットワークを介して接続可能な遠隔会議・教育システムであって、各端末が、音声、映像情報の入出力手段、生体情報の入力手段と、これらのデータを実時間で抽出する手段と、これらの抽出データから利用者の心理状態を実時間で推定する手段と、映像音響情報に加え心理状態データ-をサーバに実時間伝送し、当該サーバに映像音響情報と心理状態データを一時蓄積し、通信相手が任意の時間に取り出すことを可能にする手段と、そして、蓄積された対話相手の端末の映像音響情報と心理状態データをサーバより受信し、映像音響情報及び対話相手の心理状態表示人工構造物を表示する手段とを備えて構成されている。
【選択図】 図３

Description

本発明は、遠隔地間で異なる時間帯で活動する人々、特に、異なる文化間、業務分野間など異なる文脈で活動する人々が共同作業、会議、議論、意思決定を円滑に遂行する遠隔会議・教育システムを提供する。

ユビキタス社会になり、いつでも、どこからでもコミュニケ−ションを取ることが可能になりつつあるが、場所だけでなく時間も共有しないコミュニケーションにより共同作業、会議、講義を経済的に実現することが求められている。
例えば、グローバルに事業展開している企業では、時差がある遠隔地間の事業所間で異なる時間帯に活動する社員の共同作業、会議、議論、意思決定を円滑に行う手段が求められている。特に、グローバル企業では、時間帯だけなく、業務分野や文化的背景など異なる文脈で活動している社員が多く、言語や映像から得られる情報とともに、対話相手の真意の理解、心理状態の推定が円滑な共同作業、会議、議論、迅速な意思決定において重要であるが、経済的に実現するのは、現状技術では、困難である。

デジタル映像音響技術とインターネット通信技術を使って遠隔地間で共同作業、会議、講義が行われている。しかし、映像音響入出力機器の機能と性能の限界から遠隔地間で受け取る情報は、限定されたものである。高品質な映像音響入出力機器と広帯域な通信回線を使って臨場感ある遠隔地間のコミュニケーションを実現する試みがあるが装置コスト、運用コストの点で実現が難しい場合があり、現状技術では、時差がない遠隔地間の同期遠隔会議においても対面コミュニケーションに近い場の共有が、困難なことが多い。

これらの諸課題のうち、時間を共有しない人の間で知識を共有する課題を解決する手段の提案例として、特開平１０−２１４０２２「グループ学習教材編成方法及びシステム」がある。この例では、仲間同士で議論し教え合うことで、学習者間の相互作用を活性化することができるグループ学習教材編成方法及びシステムを提供する。共通の学習対象をもつ複数の学習者の協調的な振る舞いから得られるデータを基本とし、先行する学習者の学習履歴を記録し、後進学習者に対し目的状態へ至る手順を表示する機能を持ったグループ学習教材を編集し、編成されたグループ学習教材を他の学習者が共有、利用しながら、学習対象についての情報を表示し、学習者のノート／メモを取込みながら、グループ学習教材を更新する。

しかし、この方法では、忙しいビジネスマンにとって、皆で共有するノートに書き込むのは、煩雑である。仮に、入力が容易な映像及び音声情報の蓄積交換が出来たとしても、リアルタイムに双方向でやり取りを行わない非同期のコミュニケーションでは、対話の文脈が分断されるため、蓄積交換された映像、音声情報だけから遠隔地の対話相手、特に異文化圏、異なる分野で業務を遂行している対話相手の真意を理解し、相手の心理状態を推定することは、困難である。

一方、電子メディアの使用者の心理状態を推定する方法も提案されている。例えば、特開平５−１２０２３「感情認識装置」では、基準となる音声信号と特徴信号とのズレ量を検出し、このズレ量に基づいて、感情状態を判断する。
図１は、遠隔会議使用者の音声スペクトルの最大パワーレベルとその周波数の変化率と「嬉しい」、「怒り」、「悲しい」、「納得」、「困惑」といった心理状態の関係を統計的信頼区間（信頼度９５％）で示したデータ例である。このデータから分かるように、音声データのバラツキが大きい。従って、遠隔会議使用者の心理状態を音声データのみから適切に判断するのは、困難である。

別の考案例として特開平９−５６７０３「感情検出装置および心拍データ発信器および感情表示装置」がある。これは、心拍センサから出力する心拍信号により心拍数の変化度合いを演算することにより、対話等における相手あるいは双方の緊張度や興奮度を、その場で的確に定量的に、しかも、場の雰囲気を害することなく検出し、その検出結果を表示することをめざしている。図２は、電子メディア利用者の脈拍数と皮膚温度の変化率と「面白い」、「驚き」、「納得」、「困惑」といった心理状態の関係を統計的信頼区間（信頼度９５％）で示したデータ例である。図２は、心拍数や脈拍数情報に皮膚温度情報を組み合わせた場合でも、電子メディア利用者の心理状態を細かく識別することが出来ないことを示している。

生体情報を活用する別の考案例に、特開平７−２０４１６８「生体情報自動識別装置」がある。これは、脳波センサのデジタル出力信号をフーリエ変換し所望周波数帯域内の複数の分割された周波数帯域毎のスペクトルパワーを求め、センサを取り付けた被験者の複数の心理状態又は知的作業内容を判定することを狙っている。表１は、電子メディア利用者の脳波成分と「面白い」、「驚き」、「納得」、「困惑」といった心理状態の関係を示したデータ例である。表１は、α波、β波、δ波、θ波の増減からのみ心理状態を適切に判断するのは、困難であることを示している。

特開平１０−２１４０２２ 特開平５−１２０２３ 特開平９−５６７０３ 特開平７−２０４１６８

本発明は、時間を共有しない人の間で情報交換を行う非同期遠隔会議・教育システムにおいて、映像、音声情報に加え、使用者の音声、表情・動作、生体情報のデータから抽出した多様な心理状態推定情報を遠隔地の対話相手に表示することを可能にする遠隔会議・教育システムを提供する。

前記課題を解決する請求項１に記載の発明は、サーバ及び複数の端末を、ネットワークを介して接続可能な遠隔会議・教育システムであって、各端末が、音声、映像情報の入出力手段、生体情報の入力手段と、音声、表情・動作、生体情報のデータを実時間で抽出する手段と、音声、表情・動作、生体情報の抽出データから利用者の心理状態を実時間で推定する手段と、利用者自身の映像音響情報に加え心理状態データをサーバに実時間伝送し、当該サーバに映像音響情報と心理状態データを一時蓄積し、通信相手が任意の時間に取り出すことを可能にする手段と、そして、蓄積された対話相手の端末の映像音響情報と心理状態データを、ネットワークを介してサーバより受信し、映像音響情報及び対話相手の心理状態表示人工構造物を表示する手段とを備えて構成されてなる遠隔会議・教育システムを提供する。

前記課題を解決する請求項２に記載の発明は、推定する利用者の心理状態の種類を予め設定し、音声、表情・動作、生体情報のデータごとに個々の心理状態に対応する判断基準値を蓄積記憶し、抽出された各時点の音声、表情・動作、生体情報のデータごとに心理状態の判断基準値との差分から一致指数を算出し、心理状態ごとに音声、表情・動作、生体情報のデータの一致指数を合算し、一致指数が最大の心理状態をその時点の心理状態と推定することを特徴とする請求項１の遠隔会議・教育システムを提供する。

前記課題を解決する請求項３に記載の発明は、遠隔地間での対話開始前に、各個人別に音声、表情・動作、生体情報のデータごとに各心理状態に対応する測定基準値を測定し、蓄積記憶することを特徴とする請求項１の遠隔会議・教育システムを提供する。

前記課題を解決する請求項４に記載の発明は、音声スペクトルの最大パワーレベルとその周波数、発話ピッチから心理状態を推定することを特徴とする請求項１の遠隔会議・教育システムを提供する。

前記課題を解決する請求項５に記載の発明は、顔画像の複数の特徴点の相対的移動変化量から心理状態を推定することを特徴とする請求項１の遠隔会議・教育システムを提供する。

前記課題を解決する請求項６に記載の発明は、顔画像の唇の左右端２点、右眉の左右端２点、左眉の左右端２点の相対的移動変化量から心理状態を推定することを特徴とする請求項５の遠隔会議・教育システムを提供する。

前記課題を解決する請求項７に記載の発明は、顔画像の複数の特徴点の変化量を１〜３秒間隔で算出することを特徴とする請求項５又は６の遠隔会議・教育システムを提供する。

前記課題を解決する請求項８に記載の発明は、脈拍数、皮膚温度、呼吸数の生体情報の変化量から心理状態を推定することを特徴とする請求項１の遠隔会議・教育システムを提供する。

前記課題を解決する請求項９に記載の発明は、生体情報の変化量を２〜１０秒間隔で算出することを特徴とする請求項８の遠隔会議・教育システムを提供する。

前記課題を解決する請求項１０に記載の発明は、請求項１の発明において、音声に関する情報の入手及びそれに基づく心理状態の推定を行わないものに該当し、各端末が、映像情報の入出力手段、生体情報の入力手段と、表情・動作、生体情報のデータを実時間で抽出する手段と、表情・動作、生体情報の抽出データから利用者の心理状態を実時間で推定する手段と、利用者自身の映像音響情報に加え心理状態データ-をサーバに実時間伝送し、当該サーバに前記映像音響情報と心理状態データを一時蓄積し、通信相手が任意の時間に取り出すことを可能にする手段と、そして、蓄積された対話相手の端末の映像音響情報と心理状態データを、ネットワークを介してサーバより受信し、映像音響情報及び対話相手の心理状態表示人工構造物を表示する手段とを備えて構成されてなる遠隔会議・教育システムを提供する。

上述した本発明は、遠隔地間で異なる時間帯で活動する人々、特に異なる文化や業務分野の人々が共同作業、会議、議論、意思決定を円滑かつ迅速に遂行する。

以下、図面を用いて本発明に係る遠隔会議・教育システムについて詳細に説明する。
図３は、遠隔地間で時間を共有せず会議を行う非同期式遠隔会議の実施例の構成である。１は、ヘッドフォン、２は、マイクロフォン、３は、画像表示装置、４は、カメラ、５は、身体装着型生体センサ、７は、通信ネットワーク、９は、蓄積型遠隔会議情報処理装置、３００，３００’は、通信端末、４００は、映像音響情報蓄積サーバである。通信端末３００、３００’は、各々、ヘッドフォン１、マイクロフォン２、画像表示装置３、カメラ４、身体装着型生体センサ５、蓄積型遠隔会議情報処理装置９で構成されている。

上記の構成において、遠隔会議システム使用者は、相手と時間を共有して通信回線を通じて直接対話するのではなく、映像音響情報蓄積サーバ４００に、映像情報、音声情報、心理状態表示データをいったん蓄積し、相手の都合が良いときにダウンロードしてもらって情報伝達を行う。また、他者から情報伝達があったときは、都合が良いときに、映像音響情報蓄積サーバ４００にアクセスし、蓄積された送信者の映像情報、音声情報、心理状態表示データをダウンロードして閲覧する。
自分宛の情報があることを認識した通信端末３００の使用者は、映像音響情報蓄積サーバ４００にいったん蓄積された遠隔地の通信端末３００’の対話相手の情報をダウンロードし、音声情報は、ヘッドフォン１により、相手の映像情報及び心理状態表示データは、画像表示装置３により得る。

他者に送りたいメッセージあるときは、マイクロフォン２で対話相手に話しかける音声情報は、送付先ラベルを添付して映像音響情報蓄積サーバ４００に送る。同時に、蓄積型遠隔会議情報処理装置９で音声解析による使用者心理状態推定にも用いられる。
カメラ４は、遠隔会議使用者の映像を撮影する。その映像情報は、送付先ラベルを添付して遠隔地の映像音響情報蓄積サーバ４００に送る。同時に、蓄積型遠隔会議情報処理装置９で顔画像解析による使用者の心理状態推定にも用いられる。身体装着型生体センサ５は、脈拍数、皮膚温度、呼吸数の生体情報を検出する。これらのデータは、蓄積型遠隔会議情報処理装置９で生体情報解析による使用者の心理状態推定に用いられる。蓄積型遠隔会議情報処理装置９は、リアルタイムで生体情報、顔画像、音声情報の解析による使用者心理状態推定を行い、そのデータを使用者の映像、音声とともに送付先ラベルを添付して映像音響情報蓄積サーバ４００に送る。

映像音響情報蓄積サーバ４００は、遠隔会議システム使用者の映像、音声及び使用者心理状態推定データを受け取ると、蓄積するとともに、情報送付先に伝達メッセージ到着を連絡する。

映像音響情報蓄積サーバ４００から伝達メッセージ到着の連絡を受けた通信端末３００の使用者は、都合が良いときに、映像音響情報蓄積サーバ４００にアクセスし、蓄積された送信者の映像情報、音声情報、心理状態表示データをダウンロードする。相手の心理状態表示データは、蓄積型遠隔会議情報処理装置９で処理され、映像情報とともに画像表示装置３に表示される。送られてきた相手の音声情報は、遠隔会議情報処理装置９で処理され、ヘッドフォン１に出力される。

以上の構成により、非同期遠隔会議使用者の音声、表情・動作、生体情報のデータから総合的に判断した心理状態データを遠隔地の対話相手に表示することを可能にし、時間、空間を越えて心の微妙な変化を対話相手に伝える事が可能になる。

図４は、非同期式遠隔会議の実施例の遠隔会議情報処理装置９の構成を示している。２１は、音響出力インタフェース回路、２２は、音響入力インタフェース回路、２３は、映像出力インタフェース回路、２４は、映像入力インタフェース回路、２５は、生体情報入力インタフェース回路、２６は、音響データ抽出回路、２７は、映像データ抽出回路、２８は、生体情報抽出回路、２９は、心理状態推定回路、３０は、心理状態データ生成回路、３１は、映像・音響多重回路、３２は、送信データ多重化回路、３３は、送信回路、３４は、受信回路、３５は、受信データ分離回路、３６は、映像・音響分離回路、３７は、会議映像／心理状態データ合成回路である。

音響出力インタフェース回路２１は、図３のヘッドフォン１に接続されている。音響入力インタフェース回路２２は、マイクロフォン２に接続されている。映像出力インタフェース回路２３は、画像表示装置３に接続されている。映像入力インタフェース回路２４は、カメラ４に接続されている。生体情報入力インタフェース回路２５は、身体装着型生体センサ５に接続されている。

音響データ抽出回路２６は、音響入力インタフェース回路２２の信号から、心理状態を推定する音声データとして、音声スペクトルの最大パワーレベルとその周波数を抽出する。

映像データ抽出回路２７は、映像入力インタフェース回路２４の映像信号から顔画像の複数の特徴点の相対的移動変化量から心理状態を推定する。具体的には、顔画像の唇の左右端２点、右眉の左右端２点、左眉の左右端２点の相対的移動変化量を抽出する。これらの顔画像の特徴点の変化量を１〜３秒間隔で算出する。

生体情報抽出回路２８は、生体情報入力インタフェース回路２５の信号から脈拍数、皮膚温度、呼吸数の変化量を抽出する。これらの生体情報の変化量を２〜１０秒間隔で算出する。

心理状態推定回路２９は、音響データ抽出回路２６の音声データ、映像データ抽出回路２７の顔画像データ、生体情報抽出回路２８の生体データを基に「驚き」、「納得」、「面白さ」、「困惑」といった利用者の心理状態を実時間で推定する回路である。
心理状態データ生成回路３０は、心理状態推定回路２９の出力である利用者の心理状態推定結果をもとに、使用者の推定心理状態を他人が一目でわかるようなアバタ−、二次元もしくは三次元アニメーションなど心理状態表示人工構造物データを生成する。
音響入力インタフェース回路２２及び映像入力インタフェース回路２４のデジタル出力信号は、映像・音響多重回路３１で多重化される。

映像・音響多重回路３１及び心理状態データ生成回路３０の出力は、送信データ多重化回路３２で多重化され、送信回路３３からネットワークに送り出される。
ネットワークから送られてきたデータは、受信回路３４で受信され、受信データ分離回路３５で、対話相手の心理状態表示人工構造物データと対話相手の映像・音声多重化データに分離される。

映像・音響分離回路３６は、映像・音声多重化データを映像データと音声データに分離する。分離された音声データは、音響出力インタフェース回路２１に送られ、アナログ情報に変換される。

会議映像／心理状態データ合成回路３７は、分離された映像データと心理状態表示人工構造物データを合成し、映像出力インタフェース回路２３に送られ、アナログ情報に変換される。
推定する利用者の心理状態の種類を予め「驚き」、「納得」、「面白さ」、「困惑」の四つに設定し、生体情報、顔画像のデータごとに個々の前記心理状態に対応する判断基準値を蓄積記憶し、抽出された各時点の音声、表情・動作、生体情報のデータごとに前記心理状態の判断基準値との差分から一致指数を算出し、心理状態ごとに生体情報、表情・動作のデータの一致指数を合算し、一致指数が最大の心理状態をその時点の心理状態と推定する。

音声データでは、詳細な心理状態の識別が困難であるので、「高揚」もしくは「非高揚」心理状態の識別のみを行う。例えば、前記４つの心理状態にさらに「怒り」の心理状態を追加する必要がある場合に、本データを追加することができる。
判断基準値は、測定データの変化率で定めており、遠隔地間での対話開始前に、各個人別に音声、表情・動作、生体情報のデータごとに各心理状態に対応する測定基準値を測定し蓄積記憶しておく。

図５は、心理状態推定回路２９の処理アルゴリズムを示している。顔画像データ１（右唇位置）、顔画像データ２（左唇位置）、顔画像データ３（右内眉位置）、顔画像データ４（左内眉位置）、顔画像データ５（右外眉位置）、顔画像データ６（左外眉位置）、生体データ１（呼吸数）、生体データ２（心拍数）、生体データ３（皮膚温度）ごとにその測定変化率から「驚き」、「納得」、「面白さ」、「困惑」の四つの心理状態に対応する判断基準値が蓄積記憶されている。特定の時点の測定データから各心理状態別の一致指数を計算する。

９種類の測定データごとに計算した四つの心理状態に対応する一致指数を「驚き」、「納得」、「面白さ」、「困惑」の心理状態ごとに合算する。一致指数合算値が最大の心理状態と判定する。
音声データから「高揚」心理状態／「非高揚」心理状態の判定を行う。これらの推定データは、心理状態データ生成回路３０に送られ、使用者の推定心理状態を他人が一目でわかるようなアバタ−、二次元もしくは三次元アニメーションなど心理状態表示人工構造物データを生成する。

以下、図５のアルゴリズムに組み込まれている音声、顔画面、生体情報別にその判定基準値の具体例を説明する。
図６は、音声最大レベル値及び最大レベルの周波数の変化率と心理状態の関係を示している。音声最大パワーレベル及びその周波数の変化率からは細かい心理状態を分けて推測することは難しい。怒りといった高揚心理状態とその他の心理状態（非高揚心理状態）の分離のみが可能である。測定データが四角の枠内であるならば、「高揚」心理状態もしくは「非高揚」心理状態と判断する。

顔画面の解析は、頭頂−あごのラインを基準線４１として相対座標系４０を再計算することにより、頭のぶれや画面に占める顔の割合などに左右されずに、ほぼ計測点の動きだけを算定し、顔画像の複数の特徴点の相対的移動変化量から心理状態を推定する。具体的には、顔画像の唇の左右端２点、右眉の左右端２点、左眉の左右端２点の相対的移動変化量から心理状態を推定する。

図７は、顔画面をデータから頭頂−あごのラインを基準線４１として相対座標系４０を再計算する過程の画像の一部である。顔画像の複数の特徴点の変化量は、１〜３秒間隔で算出する。
図８は、右唇の画像解析結果（位置変化率）を示している。「驚き」の心理状態での変化は広範囲にｙ軸下方に広がっている。「面白さ」の心理状態での変化はｙ軸上方向に引き上げられる傾向がある。逆に、「困惑」での変化はｘ軸方向外側に伸びる傾向にある。図９は、左唇の画像解析結果を示している。右唇と同様な動きをしている。

図１０は、右内眉の画像解析結果（位置変化率）を示している。「驚き」及び「困惑」の心理状態での変化は、ｘ軸方向に長くなる傾向にある。「納得」と「面白さ」の心理状態での変化は左右どちらもほぼ重なっており、これらの計測点だけで判断するのは難しい。
図１１は、左内眉の画像解析結果（位置変化率）を示している。右内眉とほぼ同様な変化の動きをしている。図１２は、右外眉の画像解析結果（位置変化率）を示している。「驚き」及び「困惑」の心理状態での変化は、ｘ軸方向長くなる傾向にあり、重なりやすくなっている（識別しにくくなっている）。「面白さ」の心理状態での変化はｘ，ｙ軸方向ともに一番変化が少ない。「納得」の心理状態での変化はｘ軸方向へ大きく動くことが多い。

図１３は、左外眉の画像解析結果（位置変化率）を示している。右外眉と同様な動きをしている。図１４は、平均化時間を５秒に設定したときの生体情報のデータ例、図１５は、平均化時間を１０秒に設定したときの生体情報のデータ、図１６は、平均化時間を３０秒に設定したときの生体情報のデータ例である。平均化時間が長くなると雑音成分が除去されるが同時に生体情報の急峻な変化量も平滑化され重要な情報が失われる。そこで、本実施態様では、脈拍数、皮膚温度、呼吸数の生体情報の変化量を１０秒間隔で抽出している。

図１７は、生体情報のうち、脈拍と呼吸数の心理状態判定基準を示している。「納得」と「面白さ」の心理状態は、「困惑」心理状態は分離することが可能であるが、「驚き」の心理状態の範囲は全体に広がっており、他の心理状態との分離は不可能である。
図１８は、生体情報のうち、呼吸数と皮膚温度の心理状態判定基準を示している。「納得」と「面白さ」の心理状態は「困惑」の心理状態と分離可能である。
図１９ 左外眉の測定データの一致度指数の算出方法を示している。測定点と「驚き」、「納得」、「困惑」、「面白さ」の四つの心理状態判定区間の平均点の距離をもとに一致指数を算出している。もっとも距離の短い心理状態の一致指数を「＋１」、もっとも距離の長い心理状態の一致指数を「−１」、その他の心理状態の一致指数を「０」とした。

以上の構成により、遠隔会議使用者の音声、表情・動作、生体情報のデータを総合的に判断して多様な使用者心理状態を実時間で推定し、遠隔地の対話相手に表示することを可能にし、遠隔にいる対話相手の心の微妙な変化を相手に伝える事が可能になる。

遠隔会議使用者の音声スペクトルの最大パワーレベルとその周波数の変化率と「嬉しい」、「怒り」、「悲しい」、「納得」、「困惑」といった心理状態の関係を統計的信頼区間（信頼度９５％）で示したデータ例である。 電子メディア利用者の脈拍数と皮膚温度の変化率と「面白い」、「驚き」、「納得」、「困惑」といった心理状態の関係を統計的信頼区間（信頼度９５％）で示したデータ例である。 遠隔地間で時間を共有しないで会議を行う非同期式遠隔会議の実施例の構成を示す概略図である。 実施例の遠隔会議情報処理装置９の構成を示すブロック図である。 心理状態推定回路２９の処理アルゴリズムを説明するための図である。 音声最大レベル値及び最大レベルの周波数の変化率と心理状態の関係を示すチャート図である。 顔画像分析基準線を説明するための概略図である。 顔画像による心理状態判定基準（右唇）を説明するためのチャート図である。 顔画像による心理状態判定基準（左唇）を説明するためのチャート図である。 顔画像による心理状態判定基準（右内眉）を説明するためのチャート図である。 顔画像による心理状態判定基準（左内眉）を説明するためのチャート図である。 顔画像による心理状態判定基準（右外眉）を説明するためのチャート図である。 顔画像による心理状態判定基準（左外眉）を説明するためのチャート図である。 生体情報の平均化時間の設定（５秒）の場合における変化率を示すチャート図である。 生体情報の平均化時間の設定（１０秒）の場合における変化率を示すチャート図である。 生体情報の平均化時間の設定（３０秒）の場合における変化率を示すチャート図である。 生体情報による心理状態判定基準（脈拍−呼吸数）を説明するためのチャート図である。 生体情報による心理状態判定基準（呼吸数−皮膚温度）を説明するためのチャート図である。 一致度指数の算出方法（左外眉の場合）を説明するためのチャート図である。

符号の説明

１ ヘッドフォン
２ マイクロフォン
３ 画像表示装置
４ カメラ
５ 身体装着型生体センサ
７ 通信ネットワーク
９ 蓄積型遠隔会議情報処理装置
２１ 音響出力インタフェース回路
２２ 音響入力インタフェース回路
２３ 映像出力インタフェース回路
２４ 映像入力インタフェース回路
２５ 生体情報入力インタフェース回路
２６ 音響データ抽出回路
２７ 映像データ抽出回路
２８ 生体情報抽出回路
２９ 心理状態推定回路
３０ 心理状態データ生成回路
３１ 映像・音響多重回路
３２ 送信データ多重化回路
３３ 送信回路
３４ 受信回路
３５ 受信データ分離回路
３６ 映像・音響分離回路
３７ 会議映像／心理状態データ合成回路
３００，３００’ 通信端末
４００ 映像音響情報蓄積サーバ

Claims (10)

1. サーバ及び複数の端末を、ネットワークを介して接続可能な遠隔会議・教育システムであって、各端末は、
   音声、映像情報の入出力手段、生体情報の入力手段と、
   音声、表情・動作、生体情報のデータを実時間で抽出する手段と、
   音声、表情・動作、生体情報の抽出データから利用者の心理状態を実時間で推定する手段と、
   利用者自身の映像音響情報に加え心理状態データをサーバに実時間伝送し、当該サーバに前記映像音響情報と心理状態データを一時蓄積し、通信相手が任意の時間に取り出すことを可能にする手段と、そして、
   前記蓄積された対話相手の端末の映像音響情報と心理状態データを、ネットワークを介してサーバより受信し、映像音響情報及び対話相手の心理状態表示人工構造物を表示する手段と、
   を備えて構成されてなる遠隔会議・教育システム。
2. 推定する利用者の心理状態の種類を予め設定し、音声、表情・動作、生体情報のデータごとに個々の前記心理状態に対応する判断基準値を蓄積記憶し、抽出された各時点の音声、表情・動作、生体情報のデータごとに前記心理状態の判断基準値との差分から一致指数を算出し、心理状態ごとに音声、表情・動作、生体情報のデータの一致指数を合算し、一致指数が最大の心理状態をその時点の心理状態と推定することを特徴とする請求項１の遠隔会議・教育システム。
3. 遠隔地間での対話開始前に、各個人別に音声、表情・動作、生体情報のデータごとに各心理状態に対応する測定基準値を測定し、蓄積記憶することを特徴とする請求項１の遠隔会議・教育システム。
4. 音声スペクトルの最大パワーレベルとその周波数、発話ピッチから心理状態を推定することを特徴とする請求項１の遠隔会議・教育システム。
5. 顔画像の複数の特徴点の相対的移動変化量から心理状態を推定することを特徴とする請求項１の遠隔会議・教育システム。
6. 顔画像の唇の左右端２点、右眉の左右端２点、左眉の左右端２点の相対的移動変化量から心理状態を推定することを特徴とする請求項５の遠隔会議・教育システム。
7. 顔画像の複数の特徴点の変化量を１〜３秒間隔で算出することを特徴とする請求項５又は６の遠隔会議・教育システム。
8. 脈拍数、皮膚温度、呼吸数の生体情報の変化量から心理状態を推定することを特徴とする請求項１の遠隔会議・教育システム。
9. 生体情報の変化量を２〜１０秒間隔で算出することを特徴とする請求項８の遠隔会議・教育システム。
10. サーバ及び複数の端末を、ネットワークを介して接続可能な遠隔会議・教育システムであって、各端末は、
    映像情報の入出力手段、生体情報の入力手段と、
    表情・動作、生体情報のデータを実時間で抽出する手段と、
    表情・動作、生体情報の抽出データから利用者の心理状態を実時間で推定する手段と、
    利用者自身の映像音響情報に加え心理状態データ-をサーバに実時間伝送し、当該サーバに前記映像音響情報と心理状態データを一時蓄積し、通信相手が任意の時間に取り出すことを可能にする手段と、そして、
    前記蓄積された対話相手の端末の映像音響情報と心理状態データを、ネットワークを介してサーバより受信し、映像音響情報及び対話相手の心理状態表示人工構造物を表示する手段と、
    を備えて構成されてなる遠隔会議・教育システム。

Images