JP2008306586A - 情況推定方法、情況推定プログラム及びネットワークシステム - Google Patents

情況推定方法、情況推定プログラム及びネットワークシステム Download PDF

Info

Publication number
JP2008306586A
JP2008306586A JP2007153212A JP2007153212A JP2008306586A JP 2008306586 A JP2008306586 A JP 2008306586A JP 2007153212 A JP2007153212 A JP 2007153212A JP 2007153212 A JP2007153212 A JP 2007153212A JP 2008306586 A JP2008306586 A JP 2008306586A
Authority
JP
Japan
Prior art keywords
information
data
situation
conclusion
network system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007153212A
Other languages
English (en)
Inventor
Setsuo Tsuruta
節夫 鶴田
Yoshinao Sakurai
義尚 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Denki University
Original Assignee
Tokyo Denki University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Denki University filed Critical Tokyo Denki University
Priority to JP2007153212A priority Critical patent/JP2008306586A/ja
Publication of JP2008306586A publication Critical patent/JP2008306586A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】遠隔会議システムとして利用でき、参加者の状態、会議の情況等についてリアルタイム性を保証しつつも精度の高い結論に到達できる情況推論技術を提供する。
【解決手段】複数のコンピュータサイトをネットワークで結合したネットワークシステムにおいて、コンピュータサイトの全部あるいは一部が当該コンピュータサイトにいる対象物の生体データを取得する生体センサを持ち、コンピュータサイトにいる相手の生体データを加工あるいは統融合することにより、遠隔相手の情況をすぐそばにいるかのように識別可能とする情況推定技術である。
【選択図】図2

Description

本発明は、情況推定方法、情況推定プログラム及びネットワークシステムに関する。
通信による対話手段としては、文字によるチャット、音声及び映像による通信があるが、機器の性能及び通信回線の限界から通信できる情報は限られたものであり、微妙な表情など細部の情報までは送れないので、確実に意思疎通を行うことは困難である。
これを解決するための心理状態推定を利用した対話方式(分散協調支援方式)として、特開2006−262010号公報(特許文献1)に、複数の生体情報から抽出した心理状態推定情報を遠隔地の対話相手に表示する遠隔会議・教育システムが記載されている。この従来の遠隔会議・教育システムでは、非同期遠隔会議において映像、音声情報、表情・動作データ、生体情報から心理状態を推定し、遠隔地の対話相手に表示する。
ところが、特許文献1の遠隔会議・教育システムは、上記情報の収集やそれからの状態推定が結果を保存してから画像送信時など後で取り出すなどオフライン的で意思疎通に対する要求や文脈とは非同期であり、リアルタイムな通信ができない。そのため、参加メンバーにとって遠隔サイトに居る相手の生理的、肉体的情報などが今直ちに必要というような時にその情報をリアルタイムに得ることができない。また、マウスの利用状況などの端末操作情報を利用せず、心理状態を表示するだけであり、意思疎通を支援する手段を持っていない。
対話相手の心理状態の推定手法として、特開2006−326184号公報(特許文献2)に、複数の生理情報とセンサー情報に影響を与える可能性のある室温などの環境情報とを組み合わせて分析し、心理状態を推定する手法が記載されている。ところが、特許文献2の手法では全ての情報を同時に処理するため、解析する情報や知識が増えると処理にかかる時間コストが増加してしまう。そのため、推論のリアルタイム性、あるいは、必要な時に必要な情報を得るhotユビキタス性を保つことができない。
そして、心理状態を推定するための一般的な推論方式として、特開平09−231081号公報(特許文献3)に、現在の文脈に適合する知識だけで推論することにより、知識の増加による計算時間の増加を抑える文脈依存推論方法及び装置が記載されている。ところが、特許文献3の手法では、1回の推論で利用する知識の数はその知識の確信度によって決められており、途中の推論結果をフィードバック情報として用いて、適用する推論知識を選択するなどの推論の詳細化ができない。また、短期メモリへの知識の移動や文脈メモリ拡張を何度も繰り返すので上記リアルタイム性が保証できない。
他方、参加メンバーの利便性を考えると参加メンバーの情報を取得するために大掛かりな装置を用いることは難しく、ウェアラブルなセンサにより情報を収集することが必要になる。ところが、そのような場合、センサの精度は低い。そのために、これを多数の情報源を利用して情報を補い検出誤差などを抑える対策が必要になる。
さらに一般に、遠隔会議システムでは、会議の参加者の一人からアルファー波を出しているなどの生理情報を検出したとき、体調が悪く会議に十分に入り込めてない可能性があるが、遠隔におり、それも会議の参加者の全てが画面にいつも鮮明に実物大で映っているわけでもなく良く分りないことがある。生理情報を送り分析する技術は上述のように従来から種々知られているが、現在の技術では生理情報の精度が悪いので検出誤差か、そうでなくてもその情報がほんの一時的なものなのか、逆にその参加者が本当に眠いのか体調が悪くぼやっとしているのかなどを高信頼リアルタイムに確認することは困難である。
また、会議といっても現在のトピックでは関係のない人やオブザーバーも加わっている、あるいは、会議も中だるみや収束方向でやや沈静化しつつある場合もある。文脈推論技術についても従来から知られてはいるが、文脈情報を特に時系列的に、また多数の生体センサやすでに得られた文脈を時空的あるいは上位文脈的に総合することによって合成する技術は知られていない。
特開2006−262010号公報 特開2006−326184号公報 特開平09−231081号公報
本発明は、このような従来の技術的課題に鑑みてなされたもので、遠隔会議システムとして利用でき、参加者の状態、会議の情況等についてリアルタイム性を保証しつつも精度の高い結論に到達できる情況推論方法、情況推定プログラム及びネットワークシステムを提供することを目的とする。
より具体的には、本発明は、重要共同開発のための会議などという目的や全体(が関連するテーマ)で議論が盛り上がってきているという文脈を、それも時系列的に推論して考え、この中で生理情報を分析し、さらにその確認のために、関連するセンサ群に対しそれらのデータの時系列的内容も見て文脈情報として記号化し、順・逆両方向から総合的に分析する情報処理機構(例えば、情況分析知識内の情報要求知識)を持つネットワークシステム及びそれを利用する情況推論方法、プログラムを提供することを目的とする。
本発明の1つの特徴は、複数のコンピュータサイトをネットワークで結合したネットワークシステムにおいて、前記コンピュータサイトの全部あるいは一部が当該コンピュータサイトにいる対象物の生体データを取得する生体センサを持ち、前記コンピュータサイトにいる相手の前記生体センサが取得した生体データを加工あるいは統融合することにより、遠隔相手の情況をすぐそばにいるかのように識別可能とする情況推定方法である。
上記情況推定方法において、前記生体センサは複数種あるいは同種でも複数とし、前記コンピュータサイトにいる相手の前記生体センサが取得した多種、多数の生体データを加工あるいは統融合することにより、遠隔相手の情況をさらに正確に推定するものとすることができる。
また、上記情況推定方法において、過去の生体データやこれを記号化したり圧縮したりしたものを時系列的に記憶し、遠隔相手の情況をさらに正確かつ少ないメモリで推定するものとすることができる。
また、上記情況推定方法において、前記コンピュータサイトが前記生体センサのデータ入力に加え、目的・使命・意図・緊急度・重要度などを含む記号情報の入力、顔の表情や行動のデータやさらに外気温など環境のデータの入力も可能とし、これらのデータや情報を統融合することにより、遠隔相手の情況をさらに正確に推定するものとすることができる。
また、上記情況推定方法において、前記データや情報を統融合するのに、データや下位の情報を徴候や情況を含むより大局的で総合度の高い情報つまり高位の情報に合成する知識を利用するものとすることができる。
また、上記情況推定方法において、前記データや情報を統融合するのに、確認のためのデータや情報を逆に相手サイトの生体センサーや下位情報・データの統融合部に要求する情報要求機構を持つことにより、遠隔相手の情況をさらに正確に推定するものとすることができる。
また、上記情況推定方法において、前記の統融合のためのデータや情報を合成する知識とその処理として、任意の個数の前提条件群の成立にて1つの中間結論を導出する中間結論推論知識と、n(1以上)個の中間結論とを保持し、前記n(1以上)個の中間結論の成立にて1つの最終結論を導出して保持し、前記1つ以上(n)個の中間結論の内、1つ又は複数(q)個の中間結論についてその成立・不成立を判断し、その1つ又は複数(q)個の中間結論が全部成立する時に最終結論の導出あるいは到達を判断するボトムアップ判断処理を行い、前記の確認のためのデータや情報を逆に要求する情報要求機構として、前記n(1以上)個の中間結論の内、前記最終結論への到達を判断していない(n−q)個の中間結論を抽出する知識と、当該(n−q)個の中間結論それぞれの成立・不成立を再度判断するために、確認用のデータや情報を逆に相手サイトの生体センサや下位情報・データの統融合部に要求し、当該(n−q)個の中間結論が全部成立する時に前記最終結論への到達を判断したり、成立しない場合、中間結論を抽出する知識再度使って上記要求を繰り返すことも可能なトップダウン判断処理とを含む情報分析処理を行うものとすることができる。
また、上記情況推定方法において、前記データや情報の入力を行う前記コンピュータサイトとは別に、データや情報を統融合する別のコンピュータサイト(サービスサイト)を持つことにより、遠隔相手の複雑・大量のデータや情報に対応するものとすることができる。
さらに、上記情況推定方法において、センサ情報・記号情報・時系列情報を融合した各コンピュータサイトの情況情報・背景情報を文脈情報として、これを用いた文脈推論により、遠隔相手の情況をさらに正確かつ効率的に推定するものとすることができる。
本発明の別の特徴は、複数のコンピュータサイトをネットワークで結合したネットワークシステムであって、前記コンピュータサイトの全部あるいは一部が当該コンピュータサイトにいる対象物の生体データを取得する生体センサを持ち、前記コンピュータサイトの全部あるいは他の一部が、前記コンピュータサイトにいる相手の生体データを加工あるいは統融合することにより遠隔相手の情況をすぐそばにいるかのように識別可能とする分析推定手段を持つネットワークシステムである。
上記ネットワークシステムにおいて、前記生体センサは複数種あるいは同種でも複数であり、前記分析推定手段は、前記コンピュータサイトにいる相手の前記生体センサが取得した多種、多数の生体データを加工あるいは統融合することにより、遠隔相手の情況をさらに正確に推定するものとすることができる。
また、上記ネットワークシステムにおいて、前記分析推定手段は、過去の生体データやこれを記号化したり圧縮したりしたものを時系列的に記憶し、遠隔相手の情況をさらに正確かつ少ないメモリで推定するものとすることができる。
また、上記ネットワークシステムにおいて、前記分析推定手段は、前記コンピュータサイトが前記生体センサのデータ入力に加え、目的・使命・意図・緊急度・重要度などを含む記号情報の入力、顔の表情や行動のデータやさらに外気温など環境のデータの入力も可能とし、これらのデータや情報を統融合することにより遠隔相手の情況をさらに正確に推定するものとすることができる。
また、上記ネットワークシステムにおいて、前記分析推定手段が前記データや情報を統融合するのに、データや下位の情報を徴候や情況を含むより大局的で総合度の高い情報つまり高位の情報に合成する知識を利用するものとすることができる。
また、上記ネットワークシステムにおいて、前記分析推定手段が前記データや情報を統融合するのに、確認のためのデータや情報を逆に相手サイトの生体センサーや下位情報・データの統融合部に要求する情報要求機構を持ち、遠隔相手の情況をさらに正確に推定するものとすることができる。
また、上記ネットワークシステムにおいて、前記データや情報の入力を行う前記コンピュータサイトとは別に、データや情報を統融合する別のコンピュータサイト(サービスサイト)を備え、遠隔相手の複雑・大量のデータや情報に対応するものとすることができる。
また、上記ネットワークシステムにおいて、前記分析推定手段は、センサ情報・記号情報・時系列情報を融合した各コンピュータサイトの情況情報・背景情報を文脈情報として、これを用いた文脈推論により遠隔相手の情況をさらに正確かつ効率的に推定する文脈推論手段を備えたものとすることができる。
また、上記ネットワークシステムにおいて、前記の統融合のためのデータや情報を合成する知識とその処理部として、任意の個数の前提条件群の成立にて1つの中間結論を導出する中間結論推論知識と、n(1以上)個の中間結論とを保持する中間結論保持部と、前記n(1以上)個の中間結論の成立にて1つの最終結論を導出する最終結論推論知識と、これを保持する最終結論保持部と、前記1つ以上(n)個の中間結論の内、1つ又は複数(q)個の中間結論についてその成立・不成立を判断し、その1つ又は複数(q)個の中間結論が全部成立する時に最終結論の導出あるいは到達を判断するボトムアップ判断処理部とを含む情報合成部を備え、前記の確認のためのデータや情報を逆に要求する情報要求機構として、前記n(1以上)個の中間結論の内、前記最終結論への到達を判断していない(n−q)個の中間結論を抽出する知識と、当該(n−q)個の中間結論それぞれの成立・不成立を再度判断するために、確認用のデータや情報を逆に相手サイトの生体センサや下位情報・データの統融合部に要求し、当該(n−q)個の中間結論が全部成立する時に前記最終結論への到達を判断したり、成立しない場合、中間結論を抽出する知識再度使って上記要求を繰り返すことも可能なトップダウン判断処理手段とを含む情報分析部を備えたものとすることができる。
また、上記ネットワークシステムにおいて、中間結論情報及び最終結論情報は、文脈ベース推論に使用可能なものとすることができる。
さらに、上記ネットワークシステムにおいて、前記中間結論に対する前提条件は、複数の代替可能な前提条件群つまりOR条件群に分けられていること、及び多階層の中間結論とすることができる。
本発明のさらに別の特徴は、複数のコンピュータサイトをネットワークで結合したネットワークシステムにおいて、前記コンピュータサイトの全部あるいは一部が当該コンピュータサイトにいる対象物の生体データを取得する生体センサを持ち、前記コンピュータサイトにいる相手の生体データを加工あるいは統融合することにより、遠隔相手の情況をすぐそばにいるかのように識別可能とする情況推定プログラムである。
上記情況推定プログラムにおいて、前記生体センサは複数種あるいは同種でも複数であり、前記コンピュータサイトにいる相手の前記生体センサが取得した多種、多数の生体データを加工あるいは統融合することにより、遠隔相手の情況をさらに正確に推定するものとすることができる。
また、上記情況推定プログラムにおいて、過去の生体データやこれを記号化したり圧縮したりしたものを時系列的に記憶し、遠隔相手の情況をさらに正確かつ少ないメモリで推定するものとすることができる。
また、上記情況推定プログラムにおいて、前記コンピュータサイトが前記生体センサのデータ入力に加え、目的・使命・意図・緊急度・重要度などを含む記号情報の入力、顔の表情や行動のデータやさらに外気温など環境のデータの入力も可能とし、これらのデータや情報を統融合することにより、遠隔相手の情況をさらに正確に推定するものとすることができる。
また、上記情況推定プログラムにおいて、前記データや情報を統融合するのに、データや下位の情報を徴候や情況を含むより大局的で総合度の高い情報つまり高位の情報に合成する知識を利用するものとすることができる。
また、上記情況推定プログラムにおいて、前記データや情報を統融合するのに、確認のためのデータや情報を逆に相手サイトの生体センサーや下位情報・データの統融合部に要求する情報要求機構を持つことにより、遠隔相手の情況をさらに正確に推定するものとすることができる。
また、上記情況推定プログラムにおいて、前記の統融合のためのデータや情報を合成する知識とその処理として、任意の個数の前提条件群の成立にて1つの中間結論を導出する中間結論推論知識と、n(1以上)個の中間結論とを保持し、前記n(1以上)個の中間結論の成立にて1つの最終結論を導出して保持し、前記1つ以上(n)個の中間結論の内、1つ又は複数(q)個の中間結論についてその成立・不成立を判断し、その1つ又は複数(q)個の中間結論が全部成立する時に最終結論の導出あるいは到達を判断するボトムアップ判断処理を行い、前記の確認のためのデータや情報を逆に要求する情報要求機構として、前記n(1以上)個の中間結論の内、前記最終結論への到達を判断していない(n−q)個の中間結論を抽出する知識と、当該(n−q)個の中間結論それぞれの成立・不成立を再度判断するために、確認用のデータや情報を逆に相手サイトの生体センサや下位情報・データの統融合部に要求し、当該(n−q)個の中間結論が全部成立する時に前記最終結論への到達を判断したり、成立しない場合、中間結論を抽出する知識再度使って上記要求を繰り返すことも可能なトップダウン判断処理とを含む情報分析処理を行うものとすることができる。
また、上記情況推定プログラムにおいて、前記データや情報の入力を行う前記コンピュータサイトとは別に、データや情報を統融合する別のコンピュータサイト(サービスサイト)を持つことにより、遠隔相手の複雑・大量のデータや情報に対応するものとすることができる。
また、上記情況推定プログラムにおいて、センサ情報・記号情報・時系列情報を融合した各コンピュータサイトの情況情報・背景情報を文脈情報として、これを用いた文脈推論により、遠隔相手の情況をさらに正確かつ効率的に推定するものとすることができる。
本発明によれば、遠隔会議システムとして利用でき、参加者の状態、会議の情況等についてリアルタイム性を保証しつつも精度の高い結論に到達できる情況推論方法、情況推定プログラム及びネットワークシステムを提供できる。
より具体的には、本発明によれば、重要共同開発のための会議などという目的や全体で議論が盛り上がってきているという文脈を、それも時系列的に推論して考え、この中で生理情報を分析し、さらにその確認のために、関連するセンサ群に対しそれらのデータの時系列的内容も見てアクティブな制御もして、その結果に対する反応を、それも時系列的に取り文脈情報として記号化し、順・逆両方向から総合的に分析する情報処理機構を持つネットワークシステム及びそれを利用する情況推論方法、プログラムを提供できる。
以下、本発明の実施の形態を図に基づいて詳説する。
[対話支援システムの構成]
図1は、本発明の1つの実施の形態の対話支援システムの構成である。本実施の形態の対話支援システムは、複数のユーザ端末10、協調支援サーバ20、そして各機器間の通信に介在するネットワーク30で構成されている。そして図2に示したように、各参加メンバーA、Bはユーザ端末10から協調支援サーバ20にネットワーク30を介してアクセスすることにより、web上の仮想空間40で対話を行う。
図3に示したように、本実施の形態の対話支援システムは、上記構成により各参加メンバーA、Bはユーザ端末10から協調支援サーバ20に参加メンバーA、Bの情況推定に必要な情報41A、41Bを送り、協調支援サーバ20はその情報から参加メンバーA、Bの情況を推定し、これを各参加メンバーA、Bの仮想空間40上のアバター42A、42Bの表情に視覚的強調的に反映させることにより、意思の疎通を支援する。
[ユーザ端末の機能]
各ユーザ端末10は参加メンバーA、Bの精神的状態、身体的状態を推定するための情報を収集し信号処理する機能と、協調支援サーバ20からのアクティブ情報要求により参加メンバーA、Bに刺激を与えた場合の反応を計測する機能と、それらをネットワーク30を通じて協調支援サーバ20からの要求に従って送信する機能と、協調支援サーバ20から送られる仮想空間情報をモニタ画面に表示する機能を持つ。
図4にユーザ端末10の機能構成を示している。ユーザ端末10では、参加メンバーの脳波、血圧などの情報を計測する生体情報センサ101、カメラなどにより参加メンバーの行動を計測する行動情報センサ102、参加メンバーの端末操作情報を計測する端末操作インターフェイス103から情報を取り込み、それぞれの情報を生体情報取得装置104、行動情報取得装置105、端末操作情報取得装置106により信号情報保存メモリ107に逐次記憶する。
信号処理エンジン108は、信号情報保存メモリ107の生データから意味のあるデータを抽出し、時系列処理結果保存メモリ109に時系列的な時間変化情報として記憶する。例えば、脳波の場合、波形からスペクトラム強度へ、心拍から心拍の時間変動へと信号処理を行う。信号情報記号化部110は、時系列処理結果保存メモリ109のデータを推論に用いる記号情報へと変換し、時系列記号情報保存メモリ111に記憶する。
参加メンバーが端末操作インターフェイス103を用いて入力する使命や会議の目的・議題・緊急度・重要度などの記号情報は、端末操作情報取得装置106を通じて記号情報入力部112に与えられ、時系列記号情報保存メモリ111に記憶される。
入力通信装置113は、ネットワーク30を通じて送られて来た協調支援サーバ20からのデータを受信する。そしてこの入力通信装置113が受信したデータの内、参加メンバーの情況推定のために必要な情報を求める情報要求データは情報要求受信部114で受け取られて情報要求対応部115に渡される。
情報要求対応部115は、情報要求データに対応して、時系列記号情報保存メモリ111にアクセスして必要な情報を取り出し、これを記号情報送信部116により出力通信装置117を通じネットワーク30を通じて協調支援サーバ20に送信する。
情報要求データの内のアクティブ情報要求データは、情報要求対応部115からアクティブ情報要求対応部118に送られる。アクティブ情報要求対応部118は画像、音声信号出力119を画像、音声出力デバイス120にて画像、音声にして出力して参加メンバーの目、耳に刺激を提示する。この刺激に対する参加メンバーの反応は、生態情報センサ101、行動情報センサ102にて検出され、信号情報保存メモリ107、時系列処理結果保存メモリ109を経て時系列記号情報保存メモリ111に保存される。
そこで、アクティブ情報要求対応部118は、上記の画像、音声の刺激に対する参加メンバーの反応結果を、時系列記号情報保存メモリ111から受け取り、それを情報要求対応部115に戻し、情報要求対応部115は記号情報送信部116により出力通信装置117、ネットワーク30を経て協調支援サーバ20に送る。
入力通信装置113が受信したデータの内の仮想空間情報は、仮想空間情報受信部121から仮想空間処理部122に送られ、仮想空間表示デコーダ123により画面出力形式に変換されて画像、音声信号出力119とし、画像、音声出力デバイス120の画面に表示出力される。この画面に対して、参加メンバーが端末操作インターフェイス103の操作により仮想空間操作情報を入力すると、その仮想空間操作情報は端末操作情報取得装置106を経て仮想空間操作情報入力部124に送られ、仮想空間操作情報入力部124から仮想空間処理部122に送られ、協調支援サーバ20へのコマンドに変換されて仮想空間操作情報送信部125に渡され、ここから出力通信装置117に渡され、ネットワーク30を通じて協調支援サーバ20に送られる。尚、管理部130は、これらの各部の演算処理動作を統括する。
[協調支援サーバの構成]
図5に示したように、協調支援サーバ20は、アクセスしている各参加メンバーのアバター42A、42Bを仮想空間40上に構築し、各参加メンバーA、Bから送られる情報をweb上の仮想空間40上に反映する仮想空間管理部201と、各ユーザ端末10の推定情況・情報要求情況・文脈情報などを管理する端末情報管理部202と、ユーザ端末10から送られてくる記号情報から参加メンバーA、Bの情況を推定する情況情報推論部203と、推定された参加メンバーの文脈、情況から参加メンバーの行動の妥当性を判断する意思疎通支援部204と、これらを管理する管理部205を備えている。
また、協調支援サーバ20は、ネットワーク30を介して各ユーザ端末10とデータ通信するために入力通信装置206、出力通信装置207を備えている。また、共通支援サーバ20は、入力通信装置206にて受信した入力データとしての仮想空間操作情報を仮想空間管理部201に送る仮想空間操作情報受信部208、入力データとしての記号情報を端末情報管理部202に送る記号情報受信部209を備えている。さらに、協調支援サーバ20は、出力データとしての仮想空間情報を仮想空間管理部201から受け取り、出力通信装置207を通じネットワーク30を通じて各ユーザ端末10に対して送信する仮想空間情報送信部210、出力データとしての情報要求を端末情報管理部202から受け取り、出力通信装置207を通じネットワーク30を通じて各ユーザ端末10に対して送信する情報要求送信部211を備えている。
上記構成の協調支援サーバ20は、ユーザ端末10からデータ受信を入力通信装置206により行い、ユーザ端末10へのデータ送信を出力通信装置207により行う。
協調支援サーバ20にて参加メンバーの情況推定を行う場合、端末情報管理部202に属する要求情報管理部221から情報要求データを情報要求送信部211に渡し、ここからユーザ端末10に送る。ユーザ端末10からの記号情報は、記号情報受信部209から要求情報管理部221に送り、時系列記号情報保存メモリ222に記憶する。
情況情報推論部203に属する情況合成部224は、端末情報管理部202に属する要求情報管理部221からの記号情報と文脈情報管理部223からの文脈情報とを入力として、参加メンバーの情況を推定する。具体的には、情況合成知識データベース225に登録されている知識から現在の文脈に対応した知識群を使って推論処理を行う。この情況合成部224の推論結果を情況分析部226が分析し、推論結果の確認・高精度化のために情況分析知識データベース227に登録されている知識に従って情報要求を作成する。この場合、時系列記号の情報要求は時系列記号情報要求部226Aにて作成させ、アクティブ情報の情報要求はアクティブ情報要求部226Bにて作成させる。
作成した情報要求は、要求情報管理部221を介して行い、ユーザ端末10から得られた新たな情報を用いて情況合成部224で再推論を行う。これを求める推論精度が得られるまで、又は定められた応答時間になるまで繰り返す。最終的に得られた推定情況を端末情報管理部202に属する推定情況情報管理部225に送り、時系列推定情況保存メモリ229に一定期間記憶する。
文脈の判定は、推定情況情報管理部228から時系列的に記録された推定情況情報を入力として文脈判定部230が行い、結果を文脈情報管理部223が文脈情報保存メモリ231に記憶する。
参加メンバーの行動の妥当性の判断は意思疎通支援部204で行う。すなわち、行動予測知識データベース232に登録されている文脈に対応した妥当な行動を表現した行動予測知識を用いて、文脈情報管理部223から現在の文脈の一つ前の文脈を入力として、行動予測部233が現在の妥当な文脈を推論する。この結果を妥当性判断部234に送る。妥当性判断部234は、妥当性判断知識データベース235に登録さている妥当性判断知識を用いて、現在の情況が妥当かどうかを判断する。そして、注意が必要と判断した時は、仮想空間管理部201に属する注意情報反映部240へ注意、警告、忠告情報を送る。
仮想空間管理部201に属する仮想空間構築部241は仮想空間40を構築し、その仮想空間情報を仮想空間情報送信部210から出力通信装置207、ネットワーク30を通じてユーザ端末10に送る。
一方、ユーザ端末10からネットワーク30、入力通信装置206を通じて送られてきた操作情報は、仮想空間操作情報受信部208にて受信して操作情報反映部242に渡される。操作情報反映部242は受け取った操作情報を、仮想空間構築部241で構築した仮想空間40へ反映させる。また、端末情報管理部202の推定情況情報管理部228から送られてきた推定情況情報を情況情報反映部243にて処理し、仮想空間構築部241で構築した仮想空間40上のアバター42に反映させる。さらに、注意、警告情報の反映は、妥当性判断部234から送られてきた注意、警告情報を注意情報反映部240にて処理し、仮想空間構築部241で構築された仮想空間40へ反映させる。
[対話情報の流れ]
参加メンバー間でユーザ端末10を用いて対話を行う場合、音声、映像などの情報は仮想空間40上で近傍にいる参加メンバー全員のユーザ端末10それぞれへ協調支援サーバ20、ネットワーク30を介して送る。
[推論知識]
推論知識は、各センサ情報を統合して参加メンバーの精神的情況、肉体的情況を推定する情況合成知識と、合成した徴候や情況を分析し、矛盾解決や確認必要な情報を予測し情報要求を行う情況分析知識から成る。そして情況合成知識は情況合成知識データベース225に保存され、情況分析知識は情況分析知識データベース227に保存されている。
[情報要求]
図6を用いて、情況合成知識を利用した情況合成と、情況分析知識を利用した情況分析により必要な情報を割り出して情報要求する処理について説明する。
情況合成知識は複数のセンサ情報を入力としてある条件がそろった場合にアクティブになる徴候ノードと、さらに徴候ノードからの出力を入力としてある条件がそろった場合にアクティブになる徴候ノード又は情況ノードから成る。しかし、リアルタイム性を考えると膨大なセンサ情報を最初からすべて処理するわけにはいかない。そこで、最初はキーとなる基本的なセンサ情報だけを処理する(ボトムアップ処理)。そして、処理した結果得られた徴候や情況から、情報要求知識により期待できる徴候を予測し、その徴候を判定するのに必要なセンサに情報要求を行う(トップダウン処理)。
図6の例では、条件判定Aを調べ、条件が成り立っているため徴候Aをアクティブにする。次に条件判定Dを調べたところ、条件が成り立っていなかったため徴候Bはノンアクティブのままにする。次に条件判定Hを調べ、条件が成り立っていたので徴候Cをアクティブにする。この結果、情況Aに必要な徴候A、B、Cのうちの徴候Bがアクティブになっていないので情況Aとは判定できない。そこで、ボトムアップにて求めた条件判定結果から期待できるのが情況Aであると仮予測し、その確認を行うために徴候Bに関連するセンサに対して情報要求を行う。図6の例では、徴候Aも徴候Cも成り立つとき、徴候Bの成立を予測し、徴候Bの成立に必要な情報を得るため、条件Fを調べる。この条件Fは、徴候Bの成立に対して条件Dと対等な代替条件である。この条件Fが成り立てば、徴候Bもアクティブになり、情況Aであると判定する。
図7のように、脳波、心拍、血圧などのセンサ情報から、緊張や集中などの徴候が推論され、これらの徴候情報から、疲労ぎみで集中力が無く聞き漏らしの可能性があるなどの具体的な情況を推論する。
[反射行動の観測による確認]
推論の結果が正しいものか否かを確認する必要がある場合、参加メンバーに能動的に刺激を与え、その刺激に対する反応を実際に観測して、参加メンバーの状態を能動的に調べる。例えば、ある参加メンバーには、上の徴候情報から疲労ぎみで集中力が無く聞き漏らしの可能性があると情況を推論した場合、当該参加メンバーのユーザ端末10に対して音や画面効果などを発生させ、これに対する反応をセンサ情報を通じて観測することにより、当該参加メンバーの状態を確認する。
[文脈ベース推論]
本実施の形態の対話支援システムによる文脈ベース推論について説明する。推論知識は文脈情報と対応しており、推論の際には、現在の文脈に対応した推論知識群から推論を行う。
Figure 2008306586
上の例では、現在の文脈がS1であれば、条件Aが成立すればXであると推論する。これに対して、文脈がS2であれば、同じ条件Aが成立してもYであると推論する。こうして、文脈が異なれば同じ条件が成立しても異なった推論結果をもたらす。
[記号情報]
文脈の選択指標の1つには記号情報を用いる。記号情報には、会議のための対話支援であれば、会議の目的、使命、意図、方針などが与えられる。例えば、緊急会議、開発会議、重要会議といった記号情報を与えることで、推論の際に採用する文脈を異ならせる。会議の使命についても、士気の昂揚、仲間意識の発揚といった記号情報を与えることで推論の際に採用する文脈を異ならせる。
[意思疎通支援―異常状態での警告処理]
本実施の形態の対話支援システムでは、文脈に対して適切と考えられる精神的情況、肉体的情況を記述した妥当性判断知識に基づき、参加メンバーの推定された精神的情況、肉体的情況が現在の文脈に対して不適切であった場合に注意や警告を行う意思疎通支援ができる。
[意思疎通支援―行動予測による警告]
また、本実施の形態の対話支援システムでは、文脈に対応して、その文脈から起こり得る妥当な情況、行動を記述した行動予測知識に基づき、現在の文脈から次に起こり得る妥当な情況を推定しておき、実際に観測されたその後の情況と推定された情況とを比較し、想定外の情況が生じた場合に意図の食違い・誤解の可能性を警告する意思疎通支援ができる。
以下に、電子会議システムとしての利用例を示す。現在の文脈として、(a)外部情況は、重要な会議中、大半のメンバーが熱心である、(b)相対情況は、現在の話者との人間関係は良好である、(c)内的情況は、参加メンバーが冷淡である、とする。
このとき自メンバーは肉体的情況として疲労、眠い、精神的情況として無関心である可能性がある。これを確認するために脳波計に情報要求を行い、脳の活動状態を調べたり、心拍計に情報要求を行い、心拍が低くないかなどの肉体的情況の確認を行い、ユーザ端末10の利用情況を調べて関心具合を調べたりする。そして結果として、高い疲労状態にあると判断された場合には、会議メンバー全員に休憩の提案をしたりする。
以上のように、本発明の実施の形態の対話支援システムによれば、参加メンバー間の通信による意志疎通の確実化を図ることができる。また、参加メンバー情況推定情報を利用した対話方式として、推論の詳細化によりリアルタイム性を維持しつつ高速に高精度な推定をすることができ、参加メンバーの情況情報を利用して参加メンバー間の意思疎通を支援することができ、また参加メンバーの情況情報を仮想空間において視覚的強調的に伝えることによる即時の相手の状態把握ができる。また、文脈情報を用いて推論する知識を限定することによって状態分析にかかる計算コストを減らすことができ、結果的に、リアルタイムな推定ができる。また、複数の情報を用いて推定することによって高い推定精度を得ることができる。特に、多種多様のセンサを用い、またこれらを総合して上記状態を把握できる。また、文脈情報によって違う知識を用いて正しくかつ効率的に競合解消することができ、これにより推論速度と精度とを共に向上させることができる。さらに、本発明の対話支援システムによれば、多種多様な生体情報・行動情報と目的などの記号情報を融合することにより参加メンバーの情況を推定し、推定結果の確認・詳細化のために逆に情報を要求する情報要求を行うことにより、精度・信頼性は劣るが安価で身体への装着が容易な生体センサで推定精度の高い推定システムが構築できる。
[実施例2]
文脈から期待される情況を示した期待情況知識を持ち、文脈を入力として期待される複数の情況を出力する。
情況は有限個設定されており、その情況の尤もらしさを表す情況期待値を各情況毎に計算し、最も情況期待値の高い情況をユーザの推定情況とする。
各情況にはその情況を肯定するための条件が複数設定されており、各条件は条件の重要度、条件判定に掛かる時間コスト、を持っており、センサ情報を入力としてその条件充足度を出力とする。この条件の重要度と条件充足度から情況期待値を計算する。
期待される情況の最も重要度の高い条件から判定していく。条件判定が一つ終わる度に各情況の情況期待値を調べ、次に最も情況期待値の高い情況の未判定条件の中で、最も重要度の高い条件を判定していく。そしてこれを決められた応答時間内で繰り返す。
[実施例3]
ユーザの情況推定のために、まず、複数個の情況を定義する。各情況には、この情況が成立するかどうかを推定するための条件判定式、徴候ノードを複数設定し、これを情況合成知識と呼ぶ。各条件判定式は、センサ情報のような数値情報と目的などの記号情報を入力として、条件充足度合いを出力として返す。例えば、条件:脈拍数が100以上、脈拍情報:120の場合、条件式は条件充足度合い1.0を出力する。徴候ノードは、複数の条件充足度合い又は他の徴候ノードからの出力を入力として、設定された閾値を超えた場合にアクティブとなる。徴候ノードにはその徴候の重要度が設定されており、徴候ノードがアクティブになった場合、その重要度と徴候の成立度合いから出力が求められる。例えば、条件1、2、3からそれぞれ出力1.0、0.5、0.6が徴候ノードに入力され、徴候ノードの閾値が2.0だった場合、条件式からの出力の合計2.1は閾値2.0より大きいので、その徴候ノードはアクティブになり、この徴候の重要度が1.0だった場合、1.0を出力する。情況ノードは、複数の徴候ノードからの出力を入力として、その情況の成立度合いを返す。このような情況合成知識を用いて、センサ情報や記号情報から推定された各情況の成立度合いを比較して、最も高い成立度合いを持つ情況を推定情況とする情況推定方式。
また、これらの情況推定を効率的に行うため、判定する条件などを決定する情報要求知識を持つ。情報要求知識は、情況合成知識による推論過程での途中結果から、次に判定する条件式の決め方、決める方針を記述したメタ知識であり、「情況合成知識中で最も多く用いられている条件判定式から調べる」、「情況の判定に必要な徴候の中で最も重要度の高い徴候からアクティブになるかどうかを調べる」などの知識を持つ。
[実施例4]
上記の実施例3において、推論する知識の選択に文脈情報を用いる場合、情報要求知識の中に、「文脈から期待される情況の判定条件から調べる」、「文脈から期待される情況の判定に必要な徴候の中で最も重要度の高い徴候の条件判定から行う」などの知識を持つ。文脈から期待される判定条件は、文脈に対応する推論知識群を記録したテーブルを情況合成知識DB内に持ち、各徴候の重要度なども情況合成知識DB内で管理されている。
[文脈推論の実施例1]
図8のように、現在の文脈とセンサ群から推定される情況で、参加メンバー各々の時系列的変化を含む内的情況(1)と、自分を含むメンバー間の比較情況、人間関係などの相対情況(2)と、会議の時間、各サイト、議題、話者、人数などを総合した全体情況・雰囲気、記号情報などの外部情況(3)から文脈を定義する。
会議を例にすると、内的情況として推定されたユーザの情況、相対関係として対話をしている人との立場関係(デザイナーとプログラマーなど)、外部情況として会議の性格(打ち合わせ会議、緊急対策会議など)と会議規模(2人、5人規模、10人以上など)を用いるとする。会議中は外部情況はほぼ変わることはないが、相対情況は対話相手が変わると変化する。また、内的情況も推定結果により常に変化しる。これらの情況が変化したときを、文脈の変化と捉え、対応する知識群を切り替える。これらの情況情報は文脈情報保存メモリ内に記憶される。
[文脈推論の実施例2]
図9のように、複数個の状態を定義し、この状態遷移条件を記した状態遷移知識群を定義する。これらの情報は文脈情報管理部内に保存しておく。初期状態となる状態を設定しておき、常に外部環境を観測して状態遷移条件が満たされないかをチェックする。遷移条件が満たされた場合はその状態へと遷移する。この状態を文脈とし、状態の遷移を文脈の変化と捉え、対応する知識群を切り替える。これらの文脈情報は文脈情報保存メモリに記憶される。
会議を例にすると、状態として平常状態、活発な議論状態、アイデア募集状態、議論停滞状態、発表状態などを定義し、平常状態から活発な議論状態へと遷移する条件として、「大半のユーザの端末利用頻度が高く、大半のユーザが対話に参加している」などの知識群を定義しておく。
[行動解析装置]
情況推定の入力となる行動情報としては、表情、動作、操作情報などを用いる。
表情情報は、カメラによる画像から顔認識プログラムにより、唇、眉の形状変化パターンを読み取り、この変化パターンに対応する表情テーブルから、笑顔、普通、などの表情を表す記号情報へと変換したものである。
動作情報は、カメラによる画像から人の体の骨格モデルを用いて、カメラによる特徴点とモデルとのマッチングを行い、その特徴点の変化量とする。
操作情報は、ユーザの端末インターフェイスの利用情況、つまりマウスの移動量、キーボードの利用頻度などを利用する。
[時系列情報を利用した情報要求方式]
時系列情報を利用した情報要求の実例としては、ある徴候への入力となる条件判定式が3つあり、条件1は満たさなかったが、条件2、3は満たした場合、現在のデータでは条件1は満たさなかったが、過去を含めてどの程度条件1を満たしていたのかを調べるために、数データ前から現在までの時系列情報を要求する。この時、例えば、条件1が「心拍数が100以上」だった場合、時系列情報保存メモリでは情報の無駄を省くため、心拍が80以上であった時のデータだけを記憶しておく。情報要求「心拍数データ。心拍80以上。2分前から現在まで」が送られ、これにより時系列情報保存メモリから推論部へと情報が送られ、2分前から現在まで、心拍90付近であった場合に、条件判定を満たしたとみなすなどの処理をする。
本発明の1つの実施の形態の対話支援システムのハードウェア構成を示すブロック図。 上記実施の形態の対話支援システムの機能構成を示すブロック図。 上記実施の形態の対話支援システムの動作説明図。 上記実施の形態の対話支援システムにおけるユーザ端末のブロック図。 上記実施の形態の対話支援システムにおける協調支援サーバのブロック図。 上記実施の形態の対話支援システムにおけるセンサ入力、徴候、情況の推論知識構造を示す説明図。 上記実施の形態の対話支援システムにおける情況Aの推論動作の説明図。 上記実施の形態の対話支援システムにおける文脈の認識構造の説明図。 本発明における文脈推論の実施例2のブロック図。
符号の説明
10 ユーザ端末
20 協調支援サーバ
30 ネットワーク
40 仮想空間
41 情報
42 アバター

Claims (29)

  1. 複数のコンピュータサイトをネットワークで結合したネットワークシステムにおいて、
    前記コンピュータサイトの全部あるいは一部が当該コンピュータサイトにいる対象物の生体データを取得する生体センサを持ち、前記コンピュータサイトにいる相手の前記生体センサが取得した生体データを加工あるいは統融合することにより、遠隔相手の情況をすぐそばにいるかのように識別可能とする情況推定方法。
  2. 請求項1に記載の情況推定方法において、前記生体センサは複数種あるいは同種でも複数であり、前記コンピュータサイトにいる相手の前記生体センサが取得した多種、多数の生体データを加工あるいは統融合することにより、遠隔相手の情況をさらに正確に推定する情況推定方法。
  3. 請求項1に記載の情況推定方法において、過去の生体データやこれを記号化したり圧縮したりしたものを時系列的に記憶し、遠隔相手の情況をさらに正確かつ少ないメモリで推定する情況推定方法。
  4. 請求項1に記載の情況推定方法において、前記コンピュータサイトが前記生体センサのデータ入力に加え、目的・使命・意図・緊急度・重要度などを含む記号情報の入力、顔の表情や行動のデータやさらに外気温など環境のデータの入力も可能とし、これらのデータや情報を統融合することにより、遠隔相手の情況をさらに正確に推定する情況推定方法。
  5. 請求項4に記載の情況推定方法において、前記データや情報を統融合するのに、データや下位の情報を徴候や情況を含むより大局的で総合度の高い情報つまり高位の情報に合成する知識を利用することを特徴とする情況推定方法。
  6. 請求項4に記載の情況推定方法において、前記データや情報を統融合するのに、確認のためのデータや情報を逆に相手サイトの生体センサーや下位情報・データの統融合部に要求する情報要求機構を持つことにより、遠隔相手の情況をさらに正確に推定する情況推定方法。
  7. 請求項6に記載の情況推定方法において、
    前記の統融合のためのデータや情報を合成する知識とその処理として、
    任意の個数の前提条件群の成立にて1つの中間結論を導出する中間結論推論知識と、n(1以上)個の中間結論とを保持し、前記n(1以上)個の中間結論の成立にて1つの最終結論を導出して保持し、前記1つ以上(n)個の中間結論の内、1つ又は複数(q)個の中間結論についてその成立・不成立を判断し、その1つ又は複数(q)個の中間結論が全部成立する時に最終結論の導出あるいは到達を判断するボトムアップ判断処理を行い、
    前記の確認のためのデータや情報を逆に要求する情報要求機構として、
    前記n(1以上)個の中間結論の内、前記最終結論への到達を判断していない(n−q)個の中間結論を抽出する知識と、当該(n−q)個の中間結論それぞれの成立・不成立を再度判断するために、確認用のデータや情報を逆に相手サイトの生体センサや下位情報・データの統融合部に要求し、当該(n−q)個の中間結論が全部成立する時に前記最終結論への到達を判断したり、成立しない場合、中間結論を抽出する知識再度使って上記要求を繰り返すことも可能なトップダウン判断処理とを含む情報分析処理を行うことを特徴とする情況推定方法。
  8. 請求項1に記載の情況推定方法において、前記データや情報の入力を行う前記コンピュータサイトとは別に、データや情報を統融合する別のコンピュータサイト(サービスサイト)を持つことにより、遠隔相手の複雑・大量のデータや情報に対応することを特徴とする情況推定方法。
  9. 請求項1に記載の情況推定方法において、センサ情報・記号情報・時系列情報を融合した各コンピュータサイトの情況情報・背景情報を文脈情報として、これを用いた文脈推論により、遠隔相手の情況をさらに正確かつ効率的に推定する情況推定方法。
  10. 複数のコンピュータサイトをネットワークで結合したネットワークシステムにおいて、
    前記コンピュータサイトの全部あるいは一部が当該コンピュータサイトにいる対象物の生体データを取得する生体センサを持ち、
    前記コンピュータサイトの全部あるいは他の一部が、前記コンピュータサイトにいる相手の生体データを加工あるいは統融合することにより遠隔相手の情況をすぐそばにいるかのように識別可能とする分析推定手段を持つことを特徴とするネットワークシステム。
  11. 請求項10に記載のネットワークシステムにおいて、前記生体センサは複数種あるいは同種でも複数であり、前記分析推定手段は、前記コンピュータサイトにいる相手の前記生体センサが取得した多種、多数の生体データを加工あるいは統融合することにより、遠隔相手の情況をさらに正確に推定することを特徴とするネットワークシステム。
  12. 請求項10に記載のネットワークシステムにおいて、前記分析推定手段は、過去の生体データやこれを記号化したり圧縮したりしたものを時系列的に記憶し、遠隔相手の情況をさらに正確かつ少ないメモリで推定することを特徴とするネットワークシステム。
  13. 請求項10に記載のネットワークシステムにおいて、前記分析推定手段は、前記コンピュータサイトが前記生体センサのデータ入力に加え、目的・使命・意図・緊急度・重要度などを含む記号情報の入力、顔の表情や行動のデータやさらに外気温など環境のデータの入力も可能とし、これらのデータや情報を統融合することにより遠隔相手の情況をさらに正確に推定することを特徴とするネットワークシステム。
  14. 請求項13に記載のネットワークシステムにおいて、前記分析推定手段が前記データや情報を統融合するのに、データや下位の情報を徴候や情況を含むより大局的で総合度の高い情報つまり高位の情報に合成する知識を利用することを特徴とするネットワークシステム。
  15. 請求項13に記載のネットワークシステムにおいて、前記分析推定手段が前記データや情報を統融合するのに、確認のためのデータや情報を逆に相手サイトの生体センサーや下位情報・データの統融合部に要求する情報要求機構を持ち、遠隔相手の情況をさらに正確に推定することを特徴とするネットワークシステム。
  16. 請求項10に記載のネットワークシステムにおいて、前記データや情報の入力を行う前記コンピュータサイトとは別に、データや情報を統融合する別のコンピュータサイト(サービスサイト)を備え、遠隔相手の複雑・大量のデータや情報に対応するようにしたことを特徴とするネットワークシステム。
  17. 請求項10に記載のネットワークシステムにおいて、前記分析推定手段は、センサ情報・記号情報・時系列情報を融合した各コンピュータサイトの情況情報・背景情報を文脈情報として、これを用いた文脈推論により遠隔相手の情況をさらに正確かつ効率的に推定する文脈推論手段を備えたことを特徴とするネットワークシステム。
  18. 前記の統融合のためのデータや情報を合成する知識とその処理部として、
    任意の個数の前提条件群の成立にて1つの中間結論を導出する中間結論推論知識と、n(1以上)個の中間結論とを保持する中間結論保持部と、前記n(1以上)個の中間結論の成立にて1つの最終結論を導出する最終結論推論知識と、これを保持する最終結論保持部と、前記1つ以上(n)個の中間結論の内、1つ又は複数(q)個の中間結論についてその成立・不成立を判断し、その1つ又は複数(q)個の中間結論が全部成立する時に最終結論の導出あるいは到達を判断するボトムアップ判断処理部とを含む情報合成部を備え、
    前記の確認のためのデータや情報を逆に要求する情報要求機構として、
    前記n(1以上)個の中間結論の内、前記最終結論への到達を判断していない(n−q)個の中間結論を抽出する知識と、当該(n−q)個の中間結論それぞれの成立・不成立を再度判断するために、確認用のデータや情報を逆に相手サイトの生体センサや下位情報・データの統融合部に要求し、当該(n−q)個の中間結論が全部成立する時に前記最終結論への到達を判断したり、成立しない場合、中間結論を抽出する知識再度使って上記要求を繰り返すことも可能なトップダウン判断処理手段とを含む情報分析部を備えたことを特徴とする請求項15に記載のネットワークシステム。
  19. 中間結論情報及び最終結論情報は、文脈ベース推論に使用可能であることを特徴とする請求項18に記載のネットワークシステム。
  20. 前記中間結論に対する前提条件は、複数の代替可能な前提条件群つまりOR条件群に分けられていること、及び多階層の中間結論としたことを特徴とする請求項18又は19に記載のネットワークシステム。
  21. 複数のコンピュータサイトをネットワークで結合したネットワークシステムにおいて、
    前記コンピュータサイトの全部あるいは一部が当該コンピュータサイトにいる対象物の生体データを取得する生体センサを持ち、前記コンピュータサイトにいる相手の生体データを加工あるいは統融合することにより、遠隔相手の情況をすぐそばにいるかのように識別可能とする情況推定プログラム。
  22. 請求項21に記載の情況推定プログラムにおいて、前記生体センサは複数種あるいは同種でも複数であり、前記コンピュータサイトにいる相手の前記生体センサが取得した多種、多数の生体データを加工あるいは統融合することにより、遠隔相手の情況をさらに正確に推定する情況推定プログラム。
  23. 請求項21に記載の情況推定プログラムにおいて、過去の生体データやこれを記号化したり圧縮したりしたものを時系列的に記憶し、遠隔相手の情況をさらに正確かつ少ないメモリで推定する情況推定プログラム。
  24. 請求項21に記載の情況推定プログラムにおいて、前記コンピュータサイトが前記生体センサのデータ入力に加え、目的・使命・意図・緊急度・重要度などを含む記号情報の入力、顔の表情や行動のデータやさらに外気温など環境のデータの入力も可能とし、これらのデータや情報を統融合することにより、遠隔相手の情況をさらに正確に推定する情況推定プログラム。
  25. 請求項24に記載の情況推定プログラムにおいて、前記データや情報を統融合するのに、データや下位の情報を徴候や情況を含むより大局的で総合度の高い情報つまり高位の情報に合成する知識を利用することを特徴とする情況推定プログラム。
  26. 請求項24に記載の情況推定プログラムにおいて、前記データや情報を統融合するのに、確認のためのデータや情報を逆に相手サイトの生体センサーや下位情報・データの統融合部に要求する情報要求機構を持つことにより、遠隔相手の情況をさらに正確に推定する情況推定プログラム。
  27. 請求項26に記載の情況推定プログラムにおいて、
    前記の統融合のためのデータや情報を合成する知識とその処理として、
    任意の個数の前提条件群の成立にて1つの中間結論を導出する中間結論推論知識と、n(1以上)個の中間結論とを保持し、前記n(1以上)個の中間結論の成立にて1つの最終結論を導出して保持し、前記1つ以上(n)個の中間結論の内、1つ又は複数(q)個の中間結論についてその成立・不成立を判断し、その1つ又は複数(q)個の中間結論が全部成立する時に最終結論の導出あるいは到達を判断するボトムアップ判断処理を行い、
    前記の確認のためのデータや情報を逆に要求する情報要求機構として、
    前記n(1以上)個の中間結論の内、前記最終結論への到達を判断していない(n−q)個の中間結論を抽出する知識と、当該(n−q)個の中間結論それぞれの成立・不成立を再度判断するために、確認用のデータや情報を逆に相手サイトの生体センサや下位情報・データの統融合部に要求し、当該(n−q)個の中間結論が全部成立する時に前記最終結論への到達を判断したり、成立しない場合、中間結論を抽出する知識再度使って上記要求を繰り返すことも可能なトップダウン判断処理とを含む情報分析処理を行うことを特徴とする情況推定プログラム。
  28. 請求項21に記載の情況推定プログラムにおいて、前記データや情報の入力を行う前記コンピュータサイトとは別に、データや情報を統融合する別のコンピュータサイト(サービスサイト)を持つことにより、遠隔相手の複雑・大量のデータや情報に対応することを特徴とする情況推定プログラム。
  29. 請求項21に記載の情況推定プログラムにおいて、センサ情報・記号情報・時系列情報を融合した各コンピュータサイトの情況情報・背景情報を文脈情報として、これを用いた文脈推論により、遠隔相手の情況をさらに正確かつ効率的に推定する情況推定プログラム。
JP2007153212A 2007-06-08 2007-06-08 情況推定方法、情況推定プログラム及びネットワークシステム Pending JP2008306586A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007153212A JP2008306586A (ja) 2007-06-08 2007-06-08 情況推定方法、情況推定プログラム及びネットワークシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007153212A JP2008306586A (ja) 2007-06-08 2007-06-08 情況推定方法、情況推定プログラム及びネットワークシステム

Publications (1)

Publication Number Publication Date
JP2008306586A true JP2008306586A (ja) 2008-12-18

Family

ID=40234880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007153212A Pending JP2008306586A (ja) 2007-06-08 2007-06-08 情況推定方法、情況推定プログラム及びネットワークシステム

Country Status (1)

Country Link
JP (1) JP2008306586A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020048610A (ja) * 2018-09-21 2020-04-02 富士ゼロックス株式会社 状態評価システム
WO2022131178A1 (ja) * 2020-12-15 2022-06-23 株式会社Jvcケンウッド ウェブ会議システム
JP7179384B1 (ja) 2021-12-07 2022-11-29 株式会社Abelon サーバ、情報処理方法、およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020048610A (ja) * 2018-09-21 2020-04-02 富士ゼロックス株式会社 状態評価システム
WO2022131178A1 (ja) * 2020-12-15 2022-06-23 株式会社Jvcケンウッド ウェブ会議システム
JP7179384B1 (ja) 2021-12-07 2022-11-29 株式会社Abelon サーバ、情報処理方法、およびプログラム
JP2023084361A (ja) * 2021-12-07 2023-06-19 株式会社Abelon サーバ、情報処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
US11301680B2 (en) Computing device for enhancing communications
US20190147367A1 (en) Detecting interaction during meetings
US10376195B1 (en) Automated nursing assessment
JP6965525B2 (ja) 感情推定サーバ装置、感情推定方法、提示装置及び感情推定システム
US20220047223A1 (en) Virtual Patient Care (VPC) Platform Measuring Vital Signs Extracted from Video During Video Conference with Clinician
US20110201960A1 (en) Systems for inducing change in a human physiological characteristic
JP7285589B2 (ja) 対話型健康状態評価方法およびそのシステム
US20110201959A1 (en) Systems for inducing change in a human physiological characteristic
JP6933076B2 (ja) 制御装置、制御方法、プログラム及び制御システム
JP2006305260A (ja) 表情診断支援装置
US20170301037A1 (en) Group discourse architecture
Chen How does communication anxiety influence well-being? Examining the mediating roles of preference for online social interaction (POSI) and loneliness
JP2008306586A (ja) 情況推定方法、情況推定プログラム及びネットワークシステム
US20170354383A1 (en) System to determine the accuracy of a medical sensor evaluation
JP2022068903A (ja) 会議支援装置、会議支援方法および会議支援プログラム
WO2022064621A1 (ja) ビデオミーティング評価システム及びビデオミーティング評価サーバ
JP2018170714A (ja) 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
Teixeira et al. AdaptO-Adaptive multimodal output
CN111698452A (zh) 在线群体状态反馈方法、系统及装置
WO2022029859A1 (ja) コミュニケーション支援装置、コミュニケーション支援方法およびプログラム
JP7306439B2 (ja) 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2022064620A1 (ja) ビデオミーティング評価システム及びビデオミーティング評価サーバ
US20230316812A1 (en) Sign language sentiment analysis
US20210005288A1 (en) Method and arrangement for collecting input from a user
JP2019101872A (ja) 情報処理装置、及びプログラム