JP2008306586A - 情況推定方法、情況推定プログラム及びネットワークシステム - Google Patents

Abstract

【課題】遠隔会議システムとして利用でき、参加者の状態、会議の情況等についてリアルタイム性を保証しつつも精度の高い結論に到達できる情況推論技術を提供する。
【解決手段】複数のコンピュータサイトをネットワークで結合したネットワークシステムにおいて、コンピュータサイトの全部あるいは一部が当該コンピュータサイトにいる対象物の生体データを取得する生体センサを持ち、コンピュータサイトにいる相手の生体データを加工あるいは統融合することにより、遠隔相手の情況をすぐそばにいるかのように識別可能とする情況推定技術である。
【選択図】図２

Description

本発明は、情況推定方法、情況推定プログラム及びネットワークシステムに関する。

通信による対話手段としては、文字によるチャット、音声及び映像による通信があるが、機器の性能及び通信回線の限界から通信できる情報は限られたものであり、微妙な表情など細部の情報までは送れないので、確実に意思疎通を行うことは困難である。

これを解決するための心理状態推定を利用した対話方式（分散協調支援方式）として、特開２００６−２６２０１０号公報（特許文献１）に、複数の生体情報から抽出した心理状態推定情報を遠隔地の対話相手に表示する遠隔会議・教育システムが記載されている。この従来の遠隔会議・教育システムでは、非同期遠隔会議において映像、音声情報、表情・動作データ、生体情報から心理状態を推定し、遠隔地の対話相手に表示する。

ところが、特許文献１の遠隔会議・教育システムは、上記情報の収集やそれからの状態推定が結果を保存してから画像送信時など後で取り出すなどオフライン的で意思疎通に対する要求や文脈とは非同期であり、リアルタイムな通信ができない。そのため、参加メンバーにとって遠隔サイトに居る相手の生理的、肉体的情報などが今直ちに必要というような時にその情報をリアルタイムに得ることができない。また、マウスの利用状況などの端末操作情報を利用せず、心理状態を表示するだけであり、意思疎通を支援する手段を持っていない。

対話相手の心理状態の推定手法として、特開２００６−３２６１８４号公報（特許文献２）に、複数の生理情報とセンサー情報に影響を与える可能性のある室温などの環境情報とを組み合わせて分析し、心理状態を推定する手法が記載されている。ところが、特許文献２の手法では全ての情報を同時に処理するため、解析する情報や知識が増えると処理にかかる時間コストが増加してしまう。そのため、推論のリアルタイム性、あるいは、必要な時に必要な情報を得るｈｏｔユビキタス性を保つことができない。

そして、心理状態を推定するための一般的な推論方式として、特開平０９−２３１０８１号公報（特許文献３）に、現在の文脈に適合する知識だけで推論することにより、知識の増加による計算時間の増加を抑える文脈依存推論方法及び装置が記載されている。ところが、特許文献３の手法では、１回の推論で利用する知識の数はその知識の確信度によって決められており、途中の推論結果をフィードバック情報として用いて、適用する推論知識を選択するなどの推論の詳細化ができない。また、短期メモリへの知識の移動や文脈メモリ拡張を何度も繰り返すので上記リアルタイム性が保証できない。

他方、参加メンバーの利便性を考えると参加メンバーの情報を取得するために大掛かりな装置を用いることは難しく、ウェアラブルなセンサにより情報を収集することが必要になる。ところが、そのような場合、センサの精度は低い。そのために、これを多数の情報源を利用して情報を補い検出誤差などを抑える対策が必要になる。

さらに一般に、遠隔会議システムでは、会議の参加者の一人からアルファー波を出しているなどの生理情報を検出したとき、体調が悪く会議に十分に入り込めてない可能性があるが、遠隔におり、それも会議の参加者の全てが画面にいつも鮮明に実物大で映っているわけでもなく良く分りないことがある。生理情報を送り分析する技術は上述のように従来から種々知られているが、現在の技術では生理情報の精度が悪いので検出誤差か、そうでなくてもその情報がほんの一時的なものなのか、逆にその参加者が本当に眠いのか体調が悪くぼやっとしているのかなどを高信頼リアルタイムに確認することは困難である。

また、会議といっても現在のトピックでは関係のない人やオブザーバーも加わっている、あるいは、会議も中だるみや収束方向でやや沈静化しつつある場合もある。文脈推論技術についても従来から知られてはいるが、文脈情報を特に時系列的に、また多数の生体センサやすでに得られた文脈を時空的あるいは上位文脈的に総合することによって合成する技術は知られていない。
特開２００６−２６２０１０号公報 特開２００６−３２６１８４号公報 特開平０９−２３１０８１号公報

本発明は、このような従来の技術的課題に鑑みてなされたもので、遠隔会議システムとして利用でき、参加者の状態、会議の情況等についてリアルタイム性を保証しつつも精度の高い結論に到達できる情況推論方法、情況推定プログラム及びネットワークシステムを提供することを目的とする。

より具体的には、本発明は、重要共同開発のための会議などという目的や全体（が関連するテーマ）で議論が盛り上がってきているという文脈を、それも時系列的に推論して考え、この中で生理情報を分析し、さらにその確認のために、関連するセンサ群に対しそれらのデータの時系列的内容も見て文脈情報として記号化し、順・逆両方向から総合的に分析する情報処理機構（例えば、情況分析知識内の情報要求知識）を持つネットワークシステム及びそれを利用する情況推論方法、プログラムを提供することを目的とする。

本発明の１つの特徴は、複数のコンピュータサイトをネットワークで結合したネットワークシステムにおいて、前記コンピュータサイトの全部あるいは一部が当該コンピュータサイトにいる対象物の生体データを取得する生体センサを持ち、前記コンピュータサイトにいる相手の前記生体センサが取得した生体データを加工あるいは統融合することにより、遠隔相手の情況をすぐそばにいるかのように識別可能とする情況推定方法である。

上記情況推定方法において、前記生体センサは複数種あるいは同種でも複数とし、前記コンピュータサイトにいる相手の前記生体センサが取得した多種、多数の生体データを加工あるいは統融合することにより、遠隔相手の情況をさらに正確に推定するものとすることができる。

また、上記情況推定方法において、過去の生体データやこれを記号化したり圧縮したりしたものを時系列的に記憶し、遠隔相手の情況をさらに正確かつ少ないメモリで推定するものとすることができる。

また、上記情況推定方法において、前記コンピュータサイトが前記生体センサのデータ入力に加え、目的・使命・意図・緊急度・重要度などを含む記号情報の入力、顔の表情や行動のデータやさらに外気温など環境のデータの入力も可能とし、これらのデータや情報を統融合することにより、遠隔相手の情況をさらに正確に推定するものとすることができる。

また、上記情況推定方法において、前記データや情報を統融合するのに、データや下位の情報を徴候や情況を含むより大局的で総合度の高い情報つまり高位の情報に合成する知識を利用するものとすることができる。

また、上記情況推定方法において、前記データや情報を統融合するのに、確認のためのデータや情報を逆に相手サイトの生体センサーや下位情報・データの統融合部に要求する情報要求機構を持つことにより、遠隔相手の情況をさらに正確に推定するものとすることができる。

また、上記情況推定方法において、前記の統融合のためのデータや情報を合成する知識とその処理として、任意の個数の前提条件群の成立にて１つの中間結論を導出する中間結論推論知識と、ｎ（１以上）個の中間結論とを保持し、前記ｎ（１以上）個の中間結論の成立にて１つの最終結論を導出して保持し、前記１つ以上（ｎ）個の中間結論の内、１つ又は複数（ｑ）個の中間結論についてその成立・不成立を判断し、その１つ又は複数（ｑ）個の中間結論が全部成立する時に最終結論の導出あるいは到達を判断するボトムアップ判断処理を行い、前記の確認のためのデータや情報を逆に要求する情報要求機構として、前記ｎ（１以上）個の中間結論の内、前記最終結論への到達を判断していない（ｎ−ｑ）個の中間結論を抽出する知識と、当該（ｎ−ｑ）個の中間結論それぞれの成立・不成立を再度判断するために、確認用のデータや情報を逆に相手サイトの生体センサや下位情報・データの統融合部に要求し、当該（ｎ−ｑ）個の中間結論が全部成立する時に前記最終結論への到達を判断したり、成立しない場合、中間結論を抽出する知識再度使って上記要求を繰り返すことも可能なトップダウン判断処理とを含む情報分析処理を行うものとすることができる。

また、上記情況推定方法において、前記データや情報の入力を行う前記コンピュータサイトとは別に、データや情報を統融合する別のコンピュータサイト（サービスサイト）を持つことにより、遠隔相手の複雑・大量のデータや情報に対応するものとすることができる。

さらに、上記情況推定方法において、センサ情報・記号情報・時系列情報を融合した各コンピュータサイトの情況情報・背景情報を文脈情報として、これを用いた文脈推論により、遠隔相手の情況をさらに正確かつ効率的に推定するものとすることができる。

本発明の別の特徴は、複数のコンピュータサイトをネットワークで結合したネットワークシステムであって、前記コンピュータサイトの全部あるいは一部が当該コンピュータサイトにいる対象物の生体データを取得する生体センサを持ち、前記コンピュータサイトの全部あるいは他の一部が、前記コンピュータサイトにいる相手の生体データを加工あるいは統融合することにより遠隔相手の情況をすぐそばにいるかのように識別可能とする分析推定手段を持つネットワークシステムである。

上記ネットワークシステムにおいて、前記生体センサは複数種あるいは同種でも複数であり、前記分析推定手段は、前記コンピュータサイトにいる相手の前記生体センサが取得した多種、多数の生体データを加工あるいは統融合することにより、遠隔相手の情況をさらに正確に推定するものとすることができる。

また、上記ネットワークシステムにおいて、前記分析推定手段は、過去の生体データやこれを記号化したり圧縮したりしたものを時系列的に記憶し、遠隔相手の情況をさらに正確かつ少ないメモリで推定するものとすることができる。

また、上記ネットワークシステムにおいて、前記分析推定手段は、前記コンピュータサイトが前記生体センサのデータ入力に加え、目的・使命・意図・緊急度・重要度などを含む記号情報の入力、顔の表情や行動のデータやさらに外気温など環境のデータの入力も可能とし、これらのデータや情報を統融合することにより遠隔相手の情況をさらに正確に推定するものとすることができる。

また、上記ネットワークシステムにおいて、前記分析推定手段が前記データや情報を統融合するのに、データや下位の情報を徴候や情況を含むより大局的で総合度の高い情報つまり高位の情報に合成する知識を利用するものとすることができる。

また、上記ネットワークシステムにおいて、前記分析推定手段が前記データや情報を統融合するのに、確認のためのデータや情報を逆に相手サイトの生体センサーや下位情報・データの統融合部に要求する情報要求機構を持ち、遠隔相手の情況をさらに正確に推定するものとすることができる。

また、上記ネットワークシステムにおいて、前記データや情報の入力を行う前記コンピュータサイトとは別に、データや情報を統融合する別のコンピュータサイト（サービスサイト）を備え、遠隔相手の複雑・大量のデータや情報に対応するものとすることができる。

また、上記ネットワークシステムにおいて、前記分析推定手段は、センサ情報・記号情報・時系列情報を融合した各コンピュータサイトの情況情報・背景情報を文脈情報として、これを用いた文脈推論により遠隔相手の情況をさらに正確かつ効率的に推定する文脈推論手段を備えたものとすることができる。

また、上記ネットワークシステムにおいて、前記の統融合のためのデータや情報を合成する知識とその処理部として、任意の個数の前提条件群の成立にて１つの中間結論を導出する中間結論推論知識と、ｎ（１以上）個の中間結論とを保持する中間結論保持部と、前記ｎ（１以上）個の中間結論の成立にて１つの最終結論を導出する最終結論推論知識と、これを保持する最終結論保持部と、前記１つ以上（ｎ）個の中間結論の内、１つ又は複数（ｑ）個の中間結論についてその成立・不成立を判断し、その１つ又は複数（ｑ）個の中間結論が全部成立する時に最終結論の導出あるいは到達を判断するボトムアップ判断処理部とを含む情報合成部を備え、前記の確認のためのデータや情報を逆に要求する情報要求機構として、前記ｎ（１以上）個の中間結論の内、前記最終結論への到達を判断していない（ｎ−ｑ）個の中間結論を抽出する知識と、当該（ｎ−ｑ）個の中間結論それぞれの成立・不成立を再度判断するために、確認用のデータや情報を逆に相手サイトの生体センサや下位情報・データの統融合部に要求し、当該（ｎ−ｑ）個の中間結論が全部成立する時に前記最終結論への到達を判断したり、成立しない場合、中間結論を抽出する知識再度使って上記要求を繰り返すことも可能なトップダウン判断処理手段とを含む情報分析部を備えたものとすることができる。

また、上記ネットワークシステムにおいて、中間結論情報及び最終結論情報は、文脈ベース推論に使用可能なものとすることができる。

さらに、上記ネットワークシステムにおいて、前記中間結論に対する前提条件は、複数の代替可能な前提条件群つまりＯＲ条件群に分けられていること、及び多階層の中間結論とすることができる。

本発明のさらに別の特徴は、複数のコンピュータサイトをネットワークで結合したネットワークシステムにおいて、前記コンピュータサイトの全部あるいは一部が当該コンピュータサイトにいる対象物の生体データを取得する生体センサを持ち、前記コンピュータサイトにいる相手の生体データを加工あるいは統融合することにより、遠隔相手の情況をすぐそばにいるかのように識別可能とする情況推定プログラムである。

上記情況推定プログラムにおいて、前記生体センサは複数種あるいは同種でも複数であり、前記コンピュータサイトにいる相手の前記生体センサが取得した多種、多数の生体データを加工あるいは統融合することにより、遠隔相手の情況をさらに正確に推定するものとすることができる。

また、上記情況推定プログラムにおいて、過去の生体データやこれを記号化したり圧縮したりしたものを時系列的に記憶し、遠隔相手の情況をさらに正確かつ少ないメモリで推定するものとすることができる。

また、上記情況推定プログラムにおいて、前記コンピュータサイトが前記生体センサのデータ入力に加え、目的・使命・意図・緊急度・重要度などを含む記号情報の入力、顔の表情や行動のデータやさらに外気温など環境のデータの入力も可能とし、これらのデータや情報を統融合することにより、遠隔相手の情況をさらに正確に推定するものとすることができる。

また、上記情況推定プログラムにおいて、前記データや情報を統融合するのに、データや下位の情報を徴候や情況を含むより大局的で総合度の高い情報つまり高位の情報に合成する知識を利用するものとすることができる。

また、上記情況推定プログラムにおいて、前記データや情報を統融合するのに、確認のためのデータや情報を逆に相手サイトの生体センサーや下位情報・データの統融合部に要求する情報要求機構を持つことにより、遠隔相手の情況をさらに正確に推定するものとすることができる。

また、上記情況推定プログラムにおいて、前記の統融合のためのデータや情報を合成する知識とその処理として、任意の個数の前提条件群の成立にて１つの中間結論を導出する中間結論推論知識と、ｎ（１以上）個の中間結論とを保持し、前記ｎ（１以上）個の中間結論の成立にて１つの最終結論を導出して保持し、前記１つ以上（ｎ）個の中間結論の内、１つ又は複数（ｑ）個の中間結論についてその成立・不成立を判断し、その１つ又は複数（ｑ）個の中間結論が全部成立する時に最終結論の導出あるいは到達を判断するボトムアップ判断処理を行い、前記の確認のためのデータや情報を逆に要求する情報要求機構として、前記ｎ（１以上）個の中間結論の内、前記最終結論への到達を判断していない（ｎ−ｑ）個の中間結論を抽出する知識と、当該（ｎ−ｑ）個の中間結論それぞれの成立・不成立を再度判断するために、確認用のデータや情報を逆に相手サイトの生体センサや下位情報・データの統融合部に要求し、当該（ｎ−ｑ）個の中間結論が全部成立する時に前記最終結論への到達を判断したり、成立しない場合、中間結論を抽出する知識再度使って上記要求を繰り返すことも可能なトップダウン判断処理とを含む情報分析処理を行うものとすることができる。

また、上記情況推定プログラムにおいて、前記データや情報の入力を行う前記コンピュータサイトとは別に、データや情報を統融合する別のコンピュータサイト（サービスサイト）を持つことにより、遠隔相手の複雑・大量のデータや情報に対応するものとすることができる。

また、上記情況推定プログラムにおいて、センサ情報・記号情報・時系列情報を融合した各コンピュータサイトの情況情報・背景情報を文脈情報として、これを用いた文脈推論により、遠隔相手の情況をさらに正確かつ効率的に推定するものとすることができる。

本発明によれば、遠隔会議システムとして利用でき、参加者の状態、会議の情況等についてリアルタイム性を保証しつつも精度の高い結論に到達できる情況推論方法、情況推定プログラム及びネットワークシステムを提供できる。

より具体的には、本発明によれば、重要共同開発のための会議などという目的や全体で議論が盛り上がってきているという文脈を、それも時系列的に推論して考え、この中で生理情報を分析し、さらにその確認のために、関連するセンサ群に対しそれらのデータの時系列的内容も見てアクティブな制御もして、その結果に対する反応を、それも時系列的に取り文脈情報として記号化し、順・逆両方向から総合的に分析する情報処理機構を持つネットワークシステム及びそれを利用する情況推論方法、プログラムを提供できる。

以下、本発明の実施の形態を図に基づいて詳説する。

［対話支援システムの構成］
図１は、本発明の１つの実施の形態の対話支援システムの構成である。本実施の形態の対話支援システムは、複数のユーザ端末１０、協調支援サーバ２０、そして各機器間の通信に介在するネットワーク３０で構成されている。そして図２に示したように、各参加メンバーＡ、Ｂはユーザ端末１０から協調支援サーバ２０にネットワーク３０を介してアクセスすることにより、ｗｅｂ上の仮想空間４０で対話を行う。

図３に示したように、本実施の形態の対話支援システムは、上記構成により各参加メンバーＡ、Ｂはユーザ端末１０から協調支援サーバ２０に参加メンバーＡ、Ｂの情況推定に必要な情報４１Ａ、４１Ｂを送り、協調支援サーバ２０はその情報から参加メンバーＡ、Ｂの情況を推定し、これを各参加メンバーＡ、Ｂの仮想空間４０上のアバター４２Ａ、４２Ｂの表情に視覚的強調的に反映させることにより、意思の疎通を支援する。

［ユーザ端末の機能］
各ユーザ端末１０は参加メンバーＡ、Ｂの精神的状態、身体的状態を推定するための情報を収集し信号処理する機能と、協調支援サーバ２０からのアクティブ情報要求により参加メンバーＡ、Ｂに刺激を与えた場合の反応を計測する機能と、それらをネットワーク３０を通じて協調支援サーバ２０からの要求に従って送信する機能と、協調支援サーバ２０から送られる仮想空間情報をモニタ画面に表示する機能を持つ。

図４にユーザ端末１０の機能構成を示している。ユーザ端末１０では、参加メンバーの脳波、血圧などの情報を計測する生体情報センサ１０１、カメラなどにより参加メンバーの行動を計測する行動情報センサ１０２、参加メンバーの端末操作情報を計測する端末操作インターフェイス１０３から情報を取り込み、それぞれの情報を生体情報取得装置１０４、行動情報取得装置１０５、端末操作情報取得装置１０６により信号情報保存メモリ１０７に逐次記憶する。

信号処理エンジン１０８は、信号情報保存メモリ１０７の生データから意味のあるデータを抽出し、時系列処理結果保存メモリ１０９に時系列的な時間変化情報として記憶する。例えば、脳波の場合、波形からスペクトラム強度へ、心拍から心拍の時間変動へと信号処理を行う。信号情報記号化部１１０は、時系列処理結果保存メモリ１０９のデータを推論に用いる記号情報へと変換し、時系列記号情報保存メモリ１１１に記憶する。

参加メンバーが端末操作インターフェイス１０３を用いて入力する使命や会議の目的・議題・緊急度・重要度などの記号情報は、端末操作情報取得装置１０６を通じて記号情報入力部１１２に与えられ、時系列記号情報保存メモリ１１１に記憶される。

入力通信装置１１３は、ネットワーク３０を通じて送られて来た協調支援サーバ２０からのデータを受信する。そしてこの入力通信装置１１３が受信したデータの内、参加メンバーの情況推定のために必要な情報を求める情報要求データは情報要求受信部１１４で受け取られて情報要求対応部１１５に渡される。

情報要求対応部１１５は、情報要求データに対応して、時系列記号情報保存メモリ１１１にアクセスして必要な情報を取り出し、これを記号情報送信部１１６により出力通信装置１１７を通じネットワーク３０を通じて協調支援サーバ２０に送信する。

情報要求データの内のアクティブ情報要求データは、情報要求対応部１１５からアクティブ情報要求対応部１１８に送られる。アクティブ情報要求対応部１１８は画像、音声信号出力１１９を画像、音声出力デバイス１２０にて画像、音声にして出力して参加メンバーの目、耳に刺激を提示する。この刺激に対する参加メンバーの反応は、生態情報センサ１０１、行動情報センサ１０２にて検出され、信号情報保存メモリ１０７、時系列処理結果保存メモリ１０９を経て時系列記号情報保存メモリ１１１に保存される。

そこで、アクティブ情報要求対応部１１８は、上記の画像、音声の刺激に対する参加メンバーの反応結果を、時系列記号情報保存メモリ１１１から受け取り、それを情報要求対応部１１５に戻し、情報要求対応部１１５は記号情報送信部１１６により出力通信装置１１７、ネットワーク３０を経て協調支援サーバ２０に送る。

入力通信装置１１３が受信したデータの内の仮想空間情報は、仮想空間情報受信部１２１から仮想空間処理部１２２に送られ、仮想空間表示デコーダ１２３により画面出力形式に変換されて画像、音声信号出力１１９とし、画像、音声出力デバイス１２０の画面に表示出力される。この画面に対して、参加メンバーが端末操作インターフェイス１０３の操作により仮想空間操作情報を入力すると、その仮想空間操作情報は端末操作情報取得装置１０６を経て仮想空間操作情報入力部１２４に送られ、仮想空間操作情報入力部１２４から仮想空間処理部１２２に送られ、協調支援サーバ２０へのコマンドに変換されて仮想空間操作情報送信部１２５に渡され、ここから出力通信装置１１７に渡され、ネットワーク３０を通じて協調支援サーバ２０に送られる。尚、管理部１３０は、これらの各部の演算処理動作を統括する。

［協調支援サーバの構成］
図５に示したように、協調支援サーバ２０は、アクセスしている各参加メンバーのアバター４２Ａ、４２Ｂを仮想空間４０上に構築し、各参加メンバーＡ、Ｂから送られる情報をｗｅｂ上の仮想空間４０上に反映する仮想空間管理部２０１と、各ユーザ端末１０の推定情況・情報要求情況・文脈情報などを管理する端末情報管理部２０２と、ユーザ端末１０から送られてくる記号情報から参加メンバーＡ、Ｂの情況を推定する情況情報推論部２０３と、推定された参加メンバーの文脈、情況から参加メンバーの行動の妥当性を判断する意思疎通支援部２０４と、これらを管理する管理部２０５を備えている。

また、協調支援サーバ２０は、ネットワーク３０を介して各ユーザ端末１０とデータ通信するために入力通信装置２０６、出力通信装置２０７を備えている。また、共通支援サーバ２０は、入力通信装置２０６にて受信した入力データとしての仮想空間操作情報を仮想空間管理部２０１に送る仮想空間操作情報受信部２０８、入力データとしての記号情報を端末情報管理部２０２に送る記号情報受信部２０９を備えている。さらに、協調支援サーバ２０は、出力データとしての仮想空間情報を仮想空間管理部２０１から受け取り、出力通信装置２０７を通じネットワーク３０を通じて各ユーザ端末１０に対して送信する仮想空間情報送信部２１０、出力データとしての情報要求を端末情報管理部２０２から受け取り、出力通信装置２０７を通じネットワーク３０を通じて各ユーザ端末１０に対して送信する情報要求送信部２１１を備えている。

上記構成の協調支援サーバ２０は、ユーザ端末１０からデータ受信を入力通信装置２０６により行い、ユーザ端末１０へのデータ送信を出力通信装置２０７により行う。

協調支援サーバ２０にて参加メンバーの情況推定を行う場合、端末情報管理部２０２に属する要求情報管理部２２１から情報要求データを情報要求送信部２１１に渡し、ここからユーザ端末１０に送る。ユーザ端末１０からの記号情報は、記号情報受信部２０９から要求情報管理部２２１に送り、時系列記号情報保存メモリ２２２に記憶する。

情況情報推論部２０３に属する情況合成部２２４は、端末情報管理部２０２に属する要求情報管理部２２１からの記号情報と文脈情報管理部２２３からの文脈情報とを入力として、参加メンバーの情況を推定する。具体的には、情況合成知識データベース２２５に登録されている知識から現在の文脈に対応した知識群を使って推論処理を行う。この情況合成部２２４の推論結果を情況分析部２２６が分析し、推論結果の確認・高精度化のために情況分析知識データベース２２７に登録されている知識に従って情報要求を作成する。この場合、時系列記号の情報要求は時系列記号情報要求部２２６Ａにて作成させ、アクティブ情報の情報要求はアクティブ情報要求部２２６Ｂにて作成させる。

作成した情報要求は、要求情報管理部２２１を介して行い、ユーザ端末１０から得られた新たな情報を用いて情況合成部２２４で再推論を行う。これを求める推論精度が得られるまで、又は定められた応答時間になるまで繰り返す。最終的に得られた推定情況を端末情報管理部２０２に属する推定情況情報管理部２２５に送り、時系列推定情況保存メモリ２２９に一定期間記憶する。

文脈の判定は、推定情況情報管理部２２８から時系列的に記録された推定情況情報を入力として文脈判定部２３０が行い、結果を文脈情報管理部２２３が文脈情報保存メモリ２３１に記憶する。

参加メンバーの行動の妥当性の判断は意思疎通支援部２０４で行う。すなわち、行動予測知識データベース２３２に登録されている文脈に対応した妥当な行動を表現した行動予測知識を用いて、文脈情報管理部２２３から現在の文脈の一つ前の文脈を入力として、行動予測部２３３が現在の妥当な文脈を推論する。この結果を妥当性判断部２３４に送る。妥当性判断部２３４は、妥当性判断知識データベース２３５に登録さている妥当性判断知識を用いて、現在の情況が妥当かどうかを判断する。そして、注意が必要と判断した時は、仮想空間管理部２０１に属する注意情報反映部２４０へ注意、警告、忠告情報を送る。

仮想空間管理部２０１に属する仮想空間構築部２４１は仮想空間４０を構築し、その仮想空間情報を仮想空間情報送信部２１０から出力通信装置２０７、ネットワーク３０を通じてユーザ端末１０に送る。

一方、ユーザ端末１０からネットワーク３０、入力通信装置２０６を通じて送られてきた操作情報は、仮想空間操作情報受信部２０８にて受信して操作情報反映部２４２に渡される。操作情報反映部２４２は受け取った操作情報を、仮想空間構築部２４１で構築した仮想空間４０へ反映させる。また、端末情報管理部２０２の推定情況情報管理部２２８から送られてきた推定情況情報を情況情報反映部２４３にて処理し、仮想空間構築部２４１で構築した仮想空間４０上のアバター４２に反映させる。さらに、注意、警告情報の反映は、妥当性判断部２３４から送られてきた注意、警告情報を注意情報反映部２４０にて処理し、仮想空間構築部２４１で構築された仮想空間４０へ反映させる。

［対話情報の流れ］
参加メンバー間でユーザ端末１０を用いて対話を行う場合、音声、映像などの情報は仮想空間４０上で近傍にいる参加メンバー全員のユーザ端末１０それぞれへ協調支援サーバ２０、ネットワーク３０を介して送る。

［推論知識］
推論知識は、各センサ情報を統合して参加メンバーの精神的情況、肉体的情況を推定する情況合成知識と、合成した徴候や情況を分析し、矛盾解決や確認必要な情報を予測し情報要求を行う情況分析知識から成る。そして情況合成知識は情況合成知識データベース２２５に保存され、情況分析知識は情況分析知識データベース２２７に保存されている。

［情報要求］
図６を用いて、情況合成知識を利用した情況合成と、情況分析知識を利用した情況分析により必要な情報を割り出して情報要求する処理について説明する。

情況合成知識は複数のセンサ情報を入力としてある条件がそろった場合にアクティブになる徴候ノードと、さらに徴候ノードからの出力を入力としてある条件がそろった場合にアクティブになる徴候ノード又は情況ノードから成る。しかし、リアルタイム性を考えると膨大なセンサ情報を最初からすべて処理するわけにはいかない。そこで、最初はキーとなる基本的なセンサ情報だけを処理する（ボトムアップ処理）。そして、処理した結果得られた徴候や情況から、情報要求知識により期待できる徴候を予測し、その徴候を判定するのに必要なセンサに情報要求を行う（トップダウン処理）。

図６の例では、条件判定Ａを調べ、条件が成り立っているため徴候Ａをアクティブにする。次に条件判定Ｄを調べたところ、条件が成り立っていなかったため徴候Ｂはノンアクティブのままにする。次に条件判定Ｈを調べ、条件が成り立っていたので徴候Ｃをアクティブにする。この結果、情況Ａに必要な徴候Ａ、Ｂ、Ｃのうちの徴候Ｂがアクティブになっていないので情況Ａとは判定できない。そこで、ボトムアップにて求めた条件判定結果から期待できるのが情況Ａであると仮予測し、その確認を行うために徴候Ｂに関連するセンサに対して情報要求を行う。図６の例では、徴候Ａも徴候Ｃも成り立つとき、徴候Ｂの成立を予測し、徴候Ｂの成立に必要な情報を得るため、条件Ｆを調べる。この条件Ｆは、徴候Ｂの成立に対して条件Ｄと対等な代替条件である。この条件Ｆが成り立てば、徴候Ｂもアクティブになり、情況Ａであると判定する。

図７のように、脳波、心拍、血圧などのセンサ情報から、緊張や集中などの徴候が推論され、これらの徴候情報から、疲労ぎみで集中力が無く聞き漏らしの可能性があるなどの具体的な情況を推論する。

［反射行動の観測による確認］
推論の結果が正しいものか否かを確認する必要がある場合、参加メンバーに能動的に刺激を与え、その刺激に対する反応を実際に観測して、参加メンバーの状態を能動的に調べる。例えば、ある参加メンバーには、上の徴候情報から疲労ぎみで集中力が無く聞き漏らしの可能性があると情況を推論した場合、当該参加メンバーのユーザ端末１０に対して音や画面効果などを発生させ、これに対する反応をセンサ情報を通じて観測することにより、当該参加メンバーの状態を確認する。

［文脈ベース推論］
本実施の形態の対話支援システムによる文脈ベース推論について説明する。推論知識は文脈情報と対応しており、推論の際には、現在の文脈に対応した推論知識群から推論を行う。

上の例では、現在の文脈がＳ１であれば、条件Ａが成立すればＸであると推論する。これに対して、文脈がＳ２であれば、同じ条件Ａが成立してもＹであると推論する。こうして、文脈が異なれば同じ条件が成立しても異なった推論結果をもたらす。

［記号情報］
文脈の選択指標の１つには記号情報を用いる。記号情報には、会議のための対話支援であれば、会議の目的、使命、意図、方針などが与えられる。例えば、緊急会議、開発会議、重要会議といった記号情報を与えることで、推論の際に採用する文脈を異ならせる。会議の使命についても、士気の昂揚、仲間意識の発揚といった記号情報を与えることで推論の際に採用する文脈を異ならせる。

［意思疎通支援―異常状態での警告処理］
本実施の形態の対話支援システムでは、文脈に対して適切と考えられる精神的情況、肉体的情況を記述した妥当性判断知識に基づき、参加メンバーの推定された精神的情況、肉体的情況が現在の文脈に対して不適切であった場合に注意や警告を行う意思疎通支援ができる。

［意思疎通支援―行動予測による警告］
また、本実施の形態の対話支援システムでは、文脈に対応して、その文脈から起こり得る妥当な情況、行動を記述した行動予測知識に基づき、現在の文脈から次に起こり得る妥当な情況を推定しておき、実際に観測されたその後の情況と推定された情況とを比較し、想定外の情況が生じた場合に意図の食違い・誤解の可能性を警告する意思疎通支援ができる。

以下に、電子会議システムとしての利用例を示す。現在の文脈として、（ａ）外部情況は、重要な会議中、大半のメンバーが熱心である、（ｂ）相対情況は、現在の話者との人間関係は良好である、（ｃ）内的情況は、参加メンバーが冷淡である、とする。

このとき自メンバーは肉体的情況として疲労、眠い、精神的情況として無関心である可能性がある。これを確認するために脳波計に情報要求を行い、脳の活動状態を調べたり、心拍計に情報要求を行い、心拍が低くないかなどの肉体的情況の確認を行い、ユーザ端末１０の利用情況を調べて関心具合を調べたりする。そして結果として、高い疲労状態にあると判断された場合には、会議メンバー全員に休憩の提案をしたりする。

以上のように、本発明の実施の形態の対話支援システムによれば、参加メンバー間の通信による意志疎通の確実化を図ることができる。また、参加メンバー情況推定情報を利用した対話方式として、推論の詳細化によりリアルタイム性を維持しつつ高速に高精度な推定をすることができ、参加メンバーの情況情報を利用して参加メンバー間の意思疎通を支援することができ、また参加メンバーの情況情報を仮想空間において視覚的強調的に伝えることによる即時の相手の状態把握ができる。また、文脈情報を用いて推論する知識を限定することによって状態分析にかかる計算コストを減らすことができ、結果的に、リアルタイムな推定ができる。また、複数の情報を用いて推定することによって高い推定精度を得ることができる。特に、多種多様のセンサを用い、またこれらを総合して上記状態を把握できる。また、文脈情報によって違う知識を用いて正しくかつ効率的に競合解消することができ、これにより推論速度と精度とを共に向上させることができる。さらに、本発明の対話支援システムによれば、多種多様な生体情報・行動情報と目的などの記号情報を融合することにより参加メンバーの情況を推定し、推定結果の確認・詳細化のために逆に情報を要求する情報要求を行うことにより、精度・信頼性は劣るが安価で身体への装着が容易な生体センサで推定精度の高い推定システムが構築できる。

［実施例２］
文脈から期待される情況を示した期待情況知識を持ち、文脈を入力として期待される複数の情況を出力する。

情況は有限個設定されており、その情況の尤もらしさを表す情況期待値を各情況毎に計算し、最も情況期待値の高い情況をユーザの推定情況とする。

各情況にはその情況を肯定するための条件が複数設定されており、各条件は条件の重要度、条件判定に掛かる時間コスト、を持っており、センサ情報を入力としてその条件充足度を出力とする。この条件の重要度と条件充足度から情況期待値を計算する。

期待される情況の最も重要度の高い条件から判定していく。条件判定が一つ終わる度に各情況の情況期待値を調べ、次に最も情況期待値の高い情況の未判定条件の中で、最も重要度の高い条件を判定していく。そしてこれを決められた応答時間内で繰り返す。

［実施例３］
ユーザの情況推定のために、まず、複数個の情況を定義する。各情況には、この情況が成立するかどうかを推定するための条件判定式、徴候ノードを複数設定し、これを情況合成知識と呼ぶ。各条件判定式は、センサ情報のような数値情報と目的などの記号情報を入力として、条件充足度合いを出力として返す。例えば、条件：脈拍数が１００以上、脈拍情報：１２０の場合、条件式は条件充足度合い１．０を出力する。徴候ノードは、複数の条件充足度合い又は他の徴候ノードからの出力を入力として、設定された閾値を超えた場合にアクティブとなる。徴候ノードにはその徴候の重要度が設定されており、徴候ノードがアクティブになった場合、その重要度と徴候の成立度合いから出力が求められる。例えば、条件１、２、３からそれぞれ出力１．０、０．５、０．６が徴候ノードに入力され、徴候ノードの閾値が２．０だった場合、条件式からの出力の合計２．１は閾値２．０より大きいので、その徴候ノードはアクティブになり、この徴候の重要度が１．０だった場合、１．０を出力する。情況ノードは、複数の徴候ノードからの出力を入力として、その情況の成立度合いを返す。このような情況合成知識を用いて、センサ情報や記号情報から推定された各情況の成立度合いを比較して、最も高い成立度合いを持つ情況を推定情況とする情況推定方式。

また、これらの情況推定を効率的に行うため、判定する条件などを決定する情報要求知識を持つ。情報要求知識は、情況合成知識による推論過程での途中結果から、次に判定する条件式の決め方、決める方針を記述したメタ知識であり、「情況合成知識中で最も多く用いられている条件判定式から調べる」、「情況の判定に必要な徴候の中で最も重要度の高い徴候からアクティブになるかどうかを調べる」などの知識を持つ。

［実施例４］
上記の実施例３において、推論する知識の選択に文脈情報を用いる場合、情報要求知識の中に、「文脈から期待される情況の判定条件から調べる」、「文脈から期待される情況の判定に必要な徴候の中で最も重要度の高い徴候の条件判定から行う」などの知識を持つ。文脈から期待される判定条件は、文脈に対応する推論知識群を記録したテーブルを情況合成知識ＤＢ内に持ち、各徴候の重要度なども情況合成知識ＤＢ内で管理されている。

［文脈推論の実施例１］
図８のように、現在の文脈とセンサ群から推定される情況で、参加メンバー各々の時系列的変化を含む内的情況（１）と、自分を含むメンバー間の比較情況、人間関係などの相対情況（２）と、会議の時間、各サイト、議題、話者、人数などを総合した全体情況・雰囲気、記号情報などの外部情況（３）から文脈を定義する。

会議を例にすると、内的情況として推定されたユーザの情況、相対関係として対話をしている人との立場関係（デザイナーとプログラマーなど）、外部情況として会議の性格（打ち合わせ会議、緊急対策会議など）と会議規模（２人、５人規模、１０人以上など）を用いるとする。会議中は外部情況はほぼ変わることはないが、相対情況は対話相手が変わると変化する。また、内的情況も推定結果により常に変化しる。これらの情況が変化したときを、文脈の変化と捉え、対応する知識群を切り替える。これらの情況情報は文脈情報保存メモリ内に記憶される。

［文脈推論の実施例２］
図９のように、複数個の状態を定義し、この状態遷移条件を記した状態遷移知識群を定義する。これらの情報は文脈情報管理部内に保存しておく。初期状態となる状態を設定しておき、常に外部環境を観測して状態遷移条件が満たされないかをチェックする。遷移条件が満たされた場合はその状態へと遷移する。この状態を文脈とし、状態の遷移を文脈の変化と捉え、対応する知識群を切り替える。これらの文脈情報は文脈情報保存メモリに記憶される。

会議を例にすると、状態として平常状態、活発な議論状態、アイデア募集状態、議論停滞状態、発表状態などを定義し、平常状態から活発な議論状態へと遷移する条件として、「大半のユーザの端末利用頻度が高く、大半のユーザが対話に参加している」などの知識群を定義しておく。

［行動解析装置］
情況推定の入力となる行動情報としては、表情、動作、操作情報などを用いる。

表情情報は、カメラによる画像から顔認識プログラムにより、唇、眉の形状変化パターンを読み取り、この変化パターンに対応する表情テーブルから、笑顔、普通、などの表情を表す記号情報へと変換したものである。

動作情報は、カメラによる画像から人の体の骨格モデルを用いて、カメラによる特徴点とモデルとのマッチングを行い、その特徴点の変化量とする。

操作情報は、ユーザの端末インターフェイスの利用情況、つまりマウスの移動量、キーボードの利用頻度などを利用する。

［時系列情報を利用した情報要求方式］
時系列情報を利用した情報要求の実例としては、ある徴候への入力となる条件判定式が３つあり、条件１は満たさなかったが、条件２、３は満たした場合、現在のデータでは条件１は満たさなかったが、過去を含めてどの程度条件１を満たしていたのかを調べるために、数データ前から現在までの時系列情報を要求する。この時、例えば、条件１が「心拍数が１００以上」だった場合、時系列情報保存メモリでは情報の無駄を省くため、心拍が８０以上であった時のデータだけを記憶しておく。情報要求「心拍数データ。心拍８０以上。２分前から現在まで」が送られ、これにより時系列情報保存メモリから推論部へと情報が送られ、２分前から現在まで、心拍９０付近であった場合に、条件判定を満たしたとみなすなどの処理をする。

本発明の１つの実施の形態の対話支援システムのハードウェア構成を示すブロック図。 上記実施の形態の対話支援システムの機能構成を示すブロック図。 上記実施の形態の対話支援システムの動作説明図。 上記実施の形態の対話支援システムにおけるユーザ端末のブロック図。 上記実施の形態の対話支援システムにおける協調支援サーバのブロック図。 上記実施の形態の対話支援システムにおけるセンサ入力、徴候、情況の推論知識構造を示す説明図。 上記実施の形態の対話支援システムにおける情況Ａの推論動作の説明図。 上記実施の形態の対話支援システムにおける文脈の認識構造の説明図。 本発明における文脈推論の実施例２のブロック図。

符号の説明

１０ ユーザ端末
２０ 協調支援サーバ
３０ ネットワーク
４０ 仮想空間
４１ 情報
４２ アバター

Claims (29)

1. 複数のコンピュータサイトをネットワークで結合したネットワークシステムにおいて、
   前記コンピュータサイトの全部あるいは一部が当該コンピュータサイトにいる対象物の生体データを取得する生体センサを持ち、前記コンピュータサイトにいる相手の前記生体センサが取得した生体データを加工あるいは統融合することにより、遠隔相手の情況をすぐそばにいるかのように識別可能とする情況推定方法。
2. 請求項１に記載の情況推定方法において、前記生体センサは複数種あるいは同種でも複数であり、前記コンピュータサイトにいる相手の前記生体センサが取得した多種、多数の生体データを加工あるいは統融合することにより、遠隔相手の情況をさらに正確に推定する情況推定方法。
3. 請求項１に記載の情況推定方法において、過去の生体データやこれを記号化したり圧縮したりしたものを時系列的に記憶し、遠隔相手の情況をさらに正確かつ少ないメモリで推定する情況推定方法。
4. 請求項１に記載の情況推定方法において、前記コンピュータサイトが前記生体センサのデータ入力に加え、目的・使命・意図・緊急度・重要度などを含む記号情報の入力、顔の表情や行動のデータやさらに外気温など環境のデータの入力も可能とし、これらのデータや情報を統融合することにより、遠隔相手の情況をさらに正確に推定する情況推定方法。
5. 請求項４に記載の情況推定方法において、前記データや情報を統融合するのに、データや下位の情報を徴候や情況を含むより大局的で総合度の高い情報つまり高位の情報に合成する知識を利用することを特徴とする情況推定方法。
6. 請求項４に記載の情況推定方法において、前記データや情報を統融合するのに、確認のためのデータや情報を逆に相手サイトの生体センサーや下位情報・データの統融合部に要求する情報要求機構を持つことにより、遠隔相手の情況をさらに正確に推定する情況推定方法。
7. 請求項６に記載の情況推定方法において、
   前記の統融合のためのデータや情報を合成する知識とその処理として、
   任意の個数の前提条件群の成立にて１つの中間結論を導出する中間結論推論知識と、ｎ（１以上）個の中間結論とを保持し、前記ｎ（１以上）個の中間結論の成立にて１つの最終結論を導出して保持し、前記１つ以上（ｎ）個の中間結論の内、１つ又は複数（ｑ）個の中間結論についてその成立・不成立を判断し、その１つ又は複数（ｑ）個の中間結論が全部成立する時に最終結論の導出あるいは到達を判断するボトムアップ判断処理を行い、
   前記の確認のためのデータや情報を逆に要求する情報要求機構として、
   前記ｎ（１以上）個の中間結論の内、前記最終結論への到達を判断していない（ｎ−ｑ）個の中間結論を抽出する知識と、当該（ｎ−ｑ）個の中間結論それぞれの成立・不成立を再度判断するために、確認用のデータや情報を逆に相手サイトの生体センサや下位情報・データの統融合部に要求し、当該（ｎ−ｑ）個の中間結論が全部成立する時に前記最終結論への到達を判断したり、成立しない場合、中間結論を抽出する知識再度使って上記要求を繰り返すことも可能なトップダウン判断処理とを含む情報分析処理を行うことを特徴とする情況推定方法。
8. 請求項１に記載の情況推定方法において、前記データや情報の入力を行う前記コンピュータサイトとは別に、データや情報を統融合する別のコンピュータサイト（サービスサイト）を持つことにより、遠隔相手の複雑・大量のデータや情報に対応することを特徴とする情況推定方法。
9. 請求項１に記載の情況推定方法において、センサ情報・記号情報・時系列情報を融合した各コンピュータサイトの情況情報・背景情報を文脈情報として、これを用いた文脈推論により、遠隔相手の情況をさらに正確かつ効率的に推定する情況推定方法。
10. 複数のコンピュータサイトをネットワークで結合したネットワークシステムにおいて、
    前記コンピュータサイトの全部あるいは一部が当該コンピュータサイトにいる対象物の生体データを取得する生体センサを持ち、
    前記コンピュータサイトの全部あるいは他の一部が、前記コンピュータサイトにいる相手の生体データを加工あるいは統融合することにより遠隔相手の情況をすぐそばにいるかのように識別可能とする分析推定手段を持つことを特徴とするネットワークシステム。
11. 請求項１０に記載のネットワークシステムにおいて、前記生体センサは複数種あるいは同種でも複数であり、前記分析推定手段は、前記コンピュータサイトにいる相手の前記生体センサが取得した多種、多数の生体データを加工あるいは統融合することにより、遠隔相手の情況をさらに正確に推定することを特徴とするネットワークシステム。
12. 請求項１０に記載のネットワークシステムにおいて、前記分析推定手段は、過去の生体データやこれを記号化したり圧縮したりしたものを時系列的に記憶し、遠隔相手の情況をさらに正確かつ少ないメモリで推定することを特徴とするネットワークシステム。
13. 請求項１０に記載のネットワークシステムにおいて、前記分析推定手段は、前記コンピュータサイトが前記生体センサのデータ入力に加え、目的・使命・意図・緊急度・重要度などを含む記号情報の入力、顔の表情や行動のデータやさらに外気温など環境のデータの入力も可能とし、これらのデータや情報を統融合することにより遠隔相手の情況をさらに正確に推定することを特徴とするネットワークシステム。
14. 請求項１３に記載のネットワークシステムにおいて、前記分析推定手段が前記データや情報を統融合するのに、データや下位の情報を徴候や情況を含むより大局的で総合度の高い情報つまり高位の情報に合成する知識を利用することを特徴とするネットワークシステム。
15. 請求項１３に記載のネットワークシステムにおいて、前記分析推定手段が前記データや情報を統融合するのに、確認のためのデータや情報を逆に相手サイトの生体センサーや下位情報・データの統融合部に要求する情報要求機構を持ち、遠隔相手の情況をさらに正確に推定することを特徴とするネットワークシステム。
16. 請求項１０に記載のネットワークシステムにおいて、前記データや情報の入力を行う前記コンピュータサイトとは別に、データや情報を統融合する別のコンピュータサイト（サービスサイト）を備え、遠隔相手の複雑・大量のデータや情報に対応するようにしたことを特徴とするネットワークシステム。
17. 請求項１０に記載のネットワークシステムにおいて、前記分析推定手段は、センサ情報・記号情報・時系列情報を融合した各コンピュータサイトの情況情報・背景情報を文脈情報として、これを用いた文脈推論により遠隔相手の情況をさらに正確かつ効率的に推定する文脈推論手段を備えたことを特徴とするネットワークシステム。
18. 前記の統融合のためのデータや情報を合成する知識とその処理部として、
    任意の個数の前提条件群の成立にて１つの中間結論を導出する中間結論推論知識と、ｎ（１以上）個の中間結論とを保持する中間結論保持部と、前記ｎ（１以上）個の中間結論の成立にて１つの最終結論を導出する最終結論推論知識と、これを保持する最終結論保持部と、前記１つ以上（ｎ）個の中間結論の内、１つ又は複数（ｑ）個の中間結論についてその成立・不成立を判断し、その１つ又は複数（ｑ）個の中間結論が全部成立する時に最終結論の導出あるいは到達を判断するボトムアップ判断処理部とを含む情報合成部を備え、
    前記の確認のためのデータや情報を逆に要求する情報要求機構として、
    前記ｎ（１以上）個の中間結論の内、前記最終結論への到達を判断していない（ｎ−ｑ）個の中間結論を抽出する知識と、当該（ｎ−ｑ）個の中間結論それぞれの成立・不成立を再度判断するために、確認用のデータや情報を逆に相手サイトの生体センサや下位情報・データの統融合部に要求し、当該（ｎ−ｑ）個の中間結論が全部成立する時に前記最終結論への到達を判断したり、成立しない場合、中間結論を抽出する知識再度使って上記要求を繰り返すことも可能なトップダウン判断処理手段とを含む情報分析部を備えたことを特徴とする請求項１５に記載のネットワークシステム。
19. 中間結論情報及び最終結論情報は、文脈ベース推論に使用可能であることを特徴とする請求項１８に記載のネットワークシステム。
20. 前記中間結論に対する前提条件は、複数の代替可能な前提条件群つまりＯＲ条件群に分けられていること、及び多階層の中間結論としたことを特徴とする請求項１８又は１９に記載のネットワークシステム。
21. 複数のコンピュータサイトをネットワークで結合したネットワークシステムにおいて、
    前記コンピュータサイトの全部あるいは一部が当該コンピュータサイトにいる対象物の生体データを取得する生体センサを持ち、前記コンピュータサイトにいる相手の生体データを加工あるいは統融合することにより、遠隔相手の情況をすぐそばにいるかのように識別可能とする情況推定プログラム。
22. 請求項２１に記載の情況推定プログラムにおいて、前記生体センサは複数種あるいは同種でも複数であり、前記コンピュータサイトにいる相手の前記生体センサが取得した多種、多数の生体データを加工あるいは統融合することにより、遠隔相手の情況をさらに正確に推定する情況推定プログラム。
23. 請求項２１に記載の情況推定プログラムにおいて、過去の生体データやこれを記号化したり圧縮したりしたものを時系列的に記憶し、遠隔相手の情況をさらに正確かつ少ないメモリで推定する情況推定プログラム。
24. 請求項２１に記載の情況推定プログラムにおいて、前記コンピュータサイトが前記生体センサのデータ入力に加え、目的・使命・意図・緊急度・重要度などを含む記号情報の入力、顔の表情や行動のデータやさらに外気温など環境のデータの入力も可能とし、これらのデータや情報を統融合することにより、遠隔相手の情況をさらに正確に推定する情況推定プログラム。
25. 請求項２４に記載の情況推定プログラムにおいて、前記データや情報を統融合するのに、データや下位の情報を徴候や情況を含むより大局的で総合度の高い情報つまり高位の情報に合成する知識を利用することを特徴とする情況推定プログラム。
26. 請求項２４に記載の情況推定プログラムにおいて、前記データや情報を統融合するのに、確認のためのデータや情報を逆に相手サイトの生体センサーや下位情報・データの統融合部に要求する情報要求機構を持つことにより、遠隔相手の情況をさらに正確に推定する情況推定プログラム。
27. 請求項２６に記載の情況推定プログラムにおいて、
    前記の統融合のためのデータや情報を合成する知識とその処理として、
    任意の個数の前提条件群の成立にて１つの中間結論を導出する中間結論推論知識と、ｎ（１以上）個の中間結論とを保持し、前記ｎ（１以上）個の中間結論の成立にて１つの最終結論を導出して保持し、前記１つ以上（ｎ）個の中間結論の内、１つ又は複数（ｑ）個の中間結論についてその成立・不成立を判断し、その１つ又は複数（ｑ）個の中間結論が全部成立する時に最終結論の導出あるいは到達を判断するボトムアップ判断処理を行い、
    前記の確認のためのデータや情報を逆に要求する情報要求機構として、
    前記ｎ（１以上）個の中間結論の内、前記最終結論への到達を判断していない（ｎ−ｑ）個の中間結論を抽出する知識と、当該（ｎ−ｑ）個の中間結論それぞれの成立・不成立を再度判断するために、確認用のデータや情報を逆に相手サイトの生体センサや下位情報・データの統融合部に要求し、当該（ｎ−ｑ）個の中間結論が全部成立する時に前記最終結論への到達を判断したり、成立しない場合、中間結論を抽出する知識再度使って上記要求を繰り返すことも可能なトップダウン判断処理とを含む情報分析処理を行うことを特徴とする情況推定プログラム。
28. 請求項２１に記載の情況推定プログラムにおいて、前記データや情報の入力を行う前記コンピュータサイトとは別に、データや情報を統融合する別のコンピュータサイト（サービスサイト）を持つことにより、遠隔相手の複雑・大量のデータや情報に対応することを特徴とする情況推定プログラム。
29. 請求項２１に記載の情況推定プログラムにおいて、センサ情報・記号情報・時系列情報を融合した各コンピュータサイトの情況情報・背景情報を文脈情報として、これを用いた文脈推論により、遠隔相手の情況をさらに正確かつ効率的に推定する情況推定プログラム。

Images