JP2006107281A - コミュニケーション支援装置 - Google Patents

Abstract

【課題】共有された仮想世界（ＳＶＷ）での相互理解を支援する。
【解決手段】コミュニケーション支援装置５０はＳＶＷ内にオブジェクトを生成し維持するＳＶＷ生成部１６４と、あるエージェントの注目しているＳＶＷ内のオブジェクトが別のエージェントの注目しているオブジェクトと同じであるか否かを判断する一致モジュール１５４と、エージェントが同じオブジェクトに注目しているとわかったときに、注目されているオブジェクトを特定の方法で示すフィードバックモジュール１５６とを含む。例えば、フィードバックモジュールはＬＣＤ６２上にそのオブジェクトをハイライト表示する。
【選択図】 図５

Description

この発明は仮想環境でのコミュニケーションに参加しているエージェントを支援するシステムに関し、特に、共有仮想世界（Ｓｈａｒｅｄ Ｖｉｒｔｕａｌ Ｗｏｒｌｄ：以下「ＳＶＷ」と称する）での参加者の共通注目点を示す情報を提供するコミュニケーション支援装置に関する。

より洗練された高速のコンピュータと、インターネット等のネットワークインフラストラクチャの進歩とにしたがって、より多くの人々が仮想環境で意思の疎通をはかったり、共同作業を行なったりするようになってきた。この様な意思の疎通を図ろうとする参加者は離れた場所にいることが多いので、従来の、直接顔を合わせての対話に比べ、時に意思の疎通が困難となる。

この様な問題の解決策の一つとして考えられるのは、ＳＶＷを用いたコミュニケーションである。ここで、「ＳＶＷ」とは、コミュニケーション環境で参加者（人対人、または人対機械。本明細書ではこれらを総称して「エージェント」と呼ぶ。）によって共有される画像、三次元空間または電子的に生成された環境を意味する。

図１１は２つのエージェント２９０および３００が歴史のある町を訪ねる案を検討している、という設定を示す。エージェント２９０はある場所２８０でコンピュータ２９２を用い、エージェント３００は他の場所２８２でコンピュータ３０２を用いている。ＳＶＷシステムプログラムがコンピュータ２９２および３０２で実行され、コンピュータは互いに音声リンク３１０と画像リンク３１２とで通信している。エージェント２９０および３００は音声リンク３１０を介して、例えば、コンピュータ２９２および３０２のモニタスクリーンに表示された町の地図画像について、意見を交わすことができる。地図の画像は、画像リンク３１２を介して二者に共有されている。この場合、地図の画像がＳＶＷとなる。

コミュニケーションにおいてＳＶＷが利用可能であることは非常に有力なツールではあるが、直接顔を合わせた人対人の対話に比べれば、依然としてその効用は低い。その原因の一つは、ＳＶＷの参加者が何に注目しているかに関して、相互の知識が欠如していることである。直接的な対話では、参加者は、グループの共通注目点の情報を、他の参加者の視線、態度、姿勢などから収集することができる。

一般に、人対人のコミュニケーションでは、上述の設例の地図等で「その美術館」とか、「通り」といった、曖昧な用語を使うことが多く、そのような言及はそれまでの文脈、または言葉に現れていない他の情報に依存する。直接対話では、参加者は他の参加者の視線、音声、態度、姿勢等からグループの共通注目点の情報を得て、曖昧さを解消することができる。例えば、地図上に３つの美術館がある場合、参加者は自分が言及している美術館を指差すだけで、または他の体の動きで、参照している対象を特定することができる。対面している状況ではまた、発言した人を見て、どこに注目しているのかを観察すれば、言及した先の曖昧さを解消するのに十分な情報を得られるであろう。

これに対して、仮想環境でのコミュニケーション、すなわち対面してではないコミュニケーションでは、このような情報を得ることは困難である。図１１で説明した状況では、コミュニケーションは仮想的であり（エージェントは顔を合わせて意思の疎通を図っているのではない。）、このため、言葉によらないコミュニケーション経路の多くは効果がない。通常、仮想環境でのコミュニケーション設定でこのような不明瞭さが生じると、会話を一時中断して、参加者の一人がどのオブジェクトについて話しているのかを正確に説明することになる。これは時間のかかる面倒な手順であり、何に言及したのかについて皆が共通に理解したと一旦は思われても、後からそれが正しくなかったと分かる場合もある。したがって、ＳＶＷでのコミュニケーションはしばしば曖昧で、時として参加者は、他の参加者が何に注目しているのか確信が持てなくなる。

さらに困難なのは、共通注目点を確定することである。共通注目点を確定するのは、効果的なコミュニケーションのために必要であり、時として相互の知識を確立するためにも必要である。ここで、一人、または二人以上のエージェントが同じオブジェクトに注目している状況を、「共通注目点が確定されている」状況であると呼ぶ。あるエージェントがグループの共通注目点を誤って解釈すると（例えば先の設例の地図画像の場合、どの「美術館」または「通り」が話題になっているかを間違えると）、重大な問題を引き起こすことになりかねない。

したがって、この発明の目的の一つは、ＳＶＷにおいてエージェントの注目点を明らかにすることを支援するシステムを提供することである。

この発明の別の目的は、ＳＶＷシステムにおけるエージェントの共通注目点を明らかにすることを支援するシステムを提供することである。

この発明のさらに他の目的は、ＳＶＭシステムにおいて、エージェントが共通に或るオブジェクトに注目しているという知識をエージェントに伝達できるシステムを提供することである。

この発明の一局面にしたがった、複数のエージェントの共通注目点を確定することにより仮想環境でのコミュニケーションを支援するためのコミュニケーション支援装置は、仮想環境内にオブジェクトを生成しこれを更新するための仮想環境生成手段と、コミュニケーション支援装置の第１のエージェントが注目している仮想環境内のオブジェクトが、コミュニケーションに参加している第２のエージェントが注目しているオブジェクトと同一か否かを判定するための判定手段と、判定手段に応答して、第１のエージェントに、第１のエージェントと第２のエージェントとが同じオブジェクトに注目しているか否かに関する知識を提供するための手段とを含む。

複数のエージェント間のコミュニケーションのための仮想環境では、仮想環境生成手段が仮想環境内にオブジェクトを生成しこれを維持する。判定手段が、第１のエージェントが注目しているオブジェクトが、第２のエージェントが注目しているオブジェクトと同一か否かを判定する。提供するための手段は、第１のエージェントに、第１のエージェントと第２のエージェントとが仮想環境内の同じオブジェクトに注目しているか否かの知識を提供する。仮想環境内の同じオブジェクトに注目している、というこの知識が、エージェント同士が同じオブジェクトに注目しているという相互の知識を確立するための基礎となる。エージェントは彼らのコミュニケーションに自信をもつことができ、齟齬が生じる可能性は少ない。

好ましくは、仮想環境生成手段は、仮想環境内のオブジェクトデータを記憶するための記憶手段と、仮想環境更新情報にしたがって、記憶手段内のオブジェクトデータを更新するための手段と、記憶手段に記憶されたオブジェクトデータにしたがって、仮想環境の画像を生成するための手段とを含む。

仮想環境は、更新情報にしたがって、ダイナミックに更新し変化させることができる。更新情報は仮想環境に参加しているエージェントから、または他のソースから得られる。

より好ましくは、提供するための手段は、第１のエージェントと第２のエージェントとが同じオブジェクトに注目していると判定手段により判定されたことに応答して、第１のエージェントおよび第２のエージェントが注目しているオブジェクトの特定の属性をある特定の値に設定するための手段を含む。

第１のエージェントと第２のエージェントとが同じオブジェクトに注目していると判定されると、そのオブジェクトの特定の属性が特定の値に設定される。エージェントは、彼らが注目しているオブジェクトの特定の属性が特定の値に設定されるのを見て、彼らが同じオブジェクトに注目していることが分かる。したがって、エージェントは彼らの相互知識に自信を持ち、コミュニケーションが促進される。

提供するための手段は、第１のエージェントと第２のエージェントとが注目しているオブジェクトの特定の属性に関する初期設定を記憶するための手段をさらに含んでもよい。設定するための手段は、第１のエージェントと第２のエージェントとが同じオブジェクトに注目していると判定手段により判定されたことに応答して、第１のエージェントと第２のエージェントとが注目しているオブジェクトの特定の属性を初期設定にしたがって修正するための手段を含んでもよい。

エージェントが同じオブジェクトに注目していると判定された場合、そのオブジェクトの特定の属性を、記憶手段に記憶された初期設定にしたがって修正する。記憶手段に記憶させる初期設定を変えれば、エージェントが共通に注目しているオブジェクトの表示態様が変わる。したがって、エージェントの各々は彼らの好みに応じて、初期設定を修正できる。

好ましくは、提供するための手段は、判定手段により、第１のエージェントと第２のエージェントとが同じオブジェクトに注目していると判定されたことに応答して、所定の音声信号を出力するための手段を含む。

エージェントが同じオブジェクトに注目していると判定された場合、その旨がエージェントに音で通知される。エージェントは彼らが同じオブジェクトに注目していることを確実に知ることができる。

より好ましくは、コミュニケーション支援装置は、仮想環境内のオブジェクトの中で、第１のエージェントが注目しているオブジェクトを判定するための手段と、判定するための手段により第１のエージェントが注目していると判定されたオブジェクトを特定する情報を別のエージェントに送信するための手段とをさらに含む。

第１のエージェントが注目しているオブジェクトを特定する情報を別のエージェントに送信することによって、別のエージェントは彼らが同じオブジェクトに注目しているか否かを知ることができる。

さらに好ましくは、コミュニケーション支援装置は、提供するための手段から、第１のエージェントと第２のエージェントとが異なるオブジェクトに注目していることを示す知識が提供されたことに応答して、提供するための手段からの知識により、第１のエージェントと第２のエージェントとが同じオブジェクトに注目していることが示されるようになるまで、第１のエージェントが注目しているオブジェクトとして仮想環境内のオブジェクトを順次選択するための手段をさらに含む。

提供するための手段からの知識により、第１のエージェントと第２のエージェントとが同じオブジェクトに注目していることが示されるまで、仮想環境内のオブジェクトを順次選択することにより、エージェントは他のエージェントが注目しているオブジェクトを確実に確認できる。

［第１の実施の形態］
＜構成＞
図１はこの発明の好ましい第１の実施の形態に係るコミュニケーション支援機能を有するＳＶＷコミュニケーションシステム２０の全体構成を示す図である。システム２０は、各々が音声リンクおよび画像リンク能力を有し、インターネット等のネットワーク２６を介して相互に接続される複数のＳＶＷシステム５０Ａ、５０Ｂを含む。

システム５０Ａは、ネットワーク２６に接続されたコンピュータ２８Ａと、コンピュータ２８Ａに接続された液晶ディスプレイ（ＬＣＤ)３０Ａとを含む。エージェント２２Ａがコミュニケーションに参加している。同様に、システム５０Ｂは、ネットワーク２６に接続されたコンピュータ２８Ｂと、ＬＣＤ３０Ｂとを含む。エージェント２２Ｂがコミュニケーションに参加している。ＳＶＷシステムプログラムが各コンピュータ２８Ａおよび２８Ｂ上で実行される。ＬＣＤ３０Ａおよび３０ＢはＳＶＷシステムプログラムによって生成されたＳＶＷ内のオブジェクト画像を表示する。

図２はＳＶＷシステム５０の平面図で、これをＳＶＷシステム５０Ａとしても５０Ｂとしても用いることができる。図２を参照して、ＳＶＷシステム５０は、マイクロフォン６４と一組のスピーカ７８、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory)ドライブ７０とＦＤ（Flexible Disk)ドライブ７２とを有するコンピュータ２８、いずれもコンピュータ２８に接続されたＬＣＤ３０とキーボード６６とマウス６８、およびエージェント（参加者）の視野内でのエージェントの注目位置を決定するための、コンピュータ２８に接続された市販の装着型アイトラッカ７４を含む。

この実施の形態では、マイクロフォン６４とスピーカ７８とは音声コミュニケーションに用いられるもので、この発明の一部を構成するものではない。したがって、システムのうちマイクロフォン６４とスピーカ７８とに関連する部分については詳細な説明を省略する。

図３はアイトラッカ７４の全体図である。図３を参照して、アイトラッカ７４は通常のキャップ形のキャップ８０と、キャップ８０のつばに装着されたプラスチックハウジング８２と、ハウジングに取りつけられ端部に鏡８８および９０を備えたアーム８４および８６と、ビデオカメラ９２と、鏡８８および９０にそれぞれ反射された眼の画像をキャプチャするための一対のカメラ９４および９６とを含む。アイトラッカ７４は鏡８８および９０とカメラ９４および９６とを用いて、参加者の頭部に対する相対的な視線方向を検出し、参加者の視線の正確な画素位置をＬＣＤ３０上に出力するとともに、ビデオカメラ９２によってキャプチャされたビデオイメージを出力するが、これは参加者の頭部に対して相対的な視野を示す。図３には示さない別個のプロセッサが視線位置の計算を行なう。

図４はコンピュータ２８のハードウェアのブロック図である。図４を参照して、コンピュータ２８はシリアルポート１１６を備えたＣＰＵ（Central Processing Unit：中央処理装置）１００と、ＣＰＵ１００に接続されたバス１０２と、バス１０２に接続された読出専用メモリ（ＲＯＭ)１０４と、バス１０２に接続されたランダムアクセスメモリ（ＲＡＭ）１０６と、バス１０２に接続されたハードディスクドライブ１０８と、ＣＤ−ＲＯＭ１２０からデータを読出すＣＤ−ＲＯＭ（Compact Disc Read Only Memory)ドライブ７０と、ＦＤ１２２からデータを読出したりＦＤ１２２にデータを書込んだりするためのＦＤドライブ７２と、バス１０２に接続され、マイクロフォン６４とスピーカ７８とが接続されるサウンドボード１１０と、バス１０２に接続され、ローカルエリアネットワーク（ＬＡＮ）等のネットワーク上でのデータコミュニケーション能力を提供するネットワークボード１１２と、バス１０２に接続されたアイトラッカ７４専用のビデオキャプチャボード１１４とを含む。

ビデオキャプチャボード１１４は、図３に示されたアイトラッカ７４から参加者の視野のビデオ信号をビデオデータのストリームを介して受け、キャプチャされたフレームデータをＣＰＵ１００に与える。視線位置はアイトラッカ７４のプロセッサとポート１１６とのシリアル接続を介してＣＰＵ１００に送られる。こうして、ＣＰＵ１００はアイトラッカ７４から参加者の視線位置を収集する。

コンピュータ２８の動作方法自体は周知であるので、ここでは詳細な説明は省略する。

図５はＳＶＷシステム５０の機能とモジュールを示すブロック図である。これらの機能とモジュールとはコンピュータ２８上で実行されるソフトウェアで実現しても良い。図５を参照して、ＳＶＷシステム５０は、他のＳＶＷシステムへデータパケットを送信したり、他のＳＶＷシステムからデータパケットを受信したりする送受信部１５０と、他のＳＶＷシステムから受信したパケットをそれぞれの宛先モジュールに分配する受信マネージャ１５２と、他のＳＶＷシステムからのパケットとエージェントの入力とに基づいて、ＳＶＷ内にオブジェクトデータを生成しこれを更新するためのＳＶＷ生成部１６４と、ＳＶＷ生成部１６４によって生成され更新されるオブジェクトデータを記憶するためのオブジェクト記憶部１６０と、オブジェクト記憶部１６０に記憶されたオブジェクトデータにしたがってＳＶＷの画像を生成し、生成された画像をＬＣＤ６２に与えるＳＶＷ画像プロセッサ１６２とを含む。

ＳＶＷシステム５０はさらに、アイトラッカ７４からの参加者の視線位置データを受け、データを出力するためのセンサマネージャ１４０と、センサマネージャ１４０から受取ったデータに基づき、ＳＶＷ視界内で参加者がどこに注目しているかを判定するための位置判定部１４２と、オブジェクト記憶部１６０に記憶されたオブジェクトのうちエージェントが注目しているオブジェクトがどれかを判定し、注目されているオブジェクトの名称を出力するオブジェクト選択部１４４と、ＲＡＭ１０６（図４を参照）に記憶されコミュニケーションに参加しているＳＶＷシステムのアドレスを列挙した参加者リスト１４６と、オブジェクト選択部１４４の出力を受けるように接続されこのＳＶＷシステム５０のエージェントが注目しているオブジェクトの名称を参加者リスト１４６に列挙されたＳＶＷシステムの各々に送受信部１５０を介して送信する送信マネージャ１４８とを含む。なお、オブジェクト記憶部１６０は、このＳＶＷシステム５０で更新されたオブジェクトデータを送信マネージャ１４８を介して別の参加者に送信することができる。

さらに、ＳＶＷシステム５０は、オブジェクト選択部１４４から出力されたオブジェクトの名称が、送受信部１５０と受信マネージャ１５２とを介して受取られた他のＳＶＷシステムから与えられた、他のＳＶＷシステムでエージェントが注目しているオブジェクトの名称と同じか否かを調べ、名称が同じならば一致信号１７０を出力する一致モジュール１５４と、一致信号１７０に応答して、一致したという結果をエージェントに提供するためのフィードバックモジュール１５６とを含む。フィードバックモジュール１５６はその際、オブジェクト記憶部１６０のオブジェクトの中で、オブジェクト選択部１４４により全ての参加者に注目されていると判定されたオブジェクトを決定し、その予め選択された１または複数の属性を、（フィードバック設定モジュール１６８の設定に基づき）予め定められた値に設定する。

例えば、予め選択された属性はオブジェクトの「色」であっても良く、一致信号１７０に応答してこれを赤、マゼンタ、シアン、オレンジ等の予め定められた色に変える。これに代えて、予め選択された属性として「ハイライト」を選択してもよい。この場合、注目されたオブジェクトのハイライト属性を、一致信号１７０に応じて「ハイライト有り」に変える。

応用によっては、あるエージェントが注目しているオブジェクトが他のエージェントの注目しているオブジェクトと同じであることを示すために警告音を発生することが有効である。この目的のために、フィードバックモジュール１５６は所定の警告音信号を発生する能力を有し、ＳＶＷシステムはさらに、フィードバックモジュール１５６からの音声信号に応じてスピーカ７８を駆動するためのスピーカドライバ１５８を含む。

ＳＶＷシステム５０はさらに、入力装置（キーボード６６またはマウス６８）からの入力を受け、この入力を解釈して解釈された結果をＳＶＷ生成部１６４等の適切な宛先に出力する入力解釈部１６６と、フィードバックモジュール１５６によるオブジェクトのフィードバックのための属性およびその値の初期設定値を記憶するためのフィードバック設定記憶部１６８とを含む。例えば、もしエージェントが音声を「無音」にしようと決めてフィードバック設定を適切に変更すれば、フィードバックモジュール１５６は音声信号の発生を中止する。同様に、エージェントはフィードバック設定の「色」または「ハイライト」属性を変更することもできるし、全てのエージェントが注目しているオブジェクトの表示方法を任意に変更することができる。

アイトラッカ７４はエージェントの注目しているオブジェクトを判定するための装置の一例であって、同様の情報を収集する機能があれば、他のどのような装置を用いても良い。例えば、電子グローブ、ライトペン、タッチセンサ、磁気位置センサ、動き検出装置などを使用してもよいし、または通常の入力装置であるマウス等を用いても良い。

＜動作＞
この実施の形態に係るコミュニケーション支援機能を有するＳＶＷシステム５０は以下のように動作する。図５を参照して、予め初期設定がフィードバック設定記憶部１６８に記憶されているものとする。ＳＶＷシステム５０は、起動時に他の相手と通信して、他の相手と共有されるべきＳＶＷ環境を設定する。参加者リスト１４６はこの処理中に確定される。ＳＶＷコミュニケーションのこの部分は、先行技術のＳＶＷソフトウェアで実現可能である。したがって、ここでは詳細な説明は省略する。

送受信部１５０は、パケットを受取ると、このパケットを受信マネージャ１５２に与える。もしこのパケットが他の相手によって更新されたオブジェクトデータであれば、受信マネージャ１５２はこのパケットデータをＳＶＷ生成部１６４に与える。ＳＶＷ生成部１６４は受信したデータにしたがって、オブジェクト記憶部１６０に記憶されたオブジェクトデータを更新する。ＳＶＷ画像プロセッサ１６２はオブジェクト記憶部１６０内の更新されたオブジェクトデータにしたがってＳＶＷ画像を更新し、ＳＶＷ画像信号をＬＣＤ６２に与え、ＬＣＤ６２は与えられた信号にしたがってＳＶＷ内にオブジェクトを表示する。

もしパケットデータが、別のエージェントが注目しているオブジェクトの名称を含んでいれば、受信マネージャ１５２はこのパケットデータを一致モジュール１５４に与える。一方、アイトラッカ７４はＳＶＷシステム５０のエージェントの視線位置データをセンサマネージャ１４０に出力し、センサマネージャ１４０は位置データを位置判定部１４２に与える。位置判定部１４２はＳＶＷにおけるエージェントの視線位置を判定して、位置データをオブジェクト選択部１４４に与える。位置判定部１４２からの位置データおよびオブジェクト記憶部１６０内のオブジェクトの位置属性に基づいて、オブジェクト選択部１４４はエージェントが注目している可能性が最も高いオブジェクトを選択する。オブジェクト選択部１４４は選択されたオブジェクトの名称を送信マネージャ１４８に与える。送信マネージャ１４８は参加者リスト１４６を読み、このＳＶＷシステム５０のエージェントが注目しているオブジェクトの名称を送受信部１５０を介してＳＶＷコミュニケーションの参加者の各々に送信する。

オブジェクト選択部１４４はまた、注目されているオブジェクトの名称をフィードバックモジュール１５６と一致モジュール１５４とに与える。一致モジュール１５４は注目されているオブジェクトの名称が受信マネージャ１５２から与えられたオブジェクトの名称と同じか否かを判定する。一致が見出せなければ、一致モジュール１５４は何もしない。一致があれば、一致モジュール１５４はフィードバックモジュール１５６に一致信号１７０を出力する。一致信号１７０に応答して、フィードバックモジュール１５６はオブジェクト選択部１４４の出力で示されたオブジェクトの特定の属性を特定の値に設定する。これにより、エージェント同士が同じオブジェクトを参照していることが示される。このフィードバック動作のやり方はフィードバック設定記憶部１６８内のフィードバック設定によって特定される。設定によっては、フィードバックモジュール１５６は警告音信号を発生してこの信号をスピーカドライバ１５８に送り、スピーカドライバ１５８がスピーカ７８を駆動して音を発生させる。

図６はこのシステムがどのように機能するかを例示する図である。図６を参照して、説明を簡単にするために、システムはそれぞれ場所１８０および１８２にいる２当事者を含むのみであると仮定する。当事者は各々、図２〜図５に示すシステムを有する。エージェント１９０および２０２が、別々の場所で、ＳＶＷシステム５０等のシステムの前に座っている。

エージェント１９０のシステムはＬＣＤ１９２およびアイトラッカ１９４を含むものとする。エージェント２０２のシステムはＬＣＤ２００および電子グローブ２０４を含むものとする。この実施の形態の示唆するところは、注目されているオブジェクトの情報を、ネットワークを介してＳＶＷコミュニケーションの参加者と電子的に共有することができ、必要に応じてこれを活用できる、ということである。

図６において、エージェント１９０は市販の頭部装着型アイトラッカ１９４を装備している。この装置は、ＬＣＤ１９２上で参加者が注目している正確な位置を判定することができる。エージェント２０２は電子グローブ２０４を装備している。電子グローブ２０４は手の位置とその３次元的配置とを解釈し、エージェント２０２がＬＣＤ２００のスクリーン上でどこを指しているかを解釈することができる。

ここで、エージェント１９０がＬＣＤ１９２のスクリーン上に示された地図の「美術館」に関する言及を始めたものとし、エージェント２０２側では何について言及しているか分らずに説明を求めたいと思うかもしれない。エージェント１９０は、どの美術館を指しているかを明示的に説明するかわりに、地図画面上でエージェント１９０が意図している美術館のオブジェクトを見るようにし、エージェント２０２はエージェント１９０が意図していると思われる美術館のオブジェクトを電子グローブ２０４を用いて指差す。その場合、センサ、すなわちエージェント１９０のアイトラッカ１９４とエージェント２０２の電子グローブ２０４とから得られる情報を用いて、彼らが同じオブジェクトを対象としているかどうかが電子的に判定される。

図７を参照して、エージェント１９０と２０２とが同じ美術館のオブジェクト（ＬＣＤ１９２上のオブジェクト１９６と、ＬＣＤ２００上のオブジェクト２０６）を対象としていることが分れば、美術館のオブジェクト１９６と２０６とは共にハイライトされて、エージェント１９０と２０２との両者の注目対象が一致していることを知らせる。このハイライトは、彼らが同じオブジェクトを意図していることに関する相互知識を確立する基礎となる。

これとは逆の状況を図８に示す。ここでは、エージェント１９０はＬＣＤ１９２上のある美術館を見ており、一方エージェント２０２はＬＣＤ２００上の別の美術館を電子グローブ２０４で指差している。このため、一致は得られず、ハイライトは起こらない。このような場合、疑問が解消しない方のエージェント（ここではエージェント２０２）は、ハイライトが起こるまで、地図上の全ての美術館を順にスキャンすることになるかも知れない。ここでは、ハイライトが起こらないことが、齟齬が生じているという相互知識を与える役割を果たしている。

［第２の実施の形態］
同様の技術を用いて、人と機械との対話を支援することもできる。第２の実施の形態では、図９に示すように、場所１８０にいる人のエージェント１９０が場所２２０のソフトウェアエージェント２２２と、ＬＣＤ１９２に表示された地図画像２２４を参照しながら駐車に関してコミュニケーションをしている。同じ地図データが場所２２０にも記憶されており、エージェント２２２はこれにアクセスすることができる。エージェント１９０は、市役所近くの駐車場がいっぱいか否かを尋ねたいと考えている。市役所近くには、例えば３箇所の市営駐車場がある。地図画像上で、駐車場と市役所とをそれぞれシアンの箱とマゼンタの箱として表示しているものとすれば、大きなマゼンタの箱の周囲に３個のシアンの箱があることになり、このため質問が曖昧になる。

ここで、要求を出した後に、エージェント１９０はエージェント１９０が意図している駐車場を見、エージェント２２２はエージェント１９０が言及しているものと考える駐車場に注目する。第１の実施の形態と同様に、もし合致しなければ、エージェント２２２はハイライトが起こるまで、注目する先を順次変更していくことができる。一致して、ハイライトによって両者が同じオブジェクトに注目しているという明確な確認ができれば、ソフトウェアエージェント２２２はエージェントの質問を処理して、求められた情報を提供することができる。

［第３の実施の形態］
これまでの実施の形態では、エージェントのコンピュータが互いに直接通信している。しかしながら、この発明はこのような実施の形態に限定されない。エージェントのコンピュータはサーバを介して互いに通信してもよい。この場合、全てのエージェントが参加者リストを持つことが必要になるか、または、サーバが第１の実施の形態で示された一致モジュール１５４の役割を果たすことが必要になる。第３の実施の形態は、サーバが一致モジュール１５４の役割を果たす責任を負うシステムに関するものである。

エージェントは人間であっても、ソフトウェアプログラムであっても良い。全てのエージェントがサーバの維持する共通のＳＶＷを共有しこれにアクセスする。このＳＶＷは静的なものでなくても良い。ＳＶＷは、時間と共に変化し、エージェントによって変更が可能である。これらの変更はサーバと通信するエージェント間で同時に共有される。

図１０を参照して、この発明の第３の実施の形態にしたがったＳＶＷコミュニケーションシステム２４０は、場所１８０、１８２、２５０および２２０にある複数の当事者、およびこれらの当事者のＳＶＷシステムの各々と通信可能なサーバ２５４を含む。場所１８０のエージェント１９０はアイトラッカ１９４とＬＣＤ１９２とを備える。場所１８２のエージェント２０２はＬＣＤ２００と電子グローブ２０４とを備える。場所２５０のエージェント２６０はアイトラッカ２６２、ＬＣＤ２６４および電子グローブ２６６を備える。最後に、場所２２０でソフトウェアエージェント２２２が実行されている。当事者の各々は第１の実施の形態にしたがったＳＶＷシステムプログラムを備えている。

この実施の形態では、サーバと、場所１８０、１８２、２５０および２２０の当事者とが全てネットワークに接続されており、場所１８０、１８２、２５０および２２０の当事者の各々がサーバ２５４と通信する。これに代えて、場所１８０、１８２、２５０および２２０の当事者はサーバ２５４とネットワークを通じて、または専用線を通じて接続されていても良い。

この実施の形態では、当事者は図５に示される参加者リスト１４６を持つ必要はない。当事者が知る必要があるのはサーバ２５４のアドレスのみである。これに対して、サーバは参加者リストとエージェントの注目対象とを維持し、該当する場合には、全てのエージェントが注目しているオブジェクト(共通注目点）が何かを判定する責任を負う。

この例では、エージェント２６０は２つの異なる注目点に関する情報収集機能を備え、これらを連携して用いてエージェント２６０の現在の注目点を判定する。

本実施の形態では、ＳＶＷ内のあるオブジェクトは、エージェントの大部分がそれに注目していると共通注目点としてハイライトされる。例えば一部のエージェント２０２がそのオブジェクトに注目しているのではない場合でもハイライトしてよい。しかし、フィードバックメカニズムは必ずしもすべての当事者に対し同じである必要はない。当事者に対するフィードバック方法は、個々の当事者がカスタマイズできる。これは、図５に示された入力解釈部１６６、キーボード６６およびマウス６８等の入力装置を介して、図５に示されたフィードバック設定記憶部１６８のフィードバック設定を修正することで実現される。

上述の通り、エージェントは人間のエージェントでも、ソフトウェアエージェントでも良い。人間のエージェントについては以下が必要である。

すなわち、ネットワークに接続されたパーソナルコンピュータと、コンピュータスクリーンまたはＳＶＷにおけるエージェントの注目点の正確な位置をコンピュータに通信することが可能な、１または２以上の、注目点に関する情報収集装置とが必要である。エージェントがコンピュータの前に座っている間、エージェントの注目点に関する情報収集装置の各々は、エージェントが見ている画素に対応するＸおよびＹ座標の形で（３Ｄ ＳＶＷの場合にはＸ、Ｙ、Ｚ座標の形で）エージェントの注目するスクリーン上の場所を送信し続ける。

人間のエージェントの場合、ＳＶＷは典型的にはコンピュータスクリーンに表示されるが、これは別の方法で表示されても良い。ソフトウェアエージェントの場合、ＳＶＷの状態とこれに生じる何らかの変化に対し、エージェントは電子的にアクセスできる。

図５に示されるＳＶＷ生成部１６４等の特別なソフトウェアが、各エージェントのコンピュータ上で実行される。このソフトウェアはＳＶＷの内容を解釈してこの内容を別個のオブジェクトに分離することができる。これらのオブジェクトはＳＶＷの一部であっても、場所であっても、イベントであっても、または他の特徴であっても良く、図５に示されるオブジェクト記憶部１６０に記憶可能である。ＳＶＷのこのような個々のオブジェクトへの分割は、対話に関わる全てのエージェント間で一貫した方法でなされる。このソフトウェアはエージェントの注目点に関する情報の収集装置から座標を、または現在のソフトウェアエージェントの関心の対象を連続して受信し、エージェントが現在注目しているオブジェクトを連続して判定する。

各エージェントの機械のソフトウェアがエージェントの注目するオブジェクトを判定すると、この情報がコミュニケーションの他の全ての参加者に伝えられる。個々の装置は、全ての（または大多数の）エージェントが関心を持っている場所を判定して、彼らのエージェントに対し適切なフィードバックを与えることができる。このフィードバックは全てのエージェントに対して同じ方法で行なっても良いし、いずれかのエージェントの特定の要求に応じるようカスタマイズしても良い。このようなフィードバックの例としては、スクリーン上のオブジェクトの外観を変更すること、音での応答、触覚的フィードバック等がある。

ＬＡＮ接続の場合、接続はブロードキャストメカニズムを用いたポイント−ツー−ポイントであっても良く、この場合サーバは不要である。各エージェントのコンピュータが参加者リストとそれぞれの注目点とを維持する必要がある。エージェントのコンピュータはまた、第１の実施の形態で説明したように、参加者の注目点に基づいて共通注目点を判定し、エージェントの注目点が共通注目点と合致するかを判定し、さらにエージェントに対しフィードバックを提供する必要がある。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。

この発明を用いることができる設定の一例を示す図である。 この発明の第１の実施の形態のシステムを示す図である。 図２に示されたシステムで用いられるアイトラッカを示す図である。 図２に示されたシステムで用いられるコンピュータのハードウェアブロック図である。 第１の実施の形態にしたがったシステムの機能ブロック図である。 この発明の第１の実施の形態の動作を示す概略図である。 エージェントが共通に注目するオブジェクトをハイライトする方法を示す図である。 当事者が異なるオブジェクトを注目している場合の、この発明の第１の実施の形態の動作を示す図である。 エージェントがソフトウェアエージェントである、この発明の第２の実施の形態の動作を示す図である。 複数のエージェントがサーバを介して通信する、この発明の第３の実施の形態を示す図である。 共有された仮想世界の参加者間で意思の疎通に齟齬が生じうる設定の一例を示す図である。

符号の説明

２０，２４０ ＳＶＷコミュニケーションシステム
２２Ａ，２２Ｂ，１９０，２０２，２６０，２９０および３００ エージェント
２６ ネットワーク
２８，２８Ａおよび２８Ｂ コンピュータ
３０，３０Ａ，３０Ｂ，６２，１９２，２００，２６４，２９２および３０２ ＬＣＤ
５０，５０Ａおよび５０Ｂ ＳＶＷシステム
７４，１９４および２６２ アイトラッカ
７８ スピーカ
１４４ オブジェクト選択部
１５２ 受信マネージャ
１５４ 一致モジュール
１５６ フィードバックモジュール
１５８ スピーカドライバ
１６０ オブジェクト記憶部
１６２ ＳＶＷ画像プロセッサ
１６４ ＳＶＷ生成部
１６６ 入力解釈部
１６８ フィードバック設定記憶部
２０４および２６６ 電子グローブ
２２２ ソフトウェアエージェント

Claims (6)

1. 複数のエージェントの共通注目点を確定することにより仮想環境でのコミュニケーションを支援するコミュニケーション支援装置であって、
   前記仮想環境内にオブジェクトを生成しこれを更新するための仮想環境生成手段と、
   前記コミュニケーション支援装置の第１のエージェントが注目している前記仮想環境内のオブジェクトが、コミュニケーションに参加している第２のエージェントが注目しているオブジェクトと同一か否かを判定するための判定手段と、
   前記判定手段に応答して、前記第１のエージェントに、前記第１のエージェントと前記第２のエージェントとが同じオブジェクトに注目しているか否かに関する知識を提供するための手段とを含む、コミュニケーション支援装置。
2. 前記仮想環境生成手段は、
   前記仮想環境内のオブジェクトデータを記憶するための記憶手段と、
   仮想環境更新情報にしたがって、前記記憶手段内の前記オブジェクトデータを更新するための手段と、
   前記記憶手段に記憶されたオブジェクトデータにしたがって、前記仮想環境の画像を生成する手段とを含む、請求項１に記載のコミュニケーション支援装置。
3. 前記提供するための手段は、前記第１のエージェントと前記第２のエージェントとが同じオブジェクトに注目していると前記判定手段により判定されたことに応答して、前記第１のエージェント及び前記第２のエージェントが注目しているオブジェクトの特定の属性をある特定の値に設定するための手段を含む、請求項１または請求項２に記載のコミュニケーション支援装置。
4. 前記提供するための手段は、前記判定手段により、前記第１のエージェントと前記第２のエージェントとが同じオブジェクトに注目していると判定されたことに応答して、所定の音声信号を出力するための手段を含む、請求項１または請求項２に記載のコミュニケーション支援装置。
5. 前記仮想環境内のオブジェクトの中で、前記第１のエージェントが注目しているオブジェクトを判定するための手段と、
   前記判定するための手段により前記第１のエージェントが注目していると判定されたオブジェクトを特定する情報を別のエージェントに送信するための手段とをさらに含む、請求項１〜請求項３のいずれかに記載のコミュニケーション支援装置。
6. 前記提供するための手段から、前記第１のエージェントと前記第２のエージェントとが異なるオブジェクトに注目していることを示す知識が提供されたことに応答して、前記提供するための手段からの知識により、前記第１のエージェントと前記第２のエージェントとが同じオブジェクトに注目していることが示されるようになるまで、前記第１のエージェントが注目しているオブジェクトとして仮想環境内のオブジェクトを順次選択するための手段をさらに含む、請求項１〜請求項５のいずれかに記載のコミュニケーション支援装置。

Images