JP2004310470A - 視線位置を判定し組合わせるためのシステム及びコンピュータで実行可能なプログラム - Google Patents

Abstract

【課題】ユーザの頭部の位置が変わっても、ユーザのＲＷ／ＳＶＷにおける視線位置を安定して推定する。
【解決手段】システム２４０は、実世界または共有された仮想世界（ＲＷ／ＳＶＷ）内の対象物の存在位置情報を記憶するための第一の記憶部２６８、アイ−トラッカ７４から出力される映像信号の各フレームにおける「アンカー」の存在位置を定め、ユーザの視界内の対象物の画像の存在位置情報を出力するための存在位置決定モジュール２６０、及び、視界内のユーザの視点位置と、アンカーの存在位置と、ＲＷ／ＳＶＷ内のアンカーの存在位置情報とに基づいてＲＷ／ＳＶＷ内の視点位置を計算するためのモジュール２６２を含む。参加者のデータは組み合わされてＳＶＷを更新する。
【選択図】 図７

Description

【０００１】
【発明の属する技術分野】
この発明はユーザの視線位置を判定し組合わせるためのシステムに関し、特に、実世界（ｒｅａｌ ｗｏｒｌｄ）又は共有仮想世界（Ｓｈａｒｅｄ Ｖｉｒｔｕａｌ‐Ｗｏｒｌｄ）（以下、「ＲＷ／ＳＶＷ」と称する）におけるユーザの視線位置を、ユーザの視野内での「ＲＷ／ＳＶＷ」内の対象物の存在位置に基づいて判定し組合わせるためのシステムに関する。
【０００２】
【従来の技術】
高性能のコンピュータとインターネット等のネットワーク用ツールが進歩するに従って、より多くの人々がネットワーク上で意思の疎通をはかるとともに共同作業を行なう様になってきた。この様な意思の疎通を図ろうとする参加者は離れた場所にいるため、時として意思の疎通が困難となる。その典型例が、共有仮想世界である。
【０００３】
図１は共有仮想世界の参加者間で意思の疎通に齟齬を生じやすいある設定を例示したものである。図１では、３人の参加者３２、３４、３６が家３０の３−Ｄ仮想モデルの周りに仮想的に座っている。もし参加者が「実際に」テーブルの周りに座っているならば、互いの顔を見るだけで容易に参加者達の視線位置を判定することができる。仮想設定ではこれははるかに困難である。ラベルを付したボックス４２、４４及び４６を用いて、３−Ｄ空間における参加者３２、３４及び３６の実世界での視線位置を示す。
【０００４】
参加者３２及び３４は家３０のモデルの屋根の一方の端を見ており、参加者３６は屋根の他方の端を見ている。この状況で、参加者３２又は３４の視線位置と同じ位置を全員が見ているものと参加者３２又は３４が誤解すると、意思の疎通に齟齬が生じる。
【０００５】
この様な齟齬を防ぐために、又は参加者の正確な意思の疎通を支援するために、参加者３２、３４及び３６の視線位置の、実世界での存在位置を全て知ることが望ましい。しかし、絶対的な視線位置を判定するのは容易ではない。
【０００６】
この様な問題に対する解決策の一つがアイ−トラッキングシステムである。アイ−トラッキングシステムは、画像処理、マン−マシンインターフェイス、テレビ会議及び仮想現実の分野で、ユーザ又は参加者の視線の存在位置を収集する目的のものとして知られている。視線の存在位置を用いて、参加者の顔の適切な画像を準備したり、マン−マシンインターフェイスにおいて適切な反応を引き起こしたり、又は参加者の意図を推測したりすることができる。
【０００７】
既存のアイ−トラッキングシステムの多くは参加者の頭部に装着したアイ−トラッキングハードウェアからデータを収集する。この様なハードウェアは鏡、カメラ、及び専用の処理ハードウェアを用いて参加者の視野内における参加者の視線の存在位置を決定する。
【０００８】
【発明が解決しようとする課題】
しかし、参加者の頭部の位置が変わると、参加者の視野も変わり、絶対的な視線情報を判定することが困難になる。
【０００９】
従って、この発明の目的は、たとえユーザの頭部位置が変わっても、ユーザのＲＷ／ＳＶＷにおける視線位置を安定して推定することが可能なシステム及びコンピュータで実行可能なプログラムを提供することである。
【００１０】
この発明の別の目的は、たとえユーザの頭部位置が変わっても、ユーザの視野の映像信号に基づき、ＲＷ／ＳＶＷにおける視線位置を安定して推定することが可能なシステム及びコンピュータで実行可能なプログラムを提供することである。
【００１１】
【課題を解決するための手段】
この発明のある局面に従えば、ユーザの視野の映像信号と、ユーザの視野内におけるユーザの視線位置情報とを出力するアイ・トラッカを装着したユーザの視線位置を判定し組合わせるためのシステムは、予め定義された基準座標系に対する対象物の存在位置の情報を記憶するための第一の記憶手段と、アイ・トラッカから出力された映像信号の各フレームにおける対象物の画像の存在位置を定め、ユーザの視野内に定義された座標系に対する対象物の画像の存在位置情報を出力するための存在位置決定手段とを含み、存在位置決定手段はアイ・トラッカからの映像信号を受信する様に接続されており、さらに、
（ａ）アイ・トラッカから出力されたユーザの視野内のユーザの視線位置情報、
（ｂ）存在位置決定手段から出力された映像信号の各フレームにおける対象物の画像の存在位置、及び
（ｃ）記憶手段に記憶された、予め定義された基準座標系に対する対象物の存在位置情報、に基づいて予め定義された基準座標系を参照してユーザの視線位置を計算するための手段を含む。
【００１２】
好ましくは、システムは各対象物の予め定められた属性情報を記憶するための第２の記憶手段をさらに含み、存在位置決定手段は第２の記憶手段に記憶された予め定められた属性情報に基づいて、アイ・トラッカにより出力された映像信号の各フレームにおける対象物の画像の存在位置を定めるための手段を含み、存在位置を定めるための手段は、アイ・トラッカからの映像信号と、ユーザの視野内で定義される座標系に対する対象物の画像の存在位置の情報とを受信する様に接続される。
【００１３】
属性は各対象物の色と、各対象物の形状と、各対象物の動きと、各対象物の大きさとからなる群から選択されてもよい。
【００１４】
より好ましくは、システムは計算手段によって計算された、予め定義された座標系に対するユーザの視線位置情報を、予め定められた宛先に送信する手段をさらに含む。
【００１５】
システムはさらに、ネットワークに接続され、ネットワーク上で、予め定められた座標系に対する別のユーザの視線位置情報を受信する手段と、ユーザの視線位置情報及び受信手段により受信された情報を、予め定められた座標系において組合わせるための手段とを含んでもよい。
【００１６】
好ましくは、システムはさらに組合わされた情報を記憶するための手段と、組合わされた情報を、ネットワーク上のアドレスへ、そのアドレスからの要求に応じて送信するための手段とを含む。
【００１７】
システムはさらに、予め定められた宛先に対し、予め定められた座標系に対するユーザの視線位置の組の情報を求める要求を送る手段と、予め定められた宛先から、ユーザの視線位置の組の情報を受信する手段とを含んでもよい。
【００１８】
この発明の別の局面は、コンピュータ上で実行されると、請求項１から７のいずれかに記載のシステムとしてコンピュータを動作させる、コンピュータで実行可能なプログラムに関するものである。
【００１９】
【発明の実施の形態】
図２はこの発明の好ましい実施の形態による共有仮想世界システムの全体構成を示す。システム５０は共有されたホワイトボード機能を有し、電子ホワイトボード７６と、マイクロフォン６４及びスピーカ７８の組と、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ７０及びＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ７０を有するコンピュータ６０と、いずれもコンピュータ６０に接続されたモニタ６２、キーボード６６及びマウス６８と、コンピュータ６０に接続された市販のウェアラブル・アイ・トラッカ７４とを含む、テレビ会議システムである。
【００２０】
この実施の形態において、電子ホワイトボード７６のプラズマディスプレイパネル（ＰＤＰ）１００はまたコンピュータ６０に接続されコンピュータ６０に制御されて、電子ホワイトボードの機能を提供する。しかしながら、システムの電子ホワイトボードはこの発明の中核をなすものではなく、従って、電子ホワイトボードの制御の詳細はここでは説明しない。また、マイクロフォン６４とスピーカ７８とは音声通信に用いられるものであって、この発明の一部を構成するものではない。従って、システムのうちマイクロフォン６４及びスピーカ７８に関する部分の詳細はここでは説明しない。
【００２１】
図３はアイ・トラッカ７４の概観を示す。図３を参照して、アイ・トラッカ７４は普通の帽子の形状を有する帽子８０と、帽子８０の庇上に装着されたプラスチックのハウジング８２と、ハウジングに取付けられた、端部に鏡８８及び９０を備えたアーム８４及び８６と、ビデオカメラ９２と、鏡８８及び９０にそれぞれ反射した目の画像をキャプチャするための一対のカメラ９４及び９６とを含む。アイ・トラッカ７４は鏡８８及び９０とカメラ９４及び９６とを用いて参加者の頭部に対する相対的な視線方向を検出し、視野内で定義された座標系に対する参加者の視野内での視線位置の存在位置データと、ビデオカメラ９２によりキャプチャされたビデオ画像とを出力する。図３には示さない別個のプロセッサが視線位置データの計算を行なう。
【００２２】
図４は電子ホワイトボードを例示する。電子ホワイトボード７６はデジタイザパネルがその上に形成されたＰＤＰ１００と、マーカ１０２−１２８とを含む。マーカ１０２−１２８はＰＤＰ１００の周辺のそれぞれ予め選択された位置に取付けられる。参加者がＰＤＰ１００を見ると、マーカ１０２−１２８の幾つかがアイ・トラッカ７４から出力されるビデオ画像中に入り、「アンカー」として選択される。「アンカー」とは、以下で詳細に説明する通り、映像信号中にありユーザの視線位置を計算するのに用いられる、マーカ１０２−１２８の画像のことを意味する。
【００２３】
この実施の形態では、マーカ１０２−１２８はＰＤＰの周辺部分に固定されている。しかし、ＰＤＰ１００はそのスクリーン上にどの様な対象物でも表示できるため、マーカ１０２−１２８をＰＤＰ１００のスクリーン上に表示されるオブジェクトで置換えてもよい。この様な場合、マーカはスクリーン上を移動してもよい。それらの位置は予め定められたスケジュールに従って動かす様にしてもよいが、固定されている方が好ましい。
【００２４】
図５はコンピュータ６０のハードウェアブロック図である。図５を参照して、コンピュータ６０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）１４０と、ＣＰＵ１４０に接続されたバス１４２と、バス１４２に接続された読出専用メモリ（ＲＯＭ）１４４と、バス１４２に接続されたランダムアクセスメモリ（ＲＡＭ）１４６と、バス１４２に接続されたハードディスクドライブ１４８と、ＣＤ−ＲＯＭ１６０が装着され、そこからデータを読出すＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ ＲＯＭ）ドライブ７０と、ＦＤ１６２が装着され、そこからデータを読出し、データを書込むフレキシブルディスク（ＦＤ）ドライブ７２と、マイクロフォン６４及びスピーカ７８が接続されるサウンドボード１５０と、バス１４２に接続されローカルエリアネットワーク（ＬＡＮ）等のデータ通信ネットワークに接続する機能を提供するネットワークボード１５２と、バス１４２に接続される、アイ・トラッカ専用のビデオキャプチャボード１５４とを含む。
【００２５】
ビデオキャプチャボード１５４はアイ・トラッカ７４から参加者の視界の映像信号を受信し、映像信号の各フレームをキャプチャし、キャプチャされたフレームデータをＣＰＵ１４０に与える。ＣＰＵ１４０は図３に示されたアイ・トラッカ７４からアイ・トラッカ７４のプロセッサとのシリアル接続を通して、参加者の視線位置データを収集する。
【００２６】
図６はこのシステムがどの様に働くかを図示したものである。図６を参照して、システムは二当事者を含み、これを当事者Ａ及びＢとする。各当事者は図２から図５に示されたシステムを持つ。二人の参加者１８０Ａ及び１８０Ｂが別々の部屋で電子ホワイトボード７６Ａ及び７６Ｂの前に立っている。これらのホワイトボード７６Ａ及び７６Ｂは物理的に同じではないが、同じ仮想的な描画空間を表し、その内容とアンカーのマーキングとに関して同一である。これらホワイトボード７６Ａ及び７６ＢのＰＤＰ１００Ａ及び１００Ｂの面は、従って、共有仮想世界と考えられる。
【００２７】
参加者１８０Ａがホワイトボード７６Ａの前に立ち、スタイラスペンで、ある形状を描こうとしているものと仮定する。ＰＤＰ１００Ａ上でのスタイラスペンの動きがデジタイザによって検知され、描画されるにつれてその動きが２枚のホワイトボード７６Ａと７６Ｂとの間で送信される。こうして、対応する形状がＰＤＰ１００ＡとＰＤＰ１００Ｂとの同一の位置に電子的に描かれる。当事者Ｂの参加者１８０Ｂは参加者１８０Ａが描いている線を、まさにその線が描かれているときに見ることができる。こうして参加者１８０Ａ及び１８０Ｂはホワイトボード７６Ａ及び７６Ｂ上の仮想世界を共有する。
【００２８】
さらに、当事者Ａの参加者１８０Ａと当事者Ｂの参加者１８０Ｂとが電子ホワイトボード７６Ａ及び７６Ｂに描かれた形状又は図を用いて議論していると仮定する。参加者１８０Ａはその視界２００Ａのある点２０２Ａに注目している。参加者１８０Ｂはその視界２００Ｂの点２０２Ｂに注目している。このシステムは点２０２Ａ及び２０２Ｂの存在位置を検出し、これらの点の存在位置データを組合せ、これら位置２０４Ａ及び２０４Ｂを、組合わされた仮想世界の視野２１０の上に示し、これらがＰＤＰ１００Ａ及び１００Ｂ上に表示される。一方当事者が、共通の視野上で他方当事者がどこを見ているかはっきりと知ることができるので、議論から誤解を除くことができる。
【００２９】
この目的のために、各当事者の視点の存在位置を得なければならないが、これは容易なことではなかった。
【００３０】
この実施の形態では、図７の構成でこの問題に対する解答を与える。図７はこの実施の形態のシステム５０のコアモジュール２４０の機能図である。これら機能は、コンピュータ６０上で実行されるソフトウェア及びコンピュータ６０の適切なハードウェアで実現される。
【００３１】
図７を参照して、コアモジュール２４０は、ＲＷ／ＳＶＷ座標系におけるアンカー（マーカ）の存在位置情報と、アンカーの色、形状、大きさ等の予め定められた属性とを記憶するためのアンカー情報記憶部２６８、記憶部２６８に記憶された情報を用いて、アイ・トラッカ７４からの映像信号の各フレームにおける、アンカーの頭部に対する相対的な存在位置を決定し抽出するためのアンカー抽出モジュール２６０、及び、参加者の視界における視線位置の存在位置と、アンカー抽出モジュール２６０からの、参加者の視野内のアンカーの存在位置データを抽出したものと、記憶部２６８に記憶されたアンカー情報とを受け、アンカーの存在位置情報に基づいて修正した予め選択された数学的変換を、参加者の頭部に対する相対的な視線位置に適用することによって、参加者のＲＷ／ＳＶＷ視線位置を計算し決定する数学的変換モジュール２６２を含む。
【００３２】
コアモジュール２４０はさらに、参加者のＲＷ／ＳＶＷ視線位置をサーバに送信し、他の参加者のＲＷ／ＳＶＷ視線位置の組合わされた視線位置情報の組をサーバから受信するデータ送受信モジュール２６４と、データをネットワーク上に送信するネットワークモジュール２６６とを含む。組合わされた視線位置はアプリケーション２４２に与えられ、共有される仮想世界等を更新する。
【００３３】
この実施の形態では、コアモジュール２４０はさらに、ネットワークモジュール２６６に接続され、参加者の視線位置情報をネットワークを介して受信し、組合わされた視線位置情報の組を組合わされたデータテーブルとして維持し、要求に応じて要求を出した当事者に対し組合わされた視線位置情報の組を送信するためのサーバモジュール２７０と、サーバモジュール２７０によって維持される、組合わされたデータテーブルを記憶するための組合せデータ記憶部２７２とを含む。
【００３４】
コアモジュール２４０は以下の様に動作する。図８を参照して、参加者のアイ・トラッカ７４から、アンカー抽出モジュール２６０が参加者の頭部に対する相対的な視野２００Ａを受信する。数学的変換モジュール２６２はアイ・トラッカ７４から頭部に対する相対的な視線位置２０２Ａを受信する。
【００３５】
図９を参照して、アンカー情報記憶部２６８（図７を参照）に記憶されたアンカー情報を用いて、アンカー抽出モジュール２６０により参加者の視野２００Ａ内にあるマーカ１０２−１０８及び１２６−１２８（図４を参照）に対応する画像２２０、２２２、２２４、２２６、２２８及び２３０の存在位置が定められ、フレームから抽出される（図７を参照）。図７を参照して、アンカー抽出モジュール２６０はマーカの色、形状、大きさ等の属性のいずれかを使用する。マーカがＰＤＰ１００上に表示される対象物である場合、アンカー抽出モジュール２６０はマーカの動きを用いてマーカの画像の存在位置を決定し特定することもできる。
【００３６】
その後、数学的変換モジュール２６２により、参加者の視界が決定される。この視界は数学的等式からなり、アイ・トラッカ７４（図３を参照）から受信した頭部との相対的な視線位置をＲＷ／ＳＶＷ視点位置に変換するのに、これを用いることができる。
【００３７】
データ送受信モジュール２６４は参加者１８０ＡのＲＷ／ＳＶＷ視線位置２０４Ａを、この実施の形態ではコアモジュール２４０内のサーバモジュール２７０であるサーバに送信し、サーバモジュール２７０から組合わされた視線位置情報の組を受信する。組合わされたデータはアプリケーション２４２に与えられる。このアプリケーションは、たとえばＲＷ／ＳＶＷの表示を管理するアプリケーションである。
【００３８】
図１１はコアモジュール２４０の機能を実現するフローチャートを示す。図１１を参照して、ステップ２８０で、プログラムはまず、ハードディスク１４８に予め記憶されている、ＲＷ／ＳＶＷにおけるマーカ（「アンカー」）の存在位置を含む識別データと、色、形状、大きさ等の属性とを読出す。これらのデータは参加者の視界を決定するのに必要となる。
【００３９】
ステップ２８２で、「終了」イベントが発生したか否かが判断される。もし「終了」イベントが発生していれば、プログラムは終了し、そうでなければ制御はステップ２８４に進む。
【００４０】
ステップ２８４で、アイ・トラッカ７４からの映像信号の、次のフレームを処理すべき時刻であるか否かが判断される。もしその時刻でなければ制御はステップ２８２に戻り、その時刻であればステップ２８６に進む。
【００４１】
ステップ２８６でアイ・トラッカ７４からの映像信号のフレームがキャプチャされる。次にステップ２８８で、参加者の頭部に対する相対的な視線位置がアイ・トラッカ７４から受信され、映像の各フレームについて、頭部に対する相対的な視線存在位置のテーブルが生成される。
【００４２】
ステップ２９０で、アイ・トラッカ７４からのキャプチャされた映像フレームがベンダーの提供する映像処理ソフトウェアを用いて処理され、このフレームでのマーカの存在位置を決定し特定する。マーカは抽出され、ステップ２８０で与えられるそれらの存在位置、色、大きさに従ってラベル付けされる。
【００４３】
ステップ２９２では抽出されたマークの存在位置データを用いて、変換式が修正される。この動作は最初に、共有仮想世界内でのアンカーの既知の位置に基づいて、映像信号の各フレームについて、頭部に対する相対的な視線位置と、共有仮想世界の視線位置との間での変換式を決定する。ステップ２８８で受信された参加者の視野内での頭部に対する相対的な視線情報に対し、この変換を適用することで、共有仮想世界での視点の存在位置がステップ２９４で得られる。
【００４４】
ステップ２９６で、この様にして得られたＲＷ／ＳＶＷにおける視点の存在位置がサーバに送信される。サーバはデータを記憶し、組合わされたデータテーブルを更新する。サーバはさらに、参加者の視点の組合わされたデータをこのシステムに送信し、ステップ２９８でコアモジュール２４０がそれらを受信する。組合わされたデータはメモリの予め選択されたロケーションに記憶される。このデータはＲＷ／ＳＶＷデータを更新するのに利用される。その後制御はステップ２８２にもどる。
【００４５】
図１２はこの実施の形態におけるコアモジュール２４０のサーバモジュール２７０でのプログラムの制御フローを示すフローチャートである。図１２を参照して、プログラムでは、最初にステップ３２０で関連のメモリエリアが初期化される。ステップ３２２ではプログラムはイベントを待ち、イベントを受取ると制御はステップ３２４に進む。
【００４６】
ステップ３２４で、イベントが終了イベントであるか否かが判断される。もし終了イベントであればプログラムは終了し、そうでなければ制御はステップ３２６に進む。
【００４７】
ステップ３２６で、イベントがデータ受信イベントであるか否かが判断される。もしデータ受信イベントであれば、制御はステップ３３２に進み、そうでなければステップ３２８に進む。
【００４８】
ステップ３３２で、参加者の一人から受信された視点情報を用いて、組合わされたデータテーブルが更新される。制御はステップ３２２に戻る。
【００４９】
ステップ３２８では、イベントが参加者からのデータ要求イベントであるか否かが判定される。もしデータ要求イベントであれば、制御はステップ３３０に進み、そうでなければ制御はステップ３２２にもどる。
【００５０】
ステップ３３０で、視点位置情報の組合わされたデータが要求した当事者に送られる。制御はステップ３２２に戻る。
【００５１】
［例］
各々が上述のシステムを備えた２つの当事者間で実験が行なわれた。この例では、共有仮想世界でのアンカーのラベルと配置とは図４に示す通りである。アンカーとして用いられたカラーマーカの、共有仮想世界内での固定された存在位置を以下の表に示す。
【００５２】
【表１】

一参加者の頭部に対する相対的なカラーアンカー情報のサンプル入力データを以下の表に示す。
【００５３】
【表２】

【００５４】
【表３】

【００５５】
【表４】

【００５６】
【表５】

【００５７】
【表６】

ここに記載したシステムにより出力された、一方の当事者の共有仮想世界での視線位置情報を次のテーブルに示す。
【００５８】
【表７】

他方当事者の共有仮想世界の視線情報も同様に得られる。この後、複数回同期させた、共有仮想世界の視線存在位置を組合わせることができる。
【００５９】
この実施の形態によれば、共有仮想世界における各参加者の視線位置が計算され、その後組合わされて、各参加者は他の参加者が共有仮想世界の視界のどこに注目しているかを知ることができる。これを知ることで、参加者達は誤解の生じやすい点に容易に気付き、意思の疎通がより良好になるであろう。
【００６０】
上述の実施の形態には２当事者が関わっている。しかしながら、３又はそれ以上の当事者を含む意思疎通のシステムにもこの発明が容易に拡大できることは当業者には容易に理解されるであろう。当業者はまた、上述のシステムが専用のハードウェア又は専用のハードウェアとソフトウェアの組合せ、及び汎用コンピュータとソフトウェアの組合せで実現できることを容易に理解するであろう。
【００６１】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。
【図面の簡単な説明】
【図１】この発明を採用することができるある設定を例示する図である。
【図２】この発明の１の実施の形態によるシステムを示す図である。
【図３】図２で示されたシステムで用いられるアイ・トラッカを示す図である。
【図４】図２で示されたシステムで用いられる電子ホワイトボードの正面図である。
【図５】図２で示されたシステムで用いられるコンピュータのハードウェアブロック図である。
【図６】この発明の実施の形態の動作を概略的に示す図である。
【図７】この発明の実施の形態のコアモジュールの機能ブロック図である。
【図８】一人の参加者の視野とその視線位置を概略的に示す図である。
【図９】ビデオフレームにおけるアンカー位置を例示する図である。
【図１０】二人の参加者の視線位置情報の組合せを例示する図である。
【図１１】この発明の実施の形態を実現するソフトウェアのフローチャートである。
【図１２】この実施の形態のサーバモジュールを実現するソフトウェアのフローチャートである。
【符号の説明】
３０ 家のモデル、３２、３４、３６、１８０Ａ及び１８０Ｂ 参加者 ５０共有仮想世界システム、６０ コンピュータ、６２ モニタ、６４ マイクロフォン、７４ アイ・トラッカ、７６、７６Ａ、及び７６Ｂ 電子ホワイトボード、８８、９０ 鏡、９２ ビデオカメラ、９４、９６ カメラ、１００ ＰＤＰ、１０２−１２８ マーカ、１４０ ＣＰＵ、１４４ ＲＯＭ、１４６ ＲＡＭ、２０２Ａ及び２０２Ｂ 視線位置、２１０ 仮想世界の視野、２４０ コアモジュール、２４２ アプリケーション、２６０ アンカー抽出モジュール、２６２ 数学的変換モジュール、２６４ データ組合せモジュール、２６６ ネットワークモジュール

Claims (8)

1. ユーザの視野の映像信号と、ユーザの視野内におけるユーザの視線位置の情報とを出力するアイ・トラッカを装着したユーザの視線位置を判定し組合わせるためのシステムであって、
   予め定義された基準座標系に対する対象物の存在位置の情報を記憶するための第一の記憶手段と、
   アイ・トラッカから出力された映像信号の各フレームにおける対象物の画像の存在位置を定め、ユーザの視野内に定義された座標系に対する対象物の画像の存在位置情報を出力するための存在位置決定手段と、を含み、存在位置決定手段はアイ・トラッカからの映像信号を受信する様に接続されており、
   さらに、
   （ａ）アイ・トラッカから出力されたユーザの視野内のユーザの視線位置情報、
   （ｂ）存在位置決定手段から出力された映像信号の各フレームにおける対象物の画像の存在位置、及び
   （ｃ）記憶手段に記憶された予め定義された基準座標系に対する対象物の存在位置情報
   に基づいて、予め定義された基準座標系に対するユーザの視線位置を計算するための手段を含む、視線位置を判定し組合わせるためのシステム。
2. 各対象物の予め定められた属性情報を記憶するための第２の記憶手段をさらに含み、
   存在位置決定手段は第２の記憶手段に記憶された予め定められた属性情報に基づいて、アイ・トラッカにより出力された映像信号の各フレームにおける対象物の画像の存在位置を定めるための手段を含み、存在位置を定めるための手段は、アイ・トラッカからの映像信号と、ユーザの視野内で定義される座標系に対する対象物の画像の存在位置情報とを受信する様に接続される、請求項１に記載のシステム。
3. 属性は各対象物の色と、各対象物の形状と、各対象物の動きと、各対象物の大きさとからなる群から選択される、請求項２に記載のシステム。
4. 計算手段によって計算された、予め定義された座標系に対するユーザの視線位置情報を、予め定められた宛先に送信するための手段をさらに含む、請求項１から３のいずれかに記載のシステム。
5. ネットワークに接続され、ネットワーク上で、予め定められた座標系に対する別のユーザの視線位置情報を受信する手段と、
   ユーザの視線位置情報と、受信手段により受信された情報とを、予め定められた座標系において組合わせるための手段とをさらに含む、請求項４に記載のシステム。
6. 組合わされた情報を記憶するための手段と、
   組合わされた情報を、ネットワーク上のアドレスへ、そのアドレスからの要求に応じて送信するための手段とをさらに含む、請求項５に記載のシステム。
7. 予め定められた宛先に対し、予め定められた座標系に対するユーザの視線位置の組の情報を求める要求を送る手段と
   予め定められた宛先から、ユーザの視線位置の組の情報を受信する手段とをさらに含む、請求項４に記載のシステム。
8. コンピュータ上で実行されると、請求項１から７のいずれかに記載のシステムとしてコンピュータを動作させる、コンピュータで実行可能なプログラム。

Images