JP2011065644A - 仮想環境においてオブジェクトと対話するためのシステム - Google Patents

Abstract

【課題】仮想環境における複数ユーザの対話を容易にする方法及びシステムを提供すること。
【解決手段】三次元（３−ｄ）の仮想環境との対話を容易にするシステムが説明される。このシステムにおいては、コントローラ装置が、３−ｄ仮想環境と関連した情報を第１のディスプレイに提供する。さらに本システムは、少なくとも１つの携帯型電子装置を含み、この携帯型電子装置は、第２のディスプレイと、直線運動、回転運動、及び／又はジェスチャなどの、携帯型電子装置の運動を検出する３−ｄ運動センサとを含む。この携帯型電子装置は、検出された運動をコントローラ装置に通信する。これに応答して、コントローラ装置は、３−ｄ環境のサブセット及び関連したコンテキスト依存情報を携帯型電子装置に提供し、それらは、第２のディスプレイ上に表示される。
【選択図】図１

Description

本開示は、複数ユーザによる三次元（３−ｄ）仮想環境との対話を容易にするためのシステム及び技術に関する。

コンピュータ等のネットワーク化された電子装置は、ますます一般的になっている。こうしたデバイスは、ユーザ間の更なる通信、対話、及び協調を容易にする。

ネットワーク化された電子装置の複数ユーザ間の対話は、多くの場合、仮想環境（「仮想世界」又は「仮想現実」と呼ばれることもある）を用いて容易になる。しかしながら、既存のシステム及びソフトウェア・ツールを使用する場合、これらシステム内のユーザ数が増すほど、かかる対話はより困難になり得る。例えば、複数のユーザが、仮想環境において同時に、例えばアバターなどのオブジェクトの操作を試みた場合、異なるユーザの動作と関連した対話ウィジェットが仮想環境の共通のコンテンツと一緒に表示されるため、ユーザの動作によって、ネットワーク化された電子装置上の表示が混乱状態に陥ることがある。同様に、仮想環境における一ユーザの動作が、別のユーザの動作に覆い隠されることがあるため、多数のユーザが仮想環境を用いて、共通のコンテンツを協働して編集又は修正することは困難であり得る。

したがって、上記で列挙された問題なしに、仮想環境における複数ユーザの対話を容易にする方法及びシステムが必要とされる。

本開示の一実施形態は、三次元（３−ｄ）の環境との対話を容易にするシステムを提供する。このシステムは、３−ｄ環境と関連した情報を格納するコントローラ装置を含む。さらに、本システムは、コントローラに結合され、３−ｄ環境を表示する第１のディスプレイを含む。さらに、本システムは、コントローラ装置と情報を通信する少なくとも１つの携帯型電子装置を含む。この携帯型電子装置は、直線運動、回転運動、及び／又はジェスチャを含む、携帯型電子装置の運動を検出する３−ｄ運動センサを含む。加えて、携帯型電子装置は、検出された運動に基づいて、３−ｄレンダリングされた３−ｄ環境のサブセット及び関連したコンテキスト依存情報を表示する第２のディスプレイを含む。

携帯型電子装置は、携帯電話を含むことができることを留意されたい。さらに、３−ｄ運動センサは加速度計を含むことができる。

幾つかの実施形態において、３−ｄ環境は、仮想現実を含むことができる。付加的に、３−ｄ環境のサブセットは、オブジェクトの少なくとも一部分、又はアバターの少なくとも一部分を含むことができる。

さらに、検出された運動は、直線運動、及び／又は回転運動などの、３−ｄ環境における運動に対応することができる。代替的に又は付加的に、検出された運動は、３−ｄ環境におけるオブジェクト又はアバターを選択することができる。例えば、ジェスチャを用いてオブジェクトを選択することができる。

幾つかの実施形態において、コンテキスト依存情報は、３−ｄ環境のサブセットと関連したメニューを含む。したがって、検出された運動は、メニューをナビゲートすることに対応することができる。

幾つかの実施形態において、システムは、ユーザと関連付けられた複数の携帯型電子装置を含む。所与の携帯型電子装置は、所与の携帯電子装置の検出された運動に基づいて、３−ｄ環境の所与のサブセット及び関連したコンテキスト依存情報を所与のユーザに表示できることに留意されたい。さらに、第１のディスプレイ上に表示される３−ｄ環境は、ユーザに共通の情報を含むことができる。付加的に、少なくとも２つの携帯型電子装置上に表示される３−ｄレンダリングされた３−ｄ環境のサブセットは、異なるものであり得る。

このシステムは、３−ｄ環境における情報のユーザによる協調編集、及び／又は、３−ｄ環境におけるユーザの協調対話を容易にすることができる。

幾つかの実施形態において、コントローラ装置は、３−ｄ環境において関連付けられた携帯型電子装置を介して与えられる情報の変更と関連した競合が生じた場合、関連付けられた携帯型電子装置を介して、ユーザの少なくとも２人にフィードバックを提供する。

さらに、第２のディスプレイは、ユーザの第２のディスプレイ表面との対話に基づいて、３−ｄレンダリングされた３−ｄ環境のサブセット及び関連したコンテキスト依存情報を表示する、タッチ・センシティブ・ディスプレイを含むことができる。

付加的に、携帯型電子装置は、固有の識別子を中央コントローラに提供することができる。これに応答して、コントローラ装置は、固有の識別子に基づいて第２のディスプレイ上に表示するために、最初に、３−ｄレンダリングされた３−ｄ環境のサブセット及び関連したコンテキスト依存情報を提供することができる。

別の実施形態は、コントローラ装置によって実施することができる、３−ｄ環境と対話するための方法を提供する。動作中、コントローラ装置は、３−ｄ環境と関連する格納された情報にアクセスし、表示するためにその３−ｄ環境と関連した情報を第１のディスプレイに提供する。次いで、コントローラ装置は、３−ｄレンダリングされた３−ｄ環境のサブセット及び関連したコンテキスト依存情報に対する要求を携帯型電子装置から受信する。要求は、携帯型電子装置の検出された運動に基づくものとすることができ、携帯型電子装置の検出された運動は、直線運動、回転運動、及び／又はジェスチャを含むことができることに留意されたい。次に、コントローラ装置は、携帯型電子装置の第２のディスプレイに表示させるように、３−ｄ環境のサブセット及び関連したコンテキスト依存情報を携帯型電子装置に提供する。

別の実施形態は、本システムと共に用いるためのコンピュータ・プログラムを提供する。このコンピュータ・プログラムは、上述した動作のうちの少なくとも一部のための命令を含む。

本開示の一実施形態によるシステムを示すブロック図である。 本開示の一実施形態による、３次元（３−ｄ）の環境と対話するためのプロセスを示すフロー・チャートである。 本開示の一実施形態による、図１の携帯型装置のディスプレイ上に表示される情報の図面である。 本開示の一実施形態によるコンピュータ・システムを示すブロック図である。 本開示の一実施形態によるデータ構造を示すブロック図である。

図面全体にわたって同様の参照番号が対応する部品を指すことに留意されたい。さらに、同じ部品の複数のインスタンスは、ダッシュによりインスタンスの番号とは区別される共通の接頭辞により示される。

以下の説明は、当業者が、本開示を行ない、使用することを可能にするために提示され、特定の用途及びその要件との関連において提供される。当業者には、開示される実施形態への種々の修正が容易に明らかであり、本開示の精神及び範囲から逸脱することなく、ここに定められる一般的な原理を他の実施形態及び用途に適用することができる。したがって、本開示は、示される実施形態に限定されることを意図するものではなく、ここに開示される原理及び特徴と一致する最も広い範囲が与えられる。

３−ｄ仮想環境との対話を容易にするためのシステム、方法、及びコンピュータ・プログラム（例えば、ソフトウェア）の実施形態が説明される。このシステムにおいては、コントローラ装置が、３−ｄ仮想環境と関連した情報を第１のディスプレイに提供する。さらに、このシステムは、第２のディスプレイと、例えば直線運動、回転運動、及び／又はジェスチャといった、携帯型電子装置の運動を検出する３−ｄ運動センサとを含む、少なくとも１つの携帯型電子装置を含む。この携帯型電子装置は、検出された運動をコントローラ装置に通信する。これに応答して、コントローラ装置は、３−ｄレンダリングされた３−ｄ仮想環境のサブセット及び関連したコンテキスト依存情報を携帯型電子装置に提供し、それらは、第２のディスプレイ上に表示される。

本システムは、複数ユーザが、同時に３−ｄ仮想環境と関連した情報を閲覧し及び／又は変更することを可能にする。具体的には、各ユーザは、自分に関係がある３−ｄレンダリングされた情報のサブセット、及び、関連したコンテキスト依存情報（例えばメニューなど）を見ることができる。同時に、全体の３−ｄ仮想環境が第１のディスプレイ上に提示され、それにより、全てのユーザに情報の概要（即ち、状況の認識）が与えられる。さらに、ユーザは、第１のディスプレイ上に表示された情報を混乱させる又は覆い隠すことなく、情報のサブセットを自分の携帯型電子装置上で操作又は変更することができる。このように、本システムは、３−ｄ仮想環境における、ユーザによる情報の協調編集、及び／又は３−ｄ仮想環境におけるユーザの協調対話を容易にする。

ここで、３−ｄ仮想環境との対話を容易にするシステムの実施形態を説明する。図１は、システム１００を示すブロック図を示す。このシステムは、対応する携帯型電子装置１１４の１又はそれ以上のユーザが、仮想空間又は仮想現実等の３−ｄ仮想環境において、情報と対話し、これを修正し、及び／又は制御することを可能にする。具体的には、システム１００のコントローラ装置１１０内の３−ｄ仮想環境モジュール１１８が、格納された環境情報１２０にアクセスし、環境情報１２０に基づいて３−ｄ仮想環境を生成する。次いで、３−ｄ環境モジュール１１８は、信号又は命令を、通信モジュール１１６及びネットワーク１１２を介してコントローラ装置１１０に結合された仮想世界クライアント１２９に提供する。仮想世界クライアント１２９は、ソフトウェア・ベースのものであっても、又はソフトウェア・ベースのものであってもよく、ディスプレイ１３０（大型フラットスクリーン又は投影ディスプレイのような）と通信状態にある。ディスプレイ１３０は、次に、１又はそれ以上のユーザに３−ｄ仮想環境を表示する。

別個に又は同時に、ユーザは、携帯型電子装置１１４を用いて、３−ｄ仮想環境と関連した情報（又は、コンテンツ）と対話し、これを操作し、及び／又は修正することができる。例えば、携帯型電子装置１１４−１のような携帯型電子装置１１４の各々は、直線運動、回転運動、及び／又はジェスチャを含む、携帯型電子装置の運動を検出する３−ｄ運動センサ（例えば、加速度計）を含むことができる。携帯型電子装置１１４−１の検出された運動は、３−ｄ仮想環境におけるオブジェクト又はアバターの運動に対応することができる。したがって、携帯型電子装置１１４−１のユーザは、この装置を「魔法の杖（ｍａｇｉｃ ｗａｎｄ）」として使用し、ディスプレイ１３０上に表示される３−ｄ仮想環境においてオブジェクトを操作することができる。

代替的又は付加的に、検出された運動は、携帯型電子装置１１４−１上に表示するために、３−ｄ仮想環境におけるオブジェクト又はアバターを選択することができる（例えば、ジェスチャを用いてオブジェクトを選択することができる）。例えば、携帯型電子装置１１４−１のユーザは、この装置を動かして、１つ又はそれ以上のオブジェクト、より一般的には、３−ｄ仮想環境における３−ｄレンダリングされた情報のサブセットの提示を選択又は修正することができる。ソフトウェア・アプリケーション１２２−１内の運動検出モジュール１２６−１が、携帯型電子装置１１４−１の検出された運動（例えば、ローカル・カーソルの操作のような）を解釈し、それに従って、３−ｄ仮想環境における対応する情報のサブセット（オブジェクトの少なくとも一部又はアバターの少なくとも一部など）、及び関連したコンテキスト依存情報（オブジェクト又はアバターの少なくとも一部と関連したメニュー又は対話ウィジェットなど）の要求を、通信モジュール１１６及びネットワーク１１２を介して、コントローラ装置１１０に与えることができる。これに応答して、コントローラ装置１１０は、要求された情報のサブセット及び関連したコンテキスト依存情報を、携帯型電子装置１１４−１に提供することができる。次いで、ソフトウェア・アプリケーション１２２−１内の３−ｄ表示モジュール１２４−１が、情報のサブセット及び関連したコンテキスト依存情報をディスプレイ１２８−１上に表示することができる。

その後、ユーザは、携帯型電子装置１１４−１を動かすことによって、提示を操作及び／又は変更し、及び／又は、携帯型電子装置１１４−１上に表示される情報のサブセット及び／又は関連したコンテキスト依存情報を修正することができる。例えば、ユーザは、携帯型電子装置１１４−１を動かすことによって、情報のサブセットと関連したメニューをナビゲートし、かつ、メニューの中の特定のコマンドを選択することができる。

代替的又は付加的に、ユーザは、携帯型電子装置１１４−１を動かすことによって、ディスプレイ１２８−１上のオブジェクトの向きを変更する、及び／又はオブジェクトを編集或いは変更することができる。例えば、ユーザは、携帯型電子装置１１４−１を動かすことによって、仮想環境における視野又は軸の向きを変更することができる。その結果として、ユーザは、仮想環境内のコンテンツと動的に「対話」することができ、その結果、ユーザの動作が、コンテンツ及びコンテンツの表示方法を修正することができる。

これらの提示及び／又はコンテンツの変更は、ユーザがグローバル情報の更新を可能にするまで、又は、その後のユーザ・セッションが行われるまで、他の携帯型電子装置１１４のディスプレイ１２８上又はディスプレイ１３０上に表示することができないことに留意されたい。しかしながら、幾つかの実施形態においては、各々の携帯型電子装置１１４上の情報のサブセットに対してなされた変更は、リアル・タイムで、即ち、遅滞なく又はユーザの許可を待たずに、ディスプレイ１３０上に表示させることができる。いずれの場合も、コントローラ装置１１０は、同じユーザ・セッション及び／又はその後のユーザ・セッションにおいて使用するために、あらゆるユーザ特有の変更を含む情報を環境情報１２０内に格納又は保持することができる。

このように、各ユーザは、対応する携帯型電子装置１１４を介して適切な又は自分が関心をもっている３−ｄレンダリングされた情報のサブセット及び関連したコンテキスト依存情報を「見る」又はこれらと対話することができる。（したがって、少なくとも２つの携帯型電子装置１１４上に表示された情報のサブセットは異なり得る。）さらに、ディスプレイ１３０上の３−ｄ仮想環境における情報は、ユーザが、対応する携帯型電子装置１１４上に表示される情報のサブセットに対して行なった種々の変更により混乱状態に陥ることなく、共通の情報に関する概要（又は状況の認識）を全てのユーザに提供することができる。

したがって、システム１００内の携帯型電子装置１１４は、ユーザが、ディスプレイ１３０上の３−ｄ仮想環境における情報及びディスプレイ１２８上に表示された情報のサブセットの両方を介して、同じ３−ｄ仮想環境において、互いに、かつ、コンテンツと対話することを可能にするインターフェースを３−ｄ仮想環境に提供することができる。

幾つかの実施形態において、携帯型電子装置１１４は、いわゆる「スマート」フォンのような携帯電話を含む。しかしながら、タブレット・コンピュータ、携帯情報端末、及び／又はノートブック或いはラップトップ・コンピュータを含む、様々な携帯型電子装置を用いることができる。

幾つかの実施形態においては、関連した携帯型電子装置を介して与えられた情報の変更に関連する競合（ｃｏｆｌｉｃｔ）が３−ｄ仮想環境において生じた場合、コントローラ装置１１０は、関連した携帯型電子装置を介して、ユーザのうち少なくとも２人にフィードバックを提供する。例えば、携帯電話の振動モードを用いて、これらのユーザの各々にフィードバックを提供することができる。ユーザの１人が既に別のユーザによって「制御」されているオブジェクトを操作しようと試みた場合、このユーザの携帯電話が振動し、それによって、その試み又は要求が拒否されたことを示すことができる。また、例えばユーザのアバターが３−ｄ仮想環境内を移動している場合に、こうした触知式のフィードバックを用いて、３−ｄ仮想環境における地形の「粗さ」の標示を提供することもできることに留意されたい。

さらに、幾つかの実施形態において、携帯型電子装置１１４の各々は、固有の識別子を中央コントローラ装置１１０に与える。これに応答して、コントローラ装置１１０は、ディスプレイ１２８上に表示するために、最初に、３−ｄ仮想環境のサブセット及び関連したコンテキスト依存情報を提供することができる。例えば、携帯電話からの信号は、その携帯電話を識別することができる。この識別に基づいて、システム１００は、そのユーザに適切なアバターを選択し、ユーザをシステム１００にログインさせることができる。

前述の議論は、３−ｄ仮想環境における情報を操作又は制御する方法の説明に役立つ例示として運動を使用したが、他のユーザ・インターフェース技術を用いることもできる。例えば、ディスプレイ１２８は、タッチ・センシティブ・ディスプレイを含むことができる。ユーザは、ディスプレイ１２８−１の表面に触れ、仮想ウィジェット又はアイコンを起動させることによって、携帯型電子装置１１４−１上に表示された３−ｄ仮想環境のサブセット及び関連したコンテキスト依存情報、並びに、ディスプレイ１３０上に表示された３−ｄ仮想環境内の情報を操作し、制御し、及び／又は修正することができる。

付加的に、仮想環境は３−ｄであるが、幾つかの実施形態においては、仮想環境は二次元（２−ｄ）である。さらに、情報又はコンテンツは、２−ｄ（フラット・テキストのような）であってもよく、又は３−ｄであってもよい。例えば、図３を参照して下記に説明されるように、情報は、多数の相互に関連したコンポーネント又は互いに対して空間的関係を有するコンポーネントを含む、複雑なオブジェクトを含むことができる。より一般的には、システム１００内に保持されるコンテンツは、テキスト、音声、音楽、画像、及び／又は一時的な画像情報（アニメーション・シーケンスのような）を含む、種々のデータを含むことができる。付加的に、このデータは、画像形式（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ規格）、動画形式（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ規格）、及び文書処理又は情報表示形式（カリフォルニア州Ｓａｎ Ｊｏｓｅ所在のＡｄｏｂｅ Ｓｙｓｔｅｍｓ，Ｉｎｃ．社からのＡｄｏｂｅ Ａｃｒｏｂａｔ（商標）のような）を含む、種々の形式と互換性があるようにすることができる。コントローラ装置１１０は、この情報又はコンテンツを、システム１００内にローカルに及び／又はリモートに格納できることに留意されたい。

ソフトウェア・アプリケーション１２２は、携帯型電子装置１１４−１のような、それぞれの携帯型電子装置１１４上に常駐し、携帯型電子装置１１４上で実行できることに留意されたい。例えば、ソフトウェア・アプリケーション１２２−１は、スタンドアロン型プログラムとすることができ、又は、別のソフトウェア・アプリケーション内に埋め込むことができる。代替的に、ソフトウェア・アプリケーションは、ウェブ・ページ内に埋め込まれたソフトウェア・アプリケーション・ツールとすることができ、例えば、ソフトウェア・アプリケーションは、ウェブ・ブラウザによって提供される仮想動作環境において実行することができる。（したがって、システム１００は、クライアント−サーバ・アーキテクチャを実装することができる。）例示的な一実施形態において、ソフトウェア・アプリケーション・ツールは、ＪａｖａＳｃｒｉｐｔ（商標）（Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓ，Ｉｎｃ．社の商標）で書かれたソフトウェア・パッケージであり、例えば、ソフトウェア・アプリケーション・ツールは、ＪａｖａＳｃｒｉｐｔ命令、ＥＣＭＡＳｃｒｉｐｔ（欧州コンピュータ製造工業会（Ｅｕｒｏｐｅ Ｃｏｍｐｕｔｅｒ Ｍａｎｕｆａｃｔｕｒｅｒｓ Ａｓｓｏｃｉａｔｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ）により発行された仕様）、ＶＢＳｃｒｉｐｔ（商標）（Ｍｉｃｒｏｓｏｆｔ，Ｉｎｃ．社の商標）、又は他のいずれかのクライアント・サイド・スクリプト言語を含有する、プログラム又は手順を含む。別の言い方をすれば、埋め込まれたソフトウェア・アプリケーション・ツールは、ＪａｖａＳｃｒｉｐｔ、ＥＣＭＡＳｃｒｉｐｔ命令、ＶＢＳｃｒｉｐｔ命令、又はウェブ・ブラウザ又は携帯型電子装置１１４上の別のクライアント・アプリケーションによってレンダリングするのに適した別のプログラミング言語における命令を含有する、プログラム又は手順を含むことができる。

ここで、オペレーティング・システム１００のプロセスを説明する。図２は、コントローラ装置１１０（図１）によって実行することができる、３−ｄ仮想環境と対話するためのプロセス２００を示すフロー・チャートを表す。動作中、コントローラ装置は、３−ｄ環境と関連する格納された情報にアクセスし（動作２１０）、表示するために、３−ｄ環境と関連した情報を第１のディスプレイに提供する（動作２１２）。次いで、コントローラ装置は、携帯型電子装置から、３−ｄ環境のサブセット及び関連したコンテキスト依存情報の要求を受信する（動作２１４）。この要求は、携帯型電子装置の検出された運動に基づいており、検出された携帯型電子装置の運動は、直線運動、回転運動、及び／又はジェスチャを含み得ることに留意されたい。次に、コントローラ装置は、携帯型電子装置の第２のディスプレイ上に表示するために、３−ｄ環境のサブセット及び関連したコンテキスト依存情報を携帯型電子装置に提供する（動作２１６）。

幾つかの実施形態において、プロセス２００は、付加的な動作又はより少ない動作を含む。例えば、動作２１０−２１６は、同じユーザ及び／又は複数ユーザの中の１又はそれ以上の他のユーザについて、随意的に何度も繰り返す（動作２１８）ことができる。さらに、動作の順序は変更することができ、及び／又は、２又はそれ以上の動作を組み合わせて単一の動作とすることができる。

ここで、ソフトウェア・アプリケーション１２２（図１）内のユーザ・インターフェースの実施形態を説明する。図３は、ディスプレイ１３０上に表示される３−ｄ仮想環境内の情報と、システム１００（図１）の携帯型電子装置１１４のディスプレイ１２８上に表示される情報のサブセット及び関連したコンテキスト依存情報との図面を表す。具体的には、ディスプレイ１３０は、（軸線３０８を有する）仮想環境における複雑なオブジェクト３１０（複雑な機械のような）を表示する。ユーザは、携帯型電子装置１１４を動かすこと、及び／又はディスプレイ１２８の表面に触れることにより、オブジェクト３１２−１及び３１２−２のような、複雑なオブジェクト３１０の部分を選択することができる。

さらに、ユーザは、ディスプレイ１２８上に表示された情報のサブセット及び関連したコンテキスト依存情報を操作し、制御し、及び／又は修正することができる。例えば、携帯型電子装置１１４−２のユーザは、この装置を動かして、関連したメニュー３１４−２（即ち、関連したコンテキスト依存情報）をナビゲートすることができる。このプロセスにおいて、ユーザは、ディスプレイ１２８−２上のオブジェクト３１２−２の表示を回転又は変更することができる。しかしながら、ディスプレイ１３０上に表示された複雑なオブジェクト３１０に関する共通の情報は、変更されないままにすることができる。メニュー３１４−２は、コンポーネント、材料組成、及び／又は改訂の履歴のような、オブジェクト３１２−２についての情報を含むことができる。幾つかの実施形態において、携帯型電子装置１１４−２のユーザは、携帯型電子装置１１４−２を片手で保持しながら、他方の手でオブジェクト３１２−２に対する修理又は作業を行うことができる。

例示的な一実施形態において、携帯型電子装置１１４−１は、３−ｄ仮想環境内のアバターと関連したコンテキスト依存メニュー３１４−１（又は、対話ウィジェット）を表示する。携帯型電子装置１１４−１のユーザがアバターを制御しているとき、アバター・パペット・ウィジェット及びメニューを表示することができる。より一般的には、ユーザが仮想世界内のオブジェクトを制御しているとき、そのオブジェクトに特有のメニュー及び／又はウィジェットを表示することができる。さらに、ユーザは、携帯型電子装置１１４−１を、アバター・モード（アバターを制御するために使用される）とオブジェクト・モード（仮想オブジェクトを制御するために使用される）の間で切り換えることができる。アバター・モードにおいて、ユーザは（アバターが応答する）感情表現を選択するか、或いは、運動制御又は位置を選択することができる。オブジェクト・モードにおいては、システム１００（図１）は、３−ｄ仮想環境内に３−ｄカーソルを表示し、これを用いてオブジェクトを選択することができる。より一般的には、これらの動作モードにおいて、携帯型電子装置１１４−１を仮想カーソルとして、或いは選択されたオブジェクト又はアバターのためのプロキシとして用いることができる。

ユーザが携帯型電子装置１１４−１上のメニュー／ウィジェットと対話すると（例えば、携帯型電子装置１１４−１を動かすことによって）、（ワシントン州Ｂｅｌｌｅｖｕｅ所在のＢｌｕｅｔｏｏｔｈ ＳＩＧ Ｉｎｃ，社からの）Ｂｌｕｅｔｏｏｔｈ（商標）、又はＩｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ Ｓｕｉｔｅ（ＴＣＰ−ＩＰ）のような通信プロトコルを用いて、コマンドが、ネットワーク１１２（図１）を経由して、３−ｄ環境モジュール１１８（図１）に送られる。

運動検出モジュール１２６（図１）は、ユーザが携帯型電子装置１１４を用いて３−ｄ仮想環境内のオブジェクト及び／又はアバターを操作する間、幾つかの対話モードをサポートできることに留意されたい。幾つかの実施形態において、携帯型電子装置１１４−１を物理空間の１つ又はそれ以上の軸に沿って動かすことにより、対応するカーソル又はアバターが３−ｄ仮想環境内を移動する。しかしながら、この対話モードにおいては、移動のサイズには限界が存在し得る。したがって、運動の限界は、ユーザが３−ｄ仮想環境において直近にあるオブジェクトのみを操作できるように定めることができる。携帯型電子装置１１４−１がこれらの限界を超えると、アバター又はカーソルは、その方向に向かってスクロールすることができる。代替的に、携帯型電子装置１１４−１を傾けることにより、カーソル又はアバターが、３−ｄ仮想環境の中を同様に移動するようにしてもよい。さらに、ユーザが３−ｄ仮想環境を移動していくときに、その位置の２−ｄマップをディスプレイ１２８−１（図１）上に表示し、ユーザの移動に応じてこれをスクロールさせることができる。

幾つかの実施形態において、３−ｄ仮想環境は、携帯型電子装置１１４−１を操作又は動かすことによって送ることができるジェスチャ・コマンドの組に応答する。例えば、一連の迅速な水平方向のスワイプ（ｓｗｉｐｅ）を、運動検出モジュール１２６−１（図１）によって、現在選択されている３−ｄオブジェクトの削除に変換することができる。同様に、蓋を外すのに似た反時計回りの回転運動を、運動検出モジュール１２６−１（図１）によって、「グループ解除」操作として変換し、それにより現在のオブジェクトを構成部品又は部品片に分離することができる。これらの操作が実施される間、ディスプレイ１２８−１を用いて、そのユーザに関連する情報を表示させ、それにより、他の用途のためにディスプレイ１３０上の空間を空けることができる。

システム１００（図１）の別の用途は、協調編集におけるものである。複数のユーザが同時にディスプレイ１３０上の３−ｄオブジェクトの編集を試みた場合、多数のポップアップ・メニュー、ツールバー等が同時に表示される場合がある。結果としてもたらされる混乱、及び関心のあるオブジェクトが遮蔽されてしまう可能性は、ユーザが一緒に作業することを困難にし得る。しかしながら、これらのメニュー及びツールバーを各ユーザの個別の携帯型電子装置へと移動させることにより、ディスプレイ１３０は、全ての３−ｄオブジェクト及び３−ｄ仮想環境におけるその位置の表示をクリアすることができると同時に、ユーザには、自分の携帯型電子装置１１４上に自分の現在の編集タスクに関係する情報のサブセットが与えられる。

したがって、システム１００（図１）は、文書、オンライン百科事典、オンライン・ユーザ・マニュアル（「対話型」文書など）の編集、遠隔保守、遠隔訓練及び／又は遠隔外科手術等の、３−ｄ仮想環境における情報のユーザによる協調編集を容易にすることができる。幾つかの実施形態において、協調編集は、３−ｄオブジェクト及び関連したテキスト情報を含む。これらの３−ｄオブジェクトは、所与の３−ｄオブジェクト内のコンポーネント間の空間画像情報、及び関連したテキスト情報と空間画像情報との間の１つ又はそれ以上の二方向リンクを含むことができる。

別の実施形態において、ユーザがアバターを制御するとき、ディスプレイ１３０及び／又は１つ又はそれ以上のディスプレイ１２８上に、「ソーシャル・コマンド」が表示される。したがって、面倒であり得るキーボード上にタイプされた感情表現（例えば、「／笑顔」）を用いる代わりに、ユーザは、タッチスクリーン又はスクロール・ホイールを用いてそれらをクリックすることによって、又は携帯型電子装置１１４−１を動かすことによって、１つ又はそれ以上のソーシャル・コマンドを起動させることができる。さらに、ディスプレイ１２８−１上の「パペット操作」コマンドを文脈依存型（ｃｏｎｔｅｘｔ−ｓｅｎｓｉｔｉｖｅ）とすることができるので、現在の又は予想されるユーザ・タスクに基づいて、最も適切な選択肢が表示される（例えば、ユーザが社会的交流（ｓｏｃｉａｌ ｉｎｔｅｒａｃｔｉｏｎ）の最中には感情表現のリストを表示し、ユーザがオブジェクトを選択するときにはツールのリストを表示することができる）。したがって、システム１００（図１）は、３−ｄ仮想環境におけるユーザの協調対話を容易にすることができる。

次に、プロセス２００（図２）を実施するコンピュータ・システム（図１のシステム１００内に含ませることができる）の実施形態をさらに説明する。図４は、コントローラ装置１１０（図１）及び／又は携帯型電子装置１１４（図１）の所定のもの等のコンピュータ・システム４００を示すブロック図を表す。コンピュータ・システム４００は、１つ又はそれ以上の運動センサ４０８と、１つ又はそれ以上のプロセッサ４１０と、通信インターフェース４１２と、ユーザ・インターフェース４１４と、これらのコンポーネントを互いに結合する１つ又はそれ以上の信号ライン４２２とを含む。１つ又はそれ以上の処理ユニット４１０は、並行処理及び／又はマルチスレッド操作をサポートすることができ、通信インターフェース４１２は、永続的な通信接続を有することができ、１つ又はそれ以上の信号ライン４２２は、通信バスを構成することができることに留意されたい。さらに、ユーザ・インターフェース４１４は、ディスプレイ４１６、キーボード４１８、及び／又はマウスのようなポインタ４２０を含むことができる。

コンピュータ・システム４００内のメモリ４２４は、揮発性メモリ及び／又は不揮発性メモリを含むことができる。より具体的には、メモリ４２４は、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、１つ又はそれ以上のスマート・カード、１つ又はそれ以上の磁気ディスク記憶装置、及び／又は１つ又はそれ以上の光学式記憶装置を含むことができる。メモリ４２４は、ハードウェア依存タスクを実行するための種々の基本的システム・サービスを取り扱うための手順（又は命令セット）を含んだオペレーティング・システム４２６を格納することができる。幾つかの実施形態において、オペレーティング・システム４２６は、リアル・タイム・オペレーティング・システムである。図４には図示されないが、幾つかの実施形態において、メモリ４２４は、ウェブ・ブラウザを含む。メモリ４２４はまた、通信手順（又は、命令セット）を、通信モジュール４２８内に格納することができる。これらの通信手順は、コンピュータ・システム４００に対して遠隔配置されたコンピュータ、デバイス、及び／又はサーバを含む、１つ又はそれ以上のコンピュータ、デバイス、及び／又はサーバと通信するために用いることができる。

メモリ４２４はまた、３−ｄ環境モジュール１１８（又は、命令セット）及びソフトウェア・アプリケーション・ツール４３０（又は、命令セット）を含む、複数のプログラム・モジュール（又は、命令セット）を含むこともできる。さらに、ソフトウェア・アプリケーション・ツール４３０は、３−ｄ表示モジュール４３２（又は、命令セット）、運動検出モジュール４３４（又は、命令セット）、及び／又は触覚式監視モジュール４３６（又は、命令セット）を含むことができる。これらのプログラム・モジュール（又は、命令セット）の１つ又はそれ以上は、コンピュータ・プログラム機構を構成することができることに留意されたい。

前述のように、３−ｄ環境モジュール１１８は、環境情報１２０にアクセスし、ディスプレイ１３０上に表示する３−ｄ仮想環境を生成することができる。さらに、携帯型電子装置１１４（図１）上のソフトウェア・アプリケーション・ツール４３０のユーザは、自自分の携帯型電子装置を介して、１又はそれ以上の文書４４２又はオブジェクト／アバター４４４を操作又は制御することができる。具体的には、１つ又はそれ以上の運動センサ４０８（及び、関連したハードウェア・コントローラ）は、所与の携帯型電子装置の運動を検出することができる。次いで、運動検出モジュール４３４は、検出された運動を解釈することができる。代替的又は付加的に、触覚式監視モジュール４３６が、タッチ・センシティブ・ディスプレイ等のディスプレイ４１６とユーザとの対話を解釈することもできる。通信モジュール４２８を用いて、これらのモジュールは、３−ｄ仮想環境における情報のサブセットの要求、並びに、オブジェクト／アバターＡ ４４０−１及びオブジェクト／アバターＢ ４４０−２についての関連したコンテキスト依存情報のような、関連したコンテキスト依存情報４３８の要求を送ることができる。

要求に応答して、３−ｄ環境モジュール１１８は、通信モジュール４２８を用いて、情報のサブセット及び関連したコンテキスト依存情報４３８を含む命令又は信号を提供することができる。次いで、３−ｄ表示モジュール４３２が、ディスプレイ４１６上に情報のサブセット及び関連したコンテキスト依存情報４３８を表示することができる。次に、ユーザは、ディスプレイ１３０上にある共通のコンテンツを見ながら、コンテンツを操作し、制御し、及び／又は変更することができる。３−ｄ環境モジュール１１８は、ユーザによる将来の使用のために、環境情報１２０における、あらゆる修正又は変更の記録（通信モジュール４２８を用いて、所与の携帯型電子装置内のソフトウェア・アプリケーション・ツール４３０によって、３−ｄ環境モジュール１１８に送信される）を保持できることに留意されたい。

幾つかの実施形態においては、通信モジュール４２８を用いて、所与の携帯型電子装置により、１つ又はそれ以上の識別子４４６が最初に提供される。１つ又はそれ以上の識別子４４６に基づいて、３−ｄ環境モジュール１１８は、所与の携帯型電子装置のユーザをシステムにログインさせ、通信モジュール４２８を用いて、最初の所定の情報のサブセット及び関連したコンテキスト依存情報４３８を、所与の携帯型電子装置に与えることができる。さらに、幾つかの実施形態においては、３−ｄ環境モジュール１１８は、通信モジュール４２８を用いて、ユーザ・インターフェース４１４内のコンポーネントを振動させる命令等のフィードバックを、所与の携帯型電子装置のユーザに与えることができる。例えば、それぞれの携帯型電子装置上の情報のサブセットと関連した２人のユーザの動作間に競合が生じた場合に振動するよう、コンポーネントに命令することができる。

メモリ４２４内の種々のモジュールにおける命令は、高レベル手続き型言語、オブジェクト指向プログラミング言語、及び／又はアセンブリ若しくは機械言語で実装することができる。１つ又はそれ以上の処理ユニット４１０によって実行されるように、このプログラミング言語は、コンパイル又は解釈することができる、即ち、構成可能である又は構成することができる。

コンピュータ・システム４００は、多数の別個の品目を有するものとして示されるが、図４は、本明細書で説明される実施形態の構造上の概略ではなく、コンピュータ・システム４００内に存在し得る種々の特徴の機能的説明であることを意図している。実際には、当業者により認識されるように、コンピュータ・システム４００の機能は、多数の装置又はコンピュータにわたって分散させることができ、装置又はコンピュータの種々のグループが特定の機能のサブセットを実行している。幾つかの実施形態においては、コンピュータ・システム４００の機能の一部又は全てを、１つ又はそれ以上の特定用途向け集積回路（ＡＳＩＣ）及び／又は１つ又はそれ以上のデジタル信号プロセッサ（ＤＳＰ）内に実装することができる。

コンピュータ・システム４００内のコンピュータ及びサーバは、コンピュータ可読データを操作することができる、又はかかるデータをネットワーク上で２つ又はそれ以上のコンピュータ・システム間で通信することができる、パーソナル・コンピュータ、ラップトップ・コンピュータ、メインフレーム・コンピュータ、携帯型電子装置（携帯電話又はＰＤＡのような）、サーバ及び／又はクライアント・コンピュータ（クライアント・サーバ・アーキテクチャにおける）を含む、種々の装置の１つを含むことができる。さらに、ネットワーク１１２（図１）は、インターネット、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ（ＷＷＷ）、イントラネット、ＬＡＮ、ＷＡＮ、ＭＡＮ、又はネットワークの組み合わせ、或いはコンピュータ・システム間の通信を可能にする他の技術を含むことができる。

幾つかの実施形態において、システム１００（図１）及び／又はコンピュータ・システム４００は、より少ない又は付加的なコンポーネントを含む。さらに、２つ又はそれ以上のコンポーネントを組み合わせて単一のコンポーネントとすることができ、及び／又は１つ又はそれ以上のコンポーネントの位置を変更することもできる。さらに、当技術分野において周知のように、システム１００（図１）及び／又はコンピュータ・システム４００の機能は、ハードウェアにおいてより多く、ソフトウェアにおいてより少なく、或いは、ハードウェアにおいてより少なく、ソフトウェアにおいてより多く実装することができる。

ここで、コンピュータ・システム４００において用いることができるデータ構造を説明する。図５は、データ構造５００を示すブロック図を表す。このデータ構造は、コンテキスト依存情報５１０を含むことができる。例えば、コンテキスト依存情報５１０−１は、コンポーネント５１２−１（オブジェクト又はアバターなどの）、関連したメニュー５１４−１、及びコマンド５１６−１（ソーシャル・コマンドなどの）についての識別子を含むことができる。

幾つかの実施形態において、データ構造５００は、より少ない又は付加的なコンポーネントを含む。さらに、２つ又はそれ以上のコンポーネントを組み合わせて単一のコンポーネントとすることができ、及び／又は１つ又はそれ以上のコンポーネントの位置を変更することもできる。

本開示の実施形態の上記の説明が、例示及び説明のみを目的として提示された。これらは、網羅的であることを意図するものではなく、又は、本開示を開示された形態に限定することを意図するものでもない。したがって、当業者には、多数の修正及び変形が明らかであろう。付加的に、上記の開示は、本開示を限定することを意図するものではない。本開示の範囲は、添付の特許請求の範囲によって定められる。

本発明の第１の態様に係るシステムは、三次元（３−ｄ）環境と関連した情報を格納するように設定されたコントローラ装置と、前記コントローラ装置に結合され、前記３−ｄ環境を表示するように構成された第１のディスプレイと、前記コントローラ装置と情報を通信するように構成された少なくとも１つの携帯型電子装置と、を含み、前記携帯型電子装置は、直線運動、回転運動、直線及び回転運動、又はジェスチャを含む前記携帯型電子装置の運動を検出するように構成された３−ｄ運動センサと、前記検出された運動に基づいて、３−ｄレンダリングされた前記３−ｄ環境のサブセット及び関連したコンテキスト依存情報を表示するように設定された第２のディスプレイと、を含むことを特徴とする。

本発明の第２の態様に係るシステムは、第１の態様において、前記携帯型電子装置が、携帯電話を含むことを特徴とする。

本発明の第３の態様に係るシステムは、第１の態様において、前記３−ｄ運動センサが、加速度計を含むことを特徴とする。

本発明の第４の態様に係るシステムは、第１の態様において、前記３−ｄ環境が、仮想現実を含むことを特徴とする。

本発明の第５の態様に係るシステムは、第１の態様において、ユーザと関連付けられた複数の携帯型電子装置をさらに含み、所与の携帯型電子装置は、前記所与の携帯型電子装置の検出された運動に基づいて、前記３−ｄ環境の所与のサブセット及び前記関連したコンテキスト依存情報を所与のユーザに表示し、前記第１のディスプレイ上に表示される前記３−ｄ環境は、前記ユーザに共通の情報を含むことを特徴とする。

本発明の第６の態様に係るシステムは、第５の態様において、少なくとも２つの携帯型電子装置上に表示される前記３−ｄ環境のサブセットが異なることを特徴とする。

本発明の第７の態様に係るシステムは、第５の態様において、前記システムが、前記３−ｄ環境において、前記ユーザによる前記情報の協調編集を容易にすることを特徴とする。

本発明の第８の態様に係るシステムは、第５の態様において、前記システムが、前記３−ｄ環境において、前記ユーザの協調対話を容易にすることを特徴とする。

本発明の第９の態様に係るシステムは、第５の態様において、前記コントローラ装置が、前記関連付けられた携帯型電子装置を介して与えられた前記情報に対する変更と関連した競合が前記３−ｄ環境において生じた場合、該関連付けられた携帯型電子装置を介して前記ユーザの少なくとも２人にフィードバックを提供することを特徴とする。

本発明の第１０の態様に係るシステムは、第１の態様において、前記第２のディスプレイが、タッチ・センシティブ・ディスプレイを含み、前記第２のディスプレイが、ユーザの該第２のディスプレイの表面との対話に基づいて、前記３−ｄ環境の前記サブセット及び前記関連したコンテキスト依存情報を表示するように構成されることを特徴とする。

本発明の第１１の態様に係るシステムは、第１の態様において、前記携帯型電子装置が、固有の識別子を、前記中央コントローラに提供するように構成され、前記第２のディスプレイ上に最初に表示される前記３−ｄ環境の前記サブセット及び前記関連したコンテキスト依存情報が、前記固有の識別子に基づくことを特徴とする。

本発明の第１２の態様に係る方法は、３−ｄ環境と対話するための方法であって、前記３−ｄ環境と関連する格納された情報にアクセスするステップと、前記３−ｄ環境と関連した前記情報を第１のディスプレイに提供するステップであって、該３−ｄ環境は前記第１のディスプレイ上に表示される、ステップと、前記３−ｄ環境のサブセット及び関連したコンテキスト依存情報に対する要求を携帯型電子装置から受信するステップであって、前記要求は前記携帯型電子装置の検出された運動に基づいており、該携帯型電子装置の前記検出された運動は、直線運動、回転運動、直線及び回転運動、又はジェスチャを含む、ステップと、前記３−ｄ環境の前記サブセット及び前記関連したコンテキスト依存情報を前記携帯型電子装置に提供するステップであって、該３−ｄ環境の該サブセット及び該関連したコンテキスト依存情報は、該携帯型電子装置の第２のディスプレイに表示される、ステップと、を含むことを特徴とする。

本発明の第１３の態様に係るコンピュータ・プログラムは、システムと共に用いるためのコンピュータ・プログラムであって、前記コンピュータ・プログラムは、コンピュータ可読記憶媒体と、３−ｄ環境との対話を容易にするように内部に埋め込まれたコンピュータ・プログラム機構とを含み、前記コンピュータ・プログラム機構は、前記３−ｄ環境と関連する格納された情報にアクセスするための命令と、前記３−ｄ環境と関連する情報を第１のディスプレイに提供するための命令であって、該３−ｄ環境は前記第１のディスプレイ上に表示される、命令と、３−ｄレンダリングされた前記３−ｄ環境のサブセット及び関連したコンテキスト依存情報に対する要求を携帯型電子装置から受信するための命令であって、前記要求は、前記携帯型電子装置の検出された運動に基づいており、該携帯型電子装置の前記検出された運動は、直線運動、回転運動、直線及び回転運動、又はジェスチャを含む、命令と、前記３−ｄ環境の前記サブセット及び前記関連したコンテキスト依存情報を前記携帯型電子装置に提供するための命令であって、該３−ｄ環境の該サブセット及び該関連したコンテキスト依存情報は、該携帯型電子装置の第２のディスプレイ上に表示される、命令と、を含むことを特徴とする。

本発明の第１４の態様に係るコンピュータ・プログラムは、第１３の態様において、前記コンピュータ・プログラム機構が、ユーザと関連付けられた携帯型電子装置から、３−ｄレンダリングされた前記３−ｄ環境のサブセット及び関連したコンテキスト依存情報に対する要求を受信するための命令であって、所定の携帯型電子装置からの所定の要求は前記所定の携帯型電子装置の検出された運動に基づいており、該所定の携帯型電子装置の該検出された運動が、直線運動、回転運動、直線及び回転運動、又はジェスチャを含む、命令と、前記３−ｄ環境の前記サブセット及び前記関連したコンテキスト依存情報を、前記携帯型電子装置に提供するための命令であって、該３−ｄ環境の該サブセット及び該関連したコンテキスト依存情報は、該携帯型電子装置の第２のディスプレイ上に表示される、命令と、を含み、前記第１のディスプレイ上に表示される前記３−ｄ環境は、前記ユーザに共通の情報を含むことを特徴とする。

本発明の第１５の態様に係るコンピュータ・プログラムは、第１４の態様において、少なくとも２つの携帯型電子装置上に表示される前記３−ｄ環境のサブセットが異なることを特徴とする。

本発明の第１６の態様に係るコンピュータ・プログラムは、第１４の態様において、前記コンピュータ・プログラム機構が、前記関連付けられた携帯型電子装置を介して与えられた前記情報に対する変更と関連した競合が前記３−ｄ環境において生じた場合、該関連付けられた携帯型電子装置を介して前記ユーザの少なくとも２人にフィードバックを提供するための命令を含むことを特徴とする。

１００：システム
１１０：コントローラ装置
１１２：ネットワーク
１１４、１１４−１、１１４−２：携帯型電子装置
１１６：通信モジュール
１１８：３−ｄ仮想環境モジュール（３−ｄ環境モジュール）
１２０：環境情報
１２２、１２２−１：ソフトウェア・アプリケーション
１２４、１２４−１、４３２：３−ｄ表示モジュール
１２６、１２６−１、４３４：運動検出モジュール
１２８、１２８−１、１２８−２、１３０、４１６：ディスプレイ
１２９：仮想世界クライアント
１３０：ディスプレイ
２００：プロセス
３０８：軸
３１０、３１２、３１２−１、３１２−２：オブジェクト
３１４、３１４−１、３１４−２：メニュー
４００：コンピュータ・システム
４０８：運動センサ
４１０：プロセッサ
４１２：通信インターフェース
４１４：ユーザ・インターフェース
４１８：キーボード
４２０：ポインタ
４２２：信号ライン
４２４：メモリ
４２６：オペレーティング・システム
４２８：通信モジュール
４３０：ソフトウェア・アプリケーション・ツール
４３６：触覚式監視モジュール
４３８：コンテキスト依存情報
４４２：文書
４４４：オブジェクト／アバター
４４６：識別子
５００：データ構造
５１０、５１０−１：コンテキスト依存情報

Claims (4)

1. 三次元（３−ｄ）環境と関連した情報を格納するように設定されたコントローラ装置と、
   前記コントローラ装置に結合され、前記３−ｄ環境を表示するように構成された第１のディスプレイと、
   前記コントローラ装置と情報を通信するように構成された少なくとも１つの携帯型電子装置と、
   を含み、前記携帯型電子装置は、
   直線運動、回転運動、直線及び回転運動、又はジェスチャを含む前記携帯型電子装置の運動を検出するように構成された３−ｄ運動センサと、
   前記検出された運動に基づいて、３−ｄレンダリングされた前記３−ｄ環境のサブセット及び関連したコンテキスト依存情報を表示するように設定された第２のディスプレイと、
   を含むことを特徴とするシステム。
2. ユーザと関連付けられた複数の携帯型電子装置をさらに含み、所与の携帯型電子装置は、前記所与の携帯型電子装置の検出された運動に基づいて、前記３−ｄ環境の所与のサブセット及び前記関連したコンテキスト依存情報を所与のユーザに表示し、
   前記第１のディスプレイ上に表示される前記３−ｄ環境は、前記ユーザに共通の情報を含むことを特徴とする、請求項１に記載のシステム。
3. 前記システムは、前記３−ｄ環境において、前記ユーザの協調対話を容易にすることを特徴とする、請求項２に記載のシステム。
4. 前記コントローラ装置は、前記関連付けられた携帯型電子装置を介して与えられた前記情報に対する変更と関連した競合が前記３−ｄ環境において生じた場合、該関連付けられた携帯型電子装置を介して前記ユーザの少なくとも２人にフィードバックを提供することを特徴とする、請求項２に記載のシステム。

Images