JP2016126772A - 拡張及び仮想現実アプリケーションのための触覚的に向上されたオブジェクトを生成するシステム及び方法 - Google Patents

Abstract

【課題】拡張及び仮想現実アプリケーションのための触覚的に向上されたオブジェクトを生成するシステム及び方法を提供する。【解決手段】システム１０は、仮想オブジェクトとそれに関連付けられた触覚アセットとを記憶するように構成されたメモリ装置と、仮想オブジェクトを表示するように構成された拡張又は仮想現実空間を生成するように構成された拡張／仮想現実装置２００と、拡張／仮想現実装置２００が仮想オブジェクトが関わるインタラクションを検出したときに、触覚アセットに基づいて触覚効果を生成するように構成された触覚出力装置１２０を含む電子装置１００と、を備える。【選択図】図１

Description

本発明は、拡張及び仮想現実アプリケーションのための触覚的に向上されたオブジェクトを生成するシステム及び方法に関する。

拡張現実（「ＡＲ」）装置は、物理空間内の物理オブジェクトが仮想空間内の仮想オブジェクトと同時に表示される拡張現実環境を提供する。様々な拡張現実装置が、物理オブジェクト上に配置された特定のコード（例えば、ＱＲコード（登録商標））を認識し、該特定のコードに基づいて仮想オブジェクトを用いて拡張される物理オブジェクトを含む表示画像内に、一又は複数の仮想オブジェクトを表示する。他の拡張現実装置は、画像認識を行うサーバに画像を送信するなどして、画像認識を用いて特定の既知の物理オブジェクトを認識することができる。仮想現実（「ＶＲ」）装置は仮想世界環境を提供するが、ＶＲ装置のユーザは通常は仮想世界環境内でアバターとして表現され、当該ユーザが仮想世界環境内でアバターの動作を制御する。

仮想現実技術に対する拡張現実技術の潜在的な優位性は、現実世界に仮想オブジェクトを上書きすることができることであるが、仮想現実技術は仮想オブジェクトからなる仮想世界で現実世界を置き換えてもよい。残念ながら、仮想オブジェクトは実際には存在しないため、ユーザはそれらの仮想オブジェクトに触れることはできない。

拡張及び仮想現実アプリケーションにおいて仮想オブジェクトに触覚を追加してユーザの体験を向上し、それによってユーザが仮想オブジェクトとインタラクションする際に仮想オブジェクトの手触りを感じ、感触を確かめ、仮想オブジェクトと物理オブジェクトとの間及び／又は仮想オブジェクト間の衝突を感じるようにすることが望ましい。

本発明の一態様によれば、提供されるシステムは、仮想オブジェクトとそれに関連付けられた触覚アセットとを記憶するように構成されたメモリ装置と、前記仮想オブジェクトを表示するように構成された拡張又は仮想現実空間を生成するように構成された拡張又は仮想現実装置と、前記拡張又は仮想現実装置が前記仮想オブジェクトが関わるインタラクションを検出したときに、前記触覚アセットに基づいて触覚効果を生成するように構成された触覚出力装置を含む電子装置と、を備える。

一実施形態において、前記メモリ装置がサーバの一部であり、前記電子装置が前記サーバから前記仮想オブジェクト及びそれに関連付けられた触覚アセットをダウンロードするように構成される。一実施形態において、サーバはクラウド・コンピューティング・システム一部分である。一実施形態において、前記電子装置は前記仮想オブジェクトを前記拡張又は仮想現実装置に伝達するように構成される。

一実施形態において、前記電子装置は、ハンドヘルド電子装置である。一実施形態において、前記ハンドヘルド電子装置は、前記システムのユーザが前記仮想オブジェクトとインタラクションすることを可能にするように構成されたタッチスクリーンを含む。

一実施形態において、前記電子装置は、ウェアラブル装置である。

一実施形態において、前記拡張又は仮想現実装置はヘッドマウントディスプレイである。

一実施形態において、前記メモリ装置、前記拡張又は仮想現実装置、及び前記電子装置は単一の一体化された装置の一部である。

一実施形態において、前記触覚アセットは、前記触覚出力装置が前記触覚効果を生成するための制御信号の少なくとも１つのパラメータを含む。一実施形態において、前記少なくとも１つのパラメータは、前記制御信号の振幅、周波数、及び継続時間からなる群から選択される。

一実施形態において、前記電子装置は前記仮想オブジェクトの状態を判定するように構成され、前記触覚効果は前記仮想オブジェクトの前記状態に従って予め設計された触覚効果である。

一実施形態において、前記電子装置は、入力された力及び前記仮想オブジェクトの物理特性に従って触覚パラメータを動的に計算するように構成される。

一実施形態において、前記電子装置は前記仮想オブジェクトの状態を監視するように構成され、前記触覚出力装置は前記仮想オブジェクトの前記状態が変わるときに異なる触覚効果を生成するように構成される。

本発明の一態様によれば、提供される方法は、メモリ装置から仮想オブジェクト及びそれに関連付けられた触覚アセットを取得する工程と、拡張又は仮想現実装置によって生成された拡張又は仮想現実空間内に前記仮想オブジェクトを表示する工程と、前記拡張又は仮想現実装置が前記仮想オブジェクトが関わるインタラクションを検出したときに、触覚出力装置を用いて前記触覚アセットに基づいて触覚効果を生成する工程と、を備える。

一実施形態において、前記方法は電子装置を用いてサーバの前記メモリ装置から仮想オブジェクトをダウンロードする工程を備える。一実施形態において、サーバはクラウド・コンピューティング・システム一部分である。

一実施形態において、前記触覚効果を生成する工程は、前記仮想オブジェクトの状態を判定する工程と、及び前記仮想オブジェクトの前記状態に従って予め設計された触覚効果を実行する工程とを含む。

一実施形態において、前記触覚効果を生成する工程は、入力された力及び前記仮想オブジェクトの物理特性に従って触覚パラメータを動的に計算する工程を含む。

一実施形態において、前記方法は、前記仮想オブジェクトの状態を監視する工程と、前記仮想オブジェクトの前記状態が変わるときに異なる触覚効果を生成する工程と、を含む。

本発明の上記及び上記以外の目的、特徴、及び性質、並びに、関連する構成要素の動作方法及び機能、そして製造における各部分の組み合わせと経済性については、添付図面を参照しつつ以下の詳細な説明と添付の特許請求の範囲を検討することによってさらに明らかになる。これらはいずれも本明細書の一部を構成する。添付図面は例示及び説明のためのものであり、本発明の発明特定事項の定義として用いることは意図されていない。本明細書及び特許請求の範囲における用法によれば、単数形の「ａ」、「ａｎ」及び「ｔｈｅ」には複数のものへの言及が含まれる。ただし、文脈によって別に解すべきことが明白な場合はこの限りでない。

以下の図面の構成要素は、本開示の原理の概略を強調するように描写されており、必ずしも寸法通りには記載されていない。一貫性及び明瞭性を確保するために、対応する構成要素を指し示す参照符号は、必要に応じ、複数の図面にわたって繰り返し用いられる。

本発明の実施形態にかかるシステムの模式図である。

図１のシステムの電子装置のプロセッサの模式図である。

図１のシステムの拡張又は仮想現実装置のプロセッサの模式図である。

図１のシステムのサーバのプロセッサの模式図である。

本発明の一実施形態にかかる拡張又は仮想現実環境の模式図である。

本発明の実施形態にかかる方法のフローチャートである。

図１は、本発明の一実施形態に係るシステム１０の模式図である。図に示すように、システム１０は電子装置１００、電子装置１００の一部であるか又はそれとは別体のハンドヘルド／ウェアラブル装置１０２、拡張／仮想現実（「ＡＲ／ＶＲ」）装置２００、サーバ３００、一又は複数の通信チャネル３５０、及び／又は前記電子装置１００、ハンドヘルド／ウェアラブル装置１０２、ＡＲ／ＶＲ装置２００、及び／又はサーバ３００と通信を行うその他の装置を含む。

電子装置１００は、システム１０のユーザと拡張現実（「ＡＲ」）環境内の仮想オブジェクトとの間のインタラクション、並びにＡＲ環境内の２つの仮想オブジェクト間のインタラクション、及び仮想現実（「ＶＲ」）環境内の２つの仮想オブジェクト間のインタラクションに基づいて、触覚フィードバックを提供するように構成される。説明の利便性のために、「ＡＲ／ＶＲ環境」という用語は本明細書において、その環境の少なくとも一部が仮想現実空間を含むことを意味する。これについては後に詳述する。ＡＲ／ＶＲ環境は、電子装置１００と通信可能に結合されたＡＲ／ＶＲ装置２００によって生成されてもよい。システム１０の一部の実施形態においては、ＡＲ／ＶＲ装置２００は仮想現実装置のみであり、拡張現実の側面は含まなくてもよい。

ＡＲ／ＶＲ装置２００はＡＲ／ＶＲ環境を生成してもよく、また電子装置１００からリモートであってもよい。後に詳述するが、ＡＲ／ＶＲ環境は、少なくとも１つの物理オブジェクトが存在する物理空間、及び当該物理オブジェクトを拡張する一又は複数の仮想オブジェクトが表示される、又は物理オブジェクトを拡張しない仮想オブジェクトが表示される仮想現実空間を含んでもよい。一実施形態において、ＡＲ／ＶＲ装置２００はヘッドマウント装置として構成されてもよい。

図１に示すように、電子装置１００は、ＡＲ／ＶＲ装置２００及び／又はサーバ３００から制御信号を受信するように構成されたプロセッサ１１０、受信した制御信号に基づいて触覚効果を生成するように構成された触覚出力装置１２０、通信ポート１３０、位置／方位装置１４０、入力要素１５０、及び識別装置１６０を含む。電子装置１００には、図１に示されるよりも多い又は少ない数の構成要素を含んでもよい。図に示した実施形態に限定されることを意図していない。

後に詳述するが、一実施形態において、ハンドヘルド／ウェアラブル装置１０２並びに電子装置１００は、手袋、スマートウォッチ、ブレスレット、指輪、シンブル、及び／又はその他の着用可能な任意の装置の形態のウェアラブル装置として構成されてもよい。一実施形態において、ハンドヘルド／ウェアラブル装置１０２並びに電子装置１００は、スタイラス、ジョイスティック、携帯電話、スマートフォン、タブレット、ビデオゲームコントローラ、及び／又はＡＲ／ＶＲ装置２００と通信可能に結合されるその他の任意のハンドヘルド装置などのハンドヘルド装置として構成されてもよい。一実施形態において、電子装置１００及びＡＲ／ＶＲ装置２００は単一の物理装置内の別個の装置であってもよい。一実施形態において、電子装置１００及びＡＲ／ＶＲ装置２００は、携帯電話、スマートフォン、タブレットなどの単一の物理装置内で一体化されていてもよい。

図２に示すように、電子装置１００のプロセッサ１１０は、例えば、触覚フィードバック制御モジュール１１１、通信モジュール１１２、及び／又は電子装置１００のその他のコンピュータプログラムモジュールを含む一又は複数のモジュールを実行するように構成されている。プロセッサ１１０は、電子装置１００の動作および機能を管理または制御する汎用または特殊用途プロセッサ、あるいはマイクロコントローラである。例えば、プロセッサ１１０は、モジュール１１１，１１２との間の入出力信号を制御する特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：「ＡＳＩＣ」）として、特に設計されてもよい。また、プロセッサ１１０は電子ストレージ又はメモリ装置１１３を含んでもよい。メモリ装置１１３は、内部に固定された１つ又は複数の記憶ユニット、リムーバブル記憶ユニット、及び／又はリモート・アクセスが可能な記憶ユニットを含む。これら様々な記憶ユニットは、揮発性メモリと不揮発性メモリとのいかなる組合せをも含み得る。記憶ユニットは、情報、データ、命令、ソフトウェア・コードなどの任意の組合せを記憶し得るように構成されてもよい。触覚フィードバック制御モジュール１１１は、制御信号を受信して、触覚出力装置１２０に触覚効果の形態でフィードバックを提供させる。通信モジュール１１２は、電子装置１００、ＡＲ／ＶＲ装置２００、ハンドヘルド／ウェアラブル装置１０２、及び／又はサーバ３００の間の通信を容易にするように構成される。

触覚フィードバック制御モジュール１１１は、制御信号をサーバ３００及び／又はＡＲ／ＶＲ装置２００から受信し、触覚出力装置１２０に電子装置１００を介して触覚フィードバックを提供させる。一実施形態において、制御信号は、ユーザとＡＲ／ＶＲ装置２００によって表示される仮想オブジェクトとの間のインタラクションを表す。一実施形態において、制御信号は、ＡＲ／ＶＲ装置２００によって表示されるＡＲ／ＶＲ環境内の仮想オブジェクト間のインタラクションを表す。一実施形態において、制御信号は、仮想オブジェクトと物理オブジェクトとの間のインタラクションを表す。一実施形態において、触覚フィードバック制御モジュール１１１は制御信号を触覚出力装置１２０に提供するように構成される。一実施形態において、制御信号は触覚出力装置１２０に直接与えられて触覚フィードバックを発生させることもある。一実施形態において、触覚フィードバック制御モジュール１１１はサーバ３００又はＡＲ／ＶＲ装置２００から受信した制御信号に基づいて触覚フィードバック・レスポンスを決定するように構成される。一実施形態において、触覚フィードバック制御モジュール１１１は検索テーブルを参照して、受信した制御信号に基づいて触覚フィードバック・レスポンスを決定する。

一実施形態において、検索テーブルは複数の制御信号と複数の触覚フィードバック・レスポンスとの間の関連付けを記憶する。例えば、仮想オブジェクトがＡＲ／ＶＲ環境内で表示されたことを示す情報を制御信号が含む場合、検索テーブルはＡＲ／ＶＲ環境内で表示され得る仮想オブジェクトごとに異なる触覚フィードバック・レスポンスを記憶する。例えば、触覚フィードバック・レスポンスは信号内に示される仮想オブジェクトのうちの一又は複数と協調し、それによって当該触覚フィードバック・レスポンスは信号内で示される一又は複数の仮想オブジェクトの一又は複数の特性に対応する。電子装置１００又はハンドヘルド／ウェアラブル装置１０２と一又は複数の仮想オブジェクトとの間のインタラクションを示す情報を制御信号が含む場合、検索テーブルは、電子装置１００又はハンドヘルド／ウェアラブル装置１０２とＡＲ／ＶＲ環境との間で発生し得るインタラクションごとに異なる触覚フィードバック・レスポンスを記憶してもよい。一実施形態において、触覚フィードバック制御モジュール１１１は、複数の制御信号とそれに関連付けられたフィードバック・レスポンスを含む検索テーブルを記憶するように構成されたサーバ３００から、触覚フィードバック・レスポンスを取得する。サーバ３００はクラウド・コンピューティング・システムの一部であるクラウドベースサーバ、又は他の任意のサーバであってもよい。

一実施形態において、通信モジュール１１２は、電子装置１００、ＡＲ／ＶＲ装置２００、サーバ３００、及び／又は電子装置１００と類似の構成要素及び機能を有するハンドヘルド／ウェアラブル装置１０２、及び／又は電子装置１００と通信を行うその他の装置の間の通信を容易にするように構成される。通信モジュール１１２は、電子装置１００、ＡＲ／ＶＲ装置２００、ハンドヘルド／ウェアラブル装置１０２、サーバ３００、及び／又は電子装置１００と通信を行うその他の装置の間の通信のための有線又は無線の通信チャネル３５０を提供するように構成される。

再び図１を参照すると、触覚出力装置１２０は、触覚効果の形態で触覚フィードバックを提供するように構成された一又は複数の触覚出力装置を含む。触覚出力装置１６０によって提供される触覚フィードバックは、振動、変形、運動感覚、静電摩擦又は超音波摩擦等の触覚効果を生成する任意の方法によって生成されてもよい。一実施形態において、触覚出力装置１２０が備え得るアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体（「ＥＲＭ」）などの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、又は圧電材料、電気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、及び／又は、例えば、振動触覚フィードバックである物理的フィードバックを提供する他の種類のアクチュエータである。触覚出力装置１２０は、非機械的装置又は非振動装置、例えば、静電摩擦（「ＥＳＦ」）や超音波摩擦（「ＵＳＦ」）を用いる装置、超音波触覚トランスデューサを用いて音響放射圧力を生じさせる装置、触覚基板及び可撓性もしくは変形可能な表面を用いる装置、又は、熱的効果を提供する装置、又は、エアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。異なる触覚効果を生成するために、複数の触覚出力装置１２０を用いてもよい。

触覚出力装置１２０は、触覚フィードバック制御モジュール１１１から一又は複数の信号（例えば、制御信号又は触覚フィードバック信号）を受信するように構成される。この一又は複数の信号に基づいて、触覚出力装置１２０は電子装置１００を解して触覚フィードバックを提供してもよい。一実施形態において、触覚出力装置１２０は、ハンドヘルド／ウェアラブル装置１０２の一部であってもよく、触覚フィードバックはハンドヘルド／ウェアラブル装置１０２を介して提供されてもよい。

通信ポート１３０はインターフェースを備え、それを介して、例えばＡＲ／ＶＲ装置２００との通信チャネル３５０が維持される。ＡＲ／ＶＲ装置２００からの制御信号は通信チャネル３５０を介して受信される。この通信チャネル３５０は、有線又は無線の通信チャネルを含む。

位置／方位装置１４０は、通信チャネル３５０を介して電子装置１００の位置、方位、又はその両方をＡＲ／ＶＲ装置２００に提供するように構成されてもよい。位置／方位装置１４０は、ジャイロスコープ、地理空間位置決定装置、コンパス、及び／又はその他の方位決定又は位置決定装置を含んでもよい。

入力要素１５０は、例えば、ボタン押下、ジェスチャ、及び／又は他の入力を受けるように構成されてもよい。入力はプロセッサ１１０によって通信チャネル３５０を介してＡＲ／ＶＲ装置２００に伝達されてもよい。入力要素１５０は、タッチ・パッド、タッチ・スクリーン、機械式ボタン、スイッチ、及び／又は入力を受けることができる他の入力コンポーネントを含む。

識別装置１６０は電子装置１００の識別標識を生成するように構成されてもよい。この識別標識はＡＲ／ＶＲ装置２００によって電子装置１００を識別するために用いられてもよい。この識別標識は、可視的な光学署名（例えば、可視光の波長の範囲内の光学署名）又は不可視的署名（例えば、可視光の波長の範囲内ではない光学署名）を含んでもよい。

一部の実施形態において、拡張現実（「ＡＲ」）記号が電子装置１００の表面に記載されてもよい。このＡＲ記号を用いて、例えば、ＡＲ／ＶＲ環境内で電子装置１００の方位を決定すること、ＡＲ／ＶＲ環境内で電子装置１００の存在を識別すること、及び／又は電子装置１００の他の形態の認識を可能にすることができる。一実施形態において、電子装置１００は音声署名、赤外線署名、及び／又はＡＲ／ＶＲ装置２００が認識できるその他の署名を発信してもよい。

ＡＲ／ＶＲ装置２００は、仮想現実（「ＶＲ」）空間及び物理空間の両方を含むＡＲ／ＶＲ環境を生成するように構成されてもよい。ＡＲ／ＶＲ装置２００は、例えば、プロセッサ２１０、撮像装置２２０、通信ポート２３０、及び／又は他のコンポーネントを備える。プロセッサ２１０は物理空間と一致するＶＲ空間を生成するように構成される。プロセッサ２１０は、物理空間内の少なくとも１つの物理オブジェクトを認識し、ＶＲ空間内の一又は複数の仮想オブジェクトを用いて少なくとも１つの物理オブジェクトを拡張するように構成される。プロセッサ２１０は、ＶＲ環境内のイベントを判定し、そのイベントを表す制御信号を有線又は無線の通信チャネル３５０を介して電子装置１００に通信するように構成されてもよい。この制御信号により、電子装置１００において触覚フィードバックが生成される。撮像装置２２０は、物理空間を画像化するように構成される。一実施形態において、撮像装置２２０は一又は複数のカメラ、赤外線検出器、ビデオカメラ、及び／又はその他の画像記録装置を含んでもよい。通信ポート２３０はインターフェースを備え、それを介して、例えば手電子装置１００、ハンドヘルド／ウェアラブル装置１０２、及び／又はサーバ３００との通信チャネル３５０が維持される。

図３に示すように、ＡＲ／ＶＲ装置２００のプロセッサ２１０は、例えばオブジェクト認識モジュール２１１、オブジェクト生成モジュール２１２、イベント・ハンドラ・モジュール２１３、制御信号生成モジュール２１４、通信モジュール２１５、及び／又はその他のコンピュータ・プログラム・モジュールを含む、一又は複数のモジュールを実行するように構成される。プロセッサ２１０は、ＡＲ／ＶＲ装置２００の動作および機能を管理または制御する汎用または特殊用途プロセッサ、あるいはマイクロコントローラである。例えば、プロセッサ２１０は、モジュール２１１，２１２，２１３，２１４，２１５との間の入出力信号を制御する特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：「ＡＳＩＣ」）として、特に設計されてもよい。また、プロセッサ２１０は電子ストレージ又はメモリ装置２１６を含んでもよい。メモリ装置２１６は、内部に固定された１つ又は複数の記憶ユニット、リムーバブル記憶ユニット、及び／又はリモート・アクセスが可能な記憶ユニットを含む。これら様々な記憶ユニットは、揮発性メモリと不揮発性メモリとのいかなる組合せをも含み得る。記憶ユニットは、情報、データ、命令、ソフトウェア・コードなどの任意の組合せを記憶し得るように構成されてもよい。

オブジェクト認識モジュール２１１は、物理空間内の物理オブジェクトを認識するように構成されてもよい。オブジェクト生成モジュール２１２は、独立した仮想オブジェクトとして振舞うための、又は認識された物理オブジェクトを拡張するための仮想オブジェクトを生成するように構成されてもよい。イベント・ハンドラ・モジュール２１３は、ＡＲ／ＶＲ環境内でのイベントの発生を検出するように構成されてもよい。制御信号生成モジュール２１４はイベントに関する情報を受信し、電子装置１００に送信する制御信号を生成するように構成されてもよい。通信モジュール２１５は、例えば、ＡＲ／ＶＲ装置２００と電子装置１００との間の通信を容易にするように構成されてもよい。

一実施形態において、オブジェクト認識モジュール２１１は、物理空間内のオブジェクトを認識するように構成される。オブジェクト認識モジュール２１１は、撮像装置２２０及び／又はメモリ装置２１６と通信して、物理空間内のオブジェクトを認識する。例えば、オブジェクト認識モジュール２１１は、撮像装置２２０から取り込まれた視覚データを受信し、該視覚データを処理して、取り込まれた視覚データに一又は複数のオブジェクトが存在するか否かを判定する。オブジェクト認識モジュール２１１は、取り込まれた視覚データ内に存在するオブジェクトとメモリ装置２１６内に記憶されたオブジェクトとを比較する。

例えば、オブジェクト認識モジュール２１１は、捕捉されたオブジェクトの画素をストレージ内の記憶されたオブジェクトの画素と既知の技術により比較する。捕捉されたオブジェクトの閾値となる比率（例えば、８０％、９０％、１００％、及び／又は他の比率）の画素が記憶されたオブジェクトの画素とマッチする場合、オブジェクト認識モジュール２１１は、捕捉されたオブジェクトは記憶されたオブジェクトとして認識されたと判定する。一実施形態において、閾値となる比率は撮像装置２２０の解像度に依存する。

オブジェクト認識モジュール２１１は記憶されたオブジェクトに関する情報を取得し、記憶されたオブジェクトに関する情報および捕捉されたオブジェクトに関する情報をオブジェクト生成モジュール２１２に送信する。オブジェクト生成モジュール２１２に送信された情報は、例えば、記憶されたオブジェクトの画像データ、記憶されたオブジェクトの種類、物理空間における捕捉されたオブジェクトの位置、捕捉されたオブジェクトの他の物理オブジェクトに対する近接性、記憶されたオブジェクトに関する内容情報、捕捉されたオブジェクトに関する内容情報、及び／又は記憶されたオブジェクト又は捕捉されたオブジェクトに関連付けられたその他のデータを含む。一実施形態において、オブジェクト認識モジュール２１１は、記憶されたオブジェクトに関する情報および捕捉されたオブジェクトに関する情報を、イベント・ハンドラ・モジュール２１３、制御信号生成モジュール２１４、及び／又はプロセッサ２１０のその他のモジュールのうちの一又は複数に送信する。

図４は、サーバ３００の一実施形態をより詳細に例示している。一実施形態において、サーバ３００は、電子装置１００、ＡＲ／ＶＲ装置２００、ハンドヘルド／ウェアラブル装置１０２、及び／又はその他のサーバ３００と通信する装置のうちの一又は複数と通信するように構成されてもよい。図示された実施形態において、サーバ３００はプロセッサ３１０、電子ストレージ又はメモリ装置３２０、及び通信ポート３３０を備える。一実施形態において、サーバ３００は、クラウド・コンピューティング・システム、すなわち、「クラウド」の一部分であってもよい。

サーバ３００のプロセッサ３１０は、データを受信し、オブジェクトを認識し、イベントをハンドルし、データを送信し、及び／又はその他の機能を提供するように構成されてもよい。一実施形態において、サーバ３００は電子装置１００のプロセッサ１１０から制御信号を受信するように構成されてもよい。サーバ３００のメモリ装置３２０は、複数の制御信号および複数のフィードバック・レスポンスを含む電子装置１００の検索テーブルと類似または同様の態様で構成される検索テーブルを含んでもよい。例えば、検索テーブルは仮想オブジェクトに関連付けられる複数の触覚アセット（ａｓｓｅｔ）を含んでもよい。触覚アセットは、制御信号の振幅、周波数、継続時間など、仮想オブジェクトに関連付けられる触覚効果のパラメータを含んでもよい。この制御信号は、仮想オブジェクトとインタラクションを行うとき、又は仮想オブジェクトが他の仮想オブジェクトとインタラクションを行うときに、触覚出力装置１２０を駆動してシステム１０のユーザに対して触覚効果を生成するために用いられる。検索テーブルが制御信号に関するエントリを含む場合、サーバ３００はフィードバック・レスポンスを含む情報をフィードバック制御モジュール１１１に伝達する。サーバ３００の検索テーブルがこの制御信号に関するエントリを含まない場合、サーバ３００は、この制御信号にマッチするデータがない旨の指示をフィードバック制御モジュール１１１に伝達するか、又はサーバ３００はデフォルト制御信号を伝達する。一実施形態において、サーバ３００は、電子装置１００から受信したデータに関する画像処理及び／又はオブジェクト認識を実行する。

一実施形態において、サーバ３００は、ＡＲ／ＶＲ装置２００の撮像装置２２０によって取り込まれたオブジェクトに関するデータを受信する。サーバ３００のプロセッサ３１０は、捕捉されたオブジェクトに関するオブジェクト認識を実行する。サーバ３００のメモリ装置３２０は、一又は複数の物理オブジェクトを含む検索テーブルを含む。サーバ３００は、受信したデータから認識されたオブジェクトに関するエントリが検索テーブルに含まれているかを判定する。検索テーブルが認識されたオブジェクトに関するエントリを含む場合、サーバ３００は認識されたオブジェクトにマッチする記憶されたオブジェクトに関する情報を、オブジェクト認識モジュール２１１に伝達する。サーバ３００が認識されたオブジェクトを認識しない場合、サーバ３００はマッチするものがないという趣旨の指示をオブジェクト認識モジュール２１１に伝達する。

一実施形態において、サーバ３００は、ＡＲ／ＶＲ装置２００のプロセッサ２１０のオブジェクト認識モジュール２１１によって認識された物理オブジェクトに関するデータを受信する。サーバ３００のプロセッサ３１０は、この物理オブジェクトと一又は複数の仮想オブジェクトとの間の関連付けをサーバ３００のメモリ装置３２０が記憶しているか否かを判定する。一部の実施形態において、サーバ３００のメモリ装置３２０は、物理オブジェクト、仮想オブジェクト、及び一又は複数の物理オブジェクトと一又は複数の仮想オブジェクトとの間の一又は複数の相関関係を含む検索テーブルを含む。サーバ３００のメモリ装置３２０に関連付けがある場合、サーバ３００は関連付けられた仮想オブジェクトに関するデータをオブジェクト生成モジュール２１２に伝達する。サーバ３００のメモリ装置３２０に関連付けがない場合、サーバ３００は関連付けがないことを伝達する。

一実施形態において、サーバ３００は、ＡＲ／ＶＲ装置２００のプロセッサ２１０のイベント・ハンドラ・モジュール２１３からイベント・データを受信するように構成される。サーバ３００のメモリ装置３２０は、複数のイベントと各々の複数の制御信号とを関連付ける検索テーブルを含む。イベント・データの一部または全体がサーバ３００のストレージに記憶されたイベントとマッチする場合、サーバ３００のプロセッサ３１０は、このイベントに関するイベント・データをイベント・ハンドラ・モジュール２１３に伝達する。イベント・データがストレージに記憶されたイベントとマッチしない場合、サーバ３００のプロセッサ３１０はマッチするイベントが存在しない旨をＡＲ／ＶＲ装置２００に伝達する。

サーバ３００の通信ポート３３０はインターフェースを備え、それを介して、例えば電子装置１００、ハンドヘルド／ウェアラブル装置１０２、ＡＲ／ＶＲ装置２００、及び／又はその他のサーバ３００と通信する装置との通信チャネル３５０が維持される。データ及び／又は信号は、通信チャネル３５０及び／又はサーバ３００がデータ及び／又は信号を受信する際に用いるその他の通信チャネルを介して受信される。

一実施形態において、捕捉されたオブジェクトが記憶されたオブジェクトとマッチしない場合、オブジェクト認識モジュール２１１は捕捉されたオブジェクトに関するデータをサーバ３００に送信し、サーバ３００がオブジェクト認識を実行できるようにする。サーバ３００が捕捉されたオブジェクトを認識する場合、サーバ３００は捕捉されたオブジェクトにマッチする記憶されたオブジェクトに関する情報を、オブジェクト認識モジュール２１１に伝達する。オブジェクト認識モジュール２１１は、サーバ３００からの記憶されたオブジェクトに関する情報、および捕捉されたオブジェクトに関する情報を、オブジェクト生成モジュール２１２に送信する。サーバ３００が捕捉されたオブジェクトを認識しない場合、サーバ３００はマッチするものがないという趣旨の指示を伝達する。

一実施形態において、オブジェクト生成モジュール２１２は、オブジェクト認識モジュール２１１から物理オブジェクトに関する情報を受信し、ＡＲ／ＶＲ環境内でこの物理オブジェクトを拡張するための一又は複数の仮想オブジェクトを生成する。オブジェクト生成モジュール２１２はストレージにアクセスして、この物理オブジェクトに一又は複数の仮想オブジェクトが関連付けられているかを判定する。この物理オブジェクトには仮想オブジェクトが関連付けられていない場合、オブジェクト生成モジュール２１２はサーバ３００と通信して、サーバ３００のメモリ装置３２０が一又は複数の物理オブジェクトと一又は複数の仮想オブジェクトとの間の一又は複数の関連付けを記憶しているかを判定する。サーバ３００のメモリ装置３２０に関連付けがある場合、サーバ３００は関連付けられた仮想オブジェクトに関するデータをオブジェクト生成モジュール２１２に伝達する。

仮想オブジェクトがオブジェクト認識モジュール２１１から受信した情報において識別される物理オブジェクトと関連づけられる場合、オブジェクト生成モジュール２１２は、物理空間と一致するＶＲ空間を生成する。図５は例示的なＡＲ／ＶＲ環境５００のブロック図である。図に示すように、ＡＲ／ＶＲ環境５００は、物理空間５２０とＶＲ空間５１０とを有する。物理空間５２０は一又は複数の物理オブジェクト５２０ａ、５２０ｂ、・・・５２０ｎを有し、ＶＲ空間５１０は、物理空間５２０内の一又は複数の物理オブジェクト５２０ａ、５２０ｂ、・・・５２０ｎを拡張する、または一又は複数の物理オブジェクトを拡張しない仮想オブジェクトである、一又は複数の仮想オブジェクト５１０ａ、５１０ｂ、・・・５１０ｎを有する。

一実施形態において、オブジェクト生成モジュール２１２はＶＲ空間５１０内の一又は複数の仮想オブジェクト５１０ａ、５１０ｂ、・・・５１０ｎを用いて物理オブジェクト５２０ａを拡張する。例えば、オブジェクト生成モジュール２１２は、ＡＲ／ＶＲ装置２００のディスプレイ表面を介してＶＲ空間５１０（及び一又は複数の仮想オブジェクト５１０ａ、５１０ｂ、・・・５１０ｎ）を表示する。一部の実施形態において、ＶＲ空間５１０および表示される一又は複数の仮想オブジェクト５１０ａ、５１０ｂ、・・・５１０ｎは、ＡＲ／ＶＲ装置２００のディスプレイを介して３次元的に表示される。

ＡＲ／ＶＲ装置２００のディスプレイを介して表示されるＡＲ／ＶＲ環境５００は、物理空間５２０及びＶＲ空間５１０を含む。一実施形態において、物理空間５２０は撮像装置２２０によって画像化され、ディスプレイを介して表示される。一実施形態において、例えば、ディスプレイの少なくとも一部が透明（例えば、レンズ）であり、それを通して物理空間５２０を見ることができるように構成される実施形態においては、物理空間５２０は単純にディスプレイを通して見ることができる。物理空間５２０を表示するためにどの実施形態を用いるとしても、一又は複数の仮想オブジェクト５１０ａ、５１０ｂ、・・・５１０ｎは、物理空間５２０内に存在する一又は複数の物理オブジェクト５２０ａ、５２０ｂ、・・・５２０ｎと一致するかまたは関連付けられるように表示され、それによってＡＲ／ＶＲ環境５００内の一又は複数の物理オブジェクト５２０ａ、５２０ｂ、・・・５２０ｎを拡張してもよい。単一の仮想オブジェクト５１０ａは、単一の物理オブジェクト５２０ａまたは複数の物理オブジェクト５２０ａ、５２０ｂ、・・・５２０ｎを拡張してもよい。複数の仮想オブジェクト５１０ａ、５１０ｂ、・・・５１０ｎは、単一の物理オブジェクト５２０ａまたは複数の物理オブジェクト５２０ａ、５２０ｂ、・・・５２０ｎを拡張してもよい。物理空間５２０内に存在する物理オブジェクト５２０ａ、５２０ｂ、・・・５２０ｎを拡張する仮想オブジェクト５１０ａ、５１０ｂ、・・・５１０ｎの数と種類は、上述の例に限定されない。

一実施形態において、イベント・ハンドラ・モジュール２１３は、ＡＲ／ＶＲ環境内でのイベントの発生を検出するように構成される。イベント・ハンドラ・モジュール２１３は、撮像装置２２０、オブジェクト認識モジュール２１１、オブジェクト生成モジュール２１２、メモリ装置２１６、及び／又はＡＲ／ＶＲ装置２００のその他のモジュール又は装置からデータを受信する。ＡＲ／ＶＲ装置２００のメモリ装置２１６は、ＡＲ／ＶＲ装置２００が認識する一又は複数のイベントに関するデータを記憶する。例えば、ＡＲ／ＶＲ装置２００のメモリ装置２１６がデータを記憶するイベントは、電子装置１００とＡＲ／ＶＲ環境５００との間のインタラクション、ＡＲ／ＶＲ環境５００に対して発生するアクションの確認、電子装置１００がＡＲ／ＶＲ装置２００によって認識されることの確認、電子装置１００とＶＲ空間５１０内に表示される一又は複数の仮想オブジェクトとの間のインタラクション、物理オブジェクトを拡張するための特定の種類の仮想オブジェクトの生成、電子装置１００の認識、ハンドヘルド／ウェアラブル装置１０２の認識、ユーザとＡＲ環境との間のインタラクション、及び／又はＡＲ環境に関するその他の事象を含む。

一実施形態において、イベント・ハンドラ・モジュール２１３が受信するデータは、撮像装置２２０からの視覚データ、視覚データ内の捕捉されたオブジェクトに関するオブジェクト認識モジュール２１１からの情報、オブジェクト生成モジュール２１２によって生成された仮想オブジェクトに関する情報、及び／又はＡＲ環境に関するその他の情報である。イベント・ハンドラ・モジュール２１３は、受信した情報をメモリ装置２１６に記憶されたイベントに関するデータと比較し、この情報、またはこの情報の一部がイベントと関連付けられているかを判定する。 受信した情報がイベントに関連付けられている場合、イベント・ハンドラ・モジュール２１３は、受信した情報を含むイベント・データおよび関連付けられたイベントに関するデータを、制御信号生成モジュール２１４に送信する。

一実施形態において、イベント・ハンドラ・モジュール２１３はプロセッサ２１０からデータを受信するが、そのデータは、電子装置１００とＡＲ／ＶＲ環境との間でインタラクションが発生したこと、ＡＲ／ＶＲ環境内の一又は複数の仮想オブジェクトが変化したこと、電子装置１００から入力を受信したこと、電子装置１００から受信した入力がＡＲ／ＶＲ装置２００によって処理されたこと、ユーザとＡＲ／ＶＲ環境５００との間でインタラクションが発生したこと、及び／又はＡＲ／ＶＲ装置２００によって他の処理が実行されたこと、を示す。一部の実施形態において、イベント・ハンドラ・モジュール２１３は、プロセッサ２１０から受信したデータと、メモリ装置２１６に記憶されたデータとを比較して、該データがイベントと関連付けられているかを判定する。受信した情報の一部または全体がストレージに記憶されたイベントに関連付けられている場合、イベント・ハンドラ・モジュール２１３は、受信した情報を含むイベント・データおよび関連付けられたイベントに関するデータを、制御信号生成モジュール２１４に送信する。

一実施形態において、受信した情報がメモリ装置２１６に記憶されたイベントに関連付けられていない場合、イベント・ハンドラ・モジュール２１３は、受信した情報を含むイベント・データをサーバ３００に送信し、サーバ３００はイベント・ハンドリングを行う。受信した情報の一部または全体がサーバ３００のストレージに記憶されたイベントに関連付けられている場合、サーバ３００は、関連付けられたイベントに関する情報をイベント・ハンドラ・モジュール２１３に伝達する。イベント・ハンドラ・モジュール２１３は、受信した情報を含むイベント・データおよび関連付けられたイベントに関するデータを、制御信号生成モジュール２１４に送信する。受信した情報がサーバ３００のストレージに記憶されたイベントに関連付けられていない場合、サーバ３００は、マッチするものがなかったとの指示を伝達する。

一実施形態において、制御信号生成モジュール２１４は、イベント・ハンドラ・モジュール２１３からイベント・データを受信し、該イベント・データに基づいて制御信号を生成し、電子装置１００に送信するように構成される。ＡＲ／ＶＲ装置２００のストレージは、複数のイベントと各々の複数の制御信号とを関連付ける検索テーブルを含む。イベント・ハンドラ・モジュール２１３から受信したイベント・データに基づいて、制御信号生成モジュール２１４は制御信号を生成し、電子装置１００に送信する。例えば、制御信号生成モジュール２１４は、受信したイベント・データをストレージに記憶されたデータと比較する。イベント・データの一部又は全体がストレージに記憶されたイベントとマッチする場合、制御信号生成モジュール２１４は、マッチしたイベントに関連付けられた制御信号に関する制御信号を生成する。イベント・データがストレージに記憶されたイベントとマッチしないとき、制御信号生成モジュール２１４は、イベント・データをサーバ３００に伝達し、該イベント・データの一部又は全体に関連付けられた制御信号をサーバのストレージが記憶しているか否かを判定する。制御信号は、例えば、イベントが発生したことを示す情報、特定の種類のイベントが発生したことを示す情報、一又は複数の仮想オブジェクトが拡張された仮想環境内に表示されていることを示す情報、電子装置１００と一又は複数の仮想オブジェクトとの間の一又は複数のインタラクションを示す情報、及び／又はＡＲ／ＶＲ環境５００内のイベントに関するその他の情報を含んでもよい。

一実施形態において、通信モジュール２１５は、ＡＲ／ＶＲ装置２００、電子装置１００、サーバ３００、ハンドヘルド／ウェアラブル装置１０２、及び／又はその他のＡＲ／ＶＲ装置２００と通信する装置の間の通信を容易にするように構成されてもよい。通信モジュール２１５は、ＡＲ／ＶＲ装置２００、電子装置１００、及び／又はハンドヘルド／ウェアラブル装置１０２の間の通信のための有線又は無線の通信チャネル３５０を提供するように構成される。通信モジュール２１５は、ＡＲ／ＶＲ装置２００、電子装置１００、ハンドヘルド／ウェアラブル装置１０２、サーバ、及び／又はその他の装置の間の、有線又は無線の通信チャネル３５０を介した、又は別個の通信チャネルを介した通信を提供にするように構成されてもよい。通信モジュール２１５は、制御信号生成モジュール２１４によって生成された制御信号を、有線又は無線の通信チャネル３５０を介して電子装置１００及び／又はハンドヘルド装置１０２に伝達するように構成されてもよい。

一実施形態において、ＡＲ／ＶＲ装置２００のプロセッサ２１０は、電子装置１００が撮像装置２２０の視野内、又はＡＲ／ＶＲ環境５００の物理空間５２０内で移動するときに、電子装置１００を認識するように構成されてもよい。例えば、ＡＲ／ＶＲ装置２００のオブジェクト認識モジュール２１１は、撮像装置２２０からの画像データをメモリ装置２１６に記憶されている画像データと比較することによって、電子装置１００を認識するように構成されてもよい。ＡＲ／ＶＲ装置２００のメモリ装置２１６は、電子装置１００に対応する画像データを含んでもよい。メモリ装置２１６は電子装置１００に配置される一又は複数の識別標識に対応する画像データを含んでもよい。これらの識別標識は、製品コード、ＱＲコード、電子装置１００に関連付けられた画像、及び／又は電子装置１００を識別するために用いられるその他の画像を含んでもよい。ＡＲ／ＶＲ装置２００のプロセッサ２１０は、音声署名、赤外線署名、及び／又は電子装置１００によって生成されるその他の署名を認識するように構成されてもよい。一実施形態において、制御信号生成モジュール２１４は、電子装置１００の認識を表す制御信号を生成し、電子装置１００で生成されるフィードバックが当該認識を示すようにしてもよい。

一実施形態において、プロセッサ２１０は電子装置１００の位置及び／又は電子装置１００の方位を電子装置１００から受信するように構成されてもよい。電子装置１００の位置及び／又は方位は、電子装置１００とＡＲ／ＶＲ装置２００との間で通信チャネル３５０を介して伝達されてもよい。プロセッサ２１０は、ＡＲ／ＶＲ環境５００内の電子装置１００の位置及び／又は電子装置１００の方位を、受信した位置及び／又は方位に基づいて決定するように構成されてもよい。一実施形態において、位置指標画像及び／又は方位指標画像は電子装置１００上に配置されてもよい。オブジェクト認識モジュール２１１は、電子装置１００が撮像装置の視野内、及び／又はＡＲ／ＶＲ環境５００の物理空間５２０内にあると認識するときに、位置指標画像及び／又は方位指標画像を認識してもよい。位置指標画像及び／又は方位指標画像のデータは、オブジェクト認識モジュール２１１、イベント・ハンドラ・モジュール２１３、及び／又はＡＲ／ＶＲ装置２００のその他のモジュールによって処理され、ＡＲ／ＶＲ環境５００内の電子装置１００の位置及び／又は方位を決定してもよい。一実施形態において、プロセッサ２１０は、物理オブジェクトと電子装置１００との間の距離を無視してＡＲ／ＶＲ環境５００内の電子装置１００の位置決めを行うように構成されてもよい。

プロセッサ２１０は電子装置１００から入力を受けるように構成されてもよい。例えば、プロセッサ２１０は、入力要素１５０を介して受信した入力に関するデータを電子装置１００から受信する。入力要素１５０を介して受信した入力は、例えば、ボタン押下、ジェスチャ、及び／又はタッチスクリーンのジェスチャ又は押圧などの他の入力を含む。ＡＲ装置２００のプロセッサ２１０は、受信したデータを処理し、この処理に基づいて機能を実行する。例えば、プロセッサ２１０は、ＡＲ／ＶＲ環境５００内の一又は複数の仮想オブジェクト５１０ａ、５１０ｂ、・・・５１０ｎを追加、削除、置換、及び／又は他の方法で改変する。プロセッサ２１０は、処理に基づいて電子装置１００にデータを送信する。プロセッサ２１０は、処理に基づいて他の機能を実行する。一実施形態において、プロセッサ２１０は電子装置１００から入力を受信する。この入力は、電子装置１００の識別標識と、この入力に識別標識が含まれることの指示とを含む。ＡＲ／ＶＲ装置２００は、識別標識をメモリ装置２１６内に記憶し、この識別標識を電子装置１００と関連付ける。

図６は、本発明の実施形態に係る方法６００を示す。図に示す通り、この方法は工程６１０において、上述のシステム１０のユーザが、例えば、インターネットを介してユーザに提示されたリスト、カタログ、メニュー等から仮想オブジェクトを選択することによって開始される。ユーザは上述の電子装置１００を用いて仮想オブジェクトを選択してもよい。仮想オブジェクトは上述のサーバ３００に保存され、このサーバはクラウドの一部であってもよい。工程６２０において、電子装置１００を用いて仮想オブジェクトがダウンロードされる。ダウンロードされた仮想オブジェクトは電子装置１００のプロセッサ１１０内のメモリ装置１１３に記憶されるか、又はダウンロードされた仮想オブジェクトはＡＲ／ＶＲ装置２００のプロセッサ２１０のメモリ装置２１６に記憶される。工程６３０において、仮想オブジェクトがダウンロードされるとほぼ同時に、又は仮想オブジェクトがダウンロードされた後に、選択された仮想オブジェクトに関連づけられる触覚アセットが取得される。一実施形態において、仮想オブジェクトが選択されると、ユーザはこの仮想オブジェクトに関連付けられる触覚アセットの選択の機会を与えられる。例えば、仮想オブジェクトが犬である場合、ユーザは従順又は攻撃的といった犬の性格、及び／又はショートヘア又はロングヘアなどの毛皮の手触りについて、選択する機会を与えられる。関連付けられた触覚アセットが取得されると、工程６４０でユーザはＡＲ／ＶＲ環境５００内の仮想オブジェクトとインタラクションしてもよい。一実施形態において、工程６４０でのインタラクションは、ユーザがＡＲ／ＶＲ装置２００を用いて見ている２つの仮想オブジェクトの間で行われてもよく、又は仮想オブジェクトと物理空間５２０内の他の物理オブジェクトとの間で行われてもよい。

図６に示す方法６００についての説明を続ける。工程６５０において、仮想オブジェクトのアニメーションが存在するかを判定する。仮想オブジェクトのアニメーションが存在する場合、工程６６０で触覚効果の出力が行われて仮想オブジェクトの実在感を表現し、これによりシステム１０ユーザはＶＲ空間５１０内で仮想オブジェクトの動きを感じることができる。工程６５０で仮想オブジェクトのアニメーションが存在しないと判定された場合、この方法は工程６４０に戻る。工程６７０において、ユーザと仮想オブジェクトとの間、ＶＲ空間５１０内の２つの仮想オブジェクトの間、又は仮想オブジェクトと物理空間５２０内の他の物理オブジェクトとの間に、仮想オブジェクトとのインタラクションが存在するかが判定される。インタラクションが存在すると判定された場合、工程６８０でインタラクション触覚効果が実行され、これによりユーザは、例えば仮想オブジェクトの手触りを感じることができる。仮想オブジェクトとのインタラクションが存在しないと判定された場合、この方法は工程６４０に戻る。一実施形態において、工程６５０及び６７０における判定は同時又はほぼ同時に実行されてもよい。例えば、ユーザがタッチスクリーン上のタッチジェスチャ又はジョイスティックによって仮想オブジェクトをドラッグして動かし、この仮想オブジェクトが他の仮想オブジェクトと衝突するとき、この仮想オブジェクトがアニメーション表示されている間、ユーザはこの仮想オブジェクトとインタラクションしてもよい。このとき、生成される触覚効果はこの仮想オブジェクトの手触り及びこの衝突を表す振動を含んでもよい。

システム１０の一実施形態において、ユーザはアプリケーション・ストアから仮想の鳥を購入してもよい。この仮想オブジェクトがタブレット形式のユーザの電子装置１００にロードされると、ユーザは自身のデスク上を鳥が歩き回るのをタブレットのカメラを通して見ることができ、拡張現実（「ＡＲ」）アプリケーションを使用すればタブレット上で鳥の足取りを感じることができる。ユーザが自身の手で鳥に触れようとするとき、ハンドヘルド／ウェアラブル装置１０２を通して鳥の手触りを感じることができる。この実施形態においては、このハンドヘルド／ウェアラブル装置１０２はウェアラブル装置であってもよい。鳥がユーザの手に飛び乗ると、ユーザはそれが実際の鳥であるかのように手の上の歩くのを見て感じることができる。

システム１０の一実施形態において、ユーザは鉛筆又はペンなどの仮想の筆記用具を手に持ち、実際又は仮想の紙に書くことができる。仮想の筆記用具はその手触りによって異なって感じられ、この筆記用具を用いた手書き動作を表す触覚効果は、この筆記用具の状態に依存する。例えば、この筆記用具が鉛筆であるかインクペンであるか、ペンの中にあるインクの量はどの程度か、この筆記用具は壊れているか、などである。

システム１０の一実施形態において、ユーザは缶一杯の仮想のキャンディを右手に持ち、ユーザの右手に触覚力フィードバックが実行されて、ユーザにキャンディの缶が重いと感じさせてもよい。ユーザが仮想のキャンディを自身の左手に移し始めると、ユーザの左手に対する触覚力フィードバックが増加し、これによりユーザは自身の左手のキャンディの増加を感じる。一方でユーザの右手に対する触覚力フィードバックが低減し、これによりユーザはキャンディの缶が軽くなり缶の中のキャンディが少なくなったと感じる。

システム１０の一実施形態において、ユーザは仮想の鳥オブジェクト及びそれに関連付けられた触覚アセットを仮想現実（「ＶＲ」）アプリケーションにロードし、自身のアバターとして仮想のキャラクターを選択してもよい。ユーザは、自身のアバターが仮想の鳥とインタラクションするときに触覚効果を感じることができる。

システム１０の一実施形態において、第１のユーザ及び第２のユーザがオキュラスリフトなどのヘッドマウントディスプレイを着用して一緒に仮想現実（「ＶＲ」）シューティングゲームをプレイしてもよい。ＶＲ空間においては、これらのユーザはともに自身を表すアバターを有している。第１のユーザのアバターは仮想のショットガンを携行し、第１のユーザがガンを発砲するジェスチャをすると、第１のユーザは現実のガンを発砲しているかのような引き金効果を感じる。第２のユーザのアバターが撃たれると、第２のユーザは胸に力効果を感じる。

拡張現実アプリケーション

拡張現実（「ＡＲ」）アプリケーションにおいて、仮想空間５１０における仮想オブジェクト５１０ａは物理空間５２０上に上書きされる。仮想オブジェクト５１０ａは、他の上書きされた仮想オブジェクト５１０ｂ、・・・５１０ｎとインタラクションするだけでなく、物理オブジェクト５２０ａ、５２０ｂ、・・・５２０ｎともインタラクションする。ＡＲアプリケーションにおいて、ユーザはアバターを用いなくても仮想オブジェクト５１０ａと直接インタラクションしてもよい。

ＡＲ環境においては、いくつかの種類のインタラクションが存在する。例えば、ユーザと仮想オブジェクト５１０ａとの間のインタラクション、仮想現実空間５１０内の仮想オブジェクト５２０ａと物理空間５２０内の物理オブジェクト５２０ａとの間のインタラクション、及び／又は仮想現実空間５１０内の２つの仮想オブジェクト５１０ａ、５１０ｂの間のインタラクションである。

ＡＲ環境内の仮想オブジェクト５１０ａ、５１０ｂ、・・・５１０ｎの触覚効果を設計するために、一連の工程を採用してもよい。第１に、仮想オブジェクト５１０ａに関わるインタラクションが発生したときに触覚効果が誘発されてもよい。現実世界や物理空間５２０内の物理オブジェクト５２０ａが仮想現実空間５１０内の仮想オブジェクト５１０ａ、５１０ｂ、・・・５１０ｎとインタラクションを開始するとき、このインタラクションは捕捉され、仮想オブジェクトの状態がコンテキストに基づいて判定され、静的又は動的な触覚効果が生成される。仮想現実空間５１０内の仮想オブジェクト５１０ａが他の仮想オブジェクト５１０ｂ、・・・５１０ｎとインタラクションを開始するとき、このインタラクションは捕捉され、各仮想オブジェクトの状態がコンテキストに基づいて個別に判定され、静的又は動的な触覚効果が生成される。仮想現実空間５１０内の仮想オブジェクト５１０ａが現実世界や部率空間５２０内の物理オブジェクト５２０ａ、５２０ｂ、・・・５２０ｎとのインタラクションを開始するとき、仮想オブジェクト５１０ａの環境に基づく力が計算されてもよい。三次元空間内で仮想オブジェクトが物理オブジェクト又はユーザに向かって移動するとき、環境及び移動に基づいて衝突が計算される。

ユーザと仮想オブジェクト５１０ａとの間のインタラクションはアクティブ・インタラクションを含んでもよい。例えば、ユーザは感触型の触覚効果を感じながら仮想オブジェクト５１０ａに直接タッチ及び／又はドラッグしてもよく、又はユーザは確認用触覚効果を感じながら、定義されたジェスチャで仮想オブジェクト５１０ａを制御及び／又は変更してもよい。仮想オブジェクト５１０ａとの受動的なインタラクションも存在する。例えば、「足取り」をシミュレーションする触覚効果が生成されるとともに、ユーザの手の上を歩く仮想の鳥、又は「打撃」をシミュレーションする触覚効果が生成されるとともに、ユーザを撃つ仮想の弾丸である。仮想オブジェクト５１０ａと現実世界や物理オブジェクト５２０ａとのインタラクションについては、「足取り」をシミュレーションする触覚効果が生成されるとともに仮想の鳥が現実の床の上を歩いてもよく、又はユーザが衝突触覚効果を感じながら現実のテニスラケットで仮想のテニスボールを打ってもよい。例えば、２つの仮想オブジェクト５１０ａ、５１０ｂの間のインタラクションについては、「ついばむ」行為をシミュレーションする触覚効果が生成されるとともに、ユーザの手又は現実の床の上を這う仮想の虫を仮想の鳥が食べてもよく、又はユーザが衝突触覚効果を感じながら現実のテニスラケットで仮想のテニスボールを打ってもよい。

一実施形態において、システム１０のハンドヘルド／ウェアラブル装置１０２をＡＲアプリケーションの触覚効果の生成に用いてもよく、またウェアラブル装置の形態であってもよい。このウェアラブル装置は指、手首、腕、肩、頭、胸などに着用されるように構成されてもよい。一実施形態において、複数のウェアラブル装置を同時に用いてもよい。ＡＲアプリケーションを携帯装置向けに設計した一実施形態において、ハンドヘルド／ウェアラブル装置１０２はスマートフォン又はタブレットなどのハンドヘルド装置の形態であってもよい。

一実施形態において、静的触覚生成法を用いてＡＲ環境内の仮想オブジェクトの触覚効果を実現してもよい。第１に、各仮想オブジェクトのステートマシンを設計する。各状態について予め設計された触覚効果は、アセット／プロパティファイル（例えば、ｉｖｔファイル、ｈａｐｔファイルなど）として記憶され、仮想オブジェクトの他のアセット／プロパティとともにパッキングされてもよい。仮想オブジェクトの状態がある状態から他の状態に変化すると、それに従って触覚効果が実行されてもよい。例えば、仮想オブジェクトが仮想バルーンである場合、ユーザがこの仮想バルーンに「タッチ」するとこの仮想バルーンは「タッチモード」に変わり、感触型の触覚効果が実行されてもよい。ユーザが仮想バルーンを壁に「ぶつける」と、仮想バルーンは「衝突モード」に変わり、衝突型触覚効果が実行される。ユーザが針で仮想バルーンを「刺す」と、仮想バルーンは「爆発モード」に変わり、爆発型効果が実行される。

一実施形態において、動的触覚生成法を用いてＡＲ環境内の仮想オブジェクトの触覚効果を実現してもよい。第１に、材質、形状、重量、手触り、アニメーションなどの各仮想オブジェクトの物理的特性を決定する。ユーザが仮想オブジェクトに対して力を加えた場合、力の量、位置、及び角度、並びに反射率、吸収率などの仮想オブジェクトの特性に従って触覚効果のパラメータが計算されてもよい。同様の計算は、仮想オブジェクトがユーザに対して力を加える状況、又は仮想オブジェクト同士が互いに力を加える状況で実行されてもよい。予め設計された触覚効果は各々の仮想オブジェクトについて必要とはされておらず、力及びオブジェクトの物理特性に従って動的な触覚効果が計算及び実行されてもよい。

仮想オブジェクトの状態を用いて適切な触覚フィードバックが生成されるため、状態のモニタリングを行う必要がある。触覚フィードバックは仮想オブジェクトの内部状態に基づいてカスタマイズされ、異なる状態が異なる触覚効果に対応するようになっている。例えば、仮想の車椅子から誘発される触覚効果は、仮想の椅子に座ることによって誘発される触覚効果とは異なってもよい。

触覚アセットファイル（例えば、ｉｖｔファイル、ｈａｐｔファイルなど）はローカルメモリに記憶されるか、又はアプリケーションのコードの一部として記憶されてもよい。本発明の一実施形態において、触覚アセット及びプロパティは仮想オブジェクトに関連付けられるが、特定のアプリケーションには依存しない。このような触覚向上型仮想オブジェクトは、ローカルメモリだけでなくクラウド上、すなわち、クラウド・コンピューティング・システムの一部であるサーバ３１０のメモリ装置３２０上にも記憶してもよい。クラウド上に触覚向上型仮想オブジェクトを記憶することによって、当該仮想オブジェクトは異なる電子装置１００の間で共有することが容易になり、また電子装置１００のローカルメモリ装置１１３を占有することもない。

仮想現実アプリケーション

仮想現実（「ＶＲ」）アプリケーションにおいて、ユーザがＶＲグラス（例えばオキュラスリフト）などのヘッドマウントディスプレイ装置を着用すると、現実世界は仮想世界によって置き換えられ、ユーザは仮想世界の中で自分自身を見ることがなくなる。よって、仮想環境内でユーザを表現するためにアバターが用いられ、これによって他の仮想オブジェクトとのインタラクションが行われる。

このアバターと他の仮想オブジェクトとの間でインタラクションが発生したときに、触覚効果が実行される。アバターそのものは仮想オブジェクト５１０ａ、５１０ｂ、・・・５１０ｎであるため、ＶＲアプリケーションにおいては１種類のみのインタラクションが存在する。すなわち、２つの仮想オブジェクトの間のインタラクションである。一実施形態において、アバターは人間の特徴に基づいたものでなくてもよく、道具、武器、動物などであってもよい。アバターは、ＶＲ空間５１０内で他の仮想オブジェクト５１０ａ、５１０ｂ、・・・５１０ｎとインタラクションし、触覚効果を誘発するために、ユーザを表したものである。

一実施形態において、システム１０のハンドヘルド／ウェアラブル装置１０２をＶＲアプリケーションの触覚効果の生成に用いてもよく、またウェアラブル装置の形態であってもよい。このウェアラブル装置は指、手首、腕、肩、頭、胸などに着用されるように構成されてもよい。アバターと仮想オブジェクトの間に衝突がある場合、ユーザが着用しているウェアラブル装置上で衝突触覚効果が実行されてもよい。一実施形態において、複数のウェアラブル装置を同時に用いてもよい。ＶＲアプリケーションを携帯装置向けに設計した一実施形態において、ハンドヘルド／ウェアラブル装置１０２はスマートフォン又はタブレットなどのハンドヘルド装置の形態であってもよい。

一実施形態において、静的触覚生成法を用いて触覚効果を設計してもよい。この方法はアバターを含む各仮想オブジェクト５１０ａ、５１０ｂ、・・・５１０ｎについて、ステートマシンを設計する工程を含む。どの触覚効果を実行するかを決定する際に、アバターの状態及びアバターとインタラクションしている仮想オブジェクトの状態を含む少なくとも２つのステートマシンを考慮する必要がある。

一実施形態において、動的触覚生成法を用いて触覚効果を設計してもよい。動的触覚効果のパラメータは、アバター及びインタラクションされる仮想オブジェクトの間の力、並びに両オブジェクトの物理特性によって決定される。

ＡＲアプリケーションと同様に、仮想オブジェクトの状態は適切な触覚フィードバックの生成に用いられ、異なる状態は異なる触覚効果と対応する。さらに、触覚向上型仮想オブジェクトは、ローカルメモリだけでなくクラウド上、すなわち、クラウド・コンピューティング・システムの一部であるサーバ３１０のメモリ装置３２０上にも記憶してもよい。

本発明の実施形態は、アプリケーション・ベース、イベント・ベースではなく、オブジェクト・ベースの触覚デザインを提供する。本発明の実施形態は、特定のアプリケーションに依存せず、複数のＡＲ／ＶＲアプリケーションで使用可能な触覚アセットを有する仮想オブジェクトを提供する。

一実施形態において、システム１０は、複数の電子装置１００及びＡＲ／ＶＲ装置２００を備え、このような装置の複数のユーザは、同一の仮想オブジェクトに対して同時にインタラクションすることができるが、各々の異なるインタラクションに応じて異なる触覚効果を感じることができる。

本明細書に記載された実施形態は、実施可能な実装例および実施例であるが、本発明を特定の実施形態に制限することを必ずしも意図するものではない。むしろ、これらの実施形態には、当該技術分野における当業者に理解できるような変更を加えることができる。このような変更が加えられた態様も本発明の要旨及び範囲に含まれ、そして以下の請求項によって保護されるべきものである。

Claims (20)

1. システムであって、
   仮想オブジェクトとそれに関連付けられた触覚アセットとを記憶するように構成されたメモリ装置と、
   前記仮想オブジェクトを表示するように構成された拡張又は仮想現実空間を生成するように構成された拡張又は仮想現実装置と、
   前記拡張又は仮想現実装置が前記仮想オブジェクトが関わるインタラクションを検出したときに、前記触覚アセットに基づいて触覚効果を生成するように構成された触覚出力装置を含む電子装置と、
   を備えるシステム。
2. 前記メモリ装置がサーバの一部であり、前記電子装置が前記サーバから前記仮想オブジェクト及びそれに関連付けられた触覚アセットをダウンロードするように構成された、請求項１に記載のシステム。
3. 前記サーバがクラウド・コンピューティング・システムの一部である、請求項２に記載のシステム。
4. 前記電子装置が前記仮想オブジェクトを前記拡張又は仮想現実装置に伝達するように構成された、請求項２に記載のシステム。
5. 前記電子装置がハンドヘルド電子装置である、請求項１に記載のシステム。
6. 前記ハンドヘルド電子装置は、前記システムのユーザが前記仮想オブジェクトとインタラクションすることを可能にするように構成されたタッチスクリーンを含む、請求項５に記載のシステム。
7. 前記電子装置がウェアラブル電子装置である、請求項１に記載のシステム。
8. 前記拡張又は仮想現実装置がヘッドマウントディスプレイである、請求項１に記載のシステム。
9. 前記メモリ装置、前記拡張又は仮想現実装置、及び前記電子装置が単一の一体化された装置の一部である、請求項１に記載のシステム。
10. 前記触覚アセットは、前記触覚出力装置が前記触覚効果を生成するための制御信号の少なくとも１つのパラメータを含む、請求項１に記載のシステム。
11. 前記少なくとも１つのパラメータは、前記制御信号の振幅、周波数、及び継続時間からなる群から選択される、請求項１に記載のシステム。
12. 前記電子装置が前記仮想オブジェクトの状態を判定するように構成され、前記触覚効果は前記仮想オブジェクトの前記状態に従って予め設計された触覚効果である、請求項１に記載のシステム。
13. 前記電子装置は、入力された力及び前記仮想オブジェクトの物理特性に従って触覚パラメータを動的に計算するように構成された、請求項１に記載のシステム。
14. 前記電子装置は前記仮想オブジェクトの状態を監視するように構成され、前記触覚出力装置は前記仮想オブジェクトの前記状態が変わるときに異なる触覚効果を生成するように構成された、請求項１に記載のシステム。
15. メモリ装置から仮想オブジェクト及びそれに関連付けられた触覚アセットを取得する工程と、
    拡張又は仮想現実装置によって生成された拡張又は仮想現実空間内に前記仮想オブジェクトを表示する工程と、
    前記拡張又は仮想現実装置が前記仮想オブジェクトが関わるインタラクションを検出したときに、触覚出力装置を用いて前記触覚アセットに基づいて触覚効果を生成する工程と、
    を備える方法。
16. 電子装置を用いてサーバの前記メモリ装置から仮想オブジェクトをダウンロードする工程をさらに備える、請求項１５に記載の方法。
17. 前記サーバがクラウド・コンピューティング・システムの一部である、請求項１５に記載の方法。
18. 前記触覚効果を生成する工程は、前記仮想オブジェクトの状態を判定する工程と、及び前記仮想オブジェクトの前記状態に従って予め設計された触覚効果を実行する工程とを含む、請求項１５に記載の方法。
19. 前記触覚効果を生成する工程は、入力された力及び前記仮想オブジェクトの物理特性に従って触覚パラメータを動的に計算する工程を含む、請求項１５に記載の方法。
20. 前記仮想オブジェクトの状態を監視する工程と、前記仮想オブジェクトの前記状態が変わるときに異なる触覚効果を生成する工程と、をさらに含む、請求項１５に記載の方法。

Images