JP2019192243A - 没入型現実環境において触覚効果を生成する触覚対応ウェアラブルデバイス - Google Patents

Abstract

【課題】触覚効果を状況に依存した方法で提供する改良された方法及び装置を提供すること。【解決手段】没入型現実環境の触覚効果を提供する装置、方法、及び非一時的コンピューター可読媒体が提示される。本方法は、没入型現実モジュールによって実行されている没入型現実環境の触覚効果が生成されることを示す表示を受信することを含む。本方法は、没入型現実モジュールによって生成されている没入型現実環境のタイプ、又は、没入型現実モジュールが実行されているデバイスのタイプを特定することを更に含む。本方法は、没入型現実モジュールによって生成されている没入型現実環境のタイプ、又は、没入型現実モジュールが実行されているデバイスのタイプに基づいて触覚効果を生成するように、触覚対応ウェアラブルデバイスの触覚出力デバイスを制御することを更に含む。【選択図】図１Ａ

Description

本発明は、状況型触覚対応ウェアラブルデバイス、並びに、状況に依存した方法で触覚効果を提供する方法及び装置に関し、ゲーミング、民生用電子機器、娯楽、及び他の状況において用途を有する。

仮想現実環境、拡張現実環境、複合現実環境、及び他の没入型現実環境は、ユーザーインターフェースの提供に用いられることが増えているので、そのような環境におけるユーザーの体験を強化するために、触覚フィードバックが実施されてきた。そのような触覚フィードバックの例として、没入型現実環境とインタラクトするのに用いられるジョイスティック又は他のゲーミング周辺機器における運動感覚触覚効果がある。

以下の詳細な説明は本来例示的なものでしかなく、本発明又は本発明の用途及び使用を限定するように意図されていない。さらに、前述の技術分野、背景技術、発明の概要又は以下の詳細な説明に提示されている、明示又は暗示されるいかなる理論にも制限されることは意図されていない。

本発明における実施の形態の１つの態様は、処理ユニット、又は、処理ユニットによって実行されると没入型現実環境の触覚効果を提供する方法を処理ユニットに実行させる命令が記憶されている非一時的コンピューター可読媒体に関する。本方法は、没入型現実モジュールによって実行されている没入型現実環境の触覚効果が生成されることを示す表示を処理装置によって受信することを含む。本方法は、没入型現実モジュールによって生成されている没入型現実環境のタイプ、又は、没入型現実モジュールが実行されているデバイスのタイプを処理回路によって特定することを更に含む。本方法において、処理回路は、没入型現実モジュールによって生成されている没入型現実環境のタイプ、又は、没入型現実モジュールが実行されているデバイスのタイプに基づいて触覚効果を生成するように、触覚対応ウェアラブルデバイスの触覚出力デバイスを処理回路によって制御する。

一実施形態では、没入型現実モジュールが実行されているデバイスのタイプは、触覚生成能力を有しない。

一実施形態では、没入型現実環境のタイプは、２次元（２Ｄ）環境、３次元（３Ｄ）環境、複合現実環境、仮想現実（ＶＲ）環境、又は拡張現実（ＡＲ）環境のうちの１つである。

一実施形態では、没入型現実環境のタイプが３Ｄ環境であるとき、処理回路は、３Ｄ環境の３Ｄ座標系におけるユーザーの手の３Ｄ座標に基づいて、又は、３Ｄ環境における３Ｄジェスチャーに基づいて触覚効果を生成するように触覚出力デバイスを制御する。

一実施形態では、没入型現実環境のタイプが２Ｄ環境であるとき、処理回路は、２Ｄ環境の２Ｄ座標系におけるユーザーの手の２Ｄ座標に基づいて、又は、２Ｄ環境における２Ｄジェスチャーに基づいて触覚効果を生成するように触覚出力デバイスを制御する。

一実施形態では、没入型現実環境のタイプがＡＲ環境であるとき、処理回路は、ＡＲ環境の仮想物体とＡＲ環境に示された物理環境との間のシミュレーションされたインタラクションに基づいて触覚効果を生成するように触覚出力デバイスを制御する。

一実施形態では、没入型現実環境のタイプは、没入型現実環境の第２のタイプであると特定され、触覚効果を生成するように触覚出力デバイスを制御するステップは、没入型現実環境の第１のタイプに関連した規定された触覚効果特性を取得することと、規定された触覚効果特性を変更して、変更された触覚効果特性を生成することとを含み、触覚効果は、変更された触覚効果特性を用いて生成される。

一実施形態では、規定された触覚効果特性は、触覚駆動信号又は触覚パラメーター値を含み、触覚パラメーター値は、駆動信号振幅、駆動信号持続時間、又は駆動信号周波数のうちの少なくとも１つを含む。

一実施形態では、規定された触覚効果特性は、振動若しくは変形の振幅、振動若しくは変形の持続時間、振動若しくは変形の周波数、静電摩擦効果若しくは超音波摩擦効果の摩擦係数、又は温度のうちの少なくとも１つを含む。

一実施形態では、没入型現実モジュールが実行されているデバイスのタイプは、ゲームコンソール、モバイルフォン、タブレットコンピューター、ラップトップ、デスクトップコンピューター、サーバー、又はスタンドアローンヘッドマウントディスプレイ（ＨＭＤ）のうちの１つである。

一実施形態では、没入型現実モジュールが実行されているデバイスのタイプは、デバイスの第２のタイプであると特定され、触覚効果を生成するように触覚出力デバイスを制御するステップは、任意の没入型現実モジュールを実行するデバイスの第１のタイプに関連した規定された触覚効果特性を取得することと、規定された触覚効果特性を変更して、変更された触覚効果特性を生成することとを含み、触覚効果は、変更された触覚効果特性を用いて生成される。

一実施形態では、処理ユニットは、没入型現実環境とインタラクトしているユーザーが、没入型現実環境の電子信号入力を提供するように構成された触覚対応ハンドヘルドコントローラーを把持しているか否かを更に特定し、触覚対応ウェアラブルデバイスにおいて生成される触覚効果は、ユーザーが触覚対応ハンドヘルドコントローラーを把持しているか否かに基づいている。

一実施形態では、触覚効果は、没入型現実モジュール以外のどのようなソフトウェアがデバイスにおいて実行又はインストールされているのかに更に基づいている。

一実施形態では、触覚効果は、触覚対応ウェアラブルデバイスの触覚出力デバイスの触覚能力に更に基づいている。

一実施形態では、触覚出力デバイスは第２のタイプの触覚出力デバイスであり、触覚出力デバイスを制御することは、第１のタイプの触覚出力デバイスに関連した規定された触覚効果特性を取得することと、規定された触覚効果特性を変更して、変更された触覚効果特性を生成することとを含み、触覚効果は、変更された触覚効果特性に基づいて生成される。

本発明における実施の形態の１つの態様は、処理ユニット、又は、処理ユニットによって実行されると、没入型現実環境の触覚効果を提供する方法を処理ユニットに実行させる命令を有する非一時的コンピューター可読媒体に関する。本方法は、没入型現実環境と、没入型現実環境のユーザーによって制御されている物理物体と、の間のシミュレーションされたインタラクションを処理回路によって検出することを含む。本方法は、没入型現実環境と物理物体との間のシミュレーションされたインタラクションの触覚効果が生成されることを処理回路によって決定することを更に含む。本方法は、加えて、物理物体と没入型現実環境との間のシミュレーションされたインタラクションに基づいて触覚効果を生成するように触覚対応ウェアラブルデバイスの触覚出力デバイスを処理回路によって制御することを含む。

一実施形態では、物理物体は、没入型現実環境のユーザーによって移動されているハンドヘルド物体である。

一実施形態では、ハンドヘルド物体は、没入型現実環境の電子信号入力を提供するように構成されたハンドヘルドユーザー入力デバイスである。

一実施形態では、ハンドヘルド物体は、没入型現実環境の電子信号入力を提供する能力を有しない。

一実施形態では、シミュレーションされたインタラクションは、物理物体と没入型現実環境の仮想表面との間のシミュレーションされた接触を含み、触覚効果は、仮想表面の仮想テクスチャーに基づいている。

一実施形態では、処理ユニットは、物理物体の物理特性を更に求め、触覚効果は、物理物体の物理特性に基づいており、物理特性は、物理物体のサイズ、色、又は形状のうちの少なくとも１つを含む。

一実施形態では、処理ユニットは、物理物体に仮想特性を更に割り当て、触覚効果は、仮想特性に基づいており、仮想特性は、仮想質量、仮想形状、仮想テクスチャー、又は物理物体と没入型現実環境の仮想物体との間の仮想力の大きさのうちの少なくとも１つを含む。

一実施形態では、触覚効果は、触覚対応ウェアラブルデバイスと物理物体との間の物理的関係に基づいている。

一実施形態では、触覚効果は、触覚対応ウェアラブルデバイスと没入型現実環境の仮想物体との間の近接性に基づいている。

一実施形態では、触覚効果は、物理物体の移動特性に基づいている。

一実施形態では、物理物体は、物理物体の１つ以上の特性を記述したプロファイル情報を記憶するメモリを備え、触覚効果は、プロファイル情報に基づいている。

一実施形態では、没入型現実環境は、複数の異なる没入型現実環境を生成することができるデバイスによって生成される。処理ユニットは、物理物体の、物理特性又は仮想特性に基づいて複数の没入型現実環境の中から没入型現実環境を更に選択する。

一実施形態では、処理ユニットは、画像分類アルゴリズムを物理物体の物理外観に更に適用して、物理物体の画像分類を特定し、複数の没入型現実環境の中から没入型現実環境を選択することは、物理物体の画像分類に基づいている。

一実施形態では、物理物体は、物理物体の特性を記述したプロファイル情報を記憶するメモリを備え、複数の没入型現実環境の中から没入型現実環境を選択することは、メモリに記憶されたプロファイル情報に基づいている。

本発明における実施の形態の１つの態様は、処理ユニット、又は、処理ユニットによって実行されると、没入型現実環境の触覚効果を提供する方法を処理ユニットに実行させる命令を有する非一時的コンピューター可読媒体に関する。本方法は、没入型現実環境の触覚効果が生成されることを処理回路によって特定することを含む。本方法は、触覚効果が第１のタイプの触覚出力デバイスに関連した規定された触覚効果であると処理回路によって特定することを更に含む。本方法において、処理ユニットは、処理回路と通信する触覚対応デバイスの触覚能力を特定し、触覚能力は、触覚対応デバイスが、第２のタイプの触覚出力デバイスである触覚出力デバイスを有することを示す。本方法において、処理ユニットは、変更された触覚効果特性を有する変更された触覚効果を生成するために、触覚対応デバイスの触覚能力に基づいて規定された触覚効果の触覚効果特性を更に変更する。

一実施形態では、触覚対応デバイスの触覚能力は、どのようなタイプ（複数の場合もある）の触覚出力デバイスが触覚対応デバイスに存在するのか、どれだけの数の触覚出力デバイスが触覚対応デバイスに存在するのか、触覚出力デバイス（複数の場合もある）のそれぞれがどのようなタイプ（複数の場合もある）の触覚効果を生成することができるのか、触覚出力デバイス（複数の場合もある）のそれぞれが生成することができる最大触覚振幅、触覚出力デバイス（複数の場合もある）のそれぞれの周波数帯域幅、触覚出力デバイス（複数の場合もある）のそれぞれの最短立ち上がり時間若しくは最短制動時間、触覚対応デバイスの任意の熱触覚出力デバイスの最高温度若しくは最低温度、又は触覚対応デバイスの任意のＥＳＦ触覚出力デバイス若しくはＵＳＦ触覚出力デバイスの最大摩擦係数のうちの少なくとも１つを示す。

一実施形態では、触覚効果特性を変更することは、触覚振幅、触覚効果タイプ、触覚効果周波数、温度、又は摩擦係数のうちの少なくとも１つを変更することを含む。

本発明における実施の形態の１つの態様は、処理ユニット、又は、処理ユニットによって実行されると、没入型現実環境の触覚効果を提供する方法を処理ユニットに実行させる命令を有する非一時的コンピューター可読媒体に関する。本方法は、処理回路によって生成されている没入型現実環境の触覚効果が生成されることを処理回路によって特定することを含む。本方法は、処理回路と通信する複数の触覚対応デバイスのそれぞれの触覚能力を処理回路によって特定することを更に含む。本方法において、処理ユニットは、複数の触覚対応デバイスのそれぞれの触覚能力に基づいて複数の触覚対応デバイスから或る触覚対応デバイスを選択する。方法は、触覚効果を生成するように選択された触覚対応デバイスを制御し、選択されていない触覚対応デバイスが触覚効果を生成しないようにすることを更に含む。

本発明における実施の形態の１つの態様は、処理ユニット、又は、処理ユニットによって実行されると、没入型現実環境の触覚効果を提供する方法を処理ユニットに実行させる命令を有する非一時的コンピューター可読媒体に関する。本方法は、没入型現実環境のユーザーによって装着された触覚対応リング又は触覚対応グローブの位置又は移動を処理回路によって追跡することを含む。本方法は、ユーザーと没入型現実環境との間のインタラクションを触覚対応リング又は触覚対応グローブの位置又は移動に基づいて特定することを更に含む。本方法において、処理ユニットは、ユーザーと没入型現実環境との間で特定されたインタラクションに基づいて触覚効果を生成するように、触覚対応リング又は触覚対応グローブを制御する。

一実施形態では、触覚効果は、触覚対応リング又は触覚対応グローブと没入型現実環境の仮想物体との間の近接性を含む関係に基づいている。

一実施形態では、関係は、触覚対応リング又は触覚対応グローブと没入型現実環境の仮想物体との間の近接性を示す。

一実施形態では、触覚効果は、仮想物体の仮想テクスチャー又は仮想硬度に基づいている。

一実施形態では、触覚効果は、触覚対応リング又は触覚対応グローブが没入型現実環境の仮想表面又は仮想境界を横断することに応答してトリガーされ、触覚効果は、運動感覚効果を近似するマイクロ変形効果である。

一実施形態では、触覚対応リング又は触覚対応グローブの位置又は移動を追跡することは、処理回路が、ユーザーが位置している物理環境の画像をカメラから受信し、画像検出アルゴリズムを画像に適用して触覚対応リング又は触覚対応グローブを検出することを含む。

本発明における実施の形態の１つの態様は、没入型現実生成デバイスと、触覚対応ウェアラブルデバイスとを備えるシステムに関する。没入型現実生成デバイスは、没入型現実環境を生成する没入型現実モジュールを記憶するように構成されたメモリと、没入型現実モジュールを実行するように構成された処理ユニットと、無線通信を行う通信インターフェースとを有し、没入型現実生成デバイスは、触覚出力デバイス及び触覚生成能力を有しない。触覚対応ウェアラブルデバイスは、触覚出力デバイスと、没入型現実生成デバイスの通信インターフェースと無線で通信するように構成された通信インターフェースとを有し、触覚効果が生成されることを示す表示を没入型現実生成デバイスから受信し、触覚効果を生成するように触覚出力デバイスを制御するように構成されている。

本発明の実施形態による、没入型現実環境とのユーザーインタラクションの状況に基づいて触覚効果を生成する様々なシステムを示す図である。 本発明の実施形態による、没入型現実環境とのユーザーインタラクションの状況に基づいて触覚効果を生成する様々なシステムを示す図である。 本発明の実施形態による、没入型現実環境とのユーザーインタラクションの状況に基づいて触覚効果を生成する様々なシステムを示す図である。 本発明の実施形態による、没入型現実環境とのユーザーインタラクションの状況に基づいて触覚効果を生成する様々なシステムを示す図である。 本発明の実施形態による、没入型現実環境とのユーザーインタラクションの状況に基づいて触覚効果を生成する様々なシステムを示す図である。 本発明の実施形態による、生成されている没入型現実環境のタイプ、又は、没入型現実モジュールが実行されているデバイスのタイプに基づいて触覚効果を生成する態様を示す図である。 本発明の実施形態による、生成されている没入型現実環境のタイプ、又は、没入型現実モジュールが実行されているデバイスのタイプに基づいて触覚効果を生成する態様を示す図である。 本発明の実施形態による、生成されている没入型現実環境のタイプ、又は、没入型現実モジュールが実行されているデバイスのタイプに基づいて触覚効果を生成する態様を示す図である。 本発明の実施形態による、生成されている没入型現実環境のタイプ、又は、没入型現実モジュールが実行されているデバイスのタイプに基づいて触覚効果を生成する態様を示す図である。 本発明の実施形態による、生成されている没入型現実環境のタイプ、又は、没入型現実モジュールが実行されているデバイスのタイプに基づいて触覚効果を生成する一例示の方法を示す図である。 本発明の実施形態による、物理物体と没入型現実環境との間のインタラクションに基づいて触覚効果を生成する態様を示す図である。 本発明の実施形態による、物理物体と没入型現実環境との間のインタラクションに基づいて触覚効果を生成する態様を示す図である。 本発明の実施形態による、物理物体と没入型現実環境との間のインタラクションに基づいて触覚効果を生成する態様を示す図である。 本発明の実施形態による、物理物体と没入型現実環境との間のインタラクションに基づいて触覚効果を生成する態様を示す図である。 本発明の実施形態による、物理物体と没入型現実環境との間のインタラクションに基づいて触覚効果を生成する態様を示す図である。 本発明の一実施形態による、物理物体と没入型現実環境との間のインタラクションに基づいて触覚効果を生成する一例示の方法を示す図である。 本発明の一実施形態による、触覚対応デバイスの触覚能力に基づいて触覚効果を生成する態様を示す図である。 本発明の一実施形態による、触覚対応デバイスの触覚能力に基づいて触覚効果を生成する態様を示す図である。 本発明の一実施形態による、触覚対応ウェアラブルデバイスの位置又は移動を追跡することによって没入型現実環境とのユーザーインタラクションを特定する一例示の方法を示す図である。

本発明の上述の特徴、目的及び利点並びに他の特徴、目的及び利点は、添付の図面に示されるような本発明の実施形態の以下の詳細な説明から明らかであろう。本明細書に組み込まれるとともに本明細書の一部をなす添付の図面は更に、本発明の原理を説明するとともに、当業者が本発明を実施及び使用することを可能にする役割を果たす。図面は一定縮尺ではない。

以下の詳細な説明は本来例示的なものでしかなく、本発明又は本発明の用途及び使用を限定するように意図されていない。さらに、前述の技術分野、背景技術、発明の概要又は以下の詳細な説明に提示されている、明示又は暗示されるいかなる理論にも制限されることは意図されていない。

本発明における実施形態の１つの態様は、仮想現実環境、拡張現実環境、又は複合現実環境等の没入型現実環境の触覚効果を状況に依存した方法で提供することに関する。幾つかの場合には、触覚効果は、ユーザーと没入型現実環境とのインタラクションの状況に基づく。本発明における実施形態の１つの態様は、ユーザーの手に装着された触覚対応リング等の触覚対応ウェアラブルデバイスを用いて触覚効果を提供することに関する。幾つかの場合には、触覚対応ウェアラブルデバイスは、触覚生成能力を有しない没入型現実プラットフォーム（没入型現実生成デバイスとも呼ばれる）とともに用いられる。例えば、没入型現実プラットフォームには、触覚アクチュエーターが内蔵されていない。そのような場合には、モバイルフォン等の没入型現実プラットフォームは、より薄いプロファイル及び／又はより少ない重量を有することが可能になる。モバイルフォンが、触覚アラートをユーザーに提供する必要があるとき、このモバイルフォンは、触覚効果を生成する必要があることと、触覚対応ウェアラブルデバイスが触覚効果を生成することができることとを当該触覚対応ウェアラブルデバイスに示すことができる。このように、触覚対応ウェアラブルデバイスは、種々の没入型現実環境又は種々の没入型現実プラットフォームに対して共通の触覚インターフェースを提供することができる。触覚対応ウェアラブルデバイスによって生成される触覚アラートは、没入型現実環境とのユーザーインタラクションに関するものである場合もあるし、着信電話呼又はテキストメッセージがモバイルフォンによって受信されたことに関する触覚アラート等の他の状況に関するものである場合もある。本発明における実施形態の１つの態様は、ジェスチャー又はユーザーによる没入型現実環境との他の形態のインタラクションを追跡するために、触覚対応リング等の触覚対応ウェアラブルデバイスを用いて、ユーザーの手の位置又は移動を追跡することに関する。

上記のように、本発明における実施形態の１つの態様は、ユーザーと没入型現実環境とのインタラクションの状況に基づいて触覚効果を生成することに関する。幾つかの場合には、状況は、ユーザーがどのようなタイプの没入型現実環境とインタラクトしているのかを指すことができる。例えば、没入型現実環境のタイプは、仮想現実（ＶＲ）環境、拡張現実（ＡＲ）環境、複合現実（ＭＲ）環境、３Ｄ環境、２Ｄ環境、又はそれらの任意の組み合わせのうちの１つとすることができる。生成される触覚効果は、ユーザーがインタラクトしている没入型現実環境のタイプに基づいて異なる場合がある。例えば、２Ｄ環境の触覚効果は、２Ｄ環境の２つの座標軸に沿ったユーザーの手の２Ｄ座標又はユーザーの手の動きに基づくことができる一方、３Ｄ環境の触覚効果は、３Ｄ環境の３つの座標軸に沿ったユーザーの手の３Ｄ座標又はユーザーの手の動きに基づくことができる。

幾つかの場合には、状況依存型触覚効果機能は、没入型現実環境を提供する没入型現実モジュールから分離した触覚制御モジュールとして実施することができる。そのような実施態様によって、プログラマーが、状況固有の触覚効果を没入型現実モジュール（没入型現実アプリケーションとも呼ばれる）内にプログラミングする必要なく、没入型現実モジュールを作成することを可能にすることができる。むしろ、没入型現実モジュールは、触覚効果が状況に依存した方法で生成されることを確保するために、触覚制御モジュールを（例えば、プラグインとして）後に組み込むこともできるし、触覚制御モジュールと通信することもできる。例えば、状況固有でもなく、１つの状況のみに固有でもない一般的な触覚効果特性を有する没入型現実モジュールがプログラミングされた場合、触覚制御モジュールは、他の異なる状況に固有となるように触覚効果特性を変更する。幾つかの状況では、触覚効果を具体的にトリガーする命令を伴うことなく、又は、一般の触覚機能を伴うことなく、没入型現実モジュールをプログラミングすることができる。そのような状況では、触覚制御モジュールは、没入型現実環境内で発生するイベントを監視し、触覚効果をいつ生成するのかを決定することができる。

状況依存型触覚効果に関して、幾つかの場合には、状況は、没入型現実モジュール（没入型現実アプリケーションと呼ばれる場合もある）が実行されているデバイスのタイプを指すことができる。デバイスのタイプは、例えば、モバイルフォン、タブレットコンピューター、ラップトップコンピューター、デスクトップコンピューター、サーバー、又はスタンドアローンヘッドマウントディスプレイ（ＨＭＤ）とすることができる。スタンドアローンＨＭＤは、それ自身の表示能力及び処理能力を有することができ、没入型現実環境を生成するのにモバイルフォン等の別のデバイスを必要としないようになっている。幾つかの場合には、各タイプのデバイス用の没入型現実モジュールは、そのタイプのデバイスに固有の規定された触覚効果特性（既定触覚効果特性と呼ばれる場合もある）を有することができる。例えば、タブレットコンピューターにおいて実行されている没入型現実モジュールは、タブレットコンピューターに固有の触覚効果特性を有するようにプログラミングしておくことができる。触覚効果が触覚対応ウェアラブルデバイスにおいて生成される場合、既存の触覚効果特性は、触覚対応ウェアラブルデバイスに適するように、当該触覚対応ウェアラブルデバイスに従って触覚制御モジュールによって変更されなければならない場合がある。触覚対応ウェアラブルデバイスによる触覚制御モジュールは、没入型現実モジュールが実行されているデバイスのタイプに基づいて触覚効果の変更を行うことが必要な場合がある。

一実施形態では、状況は、どのようなソフトウェアが、没入型現実モジュールを実行するデバイスにおいて実行又はインストールされているのかを指すことができる（このデバイスは、没入型現実生成デバイス又は没入型現実プラットフォームと呼ばれる場合がある）。このソフトウェアは、没入型現実モジュール自体を指す場合もあるし、没入型現実プラットフォーム上の他のソフトウェアを指す場合もある。例えば、状況は、没入型現実モジュールの名称及びバージョン等の没入型現実モジュールの識別情報を指すこともできるし、没入型現実モジュールのタイプ（例えば、ファーストパーソンシューティングゲーム）を指すこともできる。別の例では、状況は、どのようなオペレーティングシステム（例えば、Ａｎｄｒｏｉｄ（商標）、Ｍａｃ ＯＳ（登録商標）、又はＷｉｎｄｏｗｓ（登録商標））又は他のソフトウェアが没入型現実プラットフォーム上で動作しているのかを指すことができる。一実施形態では、状況は、どのようなハードウェア構成要素が没入型現実プラットフォームに存在するのかを指すことができる。このハードウェア構成要素は、例えば、処理回路、触覚出力デバイス（存在する場合）、メモリ、又は他の任意のハードウェア構成要素を指すことができる。

一実施形態では、ユーザーと没入型現実環境とのインタラクションの状況は、ユーザーが、ハンドヘルドゲームコントローラー等のハンドヘルドゲーミング周辺機器を用いて没入型現実環境とインタラクトしているのか、又は、ユーザーが、自身の手及びその手に装着された任意の触覚対応ウェアラブルデバイスのみを用いて没入型現実環境とインタラクトしているのかを指すことができる。このハンドヘルドゲームコントローラーは、例えば、Ｏｃｕｌｕｓ Ｒａｚｅｒ（登録商標）等のゲームコントローラーとすることもできるし、Ｗｉｉ（登録商標）リモートデバイス等の棒とすることもできる。例えば、触覚対応ウェアラブルデバイスにおける触覚効果は、ユーザーがハンドヘルドゲームコントローラーを把持していない場合には、ユーザーがハンドヘルドゲームコントローラーを把持しているときの駆動信号振幅よりも大きな駆動信号振幅を用いて生成することができる。１つの例では、状況は、ハンドヘルドゲームコントローラーの触覚能力（存在する場合）を更に指すことができる。

一実施形態では、状況は、ユーザーが物理物体を用いて没入型現実環境とインタラクトしているのか否か及び物理物体をどのように用いて没入型現実環境とインタラクトしているのかを指すことができる。この物理物体は、電子ゲームコントローラーでなく、没入型現実環境の電子信号入力を提供する能力を有しない日常品とすることができる。例えば、物理物体は、ユーザーが没入型現実環境の仮想レーストラックとインタラクトするためにピックアップした玩具自動車とすることができる。触覚効果は、物理物体の存在、及び／又は、物理物体が没入型現実環境とどのようにインタラクトしているのかに基づくことができる。一実施形態では、触覚効果は、物理物体の物理特性、及び／又は、物理物体に割り当てられた仮想特性に基づくことができる。一実施形態では、触覚効果は、物理物体と触覚対応ウェアラブルデバイスとの間の関係、及び／又は、物理物体と没入型現実環境の仮想物体との間の関係に基づくことができる。

一実施形態では、物理物体を用いて、複数の没入型現実環境のうちのいずれかの没入型現実環境を没入型現実プラットフォームにおいて生成するのかを選択することができる。この選択は、例えば、物理物体の物理外観（例えば、サイズ、色、形状）に基づくことができる。例えば、ユーザーが、Ｈｏｔ Ｗｈｅｅｌｓ（登録商標）の玩具である物理物体をピックアップした場合、没入型現実プラットフォームは、画像分類アルゴリズムを用いて、その物理物体の物理外観を自動車の物理外観として分類することができる。その結果、自動車に関連した没入型現実環境を選択して生成することができる。この選択は、画像分類のみに依拠する必要もなければ、画像分類に全く依拠する必要もない。例えば、物理物体は、幾つかの例では、物理物体の特性を示すプロファイルを記憶するメモリを有することができる。プロファイルにおける特性は、例えば、物理物体の分類を玩具自動車として識別することができる。

一実施形態では、状況は、没入型現実環境の触覚効果を生成するのにどの触覚対応デバイスが利用可能であるのか、及び／又は、それらの触覚対応デバイスの能力を指すことができる。触覚対応デバイスは、ウェアラブルデバイスとすることもできるし、他のタイプの触覚対応デバイスとすることもできる。幾つかの場合には、選択されるデバイスの触覚能力に基づいて、複数の触覚対応デバイスの中から特定の触覚対応デバイスを選択することができる。幾つかの場合には、触覚効果特性は、選択されたデバイスの触覚能力により良く適するように変更することができる。

一実施形態では、触覚対応ウェアラブルデバイスを用いて、没入型現実環境において手追跡を行うことができる。例えば、画像認識アルゴリズムは、触覚対応リング又は触覚対応グローブの位置、向き、又は移動を検出し、触覚対応ウェアラブルデバイスのその位置、向き、又は移動を用いて、ユーザーの手の位置、向き、若しくは移動、又はそれらの代わりとなるものを求めることができる。このように、触覚対応ウェアラブルデバイスを用いて、ユーザーと没入型現実環境との間のインタラクションを特定することができる。

図１Ａ〜図１Ｅは、ＶＲ環境、ＡＲ環境、又は複合現実環境等の没入型現実環境の触覚効果を状況に依存した方法で生成するそれぞれのシステム１００Ａ〜１００Ｅを示している。より具体的には、図１Ａは、没入型現実生成デバイス１１０Ａ（没入型現実プラットフォームとも呼ばれる）と、触覚対応ウェアラブルデバイス１２０Ａとを備えるシステム１００Ａを示している。一実施形態では、没入型現実生成デバイス１１０Ａは、没入型現実モジュール（没入型現実アプリケーションとも呼ばれる）を実行するように構成されたデバイスとすることができる。没入型現実生成デバイス１１０Ａは、例えば、没入型現実環境を生成するコンピューター可読命令を実行するように構成されたモバイルフォン、タブレットコンピューター、ラップトップコンピューター、デスクトップコンピューター、サーバー、スタンドアローンＨＭＤ、又は他の任意のデバイスとすることができる。スタンドアローンＨＭＤデバイスは、没入型現実環境を生成するそれ自身の処理能力及び表示（又はより一般的にはレンダリング）能力を有することができる。幾つかの場合において、没入型現実生成デバイス１１０Ａは、モバイルフォンである場合に、Ｓａｍｓｕｎｇ（登録商標）Ｇｅａｒ（商標）ＶＲヘッドセット又はＧｏｏｇｌｅ（登録商標）Ｄａｙｄｒｅａｍ（商標）Ｖｉｅｗ ＶＲヘッドセット等のＨＭＤシェルとドッキングして没入型現実環境を生成することができる。

一実施形態では、没入型現実生成デバイス１１０Ａは、触覚生成能力を有しない場合がある。例えば、没入型現実生成デバイス１１０Ａは、触覚出力デバイスを有しないモバイルフォンとすることができる。触覚出力デバイスを省略することによって、モバイルフォンの厚さの削減、重量の削減、及び／又は電池寿命の長期化を可能にすることができる。このように、本発明における幾つかの実施形態は、没入型現実生成デバイスが触覚生成能力を有せず、触覚対応ウェアラブルデバイスに依拠して触覚効果を生成する没入型現実生成デバイス及び触覚対応ウェアラブルデバイスの組み合わせに関する。

図１Ａにおいて、没入型現実生成デバイス１１０Ａは、記憶デバイス１１１、処理回路１１３、ディスプレイ／プロジェクター１１９、センサー１１７、及び通信インターフェース１１５を備えることができる。記憶デバイス１１１は、１つ以上のモジュールを記憶することができる非一時的コンピューター可読媒体とすることができ、１つ以上のモジュールのそれぞれは、処理回路１１３によって実行可能な命令を含む。１つの例では、１つ以上のモジュールは、没入型現実モジュール１１１ａ、状況特定モジュール１１１ｂ、及び触覚制御モジュール１１１ｃを含むことができる。記憶デバイス１１１は、例えば、コンピューターメモリ、固体ドライブ、フラッシュドライブ、ハードドライブ、又は他の任意の記憶デバイスを含むことができる。処理回路１１３は、１つ以上のマイクロプロセッサ、１つ以上の処理コア、プログラマブルロジックアレイ（ＰＬＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は他の任意の処理回路を含むことができる。

図１Ａにおいて、没入型現実環境は、ディスプレイ／プロジェクター１１９上にレンダリングされる（例えば、表示される）。例えば、没入型現実生成デバイス１１０Ａが、ＨＭＤシェルとドッキングされたモバイルフォンである場合、ディスプレイ／プロジェクター１１９は、拡張現実環境等の没入型現実環境を表示することができるモバイルフォンのＬＣＤディスプレイ又はＯＬＥＤディスプレイとすることができる。幾つかの拡張現実アプリケーションの場合、モバイルフォンは、ユーザーがＨＭＤシェルを装着している間、拡張現実環境を表示することができる。幾つかの拡張現実アプリケーションの場合、モバイルフォンは、ＨＭＤシェルがなくても拡張現実環境を表示することができる。一実施形態では、ディスプレイ／プロジェクター１１９は、没入型現実環境を表す画像を投影するように構成された画像プロジェクター、及び／又は、没入型現実環境を表すホログラムを投影するように構成されたホログラフィックプロジェクターとして構成することができる。一実施形態では、ディスプレイ／プロジェクター１１９は、ユーザーの視神経又は他の神経構造に電圧信号を直接提供して、没入型現実環境の画像をユーザーに伝達するように構成された構成要素を備えることができる。画像、ホログラフィック投影、又は電圧信号は、没入型現実モジュール１１１ａ（没入型現実アプリケーションとも呼ばれる）によって生成することができる。

図１Ａの実施形態では、ユーザーのインタラクションの状況を特定する機能及び触覚効果を制御する機能は、それぞれ、状況特定モジュール１１１ｂ及び触覚制御モジュール１１１ｃを介して、没入型現実生成デバイス１１０Ａにおいて実施することができる。モジュール１１１ｂ、１１１ｃは、例えば、没入型現実モジュール１１１ａと通信するスタンドアローンのアプリケーション若しくはプログラミングされた回路、没入型現実モジュール１１１ａによってインストールされ若しくは没入型現実モジュール１１１ａ内に又は幾つかの他の形態のモジュール内に別の方法で組み込まれたプラグイン、ドライバー、静的ライブラリー若しくは動的ライブラリー、若しくはオペレーティングシステム構成要素として提供することができる。一実施形態では、モジュール１１１ａ、１１１ｂ、１１１ｃのうちの２つ以上は、単一のアプリケーション、プラグイン、ライブラリー、又はドライバー等の単一のソフトウェアパッケージの一部とすることができる。

幾つかの場合には、没入型現実生成デバイス１１０Ａは、状況を特定する情報を捕捉するセンサー１１７を更に備える。一実施形態では、センサー１１７は、カメラ、赤外線検出器、超音波検出センサー、ホールセンサー、ライダー若しくは他のレーザーベースセンサー、レーダー、又はそれらの任意の組み合わせを含むことができる。センサー１１７が赤外線検出器である場合、システム１００Ａは、例えば、没入型現実環境内のユーザー移動を追跡するのに用いられる一組の静止赤外線発光器（例えば、赤外線ＬＥＤ）を備えることができる。一実施形態では、センサー１１７は、同時位置推定地図構築（ＳＬＡＭ）システムの一部とすることができる。一実施形態では、センサー１１７は、電磁場を生成するとともに、場内の移動を場の変化によって検出するように構成されたデバイスを含むことができる。一実施形態では、センサーは、無線信号を送信して、三角測量を介して位置又は移動を求めるように構成されたデバイスを含むことができる。一実施形態では、センサー１１７は、加速度計、ジャイロスコープ、又はそれらの任意の組み合わせ等の慣性センサーを含むことができる。一実施形態では、センサー１１７は、全地球測位システム（ＧＰＳ）センサーを含むことができる。一実施形態では、触覚対応リング等の触覚対応ウェアラブルデバイス１２０Ａは、状況情報を特定するカメラ又は他のセンサーを備えることができる。

一実施形態では、状況特定モジュール１１１ｂは、センサー１１７からのデータに基づいて状況を特定するように構成することができる。例えば、状況特定モジュール１１１ｂは、畳み込みニューラルネットワーク若しくは他の機械学習アルゴリズム、又はより一般的には画像処理アルゴリズムを、センサー１１７からのカメラ画像データ又は他のデータに適用するように構成することができる。画像処理アルゴリズムは、例えば、上記で説明したように物理物体の存在を検出し、及び／又は、物理物体の物理外観の分類を特定することができる。別の例では、画像処理アルゴリズムは、手追跡又はハンドジェスチャー認識を行うために、ユーザーの手に装着された触覚対応デバイスの位置を検出することもできるし、ユーザーの手の位置を直接検出することもできる。一実施形態では、状況特定モジュール１１１ｂは、例えば、没入型現実モジュール１１１ａによって実行されている没入型現実環境のタイプ、又は、没入型現実モジュール１１１ａが実行されているデバイス１１０Ａのタイプを特定するために、没入型現実モジュール１１１ａ及び／又はデバイス１１０Ａのオペレーティングシステムと通信するように構成することができる。

一実施形態では、触覚制御モジュール１１１ｃは、触覚効果を生成する方法を制御するとともに、例えば、ユーザーと没入型現実環境とのインタラクションの状況に基づいてこの触覚効果を生成するように構成することができる。図１Ａの実施形態では、触覚制御モジュール１１１ｃは、没入型現実生成デバイス１１０Ａにおいて実行することができる。触覚制御モジュール１１１ｃは、通信インターフェース１１５を介して触覚コマンドを触覚出力デバイス１２７に送信すること等によって、触覚対応ウェアラブルデバイス１２０Ａの触覚出力デバイス１２７を制御するように構成することができる。この触覚コマンドは、例えば、生成される触覚効果の触覚駆動信号又は触覚効果特性を含むことができる。

図１Ａに示すように、触覚対応ウェアラブルデバイス１２０Ａは、通信インターフェース１２５及び触覚出力デバイス１２７を備えることができる。触覚対応ウェアラブルデバイス１２０Ａの通信インターフェース１２５は、没入型現実生成デバイス１１０Ａの通信インターフェース１１５と通信するように構成することができる。幾つかの場合には、通信インターフェース１１５、１２５は、ＩＥＥＥ８０２．１１プロトコル、Ｂｌｕｅｔｏｏｔｈ（登録商標）プロトコル、近接場通信（ＮＦＣ）プロトコル、又は無線通信用の他の任意のプロトコルを介した通信等の無線通信のプロトコルをサポートすることができる。幾つかの場合には、通信インターフェース１１５、１２５は、有線通信用のプロトコルであってもサポートすることができる。一実施形態では、没入型現実生成デバイス１１０Ａ及び触覚対応ウェアラブルデバイス１２０Ａは、インターネット等のネットワークを介して通信するように構成することができる。

一実施形態では、触覚対応ウェアラブルデバイス１２０Ａは、身体接地型（body-grounded）触覚対応デバイスのタイプとすることができる。一実施形態では、触覚対応ウェアラブルデバイス１２０Ａは、触覚対応リング、触覚対応グローブ、触覚対応ウォッチ若しくは触覚対応リストバンド、又はネイルアタッチメント等のユーザーの手又は手首に装着されたデバイスとすることができる。触覚対応リングは、「Haptic Ring」という発明の名称の米国特許出願第 号（ＩＭＭ７５３）に詳細に論述されている。この米国特許出願の全内容は、引用することによってその全体が本明細書の一部をなすものとする。一実施形態では、触覚対応ウェアラブルデバイス１２０Ａは、ヘッドバンド、ゲーミングベスト、レッグストラップ、アームストラップ、ＨＭＤ、コンタクトレンズ、又は他の任意の触覚対応ウェアラブルデバイスとすることができる。

一実施形態では、触覚出力デバイス１２７は、触覚コマンドに応答して触覚効果を生成するように構成することができる。幾つかの場合には、触覚出力デバイス１２７は、触覚対応ウェアラブルデバイス１２０Ａにおける唯一の触覚出力デバイスである場合もあるし、触覚対応ウェアラブルデバイス１２０Ａにおける複数の触覚出力デバイスのうちの１つである場合もある。幾つかの場合には、触覚出力デバイス１２７は、振動触知性触覚効果を出力するように構成されたアクチュエーターとすることができる。例えば、触覚出力デバイス１２７は、偏心回転モーター（ＥＲＭ）アクチュエーター、線形共振アクチュエーター（ＬＲＡ）、ソレノイド共振アクチュエーター（ＳＲＡ）、電磁アクチュエーター、圧電アクチュエーター、マクロファイバー複合材料（ＭＦＣ）アクチュエーター、又は他の任意の振動触知性触覚アクチュエーターとすることができる。幾つかの場合には、触覚出力デバイス１２７は、変形触覚を生成するように構成することができる。例えば、触覚出力デバイス１２７は、電気活性ポリマー（ＥＡＰ）、マクロファイバー複合材料（ＭＦＣ）圧電材料（例えば、ＭＦＣリング）、形状記憶合金（ＳＭＡ）、形状記憶ポリマー（ＳＭＰ）、又は電圧、熱、若しくは他の刺激が材料に印加されると変形するように構成された他の任意の材料等のスマート材料を用いることができる。変形効果は、他の任意の方法で生み出すこともできる。一実施形態では、変形効果は、例えば、ユーザーの指を圧搾することができ、圧搾効果と呼ばれる場合がある。幾つかの場合には、触覚出力デバイス１２７は、静電摩擦（ＥＳＦ）触覚効果又は超音波摩擦（ＵＳＦ）効果を生成するように構成することができる。そのような場合には、触覚出力デバイス１２７は、触覚対応ウェアラブルデバイス１２０Ａの表面上に露出させることもできるし、表面の真下で僅かに電気的に絶縁することもできる１つ以上の電極を備えることができるとともに、これらの１つ以上の電極に対して信号を印加する信号発生器を備えることができる。幾つかの場合には、触覚出力デバイス１２７は、温度ベースの触覚効果を生成するように構成することができる。例えば、触覚出力デバイス１２７は、加熱効果又は冷却効果を生成するように構成されたペルティエ（Peltier）デバイスとすることができる。幾つかの場合には、触覚出力デバイスは、例えば、ユーザーに向けて空気を噴出するように構成された超音波デバイスとすることができる。

一実施形態では、没入型現実生成デバイス１１０Ａの１つ以上の構成要素は、外部構成要素を用いて補助することもできるし、外部構成要素と取り替えることもできる。例えば、図１Ｂは、外部センサー１３０及び外部ディスプレイ／プロジェクター１４０に依拠する没入型現実生成デバイス１１０Ｂを有するシステム１００Ｂを示している。例えば、外部センサー１３０は、外部カメラ、圧力マット、又は赤外線近接センサーとすることができる一方、外部ディスプレイ／プロジェクター１４０は、ホログラフィックプロジェクター、ＨＭＤ、又はコンタクトレンズとすることができる。デバイス１３０、１４０は、例えば、デスクトップコンピューター又はサーバーとすることができる没入型現実生成デバイス１１０Ｂと通信することができる。より具体的には、没入型現実生成デバイス１１０Ｂは、状況特定モジュール１１１ｂにおいて用いられるセンサーデータをセンサー１３０から受信することができ、没入型現実モジュール１１１ａによって生成された画像データをディスプレイ／プロジェクター１４０に送信することができる。

図１Ａ及び図１Ｂにおいて、状況特定モジュール１１１ｂ及び触覚制御モジュール１１１ｃはともに、没入型現実生成デバイス１１０Ａ又は１１０Ｂにおいて実行することができる。例えば、没入型現実モジュール１１１ａが没入型現実環境を生成している間、状況特定モジュール１１１ｂは、ユーザーインタラクションの状況を特定することができる。さらに、触覚制御モジュール１１１ｃは、触覚効果が生成されるべきであることを示す表示を没入型現実モジュール１１１ａから受信することができる。この表示は、例えば、触覚コマンド、又は没入型現実環境内の特定のイベントが発生したことを示す表示を含むことができ、触覚制御モジュール１１１ｃは、このイベントに応答して触覚効果をトリガーするように構成されている。触覚制御モジュール１１１ｃは、次に、それ自身の触覚コマンドを生成し、この触覚コマンドを触覚対応ウェアラブルデバイス１２０Ａに通信することができる。触覚対応ウェアラブルデバイス１２０Ａは、この触覚コマンドに基づいて触覚出力デバイス１２７に触覚効果を生成させることによって、触覚制御モジュール１１１ｃからの触覚コマンドを実行する。触覚コマンドは、例えば、以下でより詳細に論述する触覚駆動信号及び／又は触覚効果特性を含むことができる。

一実施形態では、触覚制御機能は、触覚対応ウェアラブルデバイスに少なくとも部分的に存在することができる。例えば、図１Ｃは、触覚対応ウェアラブルデバイス１２０Ｃが触覚制御モジュール１２１ａを記憶する記憶デバイス１２１を備えるとともに、触覚制御モジュール１２１ａを実行する処理回路１２３を備えるシステム１００Ｃを示している。触覚制御モジュール１２１ａは、ユーザーインタラクションの状況を特定するために、没入型現実生成デバイス１１０Ｃと通信するように構成することができる。状況は、この実施形態では、没入型現実生成デバイス１１０Ｃにおいて実行されている状況特定モジュール１１１ｂを用いて特定することができる。触覚制御モジュール１２１ａは、特定された状況に基づいて、生成する触覚効果を特定することができるとともに、特定された触覚効果を生成するように触覚出力デバイス１２７を制御することができる。図１Ｃにおいて、触覚効果を特定する機能が、触覚対応ウェアラブルデバイス１２０Ｃにおいて完全に実施されるように、没入型現実生成デバイス１１０Ｃは、触覚制御モジュールを省略してもよい。別の実施形態では、触覚効果を特定する機能が、没入型現実生成デバイス１１０Ｃ及び触覚対応ウェアラブルデバイス１２０Ｃによってともに実施されるように、没入型現実生成デバイス１１０Ｃは、上記実施形態において説明したように、触覚制御モジュール１１１ｃを引き続き実行することができる。

一実施形態では、状況特定機能は、触覚対応ウェアラブルデバイスに少なくとも部分的に存在することができる。例えば、図１Ｄは、触覚制御モジュール１２１ａ及び状況特定モジュール１２１ｂの双方を備える触覚対応ウェアラブルデバイス１２０Ｄを備えるシステム１００Ｄを示している。触覚対応ウェアラブルデバイス１２０Ｄは、センサーデータをセンサー１３０から受信するように構成することができ、状況特定モジュール１２１ｂは、このセンサーデータを用いて、ユーザーインタラクションの状況を特定するように構成することができる。触覚対応ウェアラブルデバイス１２０Ｄが、触覚効果が生成されることを示す表示を没入型現実生成デバイス１１０Ｄの没入型現実モジュール１１１ａから受信すると、触覚制御モジュール１２１ａは、ユーザーインタラクションの状況に基づいて触覚効果を生成するように触覚出力デバイス１２７を制御するよう構成することができる。幾つかの場合には、状況特定モジュール１２１ｂは、特定された状況を没入型現実モジュール１１１ａに通信することができる。

一実施形態では、触覚制御モジュールの機能は、没入型現実生成デバイス及び触覚対応ウェアラブルデバイスの双方に対して外部であるデバイスにおいて実施することができる。例えば、図１Ｅは、没入型現実生成デバイス１１０Ｃの外部でありかつ触覚対応ウェアラブルデバイス１２０Ａの外部である触覚管理デバイス１５０を備えるシステム１００Ｅを示している。触覚管理デバイス１５０は、記憶デバイス１５１、処理回路１５３、及び通信インターフェース１５５を備えることができる。処理回路１５３は、記憶デバイス１５１に記憶された触覚制御モジュール１５１ａを実行するように構成することができる。触覚制御モジュール１５１ａは、没入型現実環境の触覚効果を生成する必要があることを示す表示を没入型現実生成デバイス１１０Ｃから受信するとともに、没入型現実環境とのユーザーインタラクションの状況の表示を受信するように構成することができる。触覚制御モジュール１５１ａは、このユーザーインタラクションの状況に基づいて触覚コマンドを生成し、この触覚コマンドを触覚対応ウェアラブルデバイス１２０Ａに通信するように構成することができる。触覚対応ウェアラブルデバイス１２０Ａは、その後、ユーザーインタラクションの状況に基づいて触覚効果を生成するように構成することができる。

上記のように、幾つかの場合には、ユーザーと没入型現実環境とのインタラクションの状況は、生成されている没入型現実環境のタイプ、又は、没入型現実環境が生成されている没入型現実生成デバイスのタイプを指すことができる。図２Ａ〜図２Ｄは、没入型現実モジュールによって生成されている没入型現実環境のタイプ、又は、没入型現実モジュールが実行されているデバイスのタイプに基づいて触覚効果を生成するシステム２００を示している。図２Ａに示すように、システム２００は、図１Ｂの没入型プラットフォーム１１０Ｂ、センサー２３０、ＨＭＤ２５０、及び触覚対応ウェアラブルデバイス２７０を備える。上記のように、没入型現実生成デバイス１１０Ｂは、没入型現実モジュール１１１ａ、状況特定モジュール１１１ｂ、及び触覚制御モジュール１１１ｃを実行するように構成されたデスクトップコンピューター、ラップトップ、タブレットコンピューター、サーバー、又はモバイルフォンとすることができる。センサー２３０は、上述したセンサー１３０と同じもの又は類似のものとすることができる。１つの例では、センサー２３０はカメラである。一実施形態では、触覚対応ウェアラブルデバイス２７０は、手Ｈに装着された触覚対応リングである場合もあるし、触覚対応リストバンド又は触覚対応グローブ等の手に装着する他の任意の触覚対応ウェアラブルデバイスである場合もある。一実施形態では、ＨＭＤ２５０は、もう１つのウェアラブルデバイスとみなすことができる。ＨＭＤ２５０は触覚対応であってもよいし、触覚機能を欠いていてもよい。

一実施形態では、手Ｈ及び／又は触覚対応ウェアラブルデバイス２７０は、没入型現実環境とインタラクトするのに用いられる仮想カーソルの代わりとして用いることができる。例えば、図２Ｂは、ＨＭＤ２５０によって表示される３Ｄ ＶＲ環境を示している。ユーザーの手Ｈ又は触覚対応ウェアラブルデバイス２７０は、この３Ｄ ＶＲ環境において仮想カーソル２８３の代わりとして機能することができる。より具体的には、ユーザーは、自身の手Ｈ及び／又は触覚対応ウェアラブルデバイス２７０を移動させることによって仮想カーソル２８３を移動させて、仮想物体２８１とインタラクトすることができる。カーソル２８３は、手Ｈの移動を追跡するように移動することができる。

同様に、図２Ｃは、ＨＭＤ２５０によって表示される２Ｄ ＶＲ環境を示している。この２Ｄ ＶＲ環境では、ユーザーは、仮想カーソル２８７を用いて仮想２Ｄメニュー２８５とインタラクトすることができる。ユーザーは、自身の手Ｈ又は触覚対応ウェアラブルデバイス２７０を移動させることによって仮想カーソル２８７を制御することができる。一実施形態では、システム２００は、ハンドヘルドゲームコントローラー又は他のゲーミング周辺機器を更に備えることができ、カーソル２８３／２８７は、このハンドヘルドゲームコントローラーの移動に基づいて移動させることができる。

さらに、図２Ｄは、ＨＭＤ２５０に表示されるＡＲ環境の一例を示している。このＡＲ環境は、当該ＡＲ環境のユーザーが位置する公園等の物理環境を表示することができるとともに、この物理環境の画像上に重ね合わされた仮想物体２８９を表示することができる。一実施形態では、ユーザーの手Ｈの移動及び／又は触覚対応ウェアラブルデバイス２７０の移動に基づいて、仮想物体２８９を制御することができる。図２Ａ〜図２Ｄにおける実施形態は、図３における方法の態様を示すためにより詳細に論述される。

図３は、没入型現実モジュールによって生成されている没入型現実環境のタイプの状況、又は、没入型現実モジュールが実行されているデバイスのタイプの状況に基づいて没入型現実環境の触覚効果を生成する方法３００を示している。一実施形態では、方法３００は、システム２００によって実行することができ、より具体的には、没入型現実生成デバイス１１０Ｂにおいて触覚制御モジュール１１１ｃを実行する処理回路１１３によって実行することができる。一実施形態では、この方法は、図１Ｃ及び図１Ｄに示すような触覚対応ウェアラブルデバイス１２０Ｃ又は１２０Ｄにおいて触覚制御モジュール１２１ａを実行する処理回路１２３によって実行することができる。一実施形態では、この方法は、図１Ｅに示すような触覚管理デバイス１５０の処理回路１５３によって実行することができる。

一実施形態では、方法３００は、ステップ３０１から開始し、このステップにおいて、処理回路１１３／１２３／１５３は、没入型現実モジュール１１１ａ等の没入型現実モジュールによって実行されている没入型現実環境の触覚効果が生成されることを示す表示を受信する。この表示は、没入型現実モジュール１１１ａからのコマンドを含むこともできるし、没入型現実環境内の特定のイベント（例えば、仮想衝突）が発生したことを示す表示を含むこともできる。このイベントは、触覚効果をトリガーする。

ステップ３０３において、処理回路１１３／１２３／１５３は、没入型現実モジュール１１１ａによって生成されている没入型現実環境のタイプ、又は、没入型現実モジュール１１１ａが実行されているデバイスのタイプを特定することができる。一実施形態では、没入型現実環境のタイプは、２次元（２Ｄ）環境、３次元（３Ｄ）環境、複合現実環境、仮想現実環境、又は拡張現実環境を含むことができる。一実施形態では、没入型現実モジュール１１１ａが実行されるデバイスのタイプは、デスクトップコンピューター、ラップトップコンピューター、サーバー、スタンドアローンＨＭＤ、タブレットコンピューター、又はモバイルフォンを含むことができる。

ステップ３０５において、処理回路１１３／１２３／１５３は、没入型現実モジュール１１１ａによって生成されている没入型現実環境のタイプ、又は、没入型現実モジュールが実行されているデバイスのタイプに基づいて触覚効果を生成するように、触覚対応ウェアラブルデバイス１２０Ａ／１２０Ｃ／１２０Ｄ／２７０を制御することができる。

例えば、図２Ｂは、没入型現実環境が没入型現実生成デバイス１００Ｂにおいて少なくとも部分的に生成されている３Ｄ環境である、ステップ３０５の一例を示している。この３Ｄ環境は、当該３Ｄ環境の３Ｄ座標系内に表示された３Ｄ仮想物体２８１を含むことができる。この例における触覚効果は、３Ｄ座標系におけるユーザーの手Ｈ（又はゲーミング周辺機器）の位置に基づくことができる。図２Ｂにおいて、３Ｄ環境の３Ｄ座標系は、高さ次元又は深さ次元を有することができる。この高さ次元又は深さ次元は、例えば、
仮想カーソル２８３、又はより具体的にはユーザーの手Ｈが、仮想物体の表面２８１ａと仮想接触しているか否か、及び／又は、仮想カーソル２８３又はユーザーの手Ｈが表面２８１ａを仮想的にどの程度押しのけているのかを示すことができる。そのような状況では、処理回路１１３／１２３／１５３は、仮想カーソル２８３又はユーザーの手Ｈが表面２８１ａをどの程度押しのけているのかを示すことができる仮想カーソル２８３又はユーザーの手Ｈの高さ又は深さに基づくように触覚効果を制御することができる。

ステップ３０５の別の例において、図２Ｃは、２Ｄ環境の２Ｄ座標系に表示される仮想メニュー２８５を表示する２Ｄ環境を示している。この例では、処理回路１１３／１２３／１５３は、ユーザーの手Ｈ又はユーザー入力要素の２Ｄ座標に基づいて触覚効果を生成するように、触覚対応ウェアラブルデバイス２７０の触覚出力デバイスを制御することができる。例えば、この触覚効果は、どのようなボタン又は他のメニュー項目がカーソル２８７によって選択されたのかを示す２Ｄ座標系におけるユーザーの手Ｈ又はユーザー入力要素の位置に基づくことができる。

ステップ３０５の別の例において、図２Ｄは、ＨＭＤ２５０に表示されるＡＲ環境の一例を示している。この例では、ＡＲ環境は、公園等の物理環境の画像上に重ね合わされた仮想物体２８９を表示する。一実施形態では、処理回路１１３／１２３／１５３は、仮想物体２８９と物理環境の画像との間のシミュレーションされたインタラクションに基づいて触覚効果を生成するように、触覚対応ウェアラブルデバイス２７０の触覚出力デバイスを制御することができる。このシミュレーションされたインタラクションは、例えば、仮想物体２８９が、物理環境の画像内で公園の芝生の上をドライブするようなものである。この触覚効果は、例えば、物理環境の画像内の仮想物体２８９と芝生との間のシミュレーションされた静止摩擦（又はより一般的には摩擦）、ＡＲ環境の座標系内の仮想物体２８９の速度、仮想タイヤ品質等の仮想物体２８９の仮想特性（仮想プロパティとも呼ばれる）、又は他の任意の特性に基づくことができる。

一実施形態では、方法３００の触覚効果は、没入型現実環境のユーザーが、ハンドヘルドゲームコントローラー又は他のゲーミング周辺機器等のハンドヘルドユーザー入力デバイスを把持しているか否かに基づくことができる。例えば、ユーザーがハンドヘルドユーザー入力デバイスを把持していない場合には、触覚効果ウェアラブルデバイス２７０に対する触覚効果の駆動信号振幅をより大きくすることができる。

一実施形態では、触覚効果は、触覚対応ウェアラブルデバイスの触覚能力に更に基づくことができる。一実施形態では、この触覚能力は、触覚対応ウェアラブルデバイス２７０が当該デバイスにおいて生成することが可能な触覚効果のタイプ又は強度のうちの少なくとも一方を示し、ここで、強度は、例えば、最大の加速度、変形、圧力、又は温度を指すことができる。一実施形態では、触覚対応ウェアラブルデバイス２７０の触覚能力は、どのようなタイプ（複数の場合もある）の触覚出力デバイスが触覚対応デバイスに存在するのか、どれだけの数の触覚出力デバイスが触覚対応デバイスに存在するのか、触覚出力デバイス（複数の場合もある）のそれぞれがどのようなタイプ（複数の場合もある）の触覚効果を生成することができるのか、触覚出力デバイス（複数の場合もある）のそれぞれが生成することができる最大触覚振幅、触覚出力デバイス（複数の場合もある）のそれぞれの周波数帯域幅、触覚出力デバイス（複数の場合もある）のそれぞれの最短立ち上がり時間若しくは最短制動時間、触覚対応デバイスの任意の熱触覚出力デバイスの最高温度若しくは最低温度、又は触覚対応デバイスの任意のＥＳＦ触覚出力デバイス若しくはＵＳＦ触覚出力デバイスの最大摩擦係数のうちの少なくとも１つを示す。

一実施形態では、ステップ３０５は、触覚効果を生成するのに用いられる触覚パラメーター値又は触覚駆動信号等の触覚効果特性を変更することを伴うことができる。例えば、ステップ３０５は、触覚対応リング等の第２のタイプの触覚対応デバイスとすることができる触覚対応ウェアラブルデバイス２７０を伴うことができる。そのような例では、ステップ３０５は、触覚リストバンド等の第１のタイプの触覚対応ウェアラブルデバイスに関連した規定された触覚駆動信号又は規定された触覚パラメーター値を取得することを伴うことができる。ステップ３０５は、第１のタイプの触覚対応デバイスと第２のタイプの触覚対応デバイスとの間の相違に基づいて、規定された触覚駆動信号又は規定された触覚パラメーター値を変更することを伴うことができる。

上記のように、ユーザーインタラクションの状況は、ユーザーが物理物体を用いて没入型現実環境とインタラクトしている方法を指すことができる。図４Ａは、図２Ａのシステム２００が物理物体Ｐと没入型現実環境との間のインタラクションに基づいている触覚効果を提供するのに用いられる一実施形態を示している。物理物体Ｐは、図４Ａに示す玩具自動車等の任意の物理物体とすることができる。幾つかの場合には、物理物体Ｐは、ユーザーの手Ｈではなく、触覚対応ウェアラブルデバイスではなく、及び／又は電子ハンドヘルドゲームコントローラーではない物体を指す。幾つかの場合には、物理物体Ｐは、電子ゲームコントローラーの機能を有しない。より具体的には、物理物体Ｐは、没入型現実生成デバイス１１０Ｂの電子入力信号を提供する能力を有していない場合もあるし、物理物体Ｐの特性を記述した電子プロファイル情報（存在する場合）のみを提供することに制限されている場合もある。すなわち、幾つかの場合には、物理物体Ｐは、物理物体Ｐの特性を記述したプロファイル情報を記憶する記憶デバイス、又はより一般的には記憶媒体を有することができる。この記憶媒体は、例えば、ＲＦＩＤタグ、フラッシュリードオンリーメモリ（ＲＯＭ）、ＳＳＤメモリ、又は他の任意の記憶媒体とすることができる。この記憶媒体は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）又は他の或る無線プロトコルを介して電子的に読み出すことができる。幾つかの場合には、物理物体Ｐは、プロファイル情報をコード化することができるバーコード等の物理マーキングを有することができる。プロファイル情報は、物理物体（例えば、玩具自動車）の識別情報又は物理物体のタイプ等の特性を記述することができる。幾つかの場合には、物理物体は、そのような記憶媒体又は物理マーキングを有しない。

一実施形態では、物理物体Ｐは、センサー２３０からのセンサーデータに基づいて検出又は別の方法で認識することができる。例えば、センサー２３０は、ユーザーの前方視野の画像をキャプチャーするように構成されたカメラとすることができる。この実施形態では、状況特定モジュール１１１ｂは、画像認識アルゴリズムを適用して、物理物体Ｐの存在を検出するように構成することができる。

図４Ｂは、図２Ａ及び図４Ａのシステム２００と同様であるが、触覚対応ウェアラブルデバイス２７０に加えて又はこれに代えて触覚対応デバイス２７１を備えるシステム２００Ａを示している。触覚対応デバイス２７１は、物理物体Ｐを把持する手Ｈ_２と異なる手Ｈ_１に装着することができる。加えて、システム２００Ａは、ＨＭＤ４５０に組み込まれたカメラであるセンサー４３０を有するＨＭＤ４５０を備えることができる。

図４Ｃは、ＨＭＤ２５０／４５０に表示された没入型現実環境を示している。この没入型現実環境は、仮想レーストラックの画像とともに物理物体Ｐの画像を含むことができる。ユーザーが、ユーザーの物理環境において物理物体Ｐを移動させると、物理物体Ｐは、没入型現実環境においても同じ又は類似の方法で移動することができる。図４Ｄも、ＨＭＤ２５０／４５０に表示された仮想レーストラックを含む没入型現実環境を示している。この実施形態では、物理物体Ｐは、仮想トラック等の仮想物体５８９の代わりの物とすることもできるし、仮想物体５８９に別の方法で関連付けることもできる。そのような実施形態では、仮想トラックを、物理玩具自動車の代わりに表示することができる。ユーザーは、ユーザーの物理環境において物理玩具自動車を移動させることによって、没入型現実環境の座標系における仮想トラックの移動を制御することができる。加えて、図４Ｅは、図４Ｃの没入型現実環境と同様であるが、物理物体Ｐとのシミュレーションされたインタラクションを有することができる仮想物体５８８を更に示している。

図５は、図４Ａ及び図４Ｂの物理物体Ｐ等の物理物体と没入型現実環境との間のインタラクションに基づいて触覚効果を生成する方法５００を示している。方法５００は、図４Ａ及び図４Ｂの処理回路１１３、又は、処理回路１２３若しくは１５３等の別の処理回路によって実行することができる。処理回路１１３／１２３／１５３は、触覚制御モジュール１１１ｃ／１２１ａ／１５１ａ又は他の任意のモジュールを実行していてもよい。

一実施形態では、方法５００は、ステップ５０１から開始することができ、このステップにおいて、処理回路１１３／１２３／１５３は、物理物体と没入型現実環境との間のシミュレーションされたインタラクションを検出することができる。例えば、ステップ５０１は、処理回路１１３が、物理玩具自動車と図４Ｃに示す没入型現実環境の仮想レーストラックとの間のシミュレーションされたインタラクションを検出することを伴うことができる。このシミュレーションされたインタラクションは、例えば、玩具自動車と仮想レーストラックとの間の静止摩擦（又はより一般的には摩擦）を生み出すシミュレーションされた接触とすることができる。

ステップ５０３において、処理回路１１３／１２３／１５３は、物理物体と没入型現実環境との間のシミュレーションされたインタラクションに基づいて生成される触覚効果を特定することができる。例えば、ステップ５０３は、処理回路１１３が、物理玩具自動車と図４Ｃの仮想レーストラックとの間のシミュレーションされた摩擦のレベルに基づいて触覚効果の大きさを調整することを伴うことができる。１つの例では、シミュレーションされた摩擦のレベルは、仮想テクスチャー等の仮想レーストラックの仮想特性に基づくことができる。例えば、仮想テクスチャーは、アスファルト、コンクリート、又はダートに関連したテクスチャーとすることができる。

ステップ５０５において、処理回路１１３／１２３／１５３は、シミュレーションされたインタラクションに基づいて触覚効果を生成するように、触覚対応ウェアラブルデバイス２７０の触覚出力デバイス等の、処理回路１１３／１２３／１５３と通信する触覚出力デバイスを制御することができる。

一実施形態では、触覚効果は、物理物体Ｐと触覚対応ウェアラブルデバイス２７０／２７１との間の物理的関係に基づくことができる。例えば、触覚効果は、図４Ｂにおける物理物体Ｐと触覚対応ウェアラブルデバイス２７１との間の近接性に基づく大きさ（例えば、変形効果、振動効果、摩擦効果、又は温度効果の大きさ）を有することができる。一実施形態では、触覚効果は、移動の速さ等の、物理物体がどのように移動されているのかの特性に基づくことができる。一実施形態では、触覚効果は、物理物体のサイズ若しくは形状等の物理物体の物理特性に基づくことができ、及び／又は、仮想質量若しくは仮想テクスチャー等の物理物体に割り当てられた仮想特性に基づくことができる。

図４Ｅは、触覚効果が没入型現実環境における物理物体Ｐと仮想物体５８８との間の関係に基づくことができる一実施形態を示している。この関係は、例えば、図４Ｅの没入型現実環境の座標系における物理物体Ｐと仮想物体５８８との間の距離（又はより一般的には近接レベル）を含むことができる。例えば、この距離は、没入型現実環境の座標系において測定された仮想距離とすることができる。図４Ｅの例では、仮想物体５８８によって引き起こされる雷鳴を伝達する触覚効果を生成することができる。この例では、触覚効果の大きさは、仮想物体５８８と物理物体Ｐとの間の仮想距離が増加するにつれて減少することができる。

上記のように、触覚効果は、物理物体のサイズ、重量、又は物理外観等の物理物体Ｐの物理特性に基づくことができる。例えば、第１のサイズを有する物理物体は、第１の触覚振幅に関連付けることができ、それよりも大きな第２のサイズを有する物理物体は、より大きな第２の触覚振幅に関連付けることができる。一実施形態では、触覚効果は、物理物体の物理外観の画像分類に基づくことができる。この画像分類は、画像分類アルゴリズムを介して行うことができる。例えば、画像分類アルゴリズムは、物理物体を自動車として分類することができ、これは、生成される触覚効果に影響を与えることができる。幾つかの場合には、画像分類は、どのような没入型現実環境が生成されるのかに影響を与えることができる。

一実施形態では、仮想質量、仮想外観（例えば、仮想形状）、仮想テクスチャー、仮想電荷、又は仮想引力若しくは仮想斥力等の１つ以上の仮想プロパティ（仮想特性とも呼ばれる）を物理物体に割り当てることができる。例えば、図４Ｄに関して、物理物体Ｐには、仮想トラックの形状である仮想形状、仮想質量、及びそのタイヤの仮想テクスチャーを割り当てることができる。仮想トラックと仮想レーストラックとの間の摩擦をシミュレーションする触覚効果を生成することができ、この摩擦は、トラックの仮想質量及びそのタイヤの仮想テクスチャーに基づくことができる。

一実施形態では、物理物体を用いて、どの没入型現実モジュールを実行するのか、又はより一般的にはどの没入型現実環境を生成するのかを特定することができる。例えば、図４Ａに関して、没入型現実生成デバイス１１０Ｂは、仮想レーストラックを提示する第１の没入型現実環境及び仮想教室を提示する第２の没入型現実環境等の複数の異なる没入型現実環境を生成することを可能とすることができる。一実施形態では、方法５００は、第１の没入型現実環境及び第２の没入型現実環境の中から、生成する没入型現実環境を物理物体の特性に基づいて選択することを含むことができる。幾つかのシナリオでは、この特性は、物理物体の形状、色、又はサイズとすることができる。幾つかのシナリオでは、この特性は、物理物体の画像分類とすることができる。例えば、図４Ａ及び図４Ｂの物理物体Ｐは、畳み込みニューラルネットワーク等の画像分類アルゴリズムによって自動車として分類することができる。この分類と一致する没入型現実環境を選択することができる。例えば、第１の没入型現実環境は、この没入型現実環境がレーシングカーに関係しているので、自動車の分類と一致しているとみなすことができる。その結果、第１の没入型現実環境を選択することができる。

上記のように、物理物体は、物理物体の特性を記述したプロファイルを記憶する記憶媒体を有することができる。一実施形態では、没入型現実環境の選択は、このプロファイルに基づくことができる。１つの例では、プロファイルは、物理物体を自動車であるとして記述することができる。その結果、上述の第１の没入型現実環境を生成するように選択することができる。

上記のように、没入型現実環境におけるユーザーインタラクションの状況は、一実施形態では、触覚対応デバイス（例えば、触覚対応ウェアラブルデバイス）の触覚能力を指すことができ、触覚効果は、触覚対応デバイスの触覚能力に基づいて生成することができる。例えば、図６Ａは、触覚能力に基づいて触覚効果を生成する方法６００を示している。一実施形態では、方法６００は、図６Ｂのシステム６１０によって実行することができる。システム６１０は、図１Ａの没入型現実生成デバイス１１０Ａ及び触覚対応ウェアラブルデバイス１２０Ａと、通信インターフェース６２５及び触覚出力デバイス６２７を有する触覚対応ユーザーインターフェースデバイス６２０とを備えることができる。触覚対応ユーザーインターフェースデバイス６２０は、ウェアラブルデバイス又は別のタイプのデバイスとすることができる。

一実施形態では、方法６００は、ステップ６０１から開始することができ、このステップにおいて、処理回路が、没入型現実環境の触覚効果が生成されることを決定する。この処理回路は、例えば、触覚制御モジュール１１１ｃを実行する処理回路１１３とすることができる。

ステップ６０３において、処理回路は、上記触覚効果が、第１のタイプの触覚出力デバイスに関連した規定された触覚効果（既定触覚効果とも呼ばれる）であると特定することができる。例えば、処理回路は、上記触覚効果がＥＲＭアクチュエーターに関連したものであり、ＥＲＭアクチュエーターに関連した触覚効果特性を有すると特定することができる。

ステップ６０５において、処理回路は、処理回路と通信する触覚対応デバイスの触覚能力を特定することができ、この触覚能力は、触覚対応デバイスが、第１のタイプの触覚出力デバイスと異なる第２のタイプの触覚出力デバイスである触覚出力デバイスを有することを示す。例えば、図６Ｂに関して、処理回路１１３は、触覚対応デバイス１２０Ａの触覚能力を特定することができ、この特定は、デバイス１２０Ａが、例えば、ＬＲＡアクチュエーターである触覚出力デバイス１２７を有すると特定することを伴うことができる。

ステップ６０７において、処理回路は、変更された触覚効果特性を有する変更された触覚効果を生成するために、触覚対応デバイスの触覚能力に基づいて、規定された触覚効果の触覚効果特性を変更することができる。例えば、図６Ｂに関して、処理回路は、触覚対応デバイス１２０ＡのＬＲＡにより適した変更された触覚駆動信号を生成するように、ＥＲＭアクチュエーターに関連していた触覚駆動信号を変更することができる。

一実施形態では、触覚能力は、例えば、触覚対応ユーザーインターフェースデバイスが当該デバイスにおいて生成することが可能な触覚効果のタイプ、触覚対応ユーザーインターフェースデバイスが触覚効果について生成することが可能な最大振幅、触覚対応ユーザーインターフェースデバイスに含まれる触覚出力デバイスの総数、触覚対応ユーザーインターフェースデバイスが生成することができる触覚効果の帯域幅若しくは周波数帯域、又は触覚対応ユーザーインターフェースデバイスが触覚効果を定常状態に立ち上がりすることが可能な最短応答時間若しくは触覚効果を実質的に完全な停止に制動することが可能な最短応答時間のうちの少なくとも１つを示すことができる。

一実施形態では、様々な触覚対応デバイスの触覚能力を用いて、触覚対応デバイスの選択を行うことができる。例えば、上記ステップ６０７は、処理回路が触覚効果を生成するためにデバイス１２０Ａ以外の触覚対応デバイスを選択するステップによって補助することもできるし、このステップと取り替えることもできる。図６Ｂを参照すると、触覚対応ユーザーインターフェースデバイス６２０が、ＥＲＭアクチュエーターである触覚出力デバイス６２７を備える場合、処理回路１１３は、この実施形態では、触覚効果を生成するために触覚対応ユーザーインターフェースデバイス６２０を選択することができる。幾つかの場合には、触覚効果は、選択された触覚対応デバイスのみによって生成される。

上記のように、触覚対応ウェアラブルデバイスは、一実施形態では、手追跡又はハンドジェスチャー検出を容易にすることができる。図７は、触覚対応リング又は触覚対応グローブを用いて、没入型現実環境におけるユーザーインタラクションの追跡を容易にする方法７００を示している。一実施形態では、方法７００は、図２Ａのシステム２００の処理回路１１３によって実行することができる。

一実施形態では、方法７００は、ステップ７０１から開始し、このステップにおいて、処理回路は、没入型現実環境のユーザーによって装着された触覚対応リング（例えば、２７０）又は触覚対応グローブの位置又は移動を追跡する。幾つかの場合には、ステップ７０１は、触覚対応リング又は触覚対応グローブの形状を検出するように構成された画像処理アルゴリズムを適用することを伴うことができる。幾つかの場合には、ステップ７０１は、触覚対応リング又は触覚対応グローブによって放出された無線信号を追跡することを伴うことができる。幾つかの場合には、ステップ７０１は、赤外線検出を行って、触覚対応リング又は触覚対応グローブによって放出されたあらゆる熱を検出することを伴うことができる。

ステップ７０３において、処理回路は、触覚対応リング又は触覚対応グローブの位置又は移動に基づいて、ユーザーと没入型現実環境との間のインタラクションを特定する。例えば、処理回路は、触覚対応リング又は触覚対応グローブの位置を用いて、没入型現実環境の座標系におけるユーザーの位置を特定することができる。この特定は、手が、例えば、没入型現実環境の仮想物体からどれだけ離れているのかを示すことができる。別の例では、処理回路は、触覚対応リング又は触覚対応グローブの移動に基づいて、ハンドジェスチャー（例えば、ＶＲ環境と複合現実環境との間を切り替えるハンドジェスチャー）を検出することができる。ジェスチャー検出は、「Systems, Devices, and Methods for Providing Immersive Reality Interface Modes」という発明の名称の米国特許出願第１５／９５８，６１７号により詳細に論述されている。この米国特許出願の全内容は、引用することによってその全体が本明細書の一部をなすものとする。更なる例では、処理回路は、触覚対応リング又は触覚対応グローブの移動を、図４Ａ及び図４Ｂにおける物理物体Ｐ等の物理物体の移動の近似として用いることができる。

ステップ７０５において、処理回路は、ユーザーと没入型現実環境との間で特定されたインタラクションに基づいて触覚効果を生成するように触覚対応リング又は触覚対応グローブを制御する。一実施形態では、この触覚効果は、触覚対応リング又は触覚対応グローブと没入型現実環境の仮想物体との間の近接性等の関係に基づいている。一実施形態では、触覚効果は、仮想物体の仮想テクスチャー又は仮想硬度に基づいている。一実施形態では、触覚効果は、触覚対応リング又は触覚対応グローブが没入型現実環境の仮想表面又は仮想境界を横断することに応答してトリガーされ、触覚効果は、運動感覚効果を近似するマイクロ変形効果である。

上記実施形態の１つの例では、ユーザーは、触覚対応リングを装着している場合がある。ユーザーは、小さなサイズを有するモバイルフォン等のモバイルデバイスを有する場合がある。その結果、モバイルデバイスには、触覚アクチュエーターがもはや内蔵されていない場合がある。モバイルデバイスは、代わりに触覚対応リングと通信する。アラートを得るか又はモバイルデバイスとインタラクトするとき、触覚効果（例えば、触覚感覚）が触覚対応リングにおいてレンダリングされる。ユーザーがモバイルデバイスをＨＭＤシェル内に収容すると、ユーザーが仮想現実（ＶＲ）世界とインタラクトしている間、ユーザーの手を追跡することができる。ユーザーが、物理物体又は仮想物体とインタラクトすると、触覚対応リングにおいて触覚効果をレンダリングすることができる。素早いジェスチャーを用いると、ユーザーのＶＲ体験を複合現実体験に変えることができる。ユーザーは、この時、物理物体及び仮想物体とインタラクトすることができる。複合現実環境を生成しているシステムは、カメラ認識を用いて、ユーザーがどのような物体とインタラクトしているのか及びそれらの物体が触覚レンダリングを必要とするか否かを認識することができる。例えば、ユーザーは、小さなＨｏｔ Ｗｈｅｅｌｓ（登録商標）自動車をピックアップし、仮想レーストラックをロードすることができる。ユーザーが物理自動車を移動させると、触覚効果がユーザーの触覚対応リング（自動車を移動させている手）においてレンダリングされる。触覚効果は、自動車の動きの速度及び自動車の下方の仮想テクスチャー等のプロパティに基づくことができる。ユーザーが、自身の空いている側の手（自動車を把持していない手）に触覚対応リングを装着している場合、触覚効果は、ユーザーが行っているインタラクションと、ユーザーの周囲で発生している任意の空間インタラクションとに基づいて、その手（より一般的にはエンドポイントと呼ばれる場合がある）において異なってレンダリングすることができる。

一実施形態では、図１Ａ〜図７の触覚対応ウェアラブルデバイスは、空気のバーストをユーザーに向けて推進するように構成された１つ以上の超音波触覚対応デバイス等の別のタイプの触覚対応デバイスと取り替えることができる。

種々の実施形態を上述してきたが、これらの実施形態は、限定としてではなく本発明の単なる説明及び例として提示されていることを理解すべきである。形式及び細部における種々の変更は本発明の趣旨及び範囲から逸脱することなく本発明内で行うことができることは当業者には明らかであろう。したがって、本発明の範囲は、上述の例示的な実施形態のいずれかによって限定されるべきではなく、添付の特許請求の範囲及びそれらの均等物によってのみ規定されるべきである。本明細書において論考された各実施形態、及び本明細書において引用された各引用文献の各特徴は、他の任意の実施形態の特徴と組み合わせて用いることができることも理解されるであろう。本明細書において論考された全ての特許及び刊行物は、引用することによりその全体が本明細書の一部をなす。

本願は、２０１８年４月２０日に出願された米国特許出願第１５／９５８，８８１号の利益を主張し、この出願の開示は引用することによりその全体が本明細書の一部をなす。

Claims (40)

1. 没入型現実モジュールによって実行されている没入型現実環境の触覚効果が生成されることを示す表示を処理回路によって受信することと、
   前記没入型現実モジュールによって生成されている没入型現実環境のタイプ、又は、前記没入型現実モジュールが実行されているデバイスのタイプを前記処理回路によって特定することと、
   前記没入型現実モジュールによって生成されている前記没入型現実環境のタイプ、又は、前記没入型現実モジュールが実行されている前記デバイスのタイプに基づいて前記触覚効果を生成するように、触覚対応ウェアラブルデバイスの触覚出力デバイスを前記処理回路によって制御することと、
   を含む、没入型現実環境の触覚効果を提供する方法。
2. 前記没入型現実モジュールが実行されている前記デバイスのタイプは、触覚生成能力を有しない、請求項１に記載の方法。
3. 前記没入型現実環境の前記タイプは、２次元（２Ｄ）環境、３次元（３Ｄ）環境、複合現実環境、仮想現実（ＶＲ）環境、又は拡張現実（ＡＲ）環境のうちの１つである、請求項１に記載の方法。
4. 前記没入型現実環境の前記タイプが３Ｄ環境であるとき、前記処理回路は、前記３Ｄ環境の３Ｄ座標系におけるユーザーの手の３Ｄ座標に基づいて、又は、前記３Ｄ環境における３Ｄジェスチャーに基づいて前記触覚効果を生成するように前記触覚出力デバイスを制御する、請求項３に記載の方法。
5. 前記没入型現実環境のタイプが２Ｄ環境であるとき、前記処理回路は、前記２Ｄ環境の２Ｄ座標系におけるユーザーの手の２Ｄ座標に基づいて、又は、前記２Ｄ環境における２Ｄジェスチャーに基づいて前記触覚効果を生成するように前記触覚出力デバイスを制御する、請求項３に記載の方法。
6. 前記没入型現実環境のタイプがＡＲ環境であるとき、前記処理回路は、前記ＡＲ環境の仮想物体と前記ＡＲ環境に示された物理環境との間のシミュレーションされたインタラクションに基づいて前記触覚効果を生成するように前記触覚出力デバイスを制御する、請求項３に記載の方法。
7. 前記没入型現実環境の前記タイプは、没入型現実環境の第２のタイプであると特定され、
   前記触覚効果を生成するように前記触覚出力デバイスを前記制御することは、没入型現実環境の第１のタイプに関連した規定された触覚効果特性を取得することと、前記規定された触覚効果特性を変更して、変更された触覚効果特性を生成することとを含み、前記触覚効果は、前記変更された触覚効果特性を用いて生成される、請求項１に記載の方法。
8. 前記規定された触覚効果特性は、触覚駆動信号又は触覚パラメーター値を含み、前記触覚パラメーター値は、駆動信号振幅、駆動信号持続時間、又は駆動信号周波数のうちの少なくとも１つを含む、請求項１に記載の方法。
9. 前記規定された触覚効果特性は、振動若しくは変形の振幅、振動若しくは変形の持続時間、振動若しくは変形の周波数、静電摩擦効果若しくは超音波摩擦効果の摩擦係数、又は温度のうちの少なくとも１つを含む、請求項１に記載の方法。
10. 前記没入型現実モジュールが実行されている前記デバイスのタイプは、ゲームコンソール、モバイルフォン、タブレットコンピューター、ラップトップ、デスクトップコンピューター、サーバー、又はスタンドアローンヘッドマウントディスプレイ（ＨＭＤ）のうちの１つである、請求項１に記載の方法。
11. 前記没入型現実モジュールが実行されている前記デバイスの前記タイプは、デバイスの第２のタイプであると特定され、前記触覚効果を生成するように前記触覚出力デバイスを前記制御することは、任意の没入型現実モジュールを実行するデバイスの第１のタイプに関連した規定された触覚効果特性を取得することと、前記規定された触覚効果特性を変更して、変更された触覚効果特性を生成することとを含み、前記触覚効果は、前記変更された触覚効果特性を用いて生成される、請求項１０に記載の方法。
12. 前記没入型現実環境とインタラクトしているユーザーが、前記没入型現実環境の電子信号入力を提供するように構成された触覚対応ハンドヘルドコントローラーを把持しているか否かを前記処理回路によって特定することを更に含み、前記触覚対応ウェアラブルデバイスにおいて生成される前記触覚効果は、前記ユーザーが触覚対応ハンドヘルドコントローラーを把持しているか否かに基づいている、請求項１に記載の方法。
13. 前記触覚効果は、前記没入型現実モジュール以外のどのようなソフトウェアが前記デバイスにおいて実行又はインストールされているのかに更に基づいている、請求項１に記載の方法。
14. 前記触覚効果は、前記触覚対応ウェアラブルデバイスの前記触覚出力デバイスの触覚能力に更に基づいている、請求項１に記載の方法。
15. 前記触覚出力デバイスは第２のタイプの触覚出力デバイスであり、前記触覚出力デバイスを制御することは、第１のタイプの触覚出力デバイスに関連した規定された触覚効果特性を取得することと、前記規定された触覚効果特性を変更して、変更された触覚効果特性を生成することとを含み、前記触覚効果は、前記変更された触覚効果特性に基づいて生成される、請求項１４に記載の方法。
16. 没入型現実環境と該没入型現実環境のユーザーによって制御されている物理物体との間のシミュレーションされたインタラクションを処理回路によって検出することと、
    前記没入型現実環境と前記物理物体との間の前記シミュレーションされたインタラクションの触覚効果が生成されることを前記処理回路によって決定することと、
    前記物理物体と前記没入型現実環境との間の前記シミュレーションされたインタラクションに基づいて前記触覚効果を生成するように触覚対応ウェアラブルデバイスの触覚出力デバイスを前記処理回路によって制御することと、
    を含む、没入型現実環境の触覚効果を提供する方法。
17. 前記物理物体は、前記没入型現実環境のユーザーによって移動されているハンドヘルド物体である、請求項１６に記載の方法。
18. 前記ハンドヘルド物体は、前記没入型現実環境の電子信号入力を提供するように構成されたハンドヘルドユーザー入力デバイスである、請求項１７に記載の方法。
19. 前記ハンドヘルド物体は、前記没入型現実環境の電子信号入力を提供する能力を有しない、請求項１７に記載の方法。
20. 前記シミュレーションされたインタラクションは、前記物理物体と前記没入型現実環境の仮想表面との間のシミュレーションされた接触を含み、前記触覚効果は、前記仮想表面の仮想テクスチャーに基づいている、請求項１９に記載の方法。
21. 前記物理物体の物理特性を求めることを更に含み、前記触覚効果は、前記物理物体の前記物理特性に基づいており、前記物理特性は、前記物理物体のサイズ、色、又は形状のうちの少なくとも１つを含む、請求項１６に記載の方法。
22. 前記物理物体に仮想特性を割り当てることを更に含み、前記触覚効果は、前記仮想特性に基づいており、前記仮想特性は、仮想質量、仮想形状、仮想テクスチャー、又は前記物理物体と前記没入型現実環境の仮想物体との間の仮想力の大きさのうちの少なくとも１つを含む、請求項１６に記載の方法。
23. 前記触覚効果は、前記触覚対応ウェアラブルデバイスと前記物理物体との間の物理的関係に基づいている、請求項１６に記載の方法。
24. 前記触覚効果は、前記触覚対応ウェアラブルデバイスと前記没入型現実環境の仮想物体との間の近接性に基づいている、請求項１６に記載の方法。
25. 前記触覚効果は、前記物理物体の移動特性に基づいている、請求項１６に記載の方法。
26. 前記物理物体は、該物理物体の１つ以上の特性を記述したプロファイル情報を記憶するメモリを備え、前記触覚効果は、前記プロファイル情報に基づいている、請求項１６に記載の方法。
27. 前記没入型現実環境は、複数の異なる没入型現実環境を生成することができるデバイスによって生成され、前記方法は、前記物理物体の物理特性又は仮想特性に基づいて前記複数の没入型現実環境の中から前記没入型現実環境を選択することを更に含む、請求項１６に記載の方法。
28. 画像分類アルゴリズムを前記物理物体の物理外観に適用して、前記物理物体の画像分類を特定することを更に含み、前記複数の没入型現実環境の中から前記没入型現実環境を選択することは、前記物理物体の前記画像分類に基づいている、請求項２７に記載の方法。
29. 前記物理物体は、該物理物体の特性を記述したプロファイル情報を記憶するメモリを備え、前記複数の没入型現実環境の中から前記没入型現実環境を選択することは、前記メモリに記憶された前記プロファイル情報に基づいている、請求項２７に記載の方法。
30. 没入型現実環境の触覚効果が生成されることを処理回路によって決定することと、
    前記触覚効果が第１のタイプの触覚出力デバイスに関連した規定された触覚効果であると前記処理回路によって特定することと、
    前記処理回路と通信する触覚対応デバイスの触覚能力を前記処理回路によって特定することであって、該触覚能力は、前記触覚対応デバイスが、第２のタイプの触覚出力デバイスである触覚出力デバイスを有することを示すことと、
    変更された触覚効果特性を有する変更された触覚効果を生成するために、前記触覚対応デバイスの前記触覚能力に基づいて前記規定された触覚効果の触覚効果特性を変更することと、
    を含む、没入型現実環境の触覚効果を提供する方法。
31. 前記触覚対応デバイスの前記触覚能力は、どのようなタイプ（複数の場合もある）の触覚出力デバイスが前記触覚対応デバイスに存在するのか、どれだけの数の触覚出力デバイスが前記触覚対応デバイスに存在するのか、前記触覚出力デバイス（複数の場合もある）のそれぞれがどのようなタイプ（複数の場合もある）の触覚効果を生成することができるのか、前記触覚出力デバイス（複数の場合もある）のそれぞれが生成することができる最大触覚振幅、前記触覚出力デバイス（複数の場合もある）のそれぞれの周波数帯域幅、前記触覚出力デバイス（複数の場合もある）のそれぞれの最短立ち上がり時間若しくは最短制動時間、前記触覚対応デバイスの任意の熱触覚出力デバイスの最高温度若しくは最低温度、又は前記触覚対応デバイスの任意のＥＳＦ触覚出力デバイス若しくはＵＳＦ触覚出力デバイスの最大摩擦係数のうちの少なくとも１つを示す、請求項３０に記載の方法。
32. 前記触覚効果特性を変更することは、触覚振幅、触覚効果タイプ、触覚効果周波数、温度、又は摩擦係数のうちの少なくとも１つを変更することを含む、請求項３０に記載の方法。
33. 処理回路によって生成されている没入型現実環境の触覚効果が生成されることを前記処理回路によって決定することと、
    前記処理回路と通信する複数の触覚対応デバイスのそれぞれの触覚能力を前記処理回路によって特定することと、
    前記複数の触覚対応デバイスの前記それぞれの触覚能力に基づいて前記複数の触覚対応デバイスから或る触覚対応デバイスを選択することと、
    前記触覚効果を生成するように選択された前記触覚対応デバイスを制御し、選択されていない触覚対応デバイスが前記触覚効果を生成しないようにすることと、
    を含む、没入型現実環境の触覚効果を提供する方法。
34. 没入型現実環境のユーザーによって装着された触覚対応リング又は触覚対応グローブの位置又は移動を処理回路によって追跡することと、
    前記ユーザーと前記没入型現実環境との間のインタラクションを前記触覚対応リング又は前記触覚対応グローブの前記位置又は前記移動に基づいて特定することと、
    前記ユーザーと前記没入型現実環境との間で特定された前記インタラクションに基づいて触覚効果を生成するように、前記触覚対応リング又は前記触覚対応グローブを制御することと、
    を含む、没入型現実環境の触覚効果を提供する方法。
35. 前記触覚効果は、前記触覚対応リング又は前記触覚対応グローブと前記没入型現実環境の仮想物体との間の近接性を含む関係に基づいている、請求項３４に記載の方法。
36. 前記関係は、前記触覚対応リング又は前記触覚対応グローブと前記没入型現実環境の仮想物体との間の近接性を示す、請求項３５に記載の方法。
37. 前記触覚効果は、前記仮想物体の仮想テクスチャー又は仮想硬度に基づいている、請求項３５に記載の方法。
38. 前記触覚効果は、前記触覚対応リング又は前記触覚対応グローブが前記没入型現実環境の仮想表面又は仮想境界を横断することに応答してトリガーされ、前記触覚効果は、運動感覚効果を近似するマイクロ変形効果である、請求項３４に記載の方法。
39. 前記触覚対応リング又は前記触覚対応グローブの前記位置又は前記移動を追跡することは、前記処理回路が、前記ユーザーが位置している物理環境の画像をカメラから受信し、画像検出アルゴリズムを前記画像に適用して前記触覚対応リング又は前記触覚対応グローブを検出することを含む、請求項３４に記載の方法。
40. 没入型現実生成デバイスであって、
    没入型現実環境を生成する没入型現実モジュールを記憶するように構成されたメモリと、
    前記没入型現実モジュールを実行するように構成された処理ユニットと、
    無線通信を行う通信インターフェースと、
    を有し、
    触覚出力デバイス及び触覚生成能力を有しない、
    没入型現実生成デバイスと、
    触覚対応ウェアラブルデバイスであって、
    触覚出力デバイスと、
    前記没入型現実生成デバイスの前記通信インターフェースと無線で通信するように構成された通信インターフェースと、
    を有し、
    触覚効果が生成されることを示す表示を前記没入型現実生成デバイスから受信し、前記触覚効果を生成するように前記触覚出力デバイスを制御するように構成されている、
    触覚対応ウェアラブルデバイスと、
    を備える、システム。