JP2019096312A - 触覚アクセサリー装置 - Google Patents

Abstract

【課題】仮想現実（ＶＲ）環境又は拡張現実（ＡＲ）環境のための触覚アクセサリー装置を提供すること。【解決手段】触覚アクセサリー装置は、物理的物体に取り付けられるように構成された形状適合性を有する本体と、触覚出力デバイスと、触覚アクセサリー装置の動きを追跡するように構成されたモーションセンサーと、無線通信インターフェースユニットと、プロセッサと、電源とを備える。無線通信ユニットは、モーションセンサーからのセンサー情報をＶＲ環境又はＡＲ環境を提供するアプリケーションを実行するように構成されたコンピューターシステムに無線通信し、触覚アクセサリー装置が触覚効果を出力すべきであることを示す信号をコンピューターシステムから受信するように構成され、触覚出力デバイスは、当該信号に基づいて触覚効果を出力するように構成される。【選択図】図１

Description

本発明は、物理的物体（physical object）に取付け可能であり、ユーザーインターフェース、ゲーム及びコンシューマー電化製品に適用される、触覚アクセサリー装置に関する。

電子ユーザーインターフェースシステムが普及してくるに従い、人間がこれらのシステムとインタラクトするためのインターフェースの質は、ますます重要になってきている。触覚フィードバック、又はより一般的には触覚効果は、ユーザーにキューを提供し、特定のイベントの通知を提供し、又は仮想環境内でより大きい知覚没入感（sensory immersion）を生成するように現実的なフィードバックを提供することにより、インターフェースの質を向上させることができる。触覚効果の例としては、運動感覚触覚効果（能動的及び抵抗力フィードバック等）、振動触知触覚効果、及び静電摩擦触覚効果が含まれる。

以下の詳細な説明は本来例示的なものでしかなく、本発明又は本発明の用途及び使用を限定するように意図されていない。さらに、前述の技術分野、背景技術、発明の概要又は以下の詳細な説明に提示されている、明示又は暗示されるいかなる理論にも制限されることは意図されていない。

本明細書における実施形態の１つの態様は、仮想現実（ＶＲ）又は拡張現実（ＡＲ）環境のための触覚アクセサリー装置に関する。触覚アクセサリー装置は、物理的物体に取り付けられるように構成された形状適合性を有する（conformable）本体と、形状適合性を有する本体の上又は中に配置された触覚出力デバイスと、形状適合性を有する本体の上又は中に配置され、触覚アクセサリー装置の動きを追跡するように構成されたモーションセンサーと、無線通信インターフェースユニット（及び／又は有線通信インターフェースユニット）とを備える。無線通信ユニットは、ＶＲ環境又はＡＲ環境を提供するアプリケーションを実行するように構成されたコンピューターシステムに、モーションセンサーからのセンサー情報を無線通信し、コンピューターシステムから、触覚アクセサリー装置が触覚効果を出力すべきであることを示す信号を受信するように構成され、触覚アクセサリー装置の触覚出力デバイスは、上記信号に基づいて触覚効果を出力するように構成されている。触覚アクセサリー装置は、プロセッサ及び電源を更に備える。プロセッサは、形状適合性を有する本体の上又は中に配置され、少なくとも触覚出力デバイス、モーションセンサー及び無線通信インターフェースユニットと通信する。電源は形状適合性を有する本体の上又は中に配置され、少なくとも触覚出力デバイス、プロセッサ及び無線通信インターフェースユニットに電力を提供するように構成される。

一実施形態において、形状適合性を有する本体は、可撓性層から形成され、異なる物理的物体の異なる形状に適合するように再構成可能である。

一実施形態において、触覚アクセサリー装置は、形状適合性を有する本体の上に配置されたユーザー入力要素を更に備え、ユーザー入力要素はトリガー及びジョイスティックのうちの少なくとも一方であり、ユーザー入力要素はプロセッサと通信する。

一実施形態において、触覚アクセサリー装置は、物理的物体に取り付けられると、物理的物体にハンドヘルドコントローラー機能及び触覚機能を提供するように構成されている。

一実施形態において、形状適合性を有する本体は、物理的物体の少なくとも一部に巻き付けられるように構成されている。

一実施形態において、形状適合性を有する本体は、物理的物体の少なくとも一部の周囲に適合するように弾性的に伸張するように構成されているエラストマー材料を含む。

一実施形態において、形状適合性を有する本体は、ループ形状を有する弾性バンドを形成する。

一実施形態において、触覚アクセサリー装置は、形状適合性を有する本体の伸張及び曲げのうちの少なくとも一方を検知するように構成された１つ以上の追加のセンサーを更に備え、プロセッサは、１つ以上の追加のセンサーからの信号に基づいて物理的物体の推定サイズ及び推定形状のうちの少なくとも一方を求めるように構成されている。

一実施形態において、触覚出力デバイスは、コンピューターシステムからの信号に基づいて質感をシミュレートするように構成された静電摩擦（ＥＳＦ）アクチュエーターである。

一実施形態において、触覚出力デバイスは、コンピューターシステムからの信号に基づいて振動触知（vibrotactile）触覚効果を出力するように構成された圧電アクチュエーターである。

一実施形態において、触覚出力デバイスは、超音波触覚アクチュエーター及び発熱体のうちの少なくとも一方である。

一実施形態において、モーションセンサーによって出力されるセンサー情報は、触覚アクセサリー装置の位置及び向きのうちの少なくとも一方を示す。

一実施形態において、形状適合性を有する本体は、可撓性があり且つポリマー材料から形成され、プロセッサ、触覚出力デバイス、電源、モーションセンサー及び無線通信インターフェースユニットは、ポリマー材料内に埋め込まれている。

一実施形態において、触覚アクセサリー装置のモーションセンサーは、加速度計、慣性測定ユニット（ＩＭＵ）及びジャイロスコープのうちの少なくとも１つを含む。

本明細書における実施形態の１つの態様は、仮想現実（ＶＲ）環境又は拡張現実（ＡＲ）環境を提供する触覚対応システムに関する。本システムは、コンピューターシステム及び触覚アクセサリー装置を備える。コンピューターシステムは、第１のプロセッサ及び表示デバイスを備え、第１のプロセッサは、ＶＲ環境又はＡＲ環境を提供するアプリケーションを実行するように構成され、表示デバイスは、ＶＲ環境又はＡＲ環境を表示するように構成されている。触覚アクセサリー装置は、触覚アクセサリー装置から取り外されているときはハンドヘルドコントローラー機能を有していない物理的物体に、取り付けられるように構成された形状適合性を有する本体を備え、触覚アクセサリー装置は、物理的物体に取り付けられると、ハンドヘルドコントローラー機能を物理的物体に提供するように構成されている。触覚アクセサリー装置は、触覚出力デバイス、モーションセンサー、無線通信インターフェースユニット、第２のプロセッサ及び電源を更に備える。触覚出力デバイスは、形状適合性を有する本体の上又は中に配置されている。モーションセンサーは、形状適合性を有する本体の上又は中に配置され、触覚アクセサリー装置の動きを追跡するように構成されている。無線通信インターフェースユニットは、コンピューターシステムと無線通信するように構成されている。第２のプロセッサは、形状適合性を有する本体の上又は中に配置され、触覚出力デバイス、モーションセンサー及び無線通信インターフェースユニットと通信する。電源は、形状適合性を有する本体の上又は中に配置され、少なくとも触覚出力デバイス、第２のプロセッサ及び無線通信インターフェースユニットに電力を提供するように構成されている。コンピューターシステムの第１のプロセッサは、触覚アクセサリー装置のモーションセンサーから触覚アクセサリー装置の無線通信インターフェースユニットを介してセンサー情報を受け取り、センサー情報に基づいてＶＲ環境又はＡＲ環境の仮想物体を制御し、仮想物体に関連する触覚効果が生成されるべきであると判断し、無線通信インターフェースユニットを介して第２のプロセッサに信号を通信するように構成され、当該信号は、触覚アクセサリー装置が触覚効果を生成すべきであることを示し、触覚アクセサリー装置の触覚出力デバイスは、上記信号に基づいて触覚効果を出力するように構成されている。

一実施形態において、形状適合性を有する本体は、可撓性があり且つポリマー材料から形成され、異なる物理的物体の異なる形状に適合するように再構成可能であり、プロセッサ、触覚出力デバイス、電源、モーションセンサー及び無線通信インターフェースユニットは、ポリマー材料内に埋め込まれている。

一実施形態において、センサー情報は、触覚アクセサリー装置の位置及び向きのうちの少なくとも一方を示し、第１のプロセッサは、センサー情報に基づいて、表示デバイスにおいて仮想物体の表示された位置及び向きのうちの少なくとも一方を変更するように構成されている。

一実施形態において、第１のプロセッサは、コンピューターシステムのメモリにおいて複数の物理的物体のうちの物理的物体を仮想物体に関連付けるように構成されている。

一実施形態において、仮想物体は、表示デバイスに表示される形状を有し、第１のプロセッサは、複数の物理的物体のうちの上記物理的物体の形状が仮想物体の形状と実質的に同じであると判断することにより、上記物理的物体が仮想物体に関連付けられるべきであると判断するように構成されている。

一実施形態において、触覚対応システムは、第１のプロセッサと通信するカメラを更に備え、第１のプロセッサは、カメラによって取り込まれる画像に基づいて、複数の物理的物体のうちの上記物理的物体の形状が、仮想物体の形状と実質的に同じであると判断するように構成されている。

一実施形態において、第１のプロセッサは、表示デバイスに対し、触覚アクセサリー装置が複数の物理的物体のうちの上記物理的物体に手動で取り付けられるべきであるという指示を表示させるように更に構成されている。

一実施形態において、複数の物理的物体のうちの上記物理的物体は、複数の物理的物体のうちの第１の物理的物体及び第２の物理的物体であり、触覚アクセサリー装置は、第１の物理的物体及び第２の物理的物体の各々に取り付けられるように構成されている。第１のプロセッサは、触覚アクセサリー装置が第１の物理的物体に取り付けられている状態から触覚アクセサリー装置が第２の物理的物体に取り付けられている状態への変化を検出するように構成され、コンピューターシステムのメモリにおいて仮想物体の関連付けを、第１の物理的物体に関連付けられていることから第２の物理的物体に関連付けられていることへ変更するように構成されている。

一実施形態において、触覚アクセサリー装置は、触覚アクセサリー装置の形状適合性を有する本体の伸張及び曲げのうちの少なくとも一方を検知するように構成された１つ以上の追加のセンサーを更に備え、第２のプロセッサは、１つ以上の追加のセンサーからの追加のセンサー情報に基づいて、複数の物理的物体のうちの上記物理的物体の推定サイズ及び推定形状のうちの少なくとも一方を求め、上記物理的物体の推定サイズ及び推定形状のうちの少なくとも一方を第１のプロセッサに通信するように構成されている。

一実施形態において、触覚アクセサリー装置が触覚効果を生成すべきであることを示す信号は、触覚効果の強度、周波数及びタイプのうちの少なくとも１つを示し、第１のプロセッサは、上記物理的物体の推定サイズ及び推定形状のうちの少なくとも一方に基づいて、信号に示された強度、周波数及びタイプのうちの少なくとも１つを決定するように構成されている。

一実施形態において、触覚アクセサリー装置が触覚効果を生成すべきであることを示す信号は、触覚効果の強度、周波数及びタイプのうちの少なくとも１つを示し、第１のプロセッサは、仮想物体の仮想質量、仮想形状、仮想サイズ及び仮想温度のうちの少なくとも１つに基づいて、上記信号に示される強度、周波数及びタイプのうちの少なくとも１つを決定するように構成されている。

一実施形態において、触覚アクセサリー装置の触覚出力デバイスは、触覚アクセサリー装置の複数の触覚出力デバイスのうちの１つであり、第１のプロセッサによって生成される信号は、複数の触覚出力デバイスのうちのいずれの１つ以上の触覚出力デバイスが触覚効果を出力すべきであるかを示す。

一実施形態において、上記信号は、１つ以上の触覚出力デバイスによって生成されるべき触覚効果のタイミングを更に示す。

一実施形態において、プロセッサによって実行されるアプリケーションはＡＲ環境を提供し、表示デバイスは、ＡＲ環境において物理的物体の上に画像を重ね合わせるように構成され、画像は、物理的物体と実質的に同じ形状を有する。

本明細書における実施形態の１つの態様は、仮想現実（ＶＲ）環境又は拡張現実（ＡＲ）環境を提供する方法に関し、本方法は、第１のプロセッサ及び表示デバイスを有するコンピューターシステムによって実行され、コンピューターシステムの第１のプロセッサにより、ＶＲ環境又はＡＲ環境を提供するアプリケーションを実行することを含む。本方法は、第１のプロセッサにより、ＶＲ環境又はＡＲ環境の仮想物体がコンピューターシステムの表示デバイスに表示されるようにすることを更に含む。本方法は、触覚アクセサリー装置から、触覚アクセサリー装置のモーションセンサーからのセンサー情報を受け取ることを更に含み、触覚アクセサリー装置は、形状適合性を有する本体、触覚出力デバイス、モーションセンサー、無線通信インターフェースユニット、第２のプロセッサ及び電源を備え、形状適合性を有する本体は、触覚アクセサリー装置から取り外されているときハンドヘルドコントローラー機能を有していない物理的物体に、取り付けられるように構成され、触覚出力デバイス、モーションセンサー、無線通信インターフェースユニット、第２のプロセッサ及び電源の各々は、形状適合性を有する本体の上又は中に配置される。本方法は、第１のプロセッサにより、センサー情報に基づいて仮想物体を制御することを更に含む。本方法は、第１のプロセッサにより、仮想物体に関連する触覚効果が生成されるべきであると判断することと、第１のプロセッサにより、触覚アクセサリー装置が触覚効果を生成すべきであることを示す信号を触覚アクセサリー装置に通信することによって、触覚アクセサリー装置に取り付けられた物理的物体において触覚効果が生成されるようにすることとを更に含む。

一実施形態において、本方法は、第１のプロセッサと通信するカメラによって取り込まれた画像を受け取り、カメラによって取り込まれた画像から、物理的物体の形状が仮想物体の形状と実質的に同じであると判断し、物理的物体の形状が仮想物体の形状と実質的に同じであるという判断に応じて、表示デバイスに、触覚アクセサリー装置が物理的物体に手動で取り付けられるべきであるという指示を出力し、コンピューターのメモリにおいて触覚アクセサリー装置を物理的物体に関連付けることにより、触覚アクセサリー装置は第１の物理的物体に取り付けられるべきであると判断することを更に含む。

一実施形態において、形状適合性を有する本体は、可撓性材料から形成され、物理的物体の表面に形状適合するように構成される。

一実施形態において、形状適合性を有する本体は、異なる物理的物体の異なる形状に適合するように再構成可能である。

一実施形態において、仮想物体は第１の仮想物体及び第２の仮想物体であり、物理的物体は、複数の物理的物体のうちの第１の物理的物体及び第２の仮想物体である。一実施形態において、本方法は、第１のプロセッサにより、第２の仮想物体がコンピューターシステムの表示デバイスに表示されるようにすることと、第１のプロセッサにより、触覚アクセサリー装置が第１の物理的物体に取り付けられている状態から、触覚アクセサリー装置が第２の物理的物体に取り付けられている状態への変化を検出することと、第１のプロセッサにより、コンピューターシステムのメモリにおいて、第２の物理的物体を第２の仮想物体に関連付けることを更に含み、第２の仮想物体はＶＲ環境若しくはＡＲ環境の一部であり、又は異なるＶＲ環境若しくはＡＲ環境の一部である。

一実施形態において、第１の物理的物体及び第２の物理的物体は異なるそれぞれの形状を有する。

一実施形態において、本方法は、触覚アクセサリー装置が第１の物理的物体に取り付けられると、触覚アクセサリー装置から、第１の物理的物体の第１の推定形状及び第１の推定サイズのうちの少なくとも一方を受け取ることと、触覚アクセサリー装置が第２の物理的物体に取り付けられると、触覚アクセサリー装置から、第２の物理的物体の第２の推定形状及び第２の推定サイズのうちの少なくとも一方を受け取ることとを更に含む。

一実施形態において、触覚効果は、第１の触覚効果であり、触覚アクセサリー装置が第１の物理的物体に取り付けられたときに、第１の物理的物体の第１の推定形状及び第１の推定サイズのうちの少なくとも一方に基づいて決定され、本方法は、触覚アクセサリー装置が第２の物理的物体に取り付けられたときに、第２の物理的物体の第２の推定形状又は第２の推定サイズのうちの少なくとも一方に基づいて、第２の触覚効果を決定することを更に含む。

一実施形態において、本方法は、表示デバイスに、触覚アクセサリー装置から受け取られるセンサー情報に基づいて仮想物体の移動を表示させることを更に含む。

本発明の実施形態の特徴、目的、及び利点は、添付図面が参照される以下の詳細な説明を読むことによって当業者に明らかになる。

本発明の一実施形態による、触覚アクセサリー装置及びコンピューターシステムを有する触覚対応システムを示す。 本発明の一実施形態による、触覚アクセサリー装置及びコンピューターシステムを有する触覚対応システムを示す。 本発明の一実施形態による、バンドの形態を有し、バンドがループを形成する、触覚アクセサリー装置を示す。 本発明の一実施形態による、シートの形態を有する触覚アクセサリー装置を示す。 本発明の一実施形態による、シートの形態を有する触覚アクセサリー装置を示す。 本発明の一実施形態による、シートの形態を有する触覚アクセサリー装置を示す。 本発明の一実施形態による、触覚アクセサリー装置のブロック図である。 本発明の一実施形態による、触覚アクセサリー装置により触覚効果を生成する方法を示す。 本発明の一実施形態による、物理的物体、触覚アクセサリー装置及び仮想物体の間のインタラクションを示す。 本発明の一実施形態による、物理的物体、触覚アクセサリー装置及び仮想物体の間のインタラクションを示す。 本発明の一実施形態による、触覚アクセサリー装置と通信するコンピューターシステムによって実行されるステップを示す。

本発明の上述の特徴、目的及び利点並びに他の特徴、目的及び利点は、添付の図面に示されるような本発明の実施形態の以下の説明から明らかであろう。本明細書に組み込まれるとともに本明細書の一部をなす添付の図面は更に、本発明の原理を説明するとともに、当業者が本発明を実施及び使用することを可能にする役割を果たす。図面は一定縮尺ではない。

以下の詳細な説明は本来例示的なものでしかなく、本発明又は本発明の用途及び使用を限定するように意図されていない。さらに、前述の技術分野、背景技術、発明の概要又は以下の詳細な説明に提示されている、明示又は暗示されるいかなる理論にも制限されることは意図されていない。

本明細書における実施形態は、物理的物体に対して触覚機能及びハンドヘルドコントローラー機能を追加することができる装置に関し、物理的物体は、日用品であって、それ自体は触覚機能もハンドヘルドコントローラー機能も有していない日用品とすることができる。したがって、本装置は、異なる日用品が、例えば仮想現実（ＶＲ）環境又は拡張現実（ＡＲ）環境のための触覚対応ハンドヘルドコントローラーとして各々構成されることを可能にする、触覚アクセサリー装置として作用することができる。一実施形態では、触覚アクセサリー装置は、種々の異なる物理的物体を触覚対応ハンドヘルドコントローラーに構成することができる汎用装置として作用することができる。したがって、触覚アクセサリー装置は、それぞれの形状又はサイズの異なる、異なる物理的物体が、各々ハンドヘルドコントローラーとして構成されることを可能にすることにより、ハンドヘルドコントローラーの形状又はサイズに関してカスタマイズ化を可能にすることができる。場合により、触覚アクセサリー装置は、触覚アクセサリー装置及びそれに取り付けられた任意の物理的物体の動きを追跡することができる、１つ以上のモーションセンサーにより更に、ハンドヘルドコントローラー機能を提供することができる。種々の異なる物理的物体を触覚対応ハンドヘルドコントローラーに構成することができることにより、触覚アクセサリー装置によって、ユーザー又はプログラム（例えば、ＶＲ／ＡＲ環境を提供するプログラム）が、例えばＶＲ／ＡＲ環境の仮想物体に最も一致するか又は他の方法でそれを最もよく表現する（例えば、形状、サイズ又は他の何らかの要素に関して仮想物体に最も一致する）物理的物体を選択することを可能にすることができる。この状況では、物理的物体は、仮想物体に類似していることにより、ＶＲ環境又はＡＲ環境において仮想物体に対する代用物として作用することができる。一実施形態では、物理的物体は、平均的なユーザーの手が保持し且つ直接移動させることができるようにする形状及びサイズを有する（例えば、ユーザーの手により把持可能であるように十分小さい）という点で、ハンドヘルドコントローラーとして構成可能である。

さらに、一実施形態では、触覚アクセサリー装置により、専用のハンドヘルドコントローラー（例えば、Ｗｉｉ（登録商標）リモコン）を、ユーザーの物理的な場所又は周囲環境（例えば、家庭又は職場）において物理的物体に置き換えることができ、物理的物体自体はコントローラー機能を有していない。触覚アクセサリー装置は、物理的物体に取り付けられると、物理的物体にコントローラー機能を提供する。触覚アクセサリー装置は、物理的物体に取り付けられると、その物理的物体が、ＶＲ環境又はＡＲ環境のためのユーザー入力を提供することができるハンドヘルドコントローラー（例えば、ゲーム周辺機器）として使用されるのを可能にする。別の実施形態では、物理的物体自体が、触覚アクセサリー装置によって提供される任意の動き検知機能とは別に、動き検知機能を有することができる。例えば、物理的物体は、モーションセンサーを備えるゲーム用ジョイスティックとすることができる。

一実施形態において、触覚アクセサリー装置とともに異なる物理的物体を用いて、異なるそれぞれの仮想物体を制御するか又はより一般的にはそうした仮想物体とインタラクトすることができる。特定の仮想物体とインタラクトするために使用される特定の物理的物体は、ＶＲ環境又はＡＲ環境を実行しているコンピューターシステムにより、又はユーザーにより選択することができる。両方の場合において、コンピューターシステムは、例えば、仮想物体を物理的物体と（例えば、メモリ内のテーブルにおいて）関連付けることにより、仮想物体を物理的物体に割り当てる（ｍａｐ）ことができる。例えば、コンピューターシステムは、ユーザーが、仮想剣又は仮想ライトセーバー（light saber）を使用して模擬剣戟を行うことができる、ＶＲ環境又はＡＲ環境を実行することができる。こうした例では、コンピューターシステム又はユーザーは、例えば、仮想剣又は仮想ライトセーバーのための物理的代用物として円筒状チップ容器（例えば、Ｐｒｉｎｇｌｅｓ（登録商標）ポテトチップ缶）を選択することができ、その理由は、円筒状チップ容器は、仮想剣又は仮想ライトセーバーの細長い形態に類似する細長い形状を有することができるためであり、且つ、円筒状チップ容器は、剣の柄の形状に類似する円筒形状も有するためである。別の例では、コンピューターシステム又はユーザーは、例えば、仮想剣又は仮想ライトセーバーのための物理的代用物としてテニスラケットを選択することができる。ユーザーは、例えば、円筒状チップ容器又はテニスラケットを物理的な場所で振ることにより、ＶＲ環境又はＡＲ環境において仮想剣又は仮想ライトセーバーを制御することができる。ゲームプレー中、ユーザーが物理的物体を移動させた場合、ＶＲ環境又はＡＲ環境は、仮想剣又は仮想ライトセーバーの移動を対応するように表示することができる。一実施形態では、仮想剣又は仮想ライトセーバーが別の仮想剣又は仮想壁等の別の仮想物体にぶつかった場合、触覚アクセサリー装置は、円筒状チップ容器における振動触知触覚効果等、物理的物体における触覚効果を出力するように構成することができる。触覚効果は、ＶＲ環境又はＡＲ環境においてユーザーの仮想剣又は仮想ライトセーバーと別の仮想物体（複数の場合もある）との間の接触をシミュレートする機能を提供することができる。

一実施形態において、ユーザーは、ＶＲ環境又はＡＲ環境が最初に表示されるか又は他の方法でレンダリングされる前又はそのとき、物理的物体に触覚アクセサリー装置を取り付けることができる。一実施形態では、ＶＲ環境又はＡＲ環境を実行するコンピューターシステムは、コンピューターシステムの物理的な場所又は周囲環境の画像（複数の場合もある）を取り込み、画像処理アルゴリズムを使用して、物理的な場所又は周囲環境における１つ以上の物理的物体（例えば、ハンドヘルドコントローラーとして構成可能な１つ以上の物理的物体）を特定するように構成することができる。コンピューターシステムは、レンダリングされたか又はレンダリングされようとしている仮想物体に対する代用物として、１つ以上の物理的物体から一物理的物体を選択することができる。選択は、例えば、形状及び／又はサイズに関して１つ以上の物理的物体のいずれが仮想物体に最も厳密に一致するかに基づくことができる。一実施形態では、コンピューターシステムは、仮想物体に対する代用物として特定の物理的物体が選択されたという指示を出力することができる。例えば、コンピューターシステムは、物理的な場所又は周囲環境の画像において、選択された代用物として物理的物体を特定するように、物理的物体に隣接してマーカーを表示することができる。ユーザーは、上記指示を見るか又は他の方法で知覚すると、コンピューターシステムによって特定された物理的物体に触覚アクセサリー装置を取り付けることができる。

別の実施形態では、ユーザーが、コンピューターシステムからの関与なしに、仮想物体に対する代用物として特定の物理的物体を選択することができる。例えば、ユーザーは、ＶＲ環境又はＡＲ環境によってレンダリングされたか又はレンダリングされる仮想剣に対する代用物として、円筒状チップ容器が使用されるべきであると判断することができる。そのシナリオでは、ユーザーは、最初に、コンピューターシステムの一部であるか又はコンピューターシステムと通信するカメラに対して、物理的物体を提示することができる。カメラは、物理的物体の画像を取り込むことができ、その画像により、コンピューターシステムは、物理的物体をＶＲ環境又はＡＲ環境の仮想物体と関連付けることができる。この関連付けは、例えば、メモリに、仮想物体の識別子（例えば、仮想物体ＩＤ）を物理的物体の画像と（又は、コンピューターシステムによって物理的物体に割り当てられた物理的物体ＩＤと）関連付けるテーブルを含むことができる。一実施形態では、ユーザーは、仮想物体に対する代用物として特定の物理的物体を選択した場合、コンピューターシステムによって指示されることなく、物理的物体に触覚アクセサリー装置を取り付けることができる。コンピューターシステムは、例えば、コンピューターシステムの物理的な場所又は周囲環境の画像を取り込むように構成することができ、その画像から、触覚アクセサリー装置と、触覚アクセサリー装置に取り付けられているか又は他の方法で触覚アクセサリー装置と接触している任意の物理的物体とを特定するように構成することができる。コンピューターシステムは、触覚アクセサリー装置に取り付けられた物理的物体が、ＶＲ環境又はＡＲ環境の仮想物体の代用物としてユーザーによって選択されたと判断し、その物理的物体を仮想物体と関連付けるように構成することができる。

別の例では、ＶＲ環境又はＡＲ環境は、仮想ブロックを含む３次元（３Ｄ）Ｔｅｔｒｉｓ（登録商標）ゲームとすることができる。この例では、コンピューターシステム又はユーザーは、仮想ブロックのうちの１つに対する代用物として物理的なティッシュの箱を選択することができる。ユーザーにより、物理的なティッシュの箱に触覚アクセサリー装置を取り付けることができる。一実施形態では、コンピューターシステムは、物理的なティッシュの箱をその仮想ブロックと関連付けることができる。一実施形態では、ユーザーは、物理的なティッシュの箱を移動させることにより、ＶＲ環境又はＡＲ環境において仮想ブロックの移動を制御することができる。例えば、仮想ブロックをＴｅｔｒｉｓ（登録商標）ゲームの仮想地表面まで下降させるために、ユーザーは、物理的なティッシュの箱をユーザーの家庭のキッチンテーブルまで又は床まで下降させることができる。さらに、触覚アクセサリー装置は、物理的なティッシュの箱に触覚機能を追加することができる。例えば、仮想ブロックが別の仮想ブロックと又は仮想地表面と接触したとき、こうしたイベントが、物理的なティッシュの箱において、ユーザーが感知する振動触知触覚効果を出力するように、触覚アクセサリー装置を作動させることができる。こうした触覚効果は、仮想ブロックが別の仮想ブロックと又は仮想地表面と接触していることをシミュレートすることができる。

別の例では、ＶＲ環境又はＡＲ環境は、仮想ハンマーを用いて仮想モグラを叩くことを含むモグラ叩きゲームの一部とすることができる。この例では、コンピューターシステム又はユーザーは、仮想ハンマーに対する代用物として物理的なＴＶリモコンを選択することができる。ユーザーにより、物理的なＴＶリモコンに触覚アクセサリー装置を取り付けることができる。一実施形態では、コンピューターシステムは、物理的なＴＶリモコンを仮想ハンマーに関連付けることができる。一実施形態では、ユーザーは、物理的なＴＶリモコンを移動させることにより、ＶＲ環境又はＡＲ環境において仮想ハンマーの移動を制御することができる。ＶＲ環境又はＡＲ環境において、仮想ハンマーが仮想モグラを叩くと、触覚アクセサリー装置は、物理的なＴＶリモコンにおいて、例えば、ユーザーによって知覚される振動触知触覚効果を出力するように作動させることができる。こうした触覚効果は、仮想ハンマーと仮想モグラとの間の衝突をシミュレートすることができる。一実施形態では、ＶＲ環境又はＡＲ環境は、コンピューターシステムによりいかなる物理的物体にも関連付けられない１つ以上の仮想モグラを有することができる。別の実施形態では、１つ以上のそれぞれの物理的物体に１つ以上の仮想モグラを関連付けることができる。例えば、物理的なホチキスに、仮想モグラのうちの１つを関連付けることができる。ＶＲ環境又はＡＲ環境が、モグラ叩きゲームにおいて仮想穴から飛び出す仮想モグラを表示すると判断した場合、仮想モグラが表示デバイス上で飛び出すように表示される位置は、物理的なホチキスの物理的な位置に対応することができる。場合により、第２の触覚アクセサリー装置に物理的なホチキスを取り付けることができる。一実施形態では、触覚アクセサリー装置は、例えば、仮想モグラの毛の質感等の質感をシミュレートするように、静電摩擦（ＥＳＦ）効果を出力するように構成することができる。この実施形態では、ユーザーは、ＶＲ環境又はＡＲ環境において仮想モグラに向かって手を伸ばすことができる可能性があり、物理的なホチキスとそれに取り付けられている第２の触覚アクセサリー装置とに触れることができる。第２の触覚アクセサリー装置は、モグラの毛の質感をシミュレートし、したがって、仮想モグラ又は他の仮想物体との接触をシミュレートすることができる。

一実施形態において、ＶＲ環境又はＡＲ環境を実行しているコンピューターシステムは、触覚アクセサリー装置の一部であるモーションセンサーからモーションセンサー情報を受け取ることにより、物理的物体の移動を追跡することができる。触覚アクセサリー装置及びそのモーションセンサーは、触覚アクセサリー装置が物理的物体に取り付けられた後に、物理的物体とともに合わせて移動することができる。一実施形態では、ＶＲ環境又はＡＲ環境を実行しているコンピューターシステムは、画像認識の実行に基づいて物理的物体の移動を追跡することができる。より詳細には、コンピューターシステムは、物理的物体の画像又は一連の画像（例えば、映像）を取り込むことができるカメラを含むか、又はそうしたカメラと通信することができる。コンピューターシステムは、取り込んだ画像又は一連の画像に基づいて物理的物体の移動を追跡することができる。

一実施形態において、ＡＲ環境又はＶＲ環境のコンピューターシステムは、物理的物体がハンドヘルドコントローラーとして構成可能であるという判断（例えば、コンピューターシステムは、平均サイズの手が保持するのに十分小さいと判断する）と、物理的物体の形状が仮想物体の形状と実質的に同じであるという判断とに基づいて、物理的物体を選択することができる。仮想物体の形状は、仮想物体が、ＶＲヘッドマウントデバイス又はデスクトップコンピューターの画面等において、ＶＲ環境又はＡＲ環境で表示されるときに参照することができる。ＡＲ環境の場合、コンピューターシステムは、表示デバイスにおいて物理的物体の画像の上に仮想物体の画像を重ね合わせることができ、それにより、ユーザーは、物理的物体の代わりに仮想物体を見ることができる（例えば、円筒状チップ容器の画像の上に仮想剣の画像が重ね合わされる）。ユーザーが物理的物体を移動させるか又は他の方法で操作すると、ＶＲ環境又はＡＲ環境は、仮想物体の画像を更新することができる。本発明の実施形態によれば、ＡＲ環境において物理的物体の取込み画像の上に仮想物体の画像を重ね合わせることは、物理的物体が仮想物体の形状に実質的に一致する形状を有する場合に最も有効である可能性がある。

一実施形態において、触覚アクセサリー装置は、ユーザーの家庭又は職場で見出される日用品等、異なるそれぞれの物理的物体の異なる形状に適合することができる形状適合性を有する本体を有することができる。一実施形態では、触覚アクセサリー装置は、ハンドヘルドコントローラー機能及び／又は触覚機能をこうした日用品（それら自体はこうした機能を有することができない）に提供するために使用される、自立型デバイスとすることができる。こうした機能を提供するために、触覚アクセサリー装置は、例えば、モーションセンサー、触覚出力デバイス、通信インターフェース、プロセッサ及び電源を備えることができる。場合により、形状適合性を有する本体は、上に列挙した構成要素を含む可撓性層（可撓性シートとも呼ぶ）の形態を有することができる。可撓性層は、例えば、物理的物体の表面に巻き付けることができる可能性がある。場合により、可撓性層は、物理的物体の表面の上／周囲で伸張させることができるエラストマー材料から作製することができる。

一実施形態において、触覚アクセサリー装置に、単一の触覚出力デバイス（例えば、単一の触覚アクチュエーター）又は複数の触覚出力デバイス（例えば、複数の触覚アクチュエーター）を備えることができる。複数の触覚出力デバイスは、同じタイプの触覚効果（例えば、振動触知効果）又は異なるタイプの触覚効果（例えば、熱、ＥＳＦ、振動触知等）を提供することができる。一実施形態では、触覚アクセサリー装置の本体は、少なくとも部分的に物理的物体に巻き付けることができるのに十分可撓性があるものとすることができ、又は、剛性があるものとすることができる。この実施形態では、ＶＲ／ＡＲ環境のＶＲ／ＡＲエンジンは、触覚アクセサリー装置が物理的物体にいかに取り付けられるべきかに関する推奨をユーザーに出力することができる。この推奨は、触覚効果設計者が予め設計することができ、又は、ＶＲ／ＡＲエンジン自体が自動的に推定することができる。推定は、触覚出力デバイスの数と、触覚アクセサリー装置の形状（又は、より一般的には幾何学的形状）と、物理的物体の形状（又は、より一般的には幾何学的形状）とに基づくことができる。触覚アクセサリー装置及び物理的物体の形状は、カメラを用いて判断することができ、又は、触覚アクセサリー装置は、触覚アクセサリー装置の特徴（例えば、形状、触覚出力デバイスの配置、触覚出力デバイスの数、触覚出力デバイスのタイプ、触覚出力デバイスの他の特性等）に関する情報をＶＲ／ＡＲエンジンに提供することができる。

一実施形態において、触覚アクセサリー装置及びコンピューターシステムを（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）ペアリングを介して）ペアリングすることができ、そこでは、触覚アクセサリー装置に対してコンピューターシステムの存在が通知され、コンピューターシステムに対して触覚アクセサリー装置の存在が通知される。一実施形態では、ペアリングは、触覚アクセサリー装置がコンピューターシステムに対して触覚アクセサリー装置自体に関する情報（例えば、触覚出力デバイスの数及びタイプ）を提供すること、又はその逆を含むことができる。ペアリング時、ＶＲエンジン又はＡＲエンジンは、いずれの触覚効果を生成すべきか、触覚効果を生成するためにいずれの触覚出力デバイスを使用すべきか、又はそれらの組合せを選択することができる。ＶＲエンジン又はＡＲエンジンは、さらに、触覚アクセサリー装置がいかに取り付けられるべきかに関する推奨を提供し、その推奨をユーザーに出力することができる。ＶＲエンジン又はＡＲエンジンは、さらに、単一の物理的物体に対して、特定の触覚出力デバイスにおいて、又は特定の触覚アクセサリー装置において、又はそれらの組合せにおいて、幾つかの効果を融合し且つ混合し、それらを再生するように判断することができる。

図１は、本明細書における一実施形態による、拡張現実（ＡＲ）環境又は仮想現実（ＶＲ）環境を提供する触覚対応システム１００を示す。図１の触覚対応システム１００は、ＡＲ環境又はＶＲ環境を提供するように構成されたコンピューターシステム１２０と、触覚アクセサリー装置１１０とを備えることができる。触覚アクセサリー装置１１０は、物理的物体１３１、物理的物体１３２及び物理的物体１３３を含む、ユーザーの周囲環境又は物理的な場所における様々な物理的物体に取付け可能とすることができる。

一実施形態において、コンピューターシステム１２０は、デスクトップコンピューター、ゲーム機（例えば、Ｐｌａｙｓｔａｔｉｏｎ（登録商標）又はＷｉｉ（登録商標）ゲーム機）、サーバー、ラップトップ、タブレットコンピューター又は更には携帯電話とすることができる。一実施形態では、コンピューターシステム１２０は、プロセッサ１２１、メモリ１２３及び表示デバイス１２５を備えることができる。一実施形態では、プロセッサ１２１、メモリ１２３及び表示デバイス１２５は、ＡＲゲーム環境を提供するように構成されたタブレットコンピューター、又は、ＶＲヘッドセット（例えば、Ｓａｍｓｕｎｇ Ｇｅａｒ（登録商標）ＶＲヘッドセット又は他のヘッドマウントデバイス（ＨＭＤ））のためのＶＲ環境を提供することができる携帯電話等、単一のデバイスに組み込むことができる。一実施形態では、コンピューターシステム１２０は、ＶＲ環境又はＡＲ環境を提供するように構成されたＨＭＤのみを含むことができる。こうした実施形態では、ＨＭＤは、別個のデスクトップコンピューター又はサーバーを必要とすることなくＶＲエンジン又はＡＲエンジンを実行するために十分な処理能力を有することができる。一実施形態では、コンピューターシステム１２０のプロセッサ１２１、メモリ１２３及び表示デバイス１２５は、異なる別個のデバイスの一部とすることができる。例えば、プロセッサ１２１及びメモリ１２３は、ＶＲ環境又はＡＲ環境を生成するように構成されるデスクトップコンピューターの一部とすることができ、一方で、表示デバイス１２５は、デスクトップコンピューターと（例えば、データケーブルを介して）通信する別個のデバイス（例えば、独立型ＬＥＤモニター又はＨｏｌｏＬｅｎｓ（登録商標））である。一実施形態では、メモリ１２３は、ＶＲアプリケーション又はＡＲアプリケーションのためのコンピューター可読命令が記憶されている非一時的コンピューター可読媒体とすることができる。一実施形態では、プロセッサ１２１は、コンピューター可読命令を実行することによりＶＲアプリケーション又はＡＲアプリケーションを実行するように構成することができる。

一実施形態において、触覚アクセサリー装置１１０は、形状適合性を有する本体１１２、触覚出力デバイス１１１、モーションセンサー１１３、通信インターフェースユニット１１５、プロセッサ１１７及び電源１１９を備えることができる。列挙した構成要素の各々を、形状適合性を有する本体１１２の表面に配置する（例えば、取り付ける）か、又は形状適合性を有する本体１１２内に配置する（例えば、埋め込む）ことができる。形状適合性を有する本体１１２は、物理的物体１３１、１３２、１３３等の異なるそれぞれの物理的物体の異なる形状に適合するように再構成可能であるように構成させることができる。例えば、形状適合性を有する本体１１２は、様々な形状に適合することができる可撓性材料（例えば、可撓性ポリマー材料）を含むことができる。場合により、可撓性材料が特定の形状に操作される場合、ユーザーが可撓性材料を別の形状に操作するまで、その形状を保持することができる可能性がある。一実施形態では、形状適合性を有する本体１１２は、触覚出力デバイス１１１、モーションセンサー１１３、通信インターフェースユニット１１５、プロセッサ１１７及び電源１１９を封入することができる。例えば、形状適合性を有する本体１１２が可撓性材料から形成されている場合、上に列挙した構成要素を可撓性材料に埋め込むことができる。一実施形態では、形状適合性を有する本体は、形状の異なる表面に形状適合するように伸張させることができるエラストマー材料（例えば、ゴム）から作製することができる。一実施形態では、エラストマー材料により、形状適合性を有する本体１１２を、異なるそれぞれの物理的物体の異なる形状に適合するように再構成可能とすることができる。例えば、形状適合性を有する本体１１２は、第１の物理的物体１３１に巻き付けられる場合に、弾性を有する場合には、異なる形状を有する第２の物理的物体１３２又は第３の物理的物体１３３に後に巻き付けられるように再構成可能とすることもできる。別の実施形態では、ユーザーの身体に触覚アクセサリー装置１１０を取り付ける（例えば、巻き付ける）ことができる。例えば、ユーザーの手首に形状適合性を有する本体１１２を巻き付けることができる。

一実施形態において、触覚出力デバイス１１１は、例えば、振動触知触覚効果を出力するように構成された振動触知アクチュエーター（例えば、圧電アクチュエーター）、静電摩擦（ＥＳＦ）触覚効果を出力するように（例えば、質感をシミュレートするように）構成されたＥＳＦ触覚出力デバイス、熱触覚出力デバイス、超音波触覚出力デバイス、他の任意の触覚出力デバイス、又はそれらの組合せとすることができる。一実施形態では、装置１１０の任意の振動触知アクチュエーターは、圧電アクチュエーター、電磁石アクチュエーター、リニア共振アクチュエーター（ＬＲＡ）又は他の任意の振動触知アクチュエーターを含むことができる。さらに、形状適合性を有する本体１１２内に、触覚アクセサリー装置１１０の任意の振動触知アクチュエーターを配置する（例えば、埋め込む）ことができる。一実施形態では、形状適合性を有する本体１１２の表面に、任意のＥＳＦ触覚出力デバイスを配置することができる。こうしたＥＳＦ触覚出力デバイスは、例えば、形状適合性を有する本体１１２の表面に配置された１つ以上の電極を含むことができる。一実施形態では、触覚出力デバイス１１１は、運動感覚触覚効果を提供するように構成されたモーター又は他のアクチュエーターを含むことができる。一実施形態では、触覚出力デバイス１１１は、静的触覚効果又は低周波数触覚効果を出力するように構成されたスマート材料アクチュエーター（例えば、電気活性ポリマー（ＥＡＰ）アクチュエーター）を含むことができる。一実施形態では、触覚出力デバイス１１１は、超音波触覚アクチュエーター、発熱体又はそれらの組合せとすることができる。図１は、単一の触覚出力デバイス１１１を有する触覚アクセサリー装置１１０を示すが、他の実施形態は、触覚アクセサリー装置の形状適合性を有する本体上又は中の異なる位置に配置された複数の触覚出力デバイスを含む、触覚アクセサリー装置を含むことができる。

一実施形態において、モーションセンサー１１３は、触覚アクセサリー装置１１０の動きを追跡するように構成することができる。一実施形態では、センサー１１３は、加速度計、ジャイロスコープ、圧力センサー、慣性測定ユニット（ＩＭＵ）又はそれらの任意の組合せを含むことができる。一実施形態では、モーションセンサー１１３は、触覚アクセサリー装置１１０の速さ（speed）、速度（velocity）（移動の速さ及び方向を示す）、加速度又は向きのうちの少なくとも１つを測定するように構成することができる。一実施形態では、速度の測定値は、回転速度（例えば、回転の率及び方向）、横速度又はそれらの組合せを含むことができる。触覚アクセサリー装置１１０が物理的物体（例えば、物理的物体１３１）に取り付けられると、モーションセンサー１１３もまた、物理的物体の速さ、移動の方向、加速度又は向きのうちの少なくとも１つを測定している可能性がある。一実施形態では、モーションセンサー１１３は、モーションセンサー情報としての生（raw）センサー情報を、触覚対応システム１００の別のデバイスにセンサー情報を通信することができる通信インターフェースユニット１１５に直接提供することができる。一実施形態では、モーションセンサー１１３は、プロセッサ１１７に生センサー情報を提供することができ、プロセッサ１１７は、生センサー情報を処理して、処理済みセンサー情報を生成することができる。そして、プロセッサ１１７は、処理済みセンサー情報を通信インターフェースユニット１１５に提供することができ、通信インターフェースユニット１１５は、その後、処理済みセンサー情報をモーションセンサー情報として別のデバイスに通信することができる。一実施形態では、触覚アクセサリー装置１１０のプロセッサ１１７又はコンピューターシステム１２０のプロセッサ１２１は、モーションセンサー情報に基づいて触覚アクセサリー装置１１０の位置を求めるように構成することができる。例えば、触覚アクセサリー装置１１０のプロセッサ１１７又はコンピューターシステム１２０のプロセッサ１１７は、モーションセンサー情報から速度データを取得し、速度データの積分を計算するように構成することができる（データ及び情報という用語は、モーションセンサー１１３の出力に関して同義に使用している）。計算された積分は、触覚アクセサリー装置の累積的な動きを表すことができる。触覚アクセサリー装置１１０のプロセッサ１１７又はコンピューターシステム１２０のプロセッサ１２１は、累積的な動きに触覚アクセサリー装置１１０の初期位置を加算して、触覚アクセサリー装置１１０の現在位置を求めることができる。プロセッサ１２１は、表示デバイス１２５に、センサー情報に基づいて仮想物体の表示された位置（又は表示された向き）を変更させることができる。

一実施形態において、通信インターフェースユニット１１５は、コンピューターシステム１２０と通信するように構成することができる。通信されている情報は、例えば、触覚アクセサリー装置１１０のモーションセンサー１１３からコンピューターシステム１２０へのセンサー情報を含むか、又は、コンピューターシステム１２０から触覚アクセサリー装置１１０への１つ以上の信号（例えば、コマンド信号）又は他の任意の情報を含むことができる。モーションセンサーからのセンサー情報は、モーションセンサー１１３から直接の生センサー情報を含むことができ、又は、触覚アクセサリー装置１１０がプロセッサ１１７を使用して生センサー情報を処理する（例えば、フィルタリングする）場合、プロセッサ１１７によって生成される処理済みセンサー情報を含むことができる。コンピューターシステム１２０から通信される信号は、例えば、触覚アクセサリー装置１１０が触覚効果を出力すべきであることを示す触覚コマンドを含むことができる。そして、触覚アクセサリー装置１１０は、その触覚出力デバイス１１１に、上記信号に基づいて触覚効果を出力させることができる。例えば、触覚出力デバイス１１１は、ＥＳＦアクチュエーターである場合、コンピューターシステム１２０からの信号に基づいて質感をシミュレートするように構成することができる。触覚アクチュエーター１１１は、圧電アクチュエーターである場合、コンピューターシステム１２０からの信号に基づいて振動触知触覚効果を出力するように構成することができる。

一実施形態において、触覚アクセサリー装置１１０とコンピューターシステム１２０との間の通信は、有線インターフェースによることができる。例えば、通信インターフェースユニット１１５及びコンピューターシステム１２０は、ユニバーサルシリアルバス（ＵＳＢ）インターフェースにより通信することができる。一実施形態では、通信は、無線インターフェースによることができる。例えば、通信インターフェースユニット１１５は、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）又は他の任意の無線通信プロトコル等の無線通信プロトコルを使用してコンピューターシステム１２０と通信するように構成された無線通信インターフェースユニットとすることができる。

一実施形態において、通信インターフェースユニット１１５を使用して、コンピューターシステム１２０とペアリングするためのペアリングプロセス（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））を実行することができる。ペアリングにより、触覚アクセサリー装置１１０及びコンピューターシステム１２０は、他方のデバイスの存在に気付くことができる。場合により、ペアリングは、情報の交換又は報告を含むことができる。例えば、通信インターフェースユニット１１５は、装置１１０に含まれる触覚出力デバイスの数、装置１１０に含まれる触覚出力デバイスのタイプ、装置１１０における触覚出力デバイスの単数又は複数の位置、触覚アクセサリー装置１１０に関する他の情報、又はそれらの任意の組合せを、コンピューターシステム１２０に報告することができる。

一実施形態において、プロセッサ１１７は、上述したように、モーションセンサー１１３からの生センサー情報を処理するように構成することができる。一実施形態では、プロセッサ１１７は、触覚出力デバイス１１１を制御するように構成することができる。例えば、プロセッサ１１７は、触覚効果を出力するようにコンピューターシステム１２０からコマンドを受け取るように構成することができ、コマンドは、開始時刻、持続時間、振幅又は周波数等、触覚効果のパラメーター値を指定することができる。プロセッサ１１７は、コンピューターシステム１２０からのコマンドに基づいて、触覚出力デバイス１１１に対する駆動信号を生成するように構成することができる。一実施形態では、プロセッサ１１７は、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）又は他の任意の処理回路とすることができる。

一実施形態において、電源１１９は、少なくとも触覚出力デバイス１１１、プロセッサ１１７及び通信インターフェースユニット１１５に電力を提供するように構成することができる。一実施形態では、電源１１９は、さらに、モーションセンサー１１３に電力を提供することができる。一実施形態では、モーションセンサー１１３は、電力の入力なしに動作する機械式センサーとすることができる。一実施形態では、電源１１９は、バッテリー、充電ユニット、発電機又はそれらの任意の組合せとすることができる。充電ユニットは、例えば、誘導充電ユニット又は他の無線充電ユニットを含むことができる。電源１１９が発電機を利用する一実施形態では、発電機は、例えば、触覚アクセサリー装置の動きから、ユーザーの体熱から、又は他の何らかの発生源から電力を生成するように構成することができる。

上述したように、形状適合性を有する本体１１２は、異なるそれぞれの物理的物体１３１、１３２、１３３の異なる形状に適合するように再構成可能であるように構成されることができる。一実施形態では、物理的物体１３１、１３２、１３３は、ユーザーの家庭又は職場における日用品とすることができ、異なるそれぞれの形状（例えば、球形状、多角形状、円筒形状）、異なるそれぞれのサイズ又はそれらの組合せを有することができる。一実施形態では、物理的物体１３１、１３２、１３３は、球形状、立方体形状又は円筒形状等、基本的な幾何学的形状を有する特別用途の物理的物体とすることができる。形状適合性を有する本体１１２は、物理的物体１３１の形状、物理的物体１３２の形状及び物理的物体１３３の形状の各々に適合することができる構造を有するという意味で、再使用可能且つ再構成可能とすることができる。図２は、形状適合性を有する本体２１２を備えた触覚アクセサリー装置２１０と、形状適合性を有する本体２１２が適合することができる物理的物体２３１、２３２、２３３、２３４とのより特定の例を提供する。

より詳細には、図２は、触覚アクセサリー装置２１０及びコンピューターシステム２２０を有する触覚対応システム２００を示す。一実施形態では、触覚アクセサリー装置２１０は、２つの触覚出力デバイス２１１ａ、２１１ｂ、モーションセンサー２１３、無線通信インターフェースユニット２１５、プロセッサ２１７及び電源２１９を有する。一実施形態では、２つの触覚出力デバイス２１１ａ、２１１ｂは、異なるタイプの触覚出力デバイスとすることができる。例えば、触覚出力デバイス２１１ａは振動触知圧電アクチュエーターとすることができ、触覚出力デバイス２１１ｂはＥＳＦデバイスとすることができる。一実施形態では、触覚出力デバイス２１１ａ、２１１ｂは、同じタイプの触覚出力デバイスとすることができる。一実施形態では、上に列挙した構成要素は、物理的物体に形状適合するように構成された形状適合性を有する本体２１２に埋め込まれ、それにより、物理的物体をハンドヘルドコントローラーに変換し／ハンドヘルドコントローラーとして使用可能とすることができる。物理的物体は、細長い円筒状容器（例えば、Ｐｒｉｎｇｌｅｓ（登録商標）缶）である第１の物理的物体２３１と、矩形の箱（例えば、ティッシュの箱）である第２の物理的物体２３２と、ＴＶリモートコントローラーである第３の物理的物体２３３と、ワインボトルである第４の物理的物体２３４とを含むことができる。一実施形態では、形状適合性を有する本体２１２は、プラスチック又は他のポリマー材料等の可撓性材料から形成される。一実施形態では、可撓性材料は、可撓性層（可撓性シートとも呼ぶ）として形成することができる。一実施形態では、触覚アクセサリー装置２１０の形状適合性を有する本体２１２が取り付けられる物理的物体２３１、２３２、２３３、２３４は、ハンドヘルド物体であるように適合可能であるか又はハンドヘルド物体である。

一実施形態において、形状適合性を有する本体２１２は、物理的物体に巻き付けることにより、物理的物体２３１、２３２、２３３、２３４のうちの１つに取り付けることができる。言い換えれば、形状適合性を有する本体２１２は、物理的物体２３１、２３２、２３３、２３４の各々の表面の少なくとも一部に巻付け可能とすることができる。例えば、形状適合性を有する本体２１２を形成する可撓性材料は、物理的物体２３１、２３２、２３３、２３４のうちの任意のものの少なくとも一部の周囲に適合するように弾性的に伸張することができるエラストマー材料を含むことができ、それにより、エラストマー材料は、物理的物体のうちの任意のものの少なくとも一部に巻き付けられる。後述するように、形状適合性を有する本体２１２は、一例では、物理的物体２３１、２３２、２３３、２３４のうちの任意のものの少なくとも一部の周囲で伸張させることができる弾性バンドを形成することができる。一実施形態では、触覚アクセサリー装置２１０は、締結具を含むことができ、締結具は、物理的物体２３１、２３２、２３３、２３４のうちの任意のものの周囲に触覚アクセサリー装置２１０の巻き付けられた形状適合性を有する本体２１２を固定するように構成され、したがって、物理的物体２３１、２３２、２３３、２３４に取り付けられる。本発明の実施形態によれば、締結具の対応する部分は、触覚アクセサリー装置に単独で取り付けることができ、又は、触覚アクセサリー装置の各々に且つそれが固定される物理的物体２３１、２３２、２３３、２３４のうちの１つに取り付けることができる。一実施形態では、締結具は、面ファスナー（例えば、Ｖｅｌｃｒｏ（登録商標）ファスナー）を含むことができ、それは、形状適合性を有する本体２１２の両端部に配置され、形状適合性を有する本体２１２が物理的物体２３１、２３２、２３３、２３４のうちの１つの少なくとも一部に巻き付けられたときに形状適合性を有する本体２１２をループ形態で維持するように使用される。

一実施形態において、物理的物体２３１、２３２、２３３、２３４のうちのいずれも、触覚アクセサリー装置２１０がそれらの物理的物体２３１、２３２、２３３、２３４から取り外されているとき、いかなるハンドヘルドコントローラー機能も触覚機能も有していない。一実施形態では、ハンドヘルドコントローラー機能は、ユーザー入力（例えば、動きベースのジェスチャー）を検知すること、ＶＲ環境若しくはＡＲ環境を実行しているコンピューターシステムと通信すること、又は他の任意のハンドヘルドコントローラー機能を含むことができる。一実施形態では、触覚機能は、触覚効果の出力を含むことができる。別の実施形態では、物理的物体２３１、２３２、２３３、２３４のうちの１つ以上は、触覚アクセサリー装置２１０がそれらの物理的物体２３１、２３２、２３３、２３４から取り外されているときであっても、コントローラー機能及び／又は触覚機能を有することができる。例えば、物理的物体２３１、２３２、２３３又は２３４のうちの１つ以上は、第１のタイプの触覚出力デバイス（例えば、偏心回転質量アクチュエーター又はリニア共振アクチュエーター）を有するゲームコントローラーとすることができ、一方で、触覚アクセサリー装置２１０は、第２のタイプの触覚アクチュエーター（例えば、静電触覚出力デバイス又は熱触覚出力デバイス）を有することができる。こうした実施形態では、したがって、触覚アクセサリー装置は、ゲームコントローラーがそれだけでは不可能である或るタイプの触覚効果を生成することができることにより、ゲームコントローラーの機能を向上させることができる。

一実施形態において、触覚アクセサリー装置２１０は、こうしたハンドヘルドコントローラー機能及び触覚機能を実行する構成要素を含む物理的パッケージとすることができる。例えば、上述したように、触覚アクセサリー装置２１０は、触覚効果を出力するように構成された触覚出力デバイス２１１ａ、２１１ｂと、動きベースのジェスチャー又は他の任意の形態のユーザー入力を検知するように構成されたモーションセンサー２１３と、コンピューターシステム２２０と通信するように構成された無線通信インターフェースユニット２１５と、触覚アクセサリー装置２１０の他の構成要素を制御する（例えば、触覚出力デバイス２１１ａ、２１１ｂを制御する）ように構成されたプロセッサ２１７と、装置２１０の他の構成要素に電力を提供するように構成された電源２１９とを有することができる。構成要素は、全て、触覚アクセサリー装置２１０の形状適合性を有する本体２１２（例えば、ゴム等のエラストマー材料のシート）に埋め込むことができる。したがって、触覚アクセサリー装置２１０を使用して、触覚アクセサリー装置２１０がそれぞれの物理的物体に取り付けられたとき、物理的物体２３１、２３２、２３３の各々を触覚対応ハンドヘルドコントローラーに変換、すなわち転用することができる。

一実施形態において、ＶＲ環境又はＡＲ環境を提供するように構成されたコンピューターシステム２２０は、プロセッサ２２１、メモリ２２３及びヘッドマウントディスプレイ（ＨＭＤ）デバイス２２５を有することができる。一実施形態では、プロセッサ２２１及びメモリ２２３はデスクトップコンピューター２２６の一部とすることができ、ＨＭＤデバイス２２５は、有線インターフェースを介して（又は、別の実施形態では、無線インターフェースを介して）プロセッサ２２１と通信する別個のデバイスとすることができる。ＨＭＤデバイス２２５は、ＶＲ環境又はＡＲ環境を表示するディスプレイコンポーネント２２８を備えることができる。一実施形態では、コンピューターシステム２２０はカメラ２２７を備えることができ、カメラ２２７は、プロセッサ２２１と通信し、カメラ２２７の物理的な場所又は周囲環境の画像を取り込むように構成される。一実施形態では、カメラ２２７は、ＨＭＤデバイス２２５の一部等、表示デバイスの一部とすることができる。こうした実施形態では、ユーザーがＨＭＤデバイス２２５を装着しているとき、カメラ２２７は、ユーザーの正面の物理的な場所又は周囲環境の画像を取り込むように構成することができる。別の実施形態では、カメラ２２７は、ＨＭＤデバイス２２５及びデスクトップコンピューターとは別個のデバイスとすることができる。一実施形態では、カメラ２２７はウェブカメラとすることができる。

上述したように、触覚アクセサリー装置２１０は、一実施形態では、図３Ａに示すように弾性バンドの形態の形状適合性を有する本体を有することができる。例えば、図３Ａは、ループを形成する弾性バンド３１２Ａを利用する触覚アクセサリー装置３１０Ａを示す。ループ状の弾性バンド３１２Ａは、特定の物理的物体に取り付けられるように、その物理的物体の周囲に適合するように伸張させることができる。さらに、ループ状の弾性バンド３１２Ａを形成するエラストマー材料により、ループ状の弾性バンド３１２Ａは、図２における物理的物体２３１、２３２、２３３、２３４等、形状又はサイズの異なる、異なる物体の周囲に適合することができる。図３Ａに更に図示するように、触覚アクセサリー装置３１０Ａは、ループ状の弾性バンド３１２Ａ内に又はその上に配置された、触覚出力デバイス３１１ａ、３１１ｂ、モーションセンサー３１３Ａ、無線通信インターフェースユニット３１５Ａ、プロセッサ３１７Ａ及び電源３１９Ａを備えることができる。これらの構成要素は、上述した触覚出力デバイス２１１ａ、２１１ｂ、モーションセンサー２１３、無線通信インターフェースユニット２１５、プロセッサ２１７及び電源２１９と同様とすることができる。

別の実施形態において、図３Ｂは、可撓性シートの形態の形状適合性を有する本体３１２Ｂを有する触覚アクセサリー装置３１０Ｂを示す。形状適合性を有する本体３１２Ｂは、可撓性ポリマー等の可撓性材料から形成することができる。形状適合性を有する本体３１２Ｂは、物理的物体に巻付け可能とすることができる。例えば、図３Ｄは、ワインボトル２３４に巻き付けられている形状適合性を有する本体３１２Ｂを示す。

一実施形態において、触覚アクセサリー装置３１０Ｂは、電極３２１と電極３２１の上に配置された絶縁層とを備える触覚出力デバイス３１１ｃを有することができ、触覚出力デバイス３１１ｃは、静電摩擦（ＥＳＦ）効果を生成するように構成されている。図３Ｂにおける線Ａ−Ａに沿った断面図を示す図３Ｃに図示するように、電極３２１は、形状適合性を有する本体３１２Ｂ内に埋め込むことができる。場合により、形状適合性を有する本体３１２Ｂの一部は、電極３２１の上に配置された絶縁層を形成することができる。一実施形態では、装置３１０Ｂは、電源３１９に対し触覚出力デバイス３１１ｃに正弦波駆動信号を出力させることができるプロセッサ３１７を備える。正弦波駆動信号は、触覚出力デバイス３１１ｃに適用されると、模擬質感として知覚されることができる。一実施形態では、触覚アクセサリー装置３１０Ｂは、モーションセンサー３１３及び通信インターフェースユニット３１５を更に備えることができる。一実施形態では、構成要素３１１ｃ、３１３、３１５、３１７及び３１９は、形状適合性を有する本体３１２Ｂ内に埋め込むことができる。

図４は、図１に示す触覚アクセサリー装置１１０の構成要素（触覚出力デバイス１１１、モーションセンサー１１３、通信インターフェースユニット１１５、プロセッサ１１７及び電源１１９）を有し、ユーザー入力要素４１３及び歪みセンサー４１４を更に有する、触覚アクセサリー装置４１０の別の実施形態を示す。一実施形態では、ユーザー入力要素４１３は、ボタン、トリガー、マニピュランダム（例えば、ジョイスティック若しくはサムスティック）又はそれらの組合せのうちの１つ以上を含むことができる。一実施形態では、触覚出力デバイス１１１は、ユーザー入力要素４１３に運動感覚触覚効果を提供するために、ユーザー入力要素４１３に作動力をかけることができるアクチュエーターとすることができる。一実施形態では、触覚出力デバイスは、ユーザー入力要素４１３において振動触知触覚効果を提供するように構成された振動触知アクチュエーターとすることができる。一実施形態では、触覚アクセサリー装置４１０は、形状適合性を有する本体４１２を有することができる。ユーザー入力要素４１６は、例えば、形状適合性を有する本体４１２の表面に付着させることにより、形状適合性を有する本体４１２の表面に取り付けることができる。

一実施形態において、触覚アクセサリー装置４１０は、触覚アクセサリー装置４１０の形状適合性を有する本体４１２の伸張及び曲げのうちの少なくとも一方を検知するように構成された歪みセンサー４１４を備えることができる。歪みセンサー４１４は、例えば、形状適合性を有する本体４１２の表面に付着した（又は、より一般的には、本体４１２の表面に配置された）、又は形状適合性を有する本体４１２内に埋め込まれた（又は、より一般的には配置された）歪みゲージとすることができる。一実施形態では、触覚アクセサリー装置４１０のプロセッサ１１７は、歪みセンサー４１４から歪みデータを受け取り、歪みデータに基づいて、触覚アクセサリー装置４１０が取り付けられる物理的物体の推定サイズ及び推定形状のうちの少なくとも一方を求めるように構成することができる。例えば、プロセッサ１１７は、歪みセンサー４１４によって測定される伸張の量に基づいて、物理的物体の推定サイズを求めることができ、形状適合性を有する本体４１２の相対的に大きい量の伸張（したがって、相対的に大きい量の歪み）は、触覚アクセサリー装置４１０が取り付けられる物理的物体の相対的に大きいサイズと相関させることができる。一実施形態では、プロセッサ１１７は、物理的物体の推定サイズ又は推定形状が、ＶＲ環境又はＡＲ環境を提供しているコンピューターシステム（例えば、１２０）に通信されるようにすることができる。コンピューターシステムは、仮想物体の推定サイズ又は推定形状に基づいて仮想物体を制御することができ、物理的物体の推定サイズ又は推定形状に基づいて、触覚効果に対するパラメーター値（例えば、持続時間、振幅、周波数、開始時刻、タイプ等）を求めることができる。一実施形態では、触覚アクセサリー装置４１０は、温度センサーを備えることができ、コンピューターシステム１２０はまた、又はさらに、触覚効果のパラメーター値を温度センサーによって測定される物理的物体の温度に基づかせることができる。一実施形態では、コンピューターシステム１２０又は２２０は、さらに又は代替的に、触覚効果のパラメーター値を、触覚アクセサリー装置４１０のユーザー入力要素４１３において受け取られる入力に、モーションセンサー１１３によって追跡されている動きジェスチャーに、又はより一般的には、ユーザーによって行われている行動に基づかせることができる。

一実施形態において、触覚アクセサリー装置４１０は、形状適合性を有する本体４１２の異なる部分に配置される追加のセンサー（例えば、追加の歪みセンサー）を備えることができる。プロセッサ１１７は、複数の追加のセンサーの各々から歪みデータを受け取り、例えば、複数の追加のセンサーからの歪みデータに基づいて、形状適合性を有する本体４１２が巻き付けられる物理的物体の推定形状を求めるように構成することができる。

図５は、ＶＲ環境又はＡＲ環境を提供する例としての方法５００のフロー図を図示し、例えば、コンピューターシステム１２０／２２０のプロセッサ１２１／２２１によって、実行することができる。一実施形態では、方法５００はステップ５０１で開始し、そこでは、プロセッサ１２１／２２１は、ＶＲ環境又はＡＲ環境を提供するアプリケーションを実行する。例えば、アプリケーションは、上述した、仮想剣戟ゲーム、３Ｄ Ｔｅｔｒｉｓ（登録商標）ゲーム若しくはモグラ叩きゲーム、又は他の何らかのゲーム（例えば、Ｐｏｋｅｍｏｎ Ｇｏ（登録商標））等、ゲームアプリケーションとすることができる。一実施形態では、アプリケーションは、ビジュアルデザインアプリケーション又はグラフィックデザインアプリケーションとすることができる。一実施形態では、ステップ５０１は、プロセッサ１２１／２２１が、メモリ１２３／２２３等の非一時的コンピューター可読媒体に記憶された命令を実行することを含むことができる。一実施形態では、命令は、ＡＲエンジン又はＶＲエンジンに対する命令とすることができる。

ステップ５０３において、プロセッサ１２１／２２１は、ＶＲ環境又はＡＲ環境の仮想物体がコンピューターシステムの表示デバイスに表示されるようにする。例えば、プロセッサ１２１／２２１は、仮想物体がコンピューターシステム１００／２００の表示デバイス１２５／２２５に表示されるようにすることができる。図６及び図７に別の表示デバイス６２５を図示し、そこでは、仮想物体６５１（仮想ライトセーバー）及び仮想物体６５２（仮想Ｔｅｔｒｉｓ（登録商標）タイル）が表示デバイス６２５に表示されている。表示デバイス６２５は、例えば、ＨＭＤデバイス、又はデスクトップ若しくはラップトップ表示デバイス（例えば、ＬＥＤ画面）とすることができ、さらに、ゲームシステム等、コンピューターシステムの一部とすることができる。ステップ５０３は、より詳細に後述する物理的物体への触覚アクセサリー装置（例えば、１１０／２１０／３１０Ａ／３１０Ｂ／４１０）への取付の前、取付中又は取付の後に行うことができる。

図５に戻ると、ステップ５０５において、プロセッサ１２１／２２１は、触覚アクセサリー装置１１０／２１０／３１０Ａ／３１０Ｂ／４１０のモーションセンサー１１３／２１３／３１３／３１３Ａからセンサー情報を受け取る。触覚アクセサリー装置１１０／２１０／３１０Ａ／３１０Ｂ／４１０は物理的物体（例えば、１３１／１３２／１３３／２３１／２３２／２３３／２３４）に取り付けられることができる。触覚アクセサリー装置１１０／２１０／３１０Ａ／３１０Ｂ／４１０は、形状適合性を有する本体１１２／２１２／３１２Ａ／３１２Ｂ、触覚出力デバイス１１１ａ及び１１１ｂ／２１１ａ及び２１１ｂ／３１１ａ〜３１１ｃ、モーションセンサー１１３／２１３／３１３／３１３Ａ、無線通信インターフェースユニット１１５／２１５／３１５／３１５Ａ、プロセッサ１１７／２１７／３１７／３１７Ａ及び電源１１９／２１９／３１９／３１９Ａを備えることができる。上述したように、形状適合性を有する本体は、異なるそれぞれの物理的物体の異なる形状に適合するように再構成可能であるように構成される。一実施形態では、触覚出力デバイス１１１ａ及び１１１ｂ／２１１ａ及び２１１ｂ／３１１ａ〜３１１ｃ、モーションセンサー１１３／２１３／３１３／３１３Ａ、無線通信インターフェースユニット１１５／２１５／３１５／３１５Ａ、プロセッサ１１７／２１７／３１７／３１７Ａ及び電源１１９／２１９／３１９／３１９Ａの各々は、形状適合性を有する本体１１２／２１２／３１２Ａ／３１２Ｂの上又は中に配置する（例えば、中に埋め込む）ことができる。さらに、形状適合性を有する本体は、物理的物体の各々から取外し可能とすることができる。例えば、図６及び図７は、触覚アクセサリー装置３１０Ａ及び３１０Ｂを示し、それらの各々が、図６の物理的物体２３１及び／又は図７の物理的物体２３２に形状適合することができる形状適合性を有する本体（例えば、３１２Ａ、３１２Ｂ）を有する。さらに、触覚アクセサリー装置３１０Ａ／３１０Ｂは、１つの物理的物体（例えば、２３１）に取り付け、その後、そこから取り外して、別の物理的物体（例えば、物理的物体２３２）に取り付けることができ、その逆もあり得る。一実施形態では、物理的物体は、ユーザーの家庭又は職場における日用品とすることができる。一実施形態では、物理的物体は、特定の形状を有するように特注することができる。例えば、物理的物体は、触覚アクセサリー装置とともに販売されるプラスチックボール、プラスチック立方体及びプラスチック円筒体を含む、一組の物理的物体の一部とすることができる。ユーザーは、この組から、ＶＲ環境又はＡＲ環境において仮想物体に対する最適な代用物である物理的物体を選択することができる。

図５に戻ると、ステップ５０５におけるモーションセンサーからのセンサー情報は、物理的物体が移動している速さ、物理的物体が移動している方向、物理的物体が移動している速度（速さ及び方向）、物理的物体における加速度及び加速方向のうちの少なくとも１つを示すことができる。一実施形態では、センサー情報は、さらに又は代替的に、物理的物体の位置又は向きを示すことができる。上述したように、モーションセンサーからのセンサー情報は、モーションセンサーが触覚アクセサリー装置１１０／２１０／３１０Ａ／３１０Ｂ／４１０の通信インターフェースユニット１１５／２１５／３１５／３１５Ａに直接提供した生センサー情報を含むことができ、又は、生センサー情報に基づいてプロセッサ１１７／２１７／３１７／３１７Ａによって生成された処理済みセンサー情報を含むことができる。さらに、図６及び図７は、物理的物体２３１／２３２に取り付けられる触覚アクセサリー装置３１０Ａ／３１０Ｂの動きを示す。図６では、物理的物体２３１は、Ｐｒｉｎｇｌｅｓ（登録商標）缶又は他の細長い円筒状容器とすることができ、仮想物体６５１（仮想ライトセーバー）に対する代用物として使用されている。図６は、剣を振る動きの一部とすることができる速度ベクトルＶ_１に沿って（ユーザーにより）移動している物理的物体２３１を示す。触覚アクセサリー装置３１０Ａのモーションセンサー３１３Ａは、物理的物体２３１の速度と同じである触覚アクセサリー装置３１０Ａの速度を測定することができる。モーションセンサーは、表示デバイス６２５のコンピューターシステムに通信される生センサー情報を出力することができ、コンピューターシステムは、生センサー情報に基づいて、物理的物体２３１が速度Ｖ_１で移動していると判断することができる。図７では、物理的物体２３２は、仮想３Ｄタイルに対する代用物として使用されているティッシュの箱である。物理的物体２３２は、速度ベクトルＶ_２に沿って移動しており、又はより具体的には下降している。モーションセンサー３１３Ａは、物理的物体２３２の速度ベクトルＶ_２を示す生センサー情報を同様に生成することができる。

図５に戻ると、ステップ５０７において、プロセッサ１２１／２２１は、センサー情報に基づいて仮想物体を制御する。例えば、センサー情報は、物理的物体の移動を記述することができ、プロセッサは、物理的物体の移動に一致するように仮想物体の移動を制御することができる。図６は、例えば、移動の方向、速さ又は両方に関して、物理的物体２３１の速度ベクトルＶ_１と実質的に同じである速度Ｖで、表示デバイス６２５において移動するように制御されている仮想物体６５１を図示する。図６は、ゲームプレー中にユーザーが振っている物理的物体２３１を示すことができる。その結果、表示デバイス６２５が属するコンピューターシステムは、振る動きの速度を求め、仮想物体６５１を、同じか又は同様の速度で振られているように表示されるように制御することができる。別の実施形態では、触覚アクセサリー装置３１０Ａのモーションセンサーからの速度データは、回転の方向及び回転の速さを示すことができる物理的物体２３１の回転速度を表すことができる。その結果、表示デバイス６２５が属するコンピューターシステムは、仮想物体６５１を、同じか又は同様の回転速度で回転しているように表示されるように制御することができる。さらに、図７はまた、物理的物体２３２の速度ベクトルＶ_２と同じ速度ベクトルＶで移動しているように表示されるように仮想物体６５２を制御する、表示デバイス６２５が属するコンピューターシステムを示す。別の実施形態では、触覚アクセサリー装置３１０Ａ／３１０Ｂに、物理的物体２３１／２３２の位置又は移動を検知する機能がなくてもよい。こうした状況では、触覚アクセサリー装置３１０Ａ／３１０Ｂは、依然として、それぞれの仮想物体６５１／６５２の表面特性等、物理的環境又は仮想環境の環境状態に基づいて触覚効果を出力する（例えば、仮想物体６５１／６５２の表面質感を表すようにＥＳＦ効果を出力する）ことができる。

図５に戻ると、ステップ５０９において、プロセッサ１２１／２２１は、仮想物体に関連する触覚効果が生成されるべきであると判断することができる。一実施形態では、触覚効果は、上述した剣戟ゲーム又は３Ｄ Ｔｅｔｒｉｓ（登録商標）ゲームにおけるイベント等、ＶＲ環境又はＡＲ環境におけるイベントによって引き起こすことができる。例えば、こうしたイベントは、仮想物体（例えば、仮想ライトセーバー）が別の仮想物体（例えば、模擬剣戟の一部としての別の仮想ライトセーバー、又は仮想壁若しくは仮想床）と接触する間の接触イベントとすることができる。一実施形態では、プロセッサ１２１／２２１は、触覚効果のタイプ（例えば、接触をシミュレートする振動触知効果、又は質感をシミュレートするＥＳＦ効果）、いずれの触覚アクチュエーター又はいずれのタイプの触覚アクチュエーターが触覚効果を生成すべきか、触覚効果の振幅、触覚効果の周波数、触覚効果のタイミング（例えば、持続時間、開始時刻）、及び触覚効果の他の任意のパラメーター値等、触覚効果のパラメーター値を決定することができる。一実施形態では、プロセッサ１２１／２２１は、既存の記憶された駆動信号波形に対する波形識別子を選択することにより、又は信号波形自体を生成することにより、触覚効果に対する駆動信号波形を決定することができる。一実施形態では、プロセッサ１２１／２２１は、触覚効果を用いて、仮想物体のＶＲ環境又はＡＲ環境とのインタラクションに基づいてパラメーター値又は駆動信号波形を決定することにより、仮想物体に対して起こっていることを伝達することができる。一実施形態では、パラメーター値又は駆動信号波形は、仮想物体の仮想形状、仮想サイズ、仮想温度又は他の仮想特性のうちの少なくとも１つに基づいて決定することができる。一実施形態では、パラメーター値又は駆動信号波形は、物理的物体の推定形状、推定サイズ、推定質量、剛性のレベル、温度又は速度等、触覚アクセサリー装置が取り付けられている物理的物体の物理的特性に基づいて決定することができる。

一実施形態において、コンピューターシステム１２０／２２０及び触覚アクセサリー装置１１０／２１０／３１０Ａ／３１０Ｂ／４１０がペアリングプロセスを実行し、プロセス中に情報を交換又は報告した場合、プロセッサ１２１／２２１は、交換又は報告された情報に基づいて、触覚効果に対するパラメーター値又は駆動信号波形を決定することができる。例えば、ペアリングプロセス中、触覚アクセサリー装置は、それがいくつの触覚出力デバイスを有するか、いかなるタイプの触覚出力デバイスを有するか、触覚アクセサリー装置の形状適合性を有する本体内のどこに触覚出力デバイスが位置するか、又はそれらの組合せを報告することができる。プロセッサ１２１／２２１は、報告された情報に基づいて、触覚効果のパラメーター値又は駆動信号波形を決定するように構成することができる。

ステップ５１１において、プロセッサ１２１／２２１は、触覚アクセサリー装置１１０／２１０／３１０Ａ／３１０Ｂ／４１０が触覚効果を生成すべきであることを示す信号を触覚アクセサリー装置１１０／２１０／３１０Ａ／３１０Ｂ／４１０に通信することができ、それにより、触覚アクセサリー装置に取り付けられた物理的物体（例えば、２３１／２３２／２３３／２３４）においても触覚効果が生成される。一実施形態では、信号は、触覚アクセサリー装置１１０／２１０／３１０Ａ／３１０Ｂ／４１０が触覚効果を出力すべきであることを示す触覚コマンドを含むことができる。一実施形態では、信号は、触覚効果の１つ以上のパラメーター値を含むことができる。一実施形態では、信号は、触覚効果の駆動信号波形又は波形識別子を含むことができる。一実施形態では、信号は、触覚アクセサリー装置１１０／２１０／３１０Ａ／３１０Ｂ／４１０が触覚効果を生成する際にいずれの触覚出力デバイスを使用すべきかを特定することができる。信号は、コンピューターシステム１２０／２２０の通信インターフェースを介して、触覚アクセサリー装置１１０／２１０／３１０Ａ／３１０Ｂ／４１０の通信インターフェースユニット１１５／２１５に送信することができる。

上述したように、一実施形態では、ユーザーは、ＶＲ環境又はＡＲ環境の仮想物体（例えば、６５１）に対する代用物として物理的物体（例えば、２３１）を選択し、その物理的物体に触覚アクセサリー装置（例えば、３１０Ａ）を取り付けることができる。これは、コンピューターシステム１２０／２２０によりＶＲ環境若しくはＡＲ環境のためのアプリケーションの実行が開始される前若しくは開始された後、又は、ＶＲ環境若しくはＡＲ環境が表示される若しくは他の方法でレンダリングされる前、若しくは表示されたか若しくはレンダリングされた後に行うことができる。場合により、仮想物体に対する代用物としてユーザーがいずれの物理的物体を選択したかを示すために、ユーザーは、コンピューターシステム１２０／２２０のカメラ２２７（システム１２０／２２０がカメラ２２７を有する場合）の正面に物理的物体を配置することができる。カメラ２２７は、物理的物体の画像を取り込むことができ、コンピューターシステム１２０／２２０のプロセッサ１２１／２２１は、物理的物体の取込み画像を受け取ることができる。そして、プロセッサ１２１／２２１は、コンピューターシステム１２０／２２０のメモリ１２３／２２３において、物理的物体を仮想物体に関連付ける（例えば、物理的物体２３１を仮想物体６５１に関連付ける）ことができる。コンピューターシステム（例えば、１２０）がカメラを有していない実施形態では、コンピューターシステム１２０を（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）を介して）触覚アクセサリー装置１１０／２１０／３１０Ａ／３１０Ｂ／４１０とペアリングすることができ、それにより、触覚アクセサリー装置１１０／２１０／３１０Ａ／３１０Ｂ／４１０は、モーションセンサー追跡（慣性センサー追跡とも呼ぶ）を実行することができる。ペアリングは、コンピューターシステム１２０／２２０と装置１１０／２１０／３１０Ａ／３１０Ｂ／４１０との間の通信を確立することを含むことができる。ペアリングは、無線で、データケーブルを通して、又はそれらの組合せで実行することができる。一実施形態では、コンピューターシステム１２０／２２０を、異なるそれぞれの物理的物体に取り付けることができる複数の触覚アクセサリー装置と同時にペアリングすることができる。場合により、コンピューターシステム１２０／２２０は、さらに、ＶＲ環境又はＡＲ環境における全ての物理的物体を異なるそれぞれの物理的物体に関連付けることができる。

一実施形態において、コンピューターシステム１２０／２２０と触覚アクセサリー装置１１０／２１０／３１０Ａ／３１０Ｂ／４１０とがペアリングされると、触覚アクセサリー装置の移動が、（上述したような）モーションセンサー追跡、カメラ２２７による視覚的追跡、又はそれらの任意の組合せにより、仮想物体の移動に変換される。さらに、一実施形態では、ＶＲ環境のＶＲエンジン又はＡＲ環境のＡＲエンジンは、プロセッサ１２１／２２１に対し、（無線インターフェース又は有線インターフェースを介して）触覚アクセサリー装置１１０／２１０／３１０Ａ／３１０Ｂ／４１０にコマンドを送信させることができる。エンジンは、駆動信号を特定の触覚出力デバイス１１１ａ及び１１１ｂ／２１１ａ及び２１１ｂ／３１１ａ〜３１１ｃに直接送信することができ、又は触覚アクセサリー装置に保存された触覚効果波形に関連する特定の触覚効果ＩＤを有するコマンドを送信することができる。触覚効果ＩＤは、周波数、波形、振幅等、パラメーター値を指定することができる。そして、触覚アクセサリー装置は、駆動信号波形を生成するか、又は、装置に記憶されたか若しくはクラウドに記憶された駆動信号波形を検索することができる。

一実施形態において、同様に上述したように、コンピューターシステム１２０／２２０は、ＶＲ環境又はＡＲ環境の仮想物体に対する代用物として使用するために、物理的物体を選択することができる。場合により、この選択は、ハンドヘルドコントローラーとして保持されるのに好適な複数の物理的物体から、仮想物体の形状に最も一致する形状を有する物理的物体を特定するように画像処理を実行することに基づくことができる。図８に示す実施形態では、コンピューターシステム１２０／２２０のプロセッサ１２１／２２１がプロセッサ１２１／２２１と通信するカメラ（例えば、２２７）によって取り込まれた画像を受け取るステップ６０１が含まれる。画像は、カメラ２２７の正面の物理的な場所又は周囲環境の画像とすることができる。一実施形態では、カメラがユーザーに近接している場合には、画像は、ユーザーの物理的な場所又は周囲環境の画像とすることもできる。カメラによって取り込まれる画像は、画像処理アルゴリズムを介して特定することができる複数の物理的物体を含むことができる。ステップ６０３において、プロセッサ１２１／２２１は、カメラ２２７によって取り込まれる画像から、画像の（複数の物理的物体のうちからの）物理的物体が仮想物体の形状と実質的に同じ形状を有すると判断する。例えば、カメラ２２７によって取り込まれる画像は、物理的物体２３１、２３２、２３３、２３４を取り込むことができる。ＶＲ環境又はＡＲ環境が仮想物体６５１（仮想ライトセーバー）を含む場合、プロセッサ１２１／２２１は、仮想ライトセーバーが、表示デバイス６２５に表示されたときに細長くかつ円筒状の形状を有すると判断することができ、物理的物体２３１が、仮想ライトセーバーの形状に実質的に類似する形状を有すると判断することができる。一実施形態では、カメラ２２７は、その物理的な場所又は周囲環境をスキャンして、複数のそれぞれの物理的物体の画像を取り込むことができる。人工知能（ＡＩ）エンジンは、取込み画像を処理して、画像における様々な物理的物体を特定し且つ分類することができる。

ステップ６０５において、物理的物体が仮想物体の形状と実質的に同じ形状を有するという判断に応じて、プロセッサ１２１／２２１は、コンピューターシステム１２０／２２０の表示デバイス１２５／２２５／６２５に、触覚アクセサリー装置が物理的物体に手動で取り付けられるべきであるという指示を出力することができる。例えば、物理的物体２３１、２３２、２３３、２３４の画像が取り込まれる上記例に関して、プロセッサは、表示デバイス１２５／２２５／６２５上で画像において物理的物体２３１を強調表示させることができる。物理的物体２３１の強調表示は、ユーザーに対し、触覚アクセサリー装置１１０／２１０／３１０Ａ／３１０Ｂ／４１０を物理的物体２３１に（他の物理的物体２３２、２３３、２３４とは異なり）取り付けるべきであることを示すことができる。

ステップ６０７において、プロセッサ１２１／２２１は、プロセッサ１２１／２２１が属するコンピューターシステム１２０／２２０のメモリ１２３／２２３において、仮想物体（例えば、６５１）を物理的物体（例えば、２３１）に関連付けることができる。一実施形態では、関連付けは、メモリ１２３／２２３に記憶されたテーブルにおけるものとすることができ、そこでは、テーブルの１つの列が仮想物体のリストを有し、テーブルの別の列が、仮想物体に関連するそれぞれの物理的物体のリストを有する。

場合により、第１の仮想物体に対する代用物として使用することができる第１の物理的物体に、触覚アクセサリー装置を取り付けることができる。後に、第２の仮想物体に対する代用物として使用することができる第２の物理的物体に、同じ触覚アクセサリー装置を取り付けることができる。一実施形態では、同じ物理的物体に異なる触覚アクセサリー装置を取り付けることができる。例えば、物理的物体に、第１のタイプの触覚出力デバイス（例えば、振動触知アクチュエーター）を備えた第１の触覚アクセサリー装置を取り付けることができる。第１の触覚アクセサリー装置が取り付けられるのと同時に、又は、第１の触覚アクセサリー装置が取り除かれた後に、物理的物体に第２のタイプの触覚出力デバイス（例えば、ＥＳＦアクチュエーター）を備えた第２の触覚アクセサリー装置を取り付けることができる。場合により、仮想物体は、第１の物理的物体に取り付けられた第１の触覚アクセサリー装置によって表すことができ、後に、第２の物理的物体に取り付けられた第２の触覚アクセサリー装置によって表すことができる。

一実施形態において、プロセッサ１２１／２２１は、ＶＲ環境又はＡＲ環境に第１の仮想物体（例えば、６５１）を生成させ、第１の物理的物体（例えば、２３１）に基づいて第１の仮想物体を制御させた後、第１の仮想物体（例えば、６５１）に置き換わる第２の仮想物体（例えば、６５２）を生成し、異なる物理的物体（例えば、２３２）を第２の仮想物体６５２に関連付けるように構成することができる。例えば、プロセッサは、第２の仮想物体６５２が、コンピューターシステムの表示デバイス６２５に表示されるようにすることができる。仮想物体６５２は、仮想物体６５１を生成したものと同じＶＲ環境若しくはＡＲ環境の一部とすることができ、又は異なるＶＲ環境若しくはＡＲ環境の一部とすることができる。プロセッサは、さらに、触覚アクセサリー装置（例えば、３１０Ａ）が複数の物理的物体のうちの第１の物理的物体２３１に取り付けられている状態から、触覚アクセサリー装置３１０Ｂが第２物理的物体２３２に取り付けられている状態への変化を、検出することができる。そして、プロセッサは、コンピューターのメモリにおいて第２の物理的物体２３２を第２の仮想物体６５２に関連付けることができる。一実施形態では、第１の物理的物体２３１及び第２の物理的物体２３２は、異なるそれぞれの形状を有することができる。

一実施形態において、触覚アクセサリー装置（例えば、１１０／２１０／３１０Ａ／３１０Ｂ／４１０）は、物理的物体２３１／２３２／２３３、２３４の物理的特徴を測定し、測定値をコンピューターシステム１２０／２２０に提供するように構成することができる。したがって、一実施形態では、コンピューターシステム１２０／２２０のプロセッサ１２１／２２１は、触覚アクセサリー装置が第１の物理的物体２３１に取り付けられると、触覚アクセサリー装置から、第１の物理的物体（例えば、２３１）の第１の推定形状及び第１の推定サイズのうちの少なくとも一方を受け取ることができ、触覚アクセサリー装置が第２の物理的物体２３２に取り付けられると、第２の物理的物体２３２の第２の推定形状及び第２の推定サイズのうちの少なくとも一方を更に受け取ることができる。

一実施形態において、コンピューター１２０／２２０のプロセッサ１２１／２２１は、物理的物体２３１／２３２／２３３／２３４の特性に基づいて、触覚アクセサリー装置１１０／２１０／３１０Ａ／３１０Ｂ／４１０が、物理的物体２３１／２３２／２３３／２３４においていずれの触覚効果を生成すべきであるかを決定することができる。例えば、触覚効果は、触覚アクセサリー装置が第１の物理的物体２３１に取り付けられたときに、第１の物理的物体２３１の第１の推定形状及び第１の推定サイズのうちの少なくとも一方に基づいて決定することができる。一実施形態では、プロセッサは、触覚アクセサリー装置が第２の物理的物体２３２に取り付けられたときに、第２の物理的物体２３２の第２の推定形状及び第２の推定サイズのうちの少なくとも一方に基づいて第２の触覚効果を決定することができる。

種々の実施形態を上述してきたが、これらの実施形態は、限定としてではなく本発明の単なる説明及び例として提示されていることを理解すべきである。形式及び細部における種々の変更は本発明の趣旨及び範囲から逸脱することなく本発明内で行うことができることは当業者には明らかであろう。したがって、本発明の範囲（breadth and scope）は、上述の例示的な実施形態のいずれかによって限定されるべきではなく、添付の特許請求の範囲及びそれらの均等物によってのみ規定されるべきである。本明細書において論考された各実施形態、及び本明細書において引用された各引用文献の各特徴は、他の任意の実施形態の特徴と組み合わせて用いることができることも理解されるであろう。本明細書において論考された全ての特許及び刊行物は、引用することによりその全体が本明細書の一部をなす。

本願は、２０１７年１１月２２日に出願された米国特許出願第１５／８２０，９９０号の利益を主張し、この出願の開示は引用することによりその全体が本明細書の一部をなす。

一実施形態において、仮想物体は第１の仮想物体及び第２の仮想物体であり、物理的物体は、複数の物理的物体のうちの第１の物理的物体及び第２の物理的物体である。一実施形態において、本方法は、第１のプロセッサにより、第２の仮想物体がコンピューターシステムの表示デバイスに表示されるようにすることと、第１のプロセッサにより、触覚アクセサリー装置が第１の物理的物体に取り付けられている状態から、触覚アクセサリー装置が第２の物理的物体に取り付けられている状態への変化を検出することと、第１のプロセッサにより、コンピューターシステムのメモリにおいて、第２の物理的物体を第２の仮想物体に関連付けることを更に含み、第２の仮想物体はＶＲ環境若しくはＡＲ環境の一部であり、又は異なるＶＲ環境若しくはＡＲ環境の一部である。

Claims (20)

1. 仮想現実（ＶＲ）環境又は拡張現実（ＡＲ）環境のための触覚アクセサリー装置であって、
   物理的物体に取り付けられるように構成された形状適合性を有する本体と、
   前記形状適合性を有する本体の上又は中に配置された触覚出力デバイスと、
   前記形状適合性を有する本体の上又は中に配置され、該触覚アクセサリー装置の動きを追跡するように構成されたモーションセンサーと、
   無線通信インターフェースユニットであって、
   前記ＶＲ環境又は前記ＡＲ環境を提供するアプリケーションを実行するように構成されたコンピューターシステムに、前記モーションセンサーからのセンサー情報を無線通信し、
   前記コンピューターシステムから、該触覚アクセサリー装置が触覚効果を出力すべきであることを示す信号を受信する、
   ように構成され、該触覚アクセサリー装置の前記触覚出力デバイスは、前記信号に基づいて前記触覚効果を出力するように構成されている、無線通信インターフェースユニットと、
   前記形状適合性を有する本体の上又は中に配置され、少なくとも前記触覚出力デバイス、前記モーションセンサー及び前記無線通信インターフェースユニットと通信するプロセッサと、
   前記形状適合性を有する本体の上又は中に配置され、少なくとも前記触覚出力デバイス、前記プロセッサ及び前記無線通信インターフェースユニットに電力を提供するように構成された電源と、
   を備える、触覚アクセサリー装置。
2. 前記形状適合性を有する本体は、可撓性層から形成され、異なる物理的物体の異なる形状に適合するように再構成可能である、請求項１に記載の触覚アクセサリー装置。
3. 前記形状適合性を有する本体の上に配置されたユーザー入力要素を更に備え、該ユーザー入力要素はトリガー及びジョイスティックのうちの少なくとも一方であり、該ユーザー入力要素は前記プロセッサと通信する、請求項２に記載の触覚アクセサリー装置。
4. 前記物理的物体に取り付けられると、該物理的物体にハンドヘルドコントローラー機能及び触覚機能を提供するように構成されている、請求項２に記載の触覚アクセサリー装置。
5. 前記形状適合性を有する本体は、前記物理的物体の少なくとも一部に巻き付けられるように構成されている、請求項４に記載の触覚アクセサリー装置。
6. 前記形状適合性を有する本体は、前記物理的物体の前記少なくとも一部の周囲に適合するように弾性的に伸張するように構成されているエラストマー材料を含む、請求項５に記載の触覚アクセサリー装置。
7. 前記形状適合性を有する本体は、ループ形状を有する弾性バンドを形成する、請求項６に記載の触覚アクセサリー装置。
8. 前記形状適合性を有する本体の伸張及び曲げのうちの少なくとも一方を検知するように構成された１つ以上の追加のセンサーを更に備え、前記プロセッサは、該１つ以上の追加のセンサーからの信号に基づいて前記物理的物体の推定サイズ及び推定形状のうちの少なくとも一方を求めるように構成されている、請求項６に記載の触覚アクセサリー装置。
9. 前記触覚出力デバイスは、前記コンピューターシステムからの前記信号に基づいて質感をシミュレートするように構成された静電摩擦（ＥＳＦ）アクチュエーターである、請求項１に記載の触覚アクセサリー装置。
10. 前記触覚出力デバイスは、前記コンピューターシステムからの前記信号に基づいて振動触知触覚効果を出力するように構成された圧電アクチュエーターである、請求項１に記載の触覚アクセサリー装置。
11. 前記モーションセンサーによって出力される前記センサー情報は、該触覚アクセサリー装置の位置及び向きのうちの少なくとも一方を示す、請求項１に記載の触覚アクセサリー装置。
12. 前記形状適合性を有する本体は、可撓性があり且つポリマー材料から形成され、前記プロセッサ、前記触覚出力デバイス、前記電源、前記モーションセンサー及び前記無線通信インターフェースユニットは、前記ポリマー材料内に埋め込まれている、請求項１に記載の触覚アクセサリー装置。
13. 仮想現実（ＶＲ）環境又は拡張現実（ＡＲ）環境を提供する触覚対応システムであって、
    第１のプロセッサ及び表示デバイスを備えるコンピューターシステムであって、該第１のプロセッサは、前記ＶＲ環境又は前記ＡＲ環境を提供するアプリケーションを実行するように構成され、該表示デバイスは、前記ＶＲ環境又は前記ＡＲ環境を表示するように構成されている、コンピューターシステムと、
    触覚アクセサリー装置であって、
    該触覚アクセサリー装置から取り外されているときはハンドヘルドコントローラー機能を有していない物理的物体に、取り付けられるように構成された形状適合性を有する本体であって、該触覚アクセサリー装置は、物理的物体に取り付けられると、ハンドヘルドコントローラー機能を該物理的物体に提供するように構成されている、形状適合性を有する本体と、
    前記形状適合性を有する本体の上又は中に配置された触覚出力デバイスと、
    前記形状適合性を有する本体の上又は中に配置され、該触覚アクセサリー装置の動きを追跡するように構成されたモーションセンサーと、
    前記コンピューターシステムと無線通信するように構成された無線通信インターフェースユニットと、
    前記形状適合性を有する本体の上又は中に配置され、前記触覚出力デバイス、前記モーションセンサー及び前記無線通信インターフェースユニットと通信する第２のプロセッサと、
    前記形状適合性を有する本体の上又は中に配置され、少なくとも前記触覚出力デバイス、前記第２のプロセッサ及び前記無線通信インターフェースユニットに電力を提供するように構成された電源と、
    を含む、触覚アクセサリー装置と、
    を備え、
    前記コンピューターシステムの前記第１のプロセッサは、
    前記触覚アクセサリー装置の前記無線通信インターフェースユニットを介して、前記触覚アクセサリー装置の前記モーションセンサーからセンサー情報を受け取り、
    前記センサー情報に基づいて前記ＶＲ環境又は前記ＡＲ環境の仮想物体を制御し、
    前記仮想物体に関連する触覚効果が生成されるべきであると判断し、
    前記無線通信インターフェースユニットを介して、前記第２のプロセッサに信号を通信する、
    ように構成され、
    前記信号は、前記触覚アクセサリー装置が前記触覚効果を生成すべきであることを示し、前記触覚アクセサリー装置の前記触覚出力デバイスは、前記信号に基づいて前記触覚効果を出力するように構成されている、触覚対応システム。
14. 前記形状適合性を有する本体は、可撓性があり且つポリマー材料から形成され、異なる物理的物体の異なる形状に適合するように再構成可能であり、前記プロセッサ、前記触覚出力デバイス、前記電源、前記モーションセンサー及び前記無線通信インターフェースユニットは、前記ポリマー材料内に埋め込まれており、
    前記センサー情報は、前記触覚アクセサリー装置の位置及び向きのうちの少なくとも一方を示し、前記第１のプロセッサは、前記センサー情報に基づいて、前記表示デバイスにおいて前記仮想物体の表示された位置及び向きのうちの少なくとも一方を変更するように構成され、前記第１のプロセッサは、前記コンピューターシステムのメモリにおいて複数の物理的物体のうちの物理的物体を前記仮想物体に関連付けるように構成されている、請求項１３に記載の触覚対応システム。
15. 前記仮想物体は、前記表示デバイスに表示される形状を有し、前記第１のプロセッサは、前記複数の物理的物体のうちの前記物理的物体の形状が前記仮想物体の前記形状と実質的に同じであると判断することにより、前記物理的物体が前記仮想物体に関連付けられるべきであると判断するように構成されている、請求項１４に記載の触覚対応システム。
16. 前記触覚アクセサリー装置は、該触覚アクセサリー装置の前記形状適合性を有する本体の伸張及び曲げのうちの少なくとも一方を検知するように構成された１つ以上の追加のセンサーを更に備え、前記第２のプロセッサは、前記１つ以上の追加のセンサーからの追加のセンサー情報に基づいて、前記複数の物理的物体のうちの前記物理的物体の推定サイズ及び推定形状のうちの少なくとも一方を求め、前記物理的物体の前記推定サイズ及び前記推定形状のうちの前記少なくとも一方を前記第１のプロセッサに通信するように構成されている、請求項１４に記載の触覚対応システム。
17. 前記触覚アクセサリー装置が前記触覚効果を生成すべきであることを示す前記信号は、前記触覚効果の強度、周波数及びタイプのうちの少なくとも１つを示し、前記第１のプロセッサは、前記物理的物体の前記推定サイズ及び前記推定形状のうちの少なくとも一方に基づいて、前記信号に示された前記強度、前記周波数及び前記タイプのうちの前記少なくとも１つを決定するように構成されている、請求項１６に記載の触覚対応システム。
18. 仮想現実（ＶＲ）環境又は拡張現実（ＡＲ）環境を提供する方法であって、第１のプロセッサ及び表示デバイスを有するコンピューターシステムによって実行され、
    前記コンピューターシステムの前記第１のプロセッサにより、前記ＶＲ環境又は前記ＡＲ環境を提供するアプリケーションを実行することと、
    前記第１のプロセッサにより、前記ＶＲ環境又は前記ＡＲ環境の仮想物体が前記コンピューターシステムの前記表示デバイスに表示されるようにすることと、
    触覚アクセサリー装置から、該触覚アクセサリー装置のモーションセンサーからのセンサー情報を受け取ることであって、該触覚アクセサリー装置は、形状適合性を有する本体、触覚出力デバイス、前記モーションセンサー、無線通信インターフェースユニット、第２のプロセッサ及び電源を備え、前記形状適合性を有する本体は、前記触覚アクセサリー装置から取り外されているときハンドヘルドコントローラー機能を有していない物理的物体に、取り付けられるように構成され、前記触覚出力デバイス、前記モーションセンサー、前記無線通信インターフェースユニット、前記第２のプロセッサ及び前記電源の各々は、前記形状適合性を有する本体の上又は中に配置される、受け取ることと、
    前記第１のプロセッサにより、前記センサー情報に基づいて前記仮想物体を制御することと、
    前記第１のプロセッサにより、前記仮想物体に関連する触覚効果が生成されるべきであると判断することと、
    前記第１のプロセッサにより、前記触覚アクセサリー装置が前記触覚効果を生成すべきであることを示す信号を該触覚アクセサリー装置に通信することにより、該触覚アクセサリー装置に取り付けられた前記物理的物体において前記触覚効果が生成されるようにすることと、
    を含む、方法。
19. 前記第１のプロセッサと通信するカメラによって取り込まれた画像を受け取り、
    前記カメラによって取り込まれた前記画像から、前記物理的物体の形状が前記仮想物体の形状と実質的に同じであると判断し、
    前記物理的物体の前記形状が前記仮想物体の前記形状と実質的に同じであるという判断に応じて、前記表示デバイスに、前記触覚アクセサリー装置が前記物理的物体に手動で取り付けられるべきであるという指示を出力し、
    前記コンピューターの前記メモリにおいて前記触覚アクセサリー装置を前記物理的物体に関連付ける、
    ことにより、前記触覚アクセサリー装置は前記第１の物理的物体に取り付けられるべきであると判断することを更に含む、請求項１８に記載の方法。
20. 前記形状適合性を有する本体は、可撓性材料から形成され、前記物理的物体の表面に形状適合するように構成され、該形状適合性を有する本体は、異なる物理的物体の異なる形状に適合するように再構成可能であり、
    前記仮想物体は第１の仮想物体及び第２の仮想物体であり、前記物理的物体は、複数の物理的物体のうちの第１の物理的物体及び第２の仮想物体であり、
    前記方法は、
    前記第１のプロセッサにより、前記第２の仮想物体が前記コンピューターシステムの前記表示デバイスに表示されるようにすることと、
    前記第１のプロセッサにより、前記触覚アクセサリー装置が前記第１の物理的物体に取り付けられている状態から、前記触覚アクセサリー装置が前記第２の物理的物体に取り付けられている状態への変化を検出することと、
    前記第１のプロセッサにより、前記コンピューターシステムの前記メモリにおいて、前記第２の物理的物体を前記第２の仮想物体に関連付けることと、
    を更に含み、
    前記第２の仮想物体は前記ＶＲ環境若しくは前記ＡＲ環境の一部である、又は異なるＶＲ環境若しくはＡＲ環境の一部である、請求項１９に記載の方法。

Images