JP2019145103A - スマートステッカーを使用して仮想オブジェクトを触覚化するためのシステム及び方法 - Google Patents

Abstract

【課題】スマートステッカーを使用して仮想オブジェクトを触覚化するためのシステム及び方法を提供する。【解決手段】システムにおいてステッカーデバイスは、触覚出力デバイスと、プロセッサ実行可能命令を記憶する非一時的なコンピュータ可読媒体と、触覚出力デバイス及び非一時的なコンピュータ可読媒体と通信するプロセッサとを含む。プロセッサは、プロセッサ実行可能命令を実行して、センサからセンサ信号を受信すること、センサ信号に基づいて触覚効果を決定すること及び触覚出力デバイスに触覚効果を出力させるために触覚信号を触覚出力デバイスに送信することを行う。【選択図】図４

Description

本願は、一般に、触覚に関し、より詳細には、スマートステッカーを使用して仮想オブジェクトを触覚化するためのシステム及び方法に関する。

ユーザインターフェースは、触覚効果を利用して、インターフェースのユーザに触覚応答を提供する場合が有る。例えば、スマートフォンが電話呼び出し又はテキストメッセージを受信すると、振動効果が再生される場合が有る。このような効果は、発生しているイベントをユーザに通知し、又はユーザの車両が受けたダメージ若しくは武器の発射等を示すようにビデオゲームの間に出力される場合が有る。

スマートステッカーを使用して仮想オブジェクトを触覚化するためのシステム及び方法に関する様々な例示が記載される。例えば、１つの例示的なステッカーデバイスは、触覚出力デバイスと、プロセッサ実行可能命令を記憶する非一時的なコンピュータ可読媒体と、触覚出力デバイス及び非一時的なコンピュータ可読媒体と通信するプロセッサとを含み、プロセッサは、プロセッサ実行可能命令を実行して、センサからセンサ信号を受信すること、センサ信号に基づいて触覚効果を決定すること、及び触覚出力デバイスに触覚効果を出力させるために触覚信号を触覚出力デバイスに送信することを行うように構成される。

別の例示的なデバイスは、センサと、プロセッサ実行可能命令を記憶する非一時的なコンピュータ可読媒体と、センサ及び非一時的なコンピュータ可読媒体と通信するプロセッサとを含み、プロセッサは、プロセッサ実行可能命令を実行して、センサからセンサ信号を受信すること、センサ信号に基づいて拡張又は仮想現実における触覚相互作用のためのステッカーデバイスを検出すること、ステッカーデバイスに関連付けられる仮想オブジェクトを決定すること、及びディスプレイデバイスに仮想オブジェクトを表示させる信号を出力することを行うように構成される。

こうした例示は、本開示の範囲を限定又は定義するために言及されるのではなく、その理解を支援するための例示を提供するものである。詳細な説明において例示が検討されており、そこには更なる説明が提供されている。様々な例によってもたらされる利点は、本明細書を吟味することにより更に理解され得る。

本明細書に組み込まれてその一部を構成する添付の図面は、１つ以上の所定の例示を示しており、例示の説明と共に、所定の例示の原理及び実装を説明する役割を果たす。

スマートステッカーを使用して仮想オブジェクトを触覚化するための例示的なシステムを示す。

２Ａ−２Ｂは、スマートステッカーを使用して仮想オブジェクトを触覚化するための例示的なシステムを示す。

スマートステッカーを使用して仮想オブジェクトを触覚化するための例示的なシステムを示す。

スマートステッカーを使用して仮想オブジェクトを触覚化するための例示的なシステム及び方法で使用するのに適した例示的なステッカーデバイスを示す。

スマートステッカーを使用して仮想オブジェクトを触覚化するための例示的なシステム及び方法で使用するのに適した例示的なコンピュータデバイスを示す。

スマートステッカーを使用して仮想オブジェクトを触覚化するための例示的な方法を示す。 スマートステッカーを使用して仮想オブジェクトを触覚化するための例示的な方法を示す。

本明細書には、スマートステッカーを使用して仮想オブジェクトを触覚化するためのシステム及び方法の文脈で例示が記載されている。当業者であれば、以下の記載は例示目的であり、如何なる限定も意図していないことを理解するであろう。次に、添付の図面に示された例示的な実装を詳細に参照する。同じ参照記号が同じ又は同様の項目を参照するために図面及び以下の記載を通じて使用される。

明確のため、本明細書に記載の例示の定型的な特徴の全てが示され且つ記載されているわけではない。勿論、このような実際の実装についての開発において、アプリケーション及びビジネス関連の制約の遵守等の多くの実装固有の決定が開発者の特定の目的を達成するために行われなければならず、こうした特定の目的は実装ごとに又は開発者ごとに変化することが理解されるであろう。

１つの例示では、ユーザが周囲の現実環境を見ることができる部分的に透過的なバイザを有するヘッドマウントデバイス（ＨＭＤ）を装着している間に、ユーザは拡張現実（ＡＲ）環境と相互作用してもよい。しかしながら、ＨＭＤは、現実環境を拡張するためにバイザに情報を表示するディスプレイデバイスを含んでいる。この例示では、ＨＭＤは、現実環境の画像をキャプチャして、現実環境における１つ以上のオブジェクトに適用されている触覚ステッカーを検出するカメラを含んでいる。触覚ステッカーを検出した後で、それは、ステッカー上のマーキングに基づいて、又はステッカーから無線で受信した情報に基づいて、現実環境の中のその位置等によってステッカーを識別する。次に、ＨＭＤは、ステッカーの識別性又はステッカーから受信した情報に基づいて環境内の特定のオブジェクトを決定して、それがステッカー上にオーバレイされて見えるようにＨＭＤバイザに仮想オブジェクトを表示してもよい。

例えば、ユーザは、バイザを通して現実環境を観察してもよく、手首のバンド上にステッカーを装着してもよい。ユーザがステッカーに視線を向けると、ＨＭＤはカメラを使用してステッカーを検出し、ステッカー上のマーキングを識別することに基づいてステッカーが仮想スマートウォッチに対応することを決定し、ステッカー上にオーバレイされる仮想スマートウォッチを表示する。即ち、ＨＭＤは、ＡＲ環境においてスマートウォッチを装着している外観をユーザに提供する。更に、ＨＭＤは、あたかもユーザが実際のスマートウォッチを装着しているかのように、仮想スマートウォッチを使用して、例えば、時間、日付、天気情報、テキストメッセージ若しくはＥメール情報、ソーシャルメディア情報、アラーム情報等の情報をユーザに提供してもよい。ユーザは、ＨＭＤのカメラ（又はステッカーに組み込まれたカメラ）によって検出され得るジェスチャを空間内で行うことにより、ＡＲ環境における仮想スマートウォッチと相互作用してもよい。ジェスチャは、テキストメッセージ又はＥメールに応答すること、アラーム通知をオフにすること、異なる情報スクリーン（例えば、天気、日付／時間、カレンダ等）をスクロールすること等のために使用されてもよい。こうしたジェスチャに応答して、ステッカー又はＨＭＤは、ユーザに１つ以上の触覚効果を出力してもよい。この例示では、ステッカーは、触覚効果として知覚可能な超音波振動を出力するためにスピーカを備えている。このような触覚効果は、ジェスチャ等のユーザアクションに基づいて、又は１つ以上の通知若しくはイベントをユーザに警告するために出力されてもよい。このような実装は、近くに居る他者がユーザに提示される情報を観るかもしれないという危険性無しで、ユーザが仮想スマートウォッチから情報を受信して応答することを可能にしてもよい。

そして、この例示はウェアラブルデバイスとしてのステッカーの使用を検討しているが、ステッカーは、デバイスのためのユーザインターフェースを提供すること、ゲーム環境内にオブジェクトを提供すること、対応するオブジェクトに関する情報を提供すること等により、デバイスとのＡＲ又は仮想現実（ＶＲ）相互作用を可能にするために現実環境における任意のオブジェクトに関連付けられ及び適用されてもよい。更に、触覚出力デバイスを備えている場合、このようなステッカーは、ユーザが触覚手袋を装着し又は他の触覚対応デバイスを握ることを必要とせずに、ＡＲ又はＶＲ環境内での触覚相互作用を可能にしてもよい。

この例示は本明細書で検討される一般的な主題を読者に紹介するために与えられており、本開示はこの例示に限定されない。以下の段落では、スマートステッカーを使用して仮想オブジェクトを触覚化するためのシステム及び方法の様々な追加の非限定的な例示が記載されている。

次に図１を参照すると、図１は、スマートステッカーを使用して仮想オブジェクトを触覚化するための例示的なシステム１００を示している。システム１００は、ＨＭＤ１２０に通信可能に結合されるコンピュータデバイス１１０を含む。ＨＭＤ１２０は、ユーザが目の上に装着するバイザ１２２及びユーザの視野内の現実環境の画像をキャプチャするように方向付けられるカメラを含む。動作中に、ＨＭＤ１２０は、例えば、場所、（ゲーム環境等における）アバターの健康又は他の統計値、標的情報、ＡＲ又はＶＲ環境内でオーバレイされる仮想オブジェクト等のＡＲ又は仮想現実（ＶＲ）環境に関する情報を含み得る画像をバイザに表示する。また、システム１００は、現実環境内でオブジェクト１３０に貼り付けられたステッカーデバイス１４０も含む。

「現実環境」とは、例えば、屋内の部屋、道路、公園等、１つ以上の物理オブジェクトを含み得る物理環境のことを意味する。対称的に、ＡＲ又はＶＲ環境等の「仮想環境」は、１つ以上の仮想オブジェクトを含み得るコンピュータデバイスによって維持される環境である。ユーザは、１つ以上のユーザインターフェースデバイス又はセンサを介して仮想環境と相互作用してもよい。一部の例示では、物理オブジェクトにオーバレイされる仮想オブジェクトの視覚表現がディスプレイデバイスを介して提示されている間、ユーザが相互作用することができる物理バリア又は物理オブジェクト等を提供することにより、仮想環境と相互作用するユーザに触覚応答を提供するために使用され得る、現実環境内の物理オブジェクトを利用する又は現実環境を拡張する等、仮想環境が現実環境にオーバレイされてもよい。このような物理オブジェクトが無いときは、仮想環境内の触覚応答は、ユーザによって装着され得る触覚出力デバイスを使用して又はユーザによって握られる若しくはタッチされるユーザインターフェースデバイス内でシミュレートされてもよい。

また、バイザ１２２に情報を表示することに加えて、ＨＭＤ１２０はそのカメラを使用して画像をキャプチャする。キャプチャされた画像は、現実環境内のオブジェクトを識別するためにＨＭＤ１２０又はコンピュータデバイス１１０によって処理されてもよい。この例示では、ＨＭＤ１２０は、ステッカー１４０を含む１つ以上の画像をキャプチャしてもよい。ＨＭＤ１２０又はコンピュータデバイス１１０は、バーコード又は文字又は数字等のステッカー上のマーキングを識別することに基づいてステッカーを識別してもよい。ステッカー１４０を認識した後で、ＨＭＤ１２０又はコンピュータデバイス１１０は、データベースにアクセスしてステッカー１４０に関連付けられる仮想オブジェクトを決定し、仮想環境内で仮想オブジェクトを表示してもよい。この例示では、ＨＭＤ１２０は、ユーザにとって仮想オブジェクトがステッカー１４０の上に位置しているように見えるように、ステッカー１４０の検出された場所に対応する場所に仮想オブジェクトを表示する。

この例示では、コンピュータデバイス１１０及びＨＭＤ１２０は、ＷｉＦｉを介した互いと通信する別個の筐体を有する分離したコンポーネントである。異なる例示的なシステムは、ブルートゥース（登録商標）（ＢＴ）、低エネルギＢＴ（ＢＬＥ）、ＷｉＦｉ、近距離無線通信（ＮＦＣ）、セルラ、イーサネット（登録商標）、ＨＤＭＩ（登録商標）、ディスプレイポート等を含む他の種類の適切な有線又は無線通信技術を利用してもよい。一部の例示では、コンピュータデバイス１１０及びＨＭＤ１２０は、２つ以上の異なるデバイスの間で分離されるのではなく、単一のウェアラブルデバイスに統合されてもよい。

図１に示されたシステム１００は１つのステッカーのみを含んでいるが、異なる例示によっては任意の適切な数及び配置のステッカーが利用されてもよい。更に、この例示は１つのＨＭＤ１２０及び１つのコンピュータデバイス１１０のみを含んでいるが、ＨＭＤ又は他のユーザインターフェースデバイスを有する任意の数のユーザが共通の仮想環境内で相互作用してもよい。このような例示では、各ＨＭＤは共通のコンピュータデバイス１１０と通信してもよく、又は１つ以上のＨＭＤが、別のコンピュータデバイス、例えば、サーバと通信して、仮想環境に関する情報を取得し且つ仮想環境内での相互作用を可能にするそれ自身のコンピュータデバイスを有してもよい。例えば、ＨＭＤ１２０は、統合コンピュータデバイスを有してもよく、コンピュータデバイス１１０は、仮想環境を維持し且つ仮想環境と相互作用する１つ以上のＨＭＤと通信するサーバコンピュータを表してもよい。

この例示ではシステム１００はＨＭＤ１２０を含んでいるが、他の例示は、キーボード、マウス、ジョイスティック、ハンドル、ディスプレイデバイス、杖、スタイラス、剣、シミュレートされた銃器を含む、仮想環境での使用に適したインターフェースデバイスを含む、他のユーザインターフェースデバイスを含んでもよい。このようなインターフェースデバイスは、ＨＭＤ１２０から信号を受信し又は入力信号を提供するために又は、例えば、触覚効果、音声若しくは視覚効果、変化構成パラメータ等の出力を提供するために、任意の適切な有線又は無線通信技術を使用してＨＭＤ１２０又はコンピュータデバイス１１０と通信してもよい。一部の例示では、ＨＭＤ１２０又はコンピュータデバイス１１０は、このようなユーザインターフェースデバイスから入力又は動きを検出するためにセンサ信号を受信してもよい。例えば、１つ以上のカメラが、インターフェースデバイスの動きを検出してもよい。

次に図２Ａ−２Ｂを参照すると、図２Ａは、スマートステッカーを使用して仮想オブジェクトを触覚化するための例示的なシステム２００を示している。この例示では、ユーザは、バイザ２１２を含むＨＭＤ１２０を装着しており、ＡＲに基づくビデオゲームに参加している。この例示では、ＨＭＤ２１０は、図１に示されたコンピュータデバイス１１０等の統合コンピュータデバイスを含む。また、システムは、現実環境内のオブジェクト２３０に貼り付けられたステッカー２４０も含む。この例示では、ステッカー２４０は、現実環境内のステッカー２４０を一意に識別する２次元バーコードを表示するディスプレイデバイスを含む。更に、ステッカー２４０は、ＢＬＥを使用して無線通信するための無線トランシーバ及び非接触型触覚効果を提供するために超音波を出力するスピーカを含む。

この例示では、ユーザのＨＭＤ２１０は、ユーザの視野内の現実環境の画像をキャプチャするためにカメラを使用してステッカー２４０を検出する。カメラは、ステッカー２４０の識別性を決定するためにＨＭＤ２１０が解析する２次元バーコード及びステッカー１４０を含む画像をキャプチャするが、一部の例示では、２次元バーコードは、ステッカー自体ではなく仮想オブジェクトを識別してもよい。この例示では、ステッカー２４０は、ビデオゲーム内で金庫を開けるために電子キーパッドを提供する仮想オブジェクトに対応する。従って、ＨＭＤ２１０は、ステッカーの識別性に基づいてステッカー２４０に関連付けられる仮想オブジェクト２４２、この場合、電子キーパッドを有する金庫を決定して、バイザ２１２におけるステッカー２４０に対応する場所に仮想オブジェクト２４２を表示する。

ＨＭＤ２１０が仮想オブジェクト２４２を表示した後で、ユーザは、金庫を開けようとして仮想オブジェクト２４２と相互作用することができる。例えば、ユーザは、押しジェスチャを使用して仮想電子キーパッド上の仮想キーを押すことで仮想金庫の組み合わせ数字／文字を入力することを試行することができる。この例示では、ＨＭＤ２１０は、ユーザがキーパッド上のキーの１つの上にユーザの手２２０を動かして、押しジェスチャを行うためにコントロールパッドに向かって外側に押すときに、ユーザの手２２０を追跡する。一部の例示では、ステッカーデバイスは、それ自身のカメラ又はステッカー自体に接続された若しくはその中の他のセンサ等を使用することでジェスチャを検出してもよい。

図２Ｂは、ＨＭＤ２１０によってボタンを押すことと解釈される押しジェスチャでユーザが前方に動かした後のユーザの手を示している。押しジェスチャは、ＨＭＤ２１０によってビデオゲームに入力が提供される仮想キーパッド上の仮想キーとの相互作用をもたらす。更に、ＨＭＤ２１０は、ステッカー２４０にメッセージを送信して、ステッカー２４０に超音波触覚効果を出力させる。次に、ステッカー２４０は、そのスピーカを使用して、ユーザの指先（又は手）によって感じられ得る超音波を出力する。仮想キーパッド上でキーを押し続けると、ユーザはステッカー２４０から触覚効果を受信し続ける。また、正しい組み合わせ数字／文字を入力した場合、ユーザは更なる触覚効果を受信して、金庫のドアが開くアニメーションが提示され、ステッカー２４０上に金庫の内部が表示されてもよい。ユーザが正しい組み合わせ数字／文字を入力しなかった場合、ステッカー２４０は、誤った組み合わせ数字／文字が入力されたことを示す触覚効果を出力してもよい。

従って、図２Ａ−２Ｂでは、システム２００は、ユーザが仮想環境と相互作用することを支援するためにスマートステッカーをどのように使用し得るかを示す。上記の例示はビデオゲームの文脈で検討されたが、このような技術は、他の設定で、例えば、個人の宅内の電化製品（例えば、冷蔵庫、給湯器、テレビ、ラジオ、ストリーミングデバイス、ゲームコンソール等）を制御し、サーモスタット、ドアロック等と相互作用するために使用可能であってもよい。一部の例示では、ウェアラブルデバイスと物理的に相互作用する必要無しに、スマートフォン、スマートウォッチ又は他のウェアラブルデバイスのためのユーザインターフェースのような仮想オブジェクトと共に使用可能であってもよい。

例えば、家の中で、ユーザは１つ以上のステッカーデバイスを電化製品又は電子デバイスに貼り付けている場合が有る。従って、家でＨＭＤを利用する場合、ユーザは、ステッカーデバイスを適用した電化製品又は電子デバイスに対する仮想ユーザインターフェースを提示されてもよい。例えば、リビングルームでリクライニングチェアに座っているときに、ユーザは部屋の向こう側に有るステレオを見て、例えば、音量ノブ、ラジオダイヤル、入力選択等のステレオ用インターフェースコントロールを有する仮想オブジェクトを提示されてもよい。次に、ユーザは、ジェスチャを行うことで、ステレオから、ラジオ局を変更し、音量を変更し、異なる音声又は音声／視覚入力に切り替えるために、部屋の向こう側でリクライニングチェアに留まりながらインターフェースコントロールと相互作用してもよい。このようなインターフェースは、例えば、温度を変更するためのサーモスタットに関して、又は空調設備から暖房、アラームシステム、オーブン、調理コンロ等まで他の文脈においても提供されてもよい。従って、ステッカーは、現実環境内のデバイスに仮想ユーザインターフェースを提供するために利用されてもよい。

次に図３を参照すると、図３は、スマートステッカーを使用して仮想オブジェクトを触覚化するための例示的なシステム３００を示している。この例示では、システム３００は、複数のＨＭＤ３２０ａ−ｂ（各々が各バイザ３２０ａ−ｂを有している）と通信するサーバ３１０を含む。現実環境内に位置しているオブジェクト３３０ａ−ｂの各々が、ステッカー３４０ａ−ｂを備えている。サーバ３１０は、例えば、ゲーム環境（例えば、完全にシミュレートされたゲーム環境、及びレーザータグ又はペイントボールアリーナ等のＡＲゲーム環境）、オフィス環境、家庭環境等の仮想環境をＨＭＤ３２０ａ−ｂに提供する。サーバ３１０は、ネットワーク３５０を介してリモートサーバ３６０から情報を取得する。取得した情報は、仮想環境情報（仮想オブジェクト及び関連するステッカーの場所及び識別性）、触覚効果情報、ユーザアカウント又はプロファイル情報（１つ以上の仮想オブジェクトと相互作用するための権限等のセキュリティ情報を含む）等を含み得る。

この例示では、２人のユーザの各々が、各ＨＭＤ３２０ａ−ｂを介して同じ仮想環境と相互作用している。ＨＭＤ３２０ａ−ｂは、例えば、仮想環境に関する情報を取得し、１つ以上の識別されたステッカーに関する情報を取得し、仮想環境内の仮想オブジェクトを取得するためにサーバ３１０と無線で通信する。更に、ＨＭＤ３２０ａ−ｂは、各バイザ３２２ａ−ｂにおいて仮想環境に関する情報を表示し、現実環境内のＨＭＤの場所若しくは方向を感知する又はステッカー３４０ａ−ｂ、ジェスチャ若しくは他のユーザ入力を検出するために使用され得る１つ以上のセンサを含む。

サーバ３６０は、本開示による任意の適切なコンピュータデバイスであってもよい。図３に示されるシステム３００の中で、サーバ３６０は仮想環境情報をサーバ３１０に提供する。例えば、ユーザがビデオゲームを起動したとき又はユーザが仮想環境内の異なるエリアに入ったときに、サーバ３１０は、仮想環境に関する情報を取得するための要求をサーバ３６０に送信してもよい。一部の例示では、サーバ３６０は、マルチプレイヤ又は大規模マルチプレイヤゲーム等の文脈で、異なる場所に居る複数のユーザが共通の仮想環境と相互作用することを可能にするために、複数のサーバ３１０と通信してもよい。

図３に示された例示においてネットワーク３５０はインターネットである。しかしながら、異なる例示において、ネットワーク３５０は、例えば、ローカルエリアネットワーク、ワイドアリアネットワーク、メトロエリアネットワーク等の任意の適切な通信ネットワークであってもよい。

次に図４を参照すると、図４は、スマートステッカーを使用して仮想オブジェクトを触覚化するための例示的なシステム及び方法で使用可能な例示的なステッカーデバイス４００を示す。この例示では、ステッカーデバイス４００は、メモリ４２０、触覚出力デバイス４３０、ディスプレイ４４０、無線トランシーバ４５０及びセンサ４６０と通信するプロセッサ４１０を含む。

プロセッサ４１０は、例えば、触覚効果を決定し、触覚信号を生成し、表示信号を生成し、センサ信号を受信し、ＲＦトランシーバ４４０を使用して情報を送信及び受信するために、メモリ４２０に記憶されているプロセッサ実行可能命令を実行するように構成される。命令は、ステッカーがインストール又は製造されるときにステッカーデバイス４００にプログラミングされてもよく、又は命令は、ＲＦトランシーバ等を介して動的に提供されてもよい。例えば、触覚効果又は識別性情報等の構成パラメータは、ユーザがゲームを開始すると、コンピュータデバイス又はユーザインターフェースデバイス（例えば、ＨＭＤ）によってステッカーデバイス４００に提供されてもよい。

例えば、図２に関して先に検討された例示的なシステム２００に関して、ステッカーデバイス４００は、仮想金庫オブジェクトに関連付けられる識別性情報を提供されてもよい。更に、ステッカーデバイス４００は、キー押し効果、組み合わせ成功効果、及び組み合わせ失敗効果等の仮想金庫に対して仮想キーパッドに関連付けられる触覚効果を提供されてもよい。このような効果は、ユーザがゲームを始めたときに又はユーザがゲーム環境内で仮想金庫に遭遇したときに即座にステッカーデバイス４００に送信されてもよい。従って、ステッカーデバイスの識別性は、ゲームイベント（又は他のイベント）等に基づいて経時的に変化してもよく、新しい情報がステッカーデバイス４００に送信されてもよい。しかしながら、一部の例示では、ステッカーデバイスの識別性は静的に割り当てられてもよい。

この例示では、センサ４６０は、画像をプロセッサ４１０に提供し得るカメラである。プロセッサ４１０は、カメラからセンサ信号を受信して、ユーザが行ったジェスチャを決定してもよい。例えば、プロセッサ４１０は、ステッカーデバイス４００に関連付けられる仮想オブジェクトと相互作用するためにユーザが行った押しジェスチャを決定してもよい。一部の例示では、例えば、押し、捻り、引っ張り、スワイプ等の他のタイプのジェスチャも決定されてもよい。

様々な例示によって他のタイプのセンサが利用されてもよい。例えば、タッチセンサが利用されてもよく、これは、圧力に基づく入力（例えば、押し、スワイプ等）、接触ジェスチャ入力（マルチタッチジェスチャを含む）等を加えるためにユーザがステッカーとタッチし且つ相互作用することを可能にしてもよい。適切なタッチセンサは、容量性又は抵抗性タッチセンサ、歪みゲージ、圧電素子、光カーテン等を含んでもよい。タッチセンサは、タッチ感応ディスプレイの場合等、一部の例示では、ディスプレイ４４０に組み込まれてもよい。しかしながら、一部の例示では、タッチセンサは、ステッカーデバイス４００の任意の表面に結合されてもよい。

一部の例示では、ステッカーデバイス４００は、１つ以上の慣性センサ、グローバルポジショニングシステム（ＧＰＳ）又は類似の測位センサ等を含んでもよい。例えば、ステッカーデバイス４００は、位置又は方向の変化を検出するために１つ以上の加速度計、ジャイロスコープ等を含んでもよい。これは、ステッカーデバイス４００が現実環境内でその場所を決定すること又はその動きを追跡することを可能にしてもよい。一例において、ステッカーデバイス４００はＧＰＳ受信機を含んでもよい。これは、ステッカーデバイス４００がそれ自身の地理的位置を決定することを可能にしてもよい。このような位置又は方向情報は、サーバ３１０又はリモートコンピュータ３６０に、又は１つ以上のＨＭＤに提供されてもよい。次に、このような位置又は方向は、１つ以上の仮想オブジェクトの適切な位置及び方向を決定するために利用されてもよい。

また、ステッカーデバイス４００は、触覚出力デバイス４３０も含む。この例示では、触覚出力デバイス４３０は、超音波を出力するためのスピーカを含む非接触型触覚出力デバイスである。超音波は、スピーカに近接しているユーザの手又は指（又は体の他の部分）に対して非接触の触刺激を生成するために使用されてもよい。一部の例示では、超音波は、圧電アクチュエータ等の他のタイプのアクチュエータを使用して生成されてもよい。更に、一部の例示では、他のタイプの非接触型触覚出力デバイスが使用されてもよい。例えば、適切な非接触型触覚出力デバイスは、圧縮空気カートリッジから空気の吹き出しを放出するためのバルブ又はノズル等の圧縮空気ディスペンサ、静電触覚出力デバイス、熱出力デバイス（例えば、抵抗又は赤外光源）等を含んでもよい。明細書で用いられる場合、「非接触」又は「非接触型」という用語は、オブジェクト、例えば、指先が表面に接触していない間に加えられ得る力を意味することに留意されたい。しかしながら、これはオブジェクトと表面との間の接触を除外しない。例えば、非接触型触覚効果を出力している間、例えば、静電力（ＥＳＦ）型触覚効果を出力している間、触覚効果は、依然として表面と接触している指先に加えられてもよく、ユーザによって感じられてもよく、又は本開示による例はオブジェクトと表面との間の接触を生じてもよい。

本開示による例示的なステッカーデバイスは、例えば、ＤＣモータ、偏心回転質量体（ＥＲＭ）、線形アクチュエータ、静電摩擦触覚出力デバイス、微小電気機械システム（ＭＥＭＳ）素子、変形触覚出力デバイス（例えば、ヒドロゲル、形状記憶合金、双安定素子等）、電磁石等の接触型触覚出力デバイスを含んでもよい。更に、例示的なステッカーデバイスは、複数の異なるタイプの触覚出力デバイスを含む複数の触覚出力デバイスを含んでもよい。

この例示におけるディスプレイ４４０は、例えば、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤ（ＯＬＥＤ）ディスプレイ、イーインク（ｅ−ｉｎｋ）ディスプレイ等の電子ディスプレイデバイスを含む。ディスプレイ４４０は、画像又はテキストをディスプレイ４４０に表示させるための表示信号をプロセッサ４１０から受信してもよい。例えば、プロセッサ４１０は、ステッカーデバイス４００に対する識別情報をディスプレイ４４０に表示させるための表示信号を生成して送信してもよい。識別情報は、バーコード（２次元バーコードを含む）、英数字コード、１つ以上の記号又はグリフ等であってもよい。一部の例示では、プロセッサ４１０は、例えば、ステッカーデバイス４００に対する構成情報、ステッカーデバイス４４０と相互作用するためのユーザインターフェース等の他の情報をディスプレイ４４０に出力させるための表示信号を生成して送信してもよい。

この例示では、ＲＦトランシーバ４５０は、プロセッサがＢＬＥを使用して通信することを可能にするように構成される。しかしながら、ＢＴ、ＷｉＦｉ、ＮＦＣ等を含む他の適切なＲＦトランシーバ又はサブシステムが利用されてもよい。一部の例示では、ステッカーデバイス４００は、複数の異なるＲＦトランシーバ、又は複数の異なる無線通信技術に使用可能なＲＦトランシーバを含んでもよい。一部の例示では、ステッカーデバイス４００は、ＲＦトランシーバを介して電力を受信してもよい。例えば、ステッカーデバイス４００は、ＲＦＩＤタグであってもよく又はそれを含んでもよく、ＲＦ送信機から電力を取得してもよく、後方散乱技術を使用して通信してもよい。このような技術は、例えば、ステッカーデバイス４００に関する識別性情報を提供するために使用されてもよい。従って、異なる例示によって（複数の）任意の適切な無線通信技術が利用されてもよい。

先に検討されたステッカーデバイス４００のコンポーネントは、ステッカーデバイス４００の筐体の中に配置される。このような筐体は、様々なコンポーネントが配置され得る１つ以上の内部空洞を画定してもよい。筐体は、ステッカーデバイス４００が別のオブジェクトに物理的に結合されることを可能にする結合デバイスを有してもよい。適切な結合デバイスは、感圧接着剤等の接着剤を含んでもよい。他の例示は、オブジェクトに磁気結合することを可能にする強磁性材料又は鉄鋼材を含んでもよい。一部の例示では、ステッカーは、ストラップ、ネジ、釘等によってオブジェクトに取り付けられてもよい。一部の例示では、ステッカーは、例えば、リストバンド、ネックレス、イヤリング等のウェアラブルデバイスに組み込まれてもよい。

図４に示された例示的なステッカーデバイス４００は、他の例示では提示されない場合が有る所定のコンポーネントを含むことが理解されるべきである。例えば、ステッカーデバイスは、センサ、触覚出力デバイス、ディスプレイ、ＲＦトランシーバ、プロセッサ、又はメモリを含まなくてもよい。例えば、安価な実施形態は、そこに印刷される一意のバーコードを有するが、任意の処理コンポーネント又は他の電子コンポーネントを欠いている接着ラベルを含んでもよい。更に、図４に示された１つ以上のコンポーネントの省略が、費用効果的なステッカーデバイスを可能にしながら、依然として本明細書に記載の少なくとも一部の機能を可能にしてもよい。例えば、センサ又は触覚出力デバイスが一部の例示では利用されないが、以前としてＨＭＤがセンサを検出してセンサに関連付けられる仮想オブジェクトを表示することを可能にしてもよい。或いは、ディスプレイが含まれなくてもよく、その代わりに識別マーキングがステッカーデバイス４００のための筐体に印刷され又は貼り付けられてもよい。このような例示は、図１、２Ａ−２Ｂ及び３に関して先に検討されたシステム等の本開示による様々なシステムによって利用されてもよい。

次に図５を参照すると、図５は、スマートステッカーを使用して仮想オブジェクトを触覚化するための例示的なシステム及び方法で使用可能な例示的なコンピュータデバイス５００を示す。コンピュータデバイス５００は、メモリ５２０、触覚出力デバイス５３０、ディスプレイ５４０、ネットワークインターフェース５５０及びセンサ５６０と通信するプロセッサ５１０を含む。プロセッサ５１０は、例えば、触覚効果を決定し、触覚信号を生成し、表示信号を生成し、センサ信号を受信し、ネットワークインターフェース５５０を使用して情報を送信及び受信するために、メモリ５２０に記憶されているプロセッサ実行可能命令を実行するように構成される。

この例示では、コンピュータデバイス５００はＨＭＤの一部であり、ディスプレイ５４０はＨＭＤのバイザに組み込まれている。しかしながら、一部の例示では、コンピュータデバイスは、図１に示されたコンピュータデバイス１１０等、ＨＭＤ又は他のユーザインターフェースデバイスから離れていてもよい。更に、図３等に示されるように、１つ以上のサーバデバイスが例示的なコンピュータデバイスであるか又はそれを含んでもよい。

この例示では、プロセッサ５１０は、センサ５６０から信号を受信して、現実環境内の１つ以上のステッカーを検出し、検出されたステッカーに関連付けられる１つ以上の仮想オブジェクトに基づいて表示信号を生成する。表示信号は、検出されたステッカーに対応するＨＭＤバイザ内の場所に仮想オブジェクトをディスプレイ５４０によって表示させるように構成される。例えば、プロセッサ５１０は、センサ５６０から受信した１つ以上のセンサ信号等に基づいて、バイザに対するステッカーの場所を決定してもよい。次に、プロセッサ５１０は、ステッカーに対応するバイザ上の場所を決定して、決定されたバイザ上の場所に基づいて仮想オブジェクトに対する表示場所を決定してもよい。更に、プロセッサ５１０は、検出されたステッカーに対応する場所に仮想オブジェクトを留まらせるために、ユーザによるＨＭＤ及びバイザの移動等に基づいて、経時的に異なる場所で仮想オブジェクトを表示してもよい。

プロセッサ５１０は、触覚出力デバイス５３０に１つ以上の触覚効果を出力させるための触覚出力信号を生成する。このような効果は、図４のステッカーデバイス４００に関して先に検討されたものの何れかであってもよい。更に、触覚出力デバイス５３０は、本開示による任意の適切な触覚出力デバイスであってもよい。このような触覚出力デバイス５３０は、コンピュータデバイス５００の筐体内に設けられてもよく、リストバンド又は触覚手袋等、ユーザによって装着されてもよく、又はユーザによって把持される操作子内に含まれてもよい。

ネットワークインターフェース５５０は、本開示による任意の適切な有線又は無線ネットワークインターフェースであってもよい。プロセッサ５１０は、ＨＭＤ又は操作子等のユーザデバイスと通信するためにネットワークインターフェース５５０を利用してもよい。一部の例示では、ネットワークインターフェース５５０は、図３等に関して先に記載されたリモートサーバデバイスとの通信を可能にしてもよい。ネットワークインターフェースデバイス５５０は、ＢＬＥ、ＢＴ、ＷｉＦｉ又はＮＦＣ通信技術等を介して、ステッカーデバイスとの無線通信を更に可能にしてもよい。更に、一部の例示的なコンピュータデバイス５００は、複数のネットワークインターフェース５５０を含んでもよい。

この例示では、センサ５６０は１つのカメラであるが、一部の例示では、複数のカメラが利用されてもよい。更に他のタイプのセンサも利用されてもよい。例えば、センサは、現実環境において、ユーザデバイス、例えば、ＨＭＤの位置又は方向を感知するために加速度計、ジャイロスコープ等を含んでもよい。

本開示によるな例示的なコンピュータデバイスは先に検討されたコンポーネントの全てを含まなくてもよいことが理解されるべきである。例えば、サーバとして動作するように構成されるコンピュータデバイスは、触覚出力デバイス５３０又はセンサ５６０を含まなくてもよく、又はディスプレイ５４０を含まなくてもよい。更に、一部のコンピュータデバイスは、センサ又は触覚出力デバイスを含まなくてもよい。その代わりに、プロセッサ５１０は、ＨＭＤに貼り付けられたコンピュータデバイス等の別のコンピュータデバイスからセンサ情報を受信してもよい。同様に、コンピュータデバイス５００は、触覚出力デバイスを欠いてもよい。一部の例示では、このようなコンピュータデバイス５００は、他のコンピュータデバイスに触覚信号又は触覚コマンドを提供するために、ＨＭＤ又は他のユーザ操作子等の中に、触覚出力デバイス５３０を含む別のコンピュータデバイスと通信してもよい。更に、異なる例によっては更なる構成のコンピュータデバイスが利用されてもよい。

次に図６を参照すると、図６は、スマートステッカーを使用して仮想オブジェクトを触覚化するための例示的な方法６００を示している。図６の記載は、図３に示された例示的なシステム３００、図４に示された例示的なステッカーデバイス４００、及び図５に示された例示的なコンピュータデバイス５００を参照するが、本開示による任意の適切なシステム、ステッカーデバイス、又はコンピュータデバイス５００が利用され得ることが理解されるべきである。

ブロック６１０において、ステッカー３４０ａは、センサ４６０又は複数のセンサから１つ以上のセンサ信号を受信する。この例示では、センサ４６０はカメラであり、（複数の）センサ信号は１つ以上の画像を含む。しかしながら、一部の例示では、例えば、近接センサ（例えば、超音波センサ、発光素子／検出器、ＢＴビーコン等）、タッチセンサ、圧力センサ等の他のタイプのセンサが利用されてもよい。

ブロック６２０において、ステッカー３４０ａは、１つ以上のセンサ信号に基づいてジェスチャを検出する。この例示では、ステッカー３４０ａは、カメラから受信した画像に基づいてジェスチャを検出する。ステッカーのプロセッサ４１０は、受信した画像を入力として使用してジェスチャ認識技術を実行する。このような技術は、訓練された機械学習技術、又は任意の他の適切なジェスチャ認識技術を使用して実装されてもよい。一部の例示では、ユーザは、機械学習技術を訓練する又はジェスチャ認識を容易にするための機械学習技術又はプロセッサ４１０によって検出され得る１つ以上の識別マーキング、例えば、光、コントラスト点、線、又はハッシュ等を備えたデバイスを保持し又は手袋を装着してもよい。一部の例示では、プロセッサ４１０は、リモートデバイス、例えば、ＨＭＤ又はサーバから情報を受信して、ユーザによって行われた検出ジェスチャを識別してもよい。

ブロック６３０において、プロセッサ４１０は、検出されたジェスチャに基づいて触覚効果を決定する。例えば、プロセッサ４１０は、ジェスチャ及び対応する触覚効果を有するルックアップテーブルにアクセスしてもよい。一部の例示では、メモリ４２０は、複数のルックアップテーブルを記憶してもよく、これらのうちの１つ以上が異なる仮想環境、異なるアプリケーション、異なる仮想オブジェクト等に関連付けられてもよい。従って、プロセッサ４１０は、当時の仮想環境、アプリケーション、オブジェクト等に関連付けられるルックアップテーブルを選択してもよい。次に、それは、検出されたジェスチャに対応する触覚効果を識別するためにルックアップテーブルにアクセスしてもよい。例えば、プロセッサ４１０は、ユーザが押しジェスチャを行ったことを決定してもよく、ルックアップテーブルにアクセスして「押し」ジェスチャに対応する触覚効果を識別することにより「押し」触覚効果を決定してもよい。

触覚効果を決定する際に、プロセッサ４１０は、触覚効果のタイプに加えて触覚効果の振幅又は持続時間を決定してもよいが、一部の例示では、触覚効果は、デフォルト振幅及び持続時間を有してもよい。例えば、プロセッサ４１０は、ステッカーデバイス４００に対して決定されたユーザの近接性に基づいて振幅を決定してもよい。ステッカーデバイス４００が非接触型触覚出力デバイス４３０を含む場合、プロセッサ４１０は、ユーザに対して決定された距離又はジェスチャを行ったユーザの体の部分に基づいて触覚効果の振幅を決定してもよい。このような決定は、ブロック６１０に関して先に検討されたように近接センサから受信したセンサ信号に基づいてもよく、又はＨＭＤ若しくはサーバデバイス等のリモートコンピュータデバイスから受信されてもよい。ユーザ又はユーザの体の一部がステッカーデバイス４３０からより離れている場合に、より高い振幅の触覚効果が必要とされてもよい。例えば、プロセッサ４１０は、１つ以上の方程式に基づいて計算される又はルックアップテーブル等における距離と振幅のマッピング又はスケーリング係数にアクセスしてもよい（例えば、特定の出力振幅において知覚される触覚効果の強度は、距離に対して指数関数的に低下してもよい）。従って、プロセッサは、加えられる触覚効果の強度又はユーザ若しくはユーザの体の一部に対する決定された近接性若しくは距離に基づいて振幅を決定（又はデフォルト振幅を調節）してもよい。例えば、決定された触覚効果は、ルックアップテーブル等において関連する振幅を有してもよい。しかしながら、指定された振幅を加えるために、ステッカーデバイスは、ユーザに対する距離に適応するように触覚出力デバイスの出力をスケーリングする必要があってもよい。

また、プロセッサ４１０は、触覚効果の持続時間も決定してもよい。例えば、プロセッサ４１０は、行われているジェスチャに基づいて持続時間を決定してもよい。ユーザが押しジェスチャを行った場合、プロセッサ４１０は、ステッカーデバイス４００から離れるように手を引っ込めることにより又は手を落とすこと等により、ユーザが押しジェスチャを中止するまで継続する持続時間を決定してもよい。しかしながら、一部の例示では、触覚効果に関するデフォルト持続時間が使用されてもよい。代替的に、持続時間は、ユーザ又はユーザの体の一部の検出された近接性に基づいてもよい。例えば、ユーザ又は体の一部がステッカーデバイス４００から離れているほど、持続時間が長くなってもよい。このような例示は、ステッカーデバイス４００から離れている間であっても、ユーザが依然として触覚効果を確実に知覚することができることを支援してもよい。

ブロック６４０において、プロセッサ４１０は、触覚効果を出力させるように構成される触覚信号を送信する。この例示では、プロセッサ４１０は、触覚信号を触覚出力デバイス４３０に送信する。一部の例示では、ステッカーデバイス４００は、複数の触覚出力デバイス４３０を含んでもよく、そのためプロセッサ４１０は、出力される触覚効果のタイプに対応する触覚出力デバイス４３０に触覚信号を出力してもよい。例えば、触覚効果が非接触型触覚効果であると決定される場合、プロセッサ４１０は、ＥＲＭ等の接触型触覚出力デバイスではなく、圧縮空気デバイス等の非接触型触覚出力デバイスに触覚効果信号を送信してもよい。一部の例示では、プロセッサ４１０は、触覚出力デバイスの効果範囲に基づいて１つ以上の触覚出力デバイスを選択してもよい。例えば、ＥＳＦ触覚出力デバイスは、数ミリメートルの範囲内で非接触型触覚効果を提供してもよいが、圧縮空気タイプの触覚出力デバイスは、数センチメートルから１メートル以上の効果範囲を有してもよい。従って、ユーザに対する検出された距離が２０センチメートルである場合、プロセッサ４１０は、ＥＳＦ触覚出力デバイスではなく圧縮空気タイプの触覚出力に触覚信号を送信してもよい。更に、プロセッサ４１０は、ルックアップテーブルから触覚出力デバイスを決定すること等により、触覚効果を決定した場合、ブロック６３０においてこのような決定を行ってもよい。

一部の例示では、ステッカーデバイス４００は、触覚出力デバイスを含まなくてもよい。従って、このような例示において、プロセッサ４１０は、ＨＭＤ３２０ａに対してＲＦトランシーバ又はユーザによって利用される他の操作子を使用して触覚信号を送信してもよい。

次に図７を参照すると、図７は、スマートステッカーを使用して仮想オブジェクトを触覚化するための例示的な方法７００を示している。図７の記載は、図３に示された例示的なシステム３００、図４に示された例示的なステッカーデバイス４００、及び図５に示された例示的なコンピュータデバイス５００を参照するが、本開示による任意の適切なシステム、ステッカーデバイス、又はコンピュータデバイス５００が利用され得ることが理解されるべきである。

ブロック７１０において、ＨＭＤ３２０ａに関連付けられるプロセッサ５１０が、センサ５６０又は複数のセンサから１つ以上のセンサ信号を受信する。この例示では、センサ４６０はカメラであり、（複数の）センサ信号は１つ以上の画像を含む。しかしながら、一部の例示では、例えば、レーザ型バーコードセンサ、ＲＦセンサ（例えば、ＮＦＣ、ＲＦＩＤ、ＢＴ、ＢＬＥ等）等の他のタイプのセンサが利用されてもよい。上記のように、コンピュータデバイス５００は、現実環境内でユーザの位置、方向、移動等を検出するための任意の数のセンサを含んでもよい。従って、一部の例示では、このような位置関連センサは、現実環境におけるユーザの位置を決定し、１つ以上のステッカーデバイスへの近接性を決定するために利用されてもよい。例えば、サーバ３１０は、現実環境における各ステッカーデバイス３４０ａ−ｂに対する物理場所を維持して、ユーザとステッカー３４０ａ−ｂとの間の相対的な近接性を決定してもよい。代替的に、ＨＭＤ３２０ａ−ｂは、このような情報にアクセスし、ユーザとステッカー３４０ａ−ｂとの間の相対的な近接性を決定してもよい。従って、一部の例示では、プロセッサ５１０は、現実環境内のユーザの位置を決定するために、１つ以上のこのようなセンサ、例えば、加速度計、ジャイロスコープ等からセンサ信号を受信してもよい。

ブロック７２０において、プロセッサ５１０は、１つ以上のステッカーデバイス３４０ａ−ｂを検出する。この例示では、プロセッサ５１０は、ブロック７１０で受信した１つ以上の画像を使用して訓練された機械学習オブジェクト認識技術を使用してステッカーを検出する。オブジェクト認識技術は、ステッカーの形状、（１次元又は２次元の）バーコード、数字又は文字（例えば、磁気インク文字認識（ＭＩＣＲ）スタイルフォント）、システム３００におけるステッカーに関連付けられる他のグリフ又は記号を認識するように訓練されてもよい。

一部の例示では、プロセッサ５１０は、他のタイプの情報を有するセンサ信号に基づいてステッカーを検出してもよい。例えば、ＨＭＤのコンピュータデバイス５００は、ＢＬＥビーコン又はブロードキャスト通信を受信してもよく、又は１つ以上のステッカーデバイス３４０ａ−ｂによって放出される可視光又は人間の知覚範囲外の光、例えば、赤外線又は紫外線を検出することによりそれらを検出してもよい。

一部の例示では、ＨＭＤのコンピュータデバイス５００は、サーバ３１０、３６０から受信した又はコンピュータデバイス５００によって他のやり方でアクセス可能なステッカー情報に基づいてステッカーを検出してもよい。ステッカー情報は、ステッカー等の位置情報、方向情報、識別情報、機能（例えば、ＲＦ通信、触覚出力等）を含んでもよい。ＨＭＤ３２０ａは、位置センサ（例えば、加速度計、ジャイロスコープ等）を使用して現実環境内の位置及び方向を決定し、ステッカー情報及び決定されたＨＭＤの位置及び方向に基づいて、現実環境内の既知の場所に有る１つ以上のステッカーがユーザに可視であるかどうかを決定してもよい。次に、コンピュータデバイス５００は、このような決定に基づいて１つ以上のステッカーを検出する。

一部の例示では、コンピュータデバイス５００は、検出されたステッカーに関連付けられる識別性を決定する。例えば、コンピュータデバイス５００は、カメラから受信した１つ以上の画像からこのような情報を抽出すること等により、ステッカーからバーコード又は英数字列を取得してもよい。一部の例示では、コンピュータデバイス５００は、ステッカーデバイスから受信したＲＦ信号に基づいて識別性を決定してもよい。ステッカーデバイスを検出した後で、コンピュータデバイス５００は、検出されたステッカーにＲＦ信号を送信して、識別情報を要求してもよい。コンピュータデバイス５００は、上記のように、このようなステッカーに関する位置情報を受信することと併せて環境における１つ以上のステッカーに関する識別情報を受信してもよい。

ブロック７３０において、プロセッサ５１０は、検出されたステッカーデバイスに関連付けられる仮想オブジェクトを決定する。この例示では、プロセッサ５１０は、検出されたステッカーに基づいてサーバ３１０から１つ以上の仮想オブジェクトを要求し、それに応じて、１つ以上の仮想オブジェクトを受信する。このような情報は、仮想オブジェクトをレンダリングするためのグラフィカル情報、メモリ５２０に記憶されている１つ以上の仮想オブジェクトに関する識別情報、触覚情報等を含んでもよい。

一部の例示では、特定の仮想オブジェクトを決定することに加えて、コンピュータデバイス５００は、ステッカーデバイスの位置又は方向に基づいて仮想オブジェクトの表示サイズ又は方向を決定してもよい。例えば、コンピュータデバイスは、ＨＭＤから検出されたステッカーへの距離を決定し、仮想オブジェクトの見掛けのサイズがＨＭＤとステッカーデバイスとの間の距離に基づくように、仮想オブジェクトに対するスケーリング係数を決定してもよい。距離情報は、位置又は方向情報等のステッカーデバイスから受信した情報に基づいてもよく、又はＨＭＤ３２０ａ−ｂ、サーバ３１０又はリモートコンピュータデバイス３６０によって決定されてもよい。同様に、仮想オブジェクトの方向は、ステッカーデバイスから受信した情報に基づいて、又はカメラから受信した１つ以上の画像から決定される方向等、受信したセンサ信号から決定される方向に基づいて、又はステッカーデバイスの位置又は方向を感知するように構成される現実環境内の１つ以上のセンサに基づいて決定されてもよい。

ブロック７４０において、プロセッサ５１０は、表示信号を生成してＨＭＤディスプレイに送信し、（複数の）仮想オブジェクトを表示する。仮想オブジェクトは、ユーザインターフェースオブジェクト、ゲームオブジェクト（例えば、武器、ゲーム内通貨、装甲、パワーアップアイテム等）、ビデオゲーム内の１つ以上のプレーヤーキャラクタ又は非プレーヤーキャラクタのアバター、情報表示、広告又は宣伝等を含んでもよい。一部の例示では、仮想オブジェクトは、静的であり、経時的に変化しなくてもよい。ユーザが現実環境内で移動すると、仮想環境におけるユーザの観点が変化してもよく、これは仮想オブジェクトに対する観点を変化させてもよく、そのため仮想オブジェクトの異なる部分を表示することになる。従って、静的仮想オブジェクトに対する表示信号は、仮想オブジェクトの異なる部分が表示されると経時的に変化してもよい。更に、システム３００は、仮想オブジェクトがユーザの相互作用無しで移動する場合にアニメーション化仮想オブジェクト、又はユーザの相互作用に基づいて変化し、即ち経時的に変化する仮想オブジェクトを表示してもよい。

更に、ユーザは、仮想オブジェクトをインベントリ内に収集すること、仮想オブジェクトによって提供される機能をアクティブ化又は非アクティブ化すること、仮想オブジェクトを使用してデバイス用のユーザインターフェース設定を変更すること、仮想オブジェクトを移動させること、仮想オブジェクトと戦う又はそれを破壊すること、又は他のやり方で仮想オブジェクトを操作すること等によって、一部の仮想オブジェクトと相互作用することが可能であってもよい。このような仮想オブジェクトと相互作用するために、ユーザは、例えば、１つ以上のジェスチャを行うこと、入力を提供するために物理的にステッカーデバイスに接触すること（例えば、圧力に基づくジェスチャを含む接触型ジェスチャ）、操作子を利用して仮想オブジェクト又は仮想環境に影響を与えるための１つ以上のコマンドをコンピュータデバイス５００又はサーバ３１０に提供すること等を行ってもよく、これは仮想オブジェクトの表示を変化させてもよい。

ブロック７５０において、コンピュータデバイス５００は、触覚効果を出力する。この例示では、プロセッサ５１０は、表示された仮想オブジェクトに基づいて触覚効果を決定する。例えば、プロセッサ５１０は、最初に表示される、例えば、最初にユーザの視野に現れる仮想オブジェクトに基づいて触覚効果を決定してもよい。一部の実施形態では、プロセッサ５１０は、仮想オブジェクトによって行われるアクション又は仮想オブジェクトとの相互作用に基づいて触覚効果を決定してもよい。例えば、ユーザは、仮想子猫に関連付けられるステッカーを前腕又は手に貼ってもよい。ユーザがステッカーを見たときに、自身の腕又は手の上を猫が歩いているアニメーションが提示されてもよい。プロセッサは、ユーザの腕の上を猫が歩いていることに基づいて１つ以上の触覚効果を決定してもよい。代替的に、ステッカーが現実環境におけるオブジェクトに適用されると共に戦闘ゲームにおける防衛システム、例えば、レーザ武器に関連付けられる場合、プロセッサ５１０は、ユーザが防衛システムによって検出されたか又は標的にされていることを示すための触覚効果を決定してもよい。

触覚効果を決定することは、仮想オブジェクトに関連付けられる触覚効果又は仮想オブジェクトに関連付けられる相互作用、例えば、アラート、仮想オブジェクトから得たダメージ、武器の発射、仮想オブジェクトの移動等を識別するために１つ以上のルックアップテーブルにアクセスすることを含んでもよい。一部の例示では、プロセッサ５１０は、サーバ３１０、３６０から又はステッカーデバイス３４０ａ−ｂから触覚効果又は触覚信号を受信してもよい。例えば、ステッカーデバイス３４０ａは、感知されたユーザとの相互作用に基づいて触覚効果を決定してもよく、触覚効果を生成してユーザのＨＭＤ３２０に送信してもよい。この場合、コンピュータデバイス５００は、受信した触覚効果に基づいて触覚効果を決定する。

ブロック７６０において、触覚効果を決定した後で、プロセッサ５１０は触覚出力デバイスに触覚信号を送信する。この例示では、プロセッサ５１０は、コンピュータデバイスの触覚出力デバイス５３０に触覚信号を送信する。しかしながら、一部の例示では、プロセッサ５１０は、ＲＦ送信機を介して、ステッカーデバイスに触覚信号を送信して、ステッカーデバイスに触覚効果を出力させてもよい。プロセッサ５１０は、触覚効果を引き起こすために、別のＨＭＤに関連付けられるコンピュータデバイスに又は複数の異なるデバイスに触覚信号を送信してもよい

本明細書に記載の方法及びシステムの一部の例は様々な機械で実行するソフトウェアに関して記載されているが、方法及びシステムは、例えば、様々な方法を特別に実行するためのフィールド・プログラマブル・ゲート・アレイ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ；ＦＰＧＡ）等の特別に構成されたハードウェアとして実装されてもよい。例えば、例示は、デジタル電子回路で、又はコンピュータハードウェア、ファームウェア、ソフトウェア若しくはこれらの組み合わせで実装され得る。１つの例示では、デバイスは、１つ又は複数のプロセッサを含んでもよい。プロセッサは、プロセッサに結合されるランダム・アクセス・メモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ；ＲＡＭ）等のコンピュータ可読媒体を備える。プロセッサは、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。例えば、１つ以上のコンピュータプログラムを実行する。このようなプロセッサは、マイクロプロセッサ、デジタル・シグナル・プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ；ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ；ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ；ＦＰＧＡ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、プログラマブル割り込みコントローラ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ；ＰＩＣ）、プログラマブル論理デバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ；ＰＬＤ）、プログラマブルＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ；ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ；ＥＰＲＯＭ又はＥＥＰＲＯＭ）、又は他の類似のデバイス等のプログラマブル電子デバイスを更に備えてもよい。

このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることができる命令を記憶し得るコンピュータ可読記憶媒体を備え又はこれと通信してもよい。コンピュータ可読媒体の例は、限定されないが、プロセッサ、例えば、ウェブサーバのプロセッサにコンピュータ可読命令を提供することができる電子、光学、磁気又は他の記憶デバイスを含んでもよい。媒体の他の例は、限定されないが、フロッピーディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。記載されたプロセッサ及び処理は、１つ以上の構造内に有ってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。

一部の例の上記の説明は、例示及び説明のためにのみ示されているのであって、網羅的であること又は開示された厳密な形態に本開示を限定することは意図されていない。その多くの修正及び適合が、本開示の精神及び範囲から逸脱することなく当業者には明らかであろう。

本明細書における例示又は実装への言及は、特定の機能、構造、操作、又は例示と関連して記載される他の特徴が本開示の少なくとも１つの実装に含まれ得ることを意味する。本開示は、このように記載された特定の例示又は実装に制限されない。明細書の様々な場所における「１つの例示では」又は「ある例示において」、「一実装では」又は「ある実装において」という句又はこれらの変形の出現は、必ずしも同じ例示又は実装への言及ではない。任意の特定の機能、構造、操作、又は一つの例示若しくは実装に関連する本明細書に記載の他の特徴は、他の機能、構造、操作、又は任意の他の例示若しくは実装に関して記載された他の特徴と組み合わされてもよい。

本明細書における単語「又は」の使用は、包括的及び排他的ＯＲ条件を含むことが意図されている。言い換えれば、Ａ又はＢ又はＣは、特定の利用のために必要であれば以下の代替的な任意の又は全ての組み合わせ、即ち、Ａだけ、Ｂだけ、Ｃだけ、Ａ及びＢだけ、Ａ及びＣだけ、Ｂ及びＣだけ、並びにＡ及びＢ及びＣを含んでいる。

Claims (19)

1. 拡張又は仮想現実における触覚相互作用のためのステッカーデバイスであって、
   触覚出力デバイスと、
   プロセッサ実行可能命令を記憶する非一時的なコンピュータ可読媒体と、
   前記触覚出力デバイス及び前記非一時的なコンピュータ可読媒体と通信するプロセッサと
   を備え、
   前記プロセッサは、前記プロセッサ実行可能命令を実行して、
   センサからセンサ信号を受信すること、
   前記センサ信号に基づいて触覚効果を決定すること、及び
   触覚効果を前記触覚出力デバイスに出力させるために触覚信号を前記触覚出力デバイスに送信すること
   を行うように構成される、ステッカーデバイス。
2. 前記触覚出力デバイスは、非接触触覚出力デバイスを含む、請求項１に記載のステッカーデバイス。
3. 前記非接触触覚出力デバイスは、超音波デバイス、静電摩擦デバイス、圧縮空気デバイスを含む、請求項２に記載のステッカーデバイス。
4. 筐体を更に備え、前記筐体は識別機構を備える、請求項１に記載のステッカーデバイス。
5. 前記識別機構は、バーコード、ディスプレイ、又は無線自動識別（ＲＦＩＤ）タグの少なくとも１つである、請求項４に記載のステッカーデバイス。
6. 筐体を更に備え、前記筐体は、前記筐体をオブジェクトに結合するための結合デバイスを備える、請求項１に記載のステッカーデバイス。
7. 前記結合デバイスは、接着剤、強磁性材料、又は鉄鋼材である、請求項６に記載のステッカーデバイス。
8. センサを更に備え、前記センサはカメラを含み、前記センサ信号は１つ以上の画像を含み、前記プロセッサは、前記プロセッサ実行可能命令を実行して、前記センサ信号に基づいてジェスチャを決定するように構成される、請求項１に記載のステッカーデバイス。
9. センサと、
   プロセッサ実行可能命令を記憶する非一時的なコンピュータ可読媒体と、
   前記センサ及び前記非一時的なコンピュータ可読媒体と通信するプロセッサと
   を備え、
   前記プロセッサは、前記プロセッサ実行可能命令を実行して、
   前記センサからセンサ信号を受信すること、
   前記センサ信号に基づいて拡張又は仮想現実における触覚相互作用のためのステッカーデバイスを検出すること、
   前記ステッカーデバイスに関連付けられる仮想オブジェクトを決定すること、及び
   前記仮想オブジェクトをディスプレイデバイスに表示させるための信号を出力すること
   を行うように構成される、デバイス。
10. 前記プロセッサは、前記プロセッサ実行可能命令を実行して、前記ステッカーデバイスに対応する場所において前記仮想オブジェクトを前記ディスプレイデバイスに表示させるための信号を出力するように構成される、請求項９に記載のデバイス。
11. 前記プロセッサは、前記プロセッサ実行可能命令を実行して、
    リモートコンピュータデバイスからステッカー場所情報を受信すること、
    前記センサ信号に基づいて現実環境における前記デバイスに関する位置及び場所情報を決定すること、及び
    前記デバイスに関する前記位置及び場所情報並びに前記ステッカー場所情報に基づいて前記ステッカーデバイスを検出すること
    を行うように構成される、請求項９に記載のデバイス。
12. 前記センサはカメラを含む、請求項９に記載のデバイス。
13. 前記プロセッサは、前記プロセッサ実行可能命令を実行して、前記ステッカーデバイスの視覚識別子を決定すること及び前記視覚識別子に基づいて前記仮想オブジェクトを決定することを行うように構成される、請求項１２に記載のデバイス。
14. 前記プロセッサは、前記プロセッサ実行可能命令を実行して、前記センサ信号に基づいてジェスチャを決定するように構成される、請求項１２に記載のデバイス。
15. 前記センサは無線自動識別（ＲＦＩＤ）読み取り機を含む、請求項９に記載のデバイス。
16. 前記プロセッサは、前記プロセッサ実行可能命令を実行して、前記ステッカーデバイスに関連付けられるＲＦＩＤタグから取得される識別子を前記ＲＦＩＤ読み取り機から受信すること、及び前記識別子に基づいて前記仮想オブジェクトを決定することを行うように構成される、請求項１２に記載のデバイス。
17. 前記プロセッサは、前記プロセッサ実行可能命令を実行して、前記ステッカーデバイスに対応する場所において前記仮想オブジェクトのアニメーションを前記ディスプレイデバイスに表示させるための信号を出力するように構成される、請求項９に記載のデバイス。
18. 前記プロセッサは、前記プロセッサ実行可能命令を実行して、
    前記ステッカーがユーザに結合されていることを決定することに応答して、接触型触覚効果を前記ステッカーに出力させるための信号を前記ステッカーデバイスに出力すること、及び
    前記ステッカーデバイスが前記ユーザに結合されていないこと及び前記ステッカーデバイスが相互作用範囲内に有ることを決定することに応答して、非接触触覚効果を前記ステッカーデバイスに出力させるための信号を前記ステッカーデバイスに出力すること
    を行うように構成される、請求項９に記載のデバイス。
19. 前記非接触触覚効果は、超音波効果、静電摩擦効果、圧縮空気効果を含む、請求項１８に記載のデバイス。
    

Images