JP2020042827A - ビューポートベースの拡張現実触覚効果のシステム、方法及び非一時的コンピュータ可読媒体 - Google Patents

Abstract

【課題】ディスプレイ信号を受信して画像を出力するディスプレイと、領域画像を撮像して画像信号を伝送する画像撮像デバイスで触覚信号を出力する仮想オブジェクトを提供する【解決手段】システム１００は、画像撮像デバイス及びディスプレイと通信するプロセッサを含む。プロセッサは、画像信号を受信することと、画像信号の一部に基づいて仮想オブジェクトを決定することと、画像信号に部分的に基づいて、仮想オブジェクトに関連するデータを含むディスプレイ信号を決定することと、仮想オブジェクトに少なくとも部分的に基づいて触覚効果を決定することと、触覚効果に関連する触覚信号を伝送することとを行うよう。システムはさらに、触覚信号を受信して触覚効果を出力するる触覚出力デバイスを含む【選択図】図１

Description

本発明はユーザインターフェースデバイスの分野に関する。より詳細には、本発明はビューポートベースの拡張現実触覚効果に関する。

コンピュータベースのシステムが広く普及するにつれて、人間がこれらのシステムと相互作用するインターフェースの質の重要性は増してきている。ユーザインターフェースの１つの共通したタイプは拡張現実ユーザインターフェースである。拡張現実インターフェースでは典型的にはユーザは、ディスプレイを介して、仮想のコンテンツで補完された（「拡張された（ａｕｇｍｅｎｔｅｄ）」）カメラデータを見ることができる。この仮想のコンテンツには、カメラデータに関連するシーンの態様に関する追加の情報としてユーザに提供されるテキスト、画像、又は音が含まれる。拡張現実インターフェースは触覚能力を含むことで改良され得る。

本発明の開示の実施形態には、ビューポートベースの拡張現実触覚効果を備えるコンピュータデバイスが含まれる。１つの実施形態では、本発明の開示のシステムはディスプレイ信号を受信し、画像を出力するように構成されるディスプレイと、領域画像を撮像して画像信号を伝送するように構成される画像撮像デバイス（例えば、カメラ）とを含むことができる。当該システムは画像撮像デバイス及びディスプレイと通信するプロセッサをも含み、当該プロセッサは：画像信号を受信し；画像信号の一部に基づいて仮想オブジェクトを決定し；画像信号の一部に基づいてディスプレイ信号を決定し、ここでディスプレイ信号は仮想オブジェクトに関連するデータを含み；仮想オブジェクトに少なくとも部分的に基づいて触覚効果を決定し；及び触覚効果に関連する触覚信号を伝送するように構成される。当該システムは触覚信号を受信し、触覚効果を出力するように構成される触覚出力デバイスをさらに含む。

別の実施形態では、本発明の開示の方法は：画像信号を受信する工程であって、画像信号が領域画像を含む工程；前記画像信号の一部に基づいて仮想オブジェクトを決定する工程；前記画像信号の一部に基づいてディスプレイ信号を決定する工程であって、前記ディスプレイ信号は仮想オブジェクトに関連するデータを含む工程；及び前記ディスプレイ信号をディスプレイに伝送する工程であって、前記ディスプレイは画像を出力するように構成される工程と、を含む。当該方法は前記仮想オブジェクトに少なくとも部分的に基づいて触覚効果を決定する工程と；触覚効果に関連する触覚信号を触覚出力デバイスに伝送する工程と；及び前記触覚効果を出力する工程をさらに含むことができる。さらに別の実施形態では当該方法を実装するためのコンピュータ可読媒体を含む。

この例示的実施形態は本発明を制限すること、又は、本発明の制限を規定するために開示されたわけではなく、本発明の理解を促進するために実施例が提供される。例示的実施形態が詳細な説明に開示され、及び、さらなる説明が明細書に開示される。種々の実施形態によって提供される利点は、本明細書を検討し、及び／又は、本発明の一つ以上の実施形態を実施することによってさらに理解される。

完全な実施を可能とする開示が明細書の残りにおいてより詳細に説明される。明細書は、以下の添付された図面を参照する。

１つの実施形態によるビューポートベースの拡張現実触覚効果のためのシステムを示すブロック図である。 ビューポートベースの拡張現実触覚効果のためのシステムの実施形態である。 ビューポートベースの拡張現実触覚効果のためのシステムの別の実施形態である。 １つの実施形態によるビューポートベースの触覚効果のためのシステムである。 別の実施形態によるビューポートベースの拡張現実触覚効果のためのシステムである。 １つの実施形態によるビューポートベースの拡張現実触覚効果を提供するための方法を実施するためのステップのフローチャートである。 別の実施形態によるビューポートベースの拡張現実触覚効果のためのシステムである。

ここで様々な及び代替的な描写的実施形態と付随する図面を詳細に参照する。各例は、限定としてではなく説明として提供されている。変更及び変形を行うことができることは当業者には明らかであろう。例えば、一実施形態の一部として描写又は記載された特徴は、別の実施形態で使われてもっと更なる実施形態を生み出しても良い。よって、この開示は、添付の請求項とそれらの等価物の範囲内に入る変更及び変形を含むことが意図されている。

ビューポートベースの拡張現実触覚効果の例示実施例
本発明の開示の一例示実施形態はスマートフォン等の携帯デバイスを含む。携帯デバイスはタッチスクリーンディスプレイ、メモリ、カメラ、及びこれらの要素のそれぞれと通信するプロセッサを含む。タッチスクリーンディスプレイはビューポートを含む。ビューポートはスクリーンの領域から構成され、ここでデータ（例えば、テキスト又は画像）が表示される。いくつかの実施形態では、ビューポートはスクリーンの全領域から構成されてもよい。

例示実施形態では、携帯デバイスは拡張現実アプリケーションをも含む。拡張現実アプリケーションは、ディスプレイを介して、テキスト又は画像等の仮想のコンテンツで補完された（「拡張された（ａｕｇｍｅｎｔｅｄ）」）カメラデータを出力する。仮想のコンテンツは静止画又は動画のいずれであってもよい。例示実施形態では、ユーザは拡張現実アプリケーションを実行し、及び、携帯デバイスで画像を撮像するために携帯デバイスのカメラを使用することができる。例えば、カメラで家の部屋の画像を撮像するように、ユーザは携帯デバイスを向けることができる。当該実施形態では、拡張現実アプリケーションはカメラから画像データを受信し、及び、このデータをタッチスクリーンディスプレイに出力する。いくつかの実施形態では、この画像データはリアルタイムで更新することができ、例えば、拡張現実アプリケーションはカメラから更新された画像データを受信し続けることができる。いくつかの実施形態では、ユーザがあたかもディスプレイを通して見ているように、ユーザはカメラデータを知覚することができる。

例示実施形態では、ユーザは拡張現実アプリケーションに含まれるべき仮想オブジェクトを選択することができる。例えば、ユーザは拡張現実アプリケーションのカタログから１つの家具に関連する仮想オブジェクトを選択することができる。当該実施形態では、拡張現実アプリケーションはタッチスクリーンディスプレイに家具のグラフィカル表現を生成する。例えば、拡張現実アプリケーションは、タッチスクリーンディスプレイを介して部屋の家具である、ユーザが見ることのできる家具の３次元（３Ｄ）仮想表現を生成することができる。さらに、例示実施形態では、ユーザは異なる位置及び異なる方向、スケール、及び色の仮想オブジェクト（例えば、家具の画像）を見るためにアプリケーションを使用することができる。したがって、例示実施形態では、デザイナー、流通業者、小売業者、又は他の販売者は、ユーザが購入する前に商品を見て選択することができる拡張現実アプリケーション及びカタログを提供することができる。他の実施形態では、拡張現実アプリケーションは、例えば、会社、製品、又は位置に関する追加の情報（例えば、住所、価格情報、履歴情報、教育情報、又は評価）をユーザに提供するため、及び／又は、カメラが撮像したシーンにオブジェクト（例えば、人、動物、建物、景観の特徴、自動車）をユーザが追加、修正、又は、削除するために使用されることができる。

例示実施形態では、タッチスクリーンにジェスチャー（例えば、タッチスクリーンの上にディスプレイされるオブジェクトに指のスワイプ又はタッチ）をすることによって、ユーザは画像又は仮想オブジェクトを変えることができる。上述したように、例示実施形態では、拡張現実アプリケーションはカメラのデータの上に仮想オブジェクトを重ねる。例示実施形態では、デバイスの方向を変えることによって、又は、タッチスクリーンディスプレイにジェスチャーをすることによって、ユーザは仮想オブジェクトの位置、方向、スケール、色、又は他の要因を変更することができる。これによってさまざまな位置の中の適切な位置の仮想オブジェクト（例えば、さまざまな部屋で１つの家具がどのように見えるか）をユーザは知覚することができる。

例示実施形態では、携帯デバイスは触覚出力デバイスをさらに含む。触覚出力デバイスは携帯デバイスからの信号を受信し、及び、触覚効果をユーザに出力する。例示実施形態では、触覚効果は、シミュレートされる肌触り、振動、又は、摩擦係数の知覚され得る変化を含むことができる。さらに、例示実施形態では、触覚出力デバイスは携帯デバイスから遠隔に位置する触覚効果（以下「遠隔触覚効果」と称する）を出力する。例えば、ユーザ方向への集中された圧力波によって、又は、噴霧器からユーザに固体、液体、又は気体を放出することによって、触覚出力デバイスは遠隔触覚効果を出力することができる。又は、いくつかの実施形態では触覚出力デバイスは携帯デバイスから分離してもよい。例えば、触覚出力デバイスは、装着可能な物品（例えば、スリーブ、腕時計、ブレスレット、衣類、ジャケット、眼鏡、手袋、指輪、ヘッドバンド、帽子、又は、靴）に対応し、携帯デバイスと無線通信可能に（例えば、ネットワーク接続、ブルートゥース（登録商標）接続、又は、他の有線又は無線接続を介して）結合されることができる。

例示実施形態では、携帯デバイスは、イベントが発生すると触覚出力デバイスを介して触覚効果を出力するように構成される。本明細書で使用される場合イベントとは、デバイスの動作中に発生し、関連する触覚効果を潜在的に含み得る、いずれかの相互作用、動作、衝突、又は、他のイベントである。例示実施形態では、イベントには、仮想オブジェクトの存在（例えば、仮想の１つの家具の存在）、携帯デバイスとの相互作用（例えば、携帯デバイスを傾ける又は移動させる、タッチスクリーンディスプレイとの相互作用）、携帯デバイスの状態の変化、データの受信、データの送信、プログラム活動（例えば、ゲーム活動）、仮想オブジェクトとの相互作用、仮想オブジェクトの移動（例えば、仮想オブジェクトの移動又はバウンシング）、及び／又は、仮想オブジェクトのスケール、位置、方向、色、又は、他の特性の変化が含まれる。

例えば、例示実施形態では、ユーザが仮想オブジェクトと相互作用（例えば、仮想の１つの家具に対応する位置へのタッチ、又は、仮想オブジェクトに対応する実空間の領域へのタッチ）をした場合、又は、（例えば、色、サイズ、又は方向を変えるために）タッチスクリーンディスプレイの表面上へジェスチャーをした場合に、携帯デバイス効果を出力する。さらに、触覚効果は、仮想オブジェクトに関係があり得る。例えば、例示実施形態では、仮想の家具に対応するタッチスクリーン位置でユーザと相互作用があった場合には、携帯デバイスは仮想の家具（例えば、木、ガラス、金属、又は、樹脂）に対応する材料に関連する触覚効果を決定し、これらの材料の１つ以上に関連する触覚効果（例えば、材料の肌触りをユーザにシミュレートするように構成される触覚効果）を出力する。別の実施例のように、例示実施形態では、ユーザが１つの仮想の家具に対応する実空間の領域にタッチすると、携帯デバイスは、例えば、ユーザの手の裏側に放出される一吹きの空気を含む遠隔触覚効果を出力する。ユーザが実空間の仮想オブジェクトとあたかも相互作用しているかのように、ユーザは遠隔触覚効果を知覚することができる。

上述の例示実施形態の説明は単に説明するためだけに記載される。本発明のさまざまな他の実施形態が本明細書に開示され、及び、当該実施形態の変形形態は当業者によって理解されるであろう。さまざまな実施形態で提供される有利な点はこの明細書を分析、及び／又は、主張される主題内容の１つ以上の実施形態を実施することによってさらに理解されるであろう。

ビューポートベースの拡張現実触覚効果のための例示システム
図１は、１つの実施形態によるビューポートベースの拡張現実触覚効果のためのシステム１００を示すブロック図である。図示される実施形態では、システム１００はバス１０６を介して他のハードウェアと通信するプロセッサ１０２を備えるコンピュータデバイス１０１を含む。コンピュータデバイス１０１には、例えば、スマートフォン、タブレット、電子書籍リーダ、ラップトップコンピュータ、携帯ゲームデバイス、頭部に装着するディスプレイ、又は眼鏡が挙げられる。

ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、又は同様のもの等のいずれかの適切な有体の（かつ非一時的な）コンピュータ可読媒体を含むことができるメモリ１０４は、コンピュータデバイス１０１を動作させるように構成されるプログラムコンポーネントを具体化させる。図示される実施形態では、コンピュータデバイス１０１は、１つ以上のネットワークインターフェースデバイス１１０、入力／出力（Ｉ／Ｏ）インターフェースコンポーネント１１２、及び記憶装置１１４をさらに含む。

ネットワークデバイス１１０は、ネットワーク接続を促進する１つ以上のいずれかのコンポーネントを示し得る。実施例には、これに限定されるわけではないが、イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又は、ＩＥＥＥ８０２．１１、ブルートゥース（登録商標）等の無線インターフェース、又は、携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＭ、ＵＭＴ、又は他の移動通信ネットワークにアクセスするための送受信機／アンテナ）が挙げられる。

Ｉ／Ｏコンポーネント１１２は、データを入力又はデータを出力するために使用される１つ以上のディスプレイ１３４、ゲームコントローラ、キーボード、マウス、ジョイスティックス、カメラ、ボタン、スピーカー、マイクロフォン、及び／又は他のハードウェア等のデバイスへの有線接続又は無線接続を補助するように使用することができる。記憶装置１１４は、デバイス１０１に含まれる、又は、プロセッサ１０２と結合する磁気記憶媒体、光学記憶媒体、又は、他の記憶媒体等の不揮発性記憶装置を示す。

システム１００は、この実施例では、コンピュータデバイス１０１と一体化したタッチ感知表面１１６をさらに含む。タッチ感知表面１１６は、ユーザの触覚入力を感知するように構成されるいずれかの表面を示す。１つ以上のタッチセンサ１０８は、オブジェクトがタッチ感知表面１１６と接触した場合のタッチ領域のタッチを検出し、及び、プロセッサ１０２によってユーザのための適切なデータを提供するように構成される。いずれかの適切な数、タイプ、又は配列のセンサを使用することができる。例えば、抵抗性及び／又は容量性センサをタッチ感知表面１１６に設け、並びに、タッチ位置、及び、圧力、速度、及び／又は方向等の他の情報を決定するように使用することができる。別の実施例のように、タッチ感知表面１１６を一望する光センサは、タッチ位置を検出するように使用することができる。

他の実施形態では、タッチセンサ１０８はＬＥＤ検出器を含んでもよい。例えば、一実施形態では、タッチ感知表面１１６はディスプレイ１３４の側面に設けられたＬＥＤ指検出器を含んでもよい。いくつかの実施形態では、プロセッサ１０２は単一のタッチセンサ１０８と通信し、他の実施形態では、プロセッサ１０２は複数のタッチセンサ１０８と、例えば、第１のタッチスクリーン及び第２のタッチスクリーンと通信する。タッチセンサ１０８は、ユーザとの相互作用検出し、及びユーザとの相互作用に基づいて、信号をプロセッサ１０２に送信するように構成される。いくつかの実施形態では、タッチセンサ１０８は、ユーザとの相互作用の複数の特徴を検出するように構成することができる。例えば、タッチセンサ１０８はユーザとの相互作用の速度及び圧力を検出し、及び、この情報をインターフェース信号に組み入れることができる。

タッチ感知表面１１６は、システム１００の特定構成によって異なるが、ディスプレイ１３４を含み、又は、含まなくとも（又は対応しても）よい。いくつかの実施形態では、タッチ感知表面１１６とデバイスのディスプレイ１３４が組み合わされたタッチ可能なディスプレイを含む。タッチ感知表面１１６はディスプレイ１３４の外部に対応し、又は、実際のディスプレイ１３４のコンポーネントの上の材料の１つ以上の層に対応してもよい。他の実施形態では、コンピュータデバイス１０１は、コンピュータデバイス１０１とインターフェースされるシステム１００に含まれるディスプレイ１３４に備えられるグラフィカルユーザインターフェースにマップされ得るタッチ感知表面１１６を含む。

さらに、システム１００はカメラ１３０を備える。カメラ１３０は図１ではコンピュータデバイス１０１の中に存在するように表示されているが、いくつかの実施形態では、カメラ１３０は、コンピュータデバイス１０１の外部にあり、コンピュータデバイス１０１と通信することができる。例えば、カメラ１３０は、コンピュータデバイス１０１の外部にあり、イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又は、ＩＥＥＥ１８０２．１１、ブルートゥース（登録商標）等の無線インターフェース、又は無線インターフェースを介してコンピュータデバイス１０１と通信することができる。カメラ１３０は、領域（以下「領域画像」と称する）の１つ以上の画像を撮像するように構成される。領域画像は、例えば、家の部屋又は店の中等の屋内領域、又は、公園又は街路等の屋外領域空間及び／又は空間の中にある１つ以上のオブジェクトの画像を含む。カメラ１３０は画像に関連するカメラ１３０信号をプロセッサ１０２に伝送するようにさらに構成される。さらに、いくつかの実施形態では、システム１００は複数のカメラ１３０を備えてもよい。いくつかの実施形態では、１つ以上のカメラ１３０からの信号に基づいて、プロセッサ１０２は画像を決定し、及び／又は、ディスプレイ１３４に出力するディスプレイ信号を決定できる。例えば、いくつかの実施形態では、複数のカメラ１３０からの信号に基づいて、プロセッサ１０２はシーンの３Ｄ表現を含む、ディスプレイ１３４に出力するべき画像を決定できる。

図示される実施形態では、コンピュータデバイス１０１は１つ以上の追加のセンサ１３２を備える。いくつかの実施形態では、センサ１３２には、例えば、ジャイロスコープ、加速度計、グローバルポジショニングシステム（ＧＰ）ユニット、距離センサ、又は深さセンサを含み得る。いくつかの実施形態では、ジャイロスコープ、加速度計、及びＧＰユニットは、それぞれコンピュータデバイス１０１の方向、加速度、及び位置を検出することができる。いくつかの実施形態では、カメラ、距離センサ、及び／又は深さセンサは、コンピュータデバイス１０１と外部オブジェクト（例えば、ユーザの手、頭、腕、足、又は脚；別の人物；自動車；木；建物；又は１つの家具）間の距離を検出できる。いくつかの実施形態では、コンピュータデバイス３０１は距離に基づいた特徴（例えば、方向、色、スケール、又は位置）を持つ仮想オブジェクトを生成できる。いくつかの実施形態では、プロセッサ１０２は単一のセンサ１３２と通信することができ、及び、他の実施形態では、プロセッサ１０２は、例えば、ジャイロスコープ及び加速度計等の複数のセンサ１３２と通信することができる。センサ１３２は、センサ１３２信号をプロセッサ１０２に伝送するように構成される。

システム１００はプロセッサ１０２と通信する触覚出力デバイス１１８をさらに含む。触覚出力デバイス１１８は触覚信号に応答して効果を出力するように構成される。いくつかの実施形態では、触覚出力デバイス１１８は、例えば、振動、知覚される摩擦係数の変化、シミュレートされる質感、表面変形、及び／又は固体、液体、又は気体の一吹きを含む触覚効果を出力するように構成される。

いくつかの実施形態では、触覚出力デバイス１１８は、コンピュータデバイス１０１又はコンピュータデバイス１０１のコンポーネント、例えば、タッチ感知表面１１６又はディスプレイ１３４を振動させることによって触覚効果を出力することができる。当該実施形態では触覚出力デバイス１１８は、例えば、１つ以上の圧電アクチュエータ、電気モータ、電磁気アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モータ（ＥＲＭ）、又は共振線形アクチュエータ（ＬＲＡ）の振動を出力するように構成される触覚出力デバイスを含むことができる。

いくつかの実施形態では、触覚出力デバイス１１８は遠隔触覚効果を出力するように構成することができる。いくつかの実施形態では、触覚出力デバイス１１８は、例えば、スピーカー、又は、固体、液体、気体又はプラズマ等の材料をコンピュータデバイス１０１からユーザに放出する噴射器を含むことができる。いくつかの実施形態では、触覚出力デバイス１１８は、ユーザに向けて集中された圧力波を放出する複数の超音波振動子を使用することができる。

いくつかの実施形態では、ユーザが接触することができる表面を介して、触覚出力デバイス１１８は触覚効果を出力することができる。例えば、いくつかの実施形態では、コンピュータデバイス１０１はユーザが接触することができる表面（例えば、床、机、椅子、又はテーブル）に位置することができる。当該表面を振動させる、移動させる、傾ける、又は、変形させることによって、触覚出力デバイス１１８は触覚効果を出力することができる。例えば、いくつかの実施形態では、コンピュータデバイス１０１はユーザが接触することができるテーブルの上に位置することができる。いくつかの実施形態では、テーブルを振動させることによって、触覚出力デバイス１１８は触覚効果を出力することができる。いくつかの実施形態では、ユーザはテーブルを介して触覚効果を知覚することができる。

図１に図示される実施形態では、触覚出力デバイス１１８はプロセッサ１０２と通信し、及び、コンピュータデバイス１０１の内部に位置する。他の実施形態では、触覚出力デバイス１１８はコンピュータデバイス１０１から遠隔に位置することができるが、プロセッサ１０２と通信可能に結合する。例えば、触覚出力デバイス１１８は、コンピュータデバイス１０１の外部にあり、イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、ブルートゥース（登録商標）等の無線インターフェース、又は無線インターフェースを介してコンピュータデバイス１０１と通信することができる。いくつかの実施形態では、触覚出力デバイス１１８はコンピュータデバイス１０１から遠隔にあってもよいウェアラブルデバイスと結合することができる。いくつかの実施形態では、ウェアラブルデバイスには靴、スリーブ、ジャケット、眼鏡、手袋、指輪、腕時計、リストバンド、ブレスレット、衣類、帽子、ヘッドバンド、及び／又は宝石を含み得る。ウェアラブルデバイスは、ユーザの身体の一部分、例えば、ユーザの指、腕、手、足、脚、頭、又は他の身体部分に装着され得る。

いくつかの実施形態では、触覚出力デバイス１１８は、コンピュータデバイス１０１の外部のオブジェクト（図示せず）、例えば、箱、棒、本、又はスマートフォン等の中に配置されてもよい。いくつかの実施形態では、触覚出力デバイス１１８は、外部オブジェクトを介して触覚効果を出力することができる。例えば、いくつかの実施形態では、外部オブジェクトは、（例えば、ブルートゥース（登録商標）又はＧＰＳを介して）外部オブジェクトがコンピュータデバイス１０１から特定の距離（例えば、１ｍ）の中にあるか否かを決定することができる。いくつかの実施形態では、外部オブジェクトは外部デバイスがコンピュータデバイス１０１から特定の距離（例えば、１ｍ）の中にある場合には、触覚出力デバイス１１８によって触覚効果を出力することができる。

いくつかの実施形態では、触覚出力デバイス１１８は触覚信号に応答してタッチ感知表面１１６の手触りをシミュレートし、又は、知覚される摩擦係数を調節する触覚効果を出力するように構成することができる。１つの当該実施形態では、触覚出力デバイス１１８は超音波アクチュエータを含むことができる。超音波アクチュエータは超音波周波数、例えば２０ｋＨｚで振動することができ、タッチ感知表面１１６の表面の知覚される係数を増加又は低減する。さらに、超音波アクチュエータは、圧電材料を含むことができる。

他の当該実施形態では、タッチ感知表面１１６の手触りをシミュレートし、又は、知覚される摩擦係数を調節する触覚効果を出力するために、例えば静電気表面アクチュエータを使用して、触覚出力デバイス１１８は静電気引力を使用することができる。当該実施形態では、静電気アクチュエータは導電層及び絶縁層を含み得る。導電層はいずれかの半導体、又は、銅、アルミニウム、金、又は銀等の他の導電性材料であってもよい。絶縁層はガラス、樹脂、ポリマー、又はいずれかの他の絶縁材料であってもよい。さらに、プロセッサ１０２は電気信号、例えば、高電圧増幅器によって生成されたＡＣ信号を、導電層に印加することによって静電気アクチュエータを動作させることができる。電気信号は、いくつかの実施形態では、タッチ感知表面１１６に近い、又は、接触するオブジェクト（例えば、ユーザの指、頭、足、腕、肩、脚、又は他の体の部分、又はスタイラス）と導電層とを容量結合させることができる。いくつかの実施形態では、オブジェクトと導電層との間の引力レベルを変化せることによって、タッチ感知表面１１６の表面を横切って移動するオブジェクトのシミュレートされる肌触りを変化させることができる。

いくつかの実施形態では、触覚出力デバイス１１８はタッチ感知表面１１６の表面、又は、コンピュータデバイス１０１の別の表面を変形させることによって、触覚効果を出力するように構成される変形デバイスを含むことができる。当該実施形態では、触覚出力デバイス１１８は単数又は複数の刺激に応答して、剛性、体積、透明度、及び／又は色を変化させるスマートゲルを含むことができる。いくつかの実施形態では、剛性は変形に対するタッチ感知表面１１６の抵抗を含み得る。１つの当該実施形態では、１つ以上の電線がスマートゲルに埋め込まれ、又は、結合し得る。電流が電線を流れると、熱が放出され、スマートゲルが膨張又は収縮し、触覚出力デバイス１１８を変形させる。他の実施形態では、触覚出力デバイス１１８は変形コンポーネントを回転させる腕に結合するアクチュエータを含んでもよい。アクチュエータは圧電アクチュエータ、回転／線形アクチュエータ、ソレノイド、電気活性ポリマーアクチュエータ、マクロファイバー複合体（ＭＦＣ）アクチュエータ、形状記憶合金（ＳＭＡ）アクチュエータ、及び／又は他のアクチュエータを含んでもよい。アクチュエータが変形コンポーネントを回転させると、変形コンポーネントは触覚出力デバイス１１８の表面を移動し、それを変形させ得る。いくつかの実施形態では、触覚出力デバイス１１８はタッチ感知表面１１６の筐体の一部であってもよい。他の実施形態では、触覚出力デバイス１１８はタッチ感知表面１１６を覆うフレキシブル筐体の内側に設けられもよい。

本明細書では単一の触覚出力デバイス１１８が示されているが、いくつかの実施形態では、触覚フィードバックを提供するために、同一又は異なるタイプの複数の触覚出力デバイスを使用することができる。いくつかの触覚効果はデバイスの筐体に結合するアクチュエータを利用することができ、及び、いくつかの触覚効果では、複数のアクチュエータを順々及び／又は同時に使用することができる。例えば、いくつかの実施形態では、異なる触覚効果を提供するために、複数の振動アクチュエータ及び気体噴射器を単独又は同時に使用することができる。

メモリ１０４を見てみると、ビューポートベースの拡張現実触覚効果を提供するために、いくつかの実施形態でデバイスがどのように構成されるかを示すためのプログラムコンポーネント１２４、１２６、及び１２８が示されている。この実施例では、タッチした位置を検出するために、タッチセンサ１０８によってタッチ感知表面１１６をモニタするように検知モジュール１２４はプロセッサ１０２を構成する。例えば、モジュール１２４はタッチの存在又は不存在を監視するために、そして、タッチが存在する場合にはタッチの経時的な位置、経路、速度、加速度、圧力及び／又は他の特性の１つ以上を監視するために、タッチセンサ１０８をサンプリングできる。

触覚効果決定モジュール１２６は、触覚効果を生成することを決定するためにデータを分析するプログラムコンポーネントを示す。特に、触覚効果決定モジュール１２６はタッチ感知表面１１６のタッチ位置に基づいて、出力するべき触覚効果を決定するコード、及び、効果をシミュレートするために提供するべき１つ以上の触覚効果を選択するコードを含むことができる。例えば、タッチ位置に基づいて、ディスプレイ１３４上の仮想オブジェクト（例えば、仮想の家具、自動車、動物、漫画のキャラクタ−、ボタン、レバー、ロゴ、又は人物）の存在をシミュレートするために異なる触覚効果を選択できる。さらに、いくつかの実施形態では、仮想オブジェクトのサイズ、色、位置、移動、及び／又は他の特性に基づいて、出力するべき触覚効果、及び、効果をシミュレートするために提供するべき１つ以上の触覚効果を選択することができるコードを触覚効果決定モジュール１２６は含むことができる。例えば、仮想オブジェクトの色に基づいて触覚効果を選択できる（例えば、仮想オブジェクトが赤の場合には強い振動、及び、仮想オブジェクトが緑の場合には弱い振動）。

いくつかの実施形態では、触覚効果決定モジュール１２６はイベントに基づいて触覚効果を決定することができる。本明細書で使用される場合のイベントは、デバイスの動作中に発生する関連する触覚効果を潜在的に含み得るいずれかの相互作用、動作、衝突、又は、他のイベントである。いくつかの実施形態では、イベントには、仮想オブジェクトの存在（例えば、仮想の１つの家具の存在）、携帯デバイスとの相互作用（例えば、携帯デバイスを傾ける又は移動させること、又は、タッチ感知表面１１６との相互作用）、携帯デバイスの状態の変化、データの受信、データの送信、プログラム活動（例えば、ゲーム活動）、仮想オブジェクトとの相互作用、仮想オブジェクトの移動（例えば、仮想オブジェクトの移動又はバウンシング（ｂｏｕｎｃｉｎｇ））、及び／又は仮想オブジェクトのスケール、位置、方向、色、又は、他の特性の変化が含まれる。例えば、いくつかの実施形態では、拡張現実アプリケーションはユーザが仮想アバターを仮想空間でナビゲートするゲームを含んでもよい。いくつかの実施形態では、ユーザの仮想アバターが仮想空間のオブジェクト（例えば、ユーザの家の仮想表現の１つの家具）を叩くと、拡張現実アプリケーションは衝突をシミュレートするように構成される触覚効果を選択できる。例えば、触覚効果決定モジュール１２６は、アバターと仮想オブジェクトとの間の衝突の速度に比例して振幅が大きくなる振動を含む触覚効果を決定することができる。すなわち、アバターと仮想オブジェクトとの間の衝突速度が速いほど、振動の振幅は大きくなる。

他の実施形態では、触覚効果決定モジュール１２６はセンサ１３２から受信されたセンサ信号に少なくとも部分的に基づいて触覚効果を決定することができる。センサ１３２には、例えば、カメラ又は深さセンサが含まれ得る。いくつかの実施形態では、プロセッサ１０２はセンサ１３２からセンサ信号を受信し、及び、コンピュータデバイス１０１とユーザ又はユーザの体の一部分（例えば、手又は指）との間の距離を決定することができる。この決定に基づいて、触覚効果決定モジュール１３２は遠隔触覚効果を決定することができる。例えば、１つの当該実施形態では、プロセッサ１０２は一吹きの空気を出力するように構成される触覚出力デバイスを使用して、ユーザの足に出力する触覚効果を決定することができる。当該実施形態では、プロセッサ１０２はセンサ１３２からセンサ信号を受信し、及び、これらの信号に基づいて、コンピュータデバイス１０１とユーザの足との間の距離（例えば、１ｍ）を決定することができる。触覚効果決定モジュール１２６は、決定された距離に少なくとも部分的に基づいて触覚効果を決定することができる。

触覚効果発生モジュール１２８は、選択された触覚効果を生成するためにプロセッサ１０２に触覚信号を触覚出力デバイス１１８に伝送させるように機能するプログラムを示す。例えば、触覚効果発生モジュール１２８は触覚出力デバイス１１８に送信されるべき記憶された波形又はコマンドにアクセスできる。別の実施例のように、触覚効果発生モジュール１２８は触覚信号を決定するためのアルゴリズムを含み得る。触覚効果発生モジュール１２８は触覚効果のための目標座標を決定するためのアルゴリズムを含むことができる。これらの目標座標は、例えば、タッチ感知表面１１６上の位置を含むことができる。

図２はビューポートベースの拡張現実触覚効果のためのシステムの実施形態を示す。この実施例では、システムはコンピュータデバイス２０１を含む。いくつかの実施形態では、コンピュータデバイス２０１はタブレット、キオスク、スマートフォン、電子書籍リーダ、ラップトップコンピュータ、デスクトップコンピュータ、携帯ゲームデバイス、眼鏡、頭部に装着するディスプレイ、及び／又は他の電子デバイスを含むことができる。図２に図示される実施形態では、コンピュータデバイス２０１はタッチスクリーンディスプレイ２０６を含む。

コンピュータデバイス２０１はカメラ（図示せず）をさらに含む。いくつかの実施形態では、カメラはコンピュータデバイス２０１の内部にあってもよい。例えば、カメラはコンピュータデバイス２０１の前、後ろ、側面に位置してもよい。他の実施形態では、カメラはコンピュータデバイス２０１の外部に位置し、及び、コンピュータデバイス２０１と有線又は無線通信することができる。さらに他の実施形態では、コンピュータデバイス２０１は、コンピュータデバイス２０１の内部及び／又は外部にある複数のカメラを含んでもよい。

コンピュータデバイス２０１は拡張現実アプリケーションを含む。図２に図示される実施形態では、拡張現実アプリケーションはユーザがカメラデータを撮像し、及び、カメラデータに関連するオブジェクトの色を変更することを可能にする。例えば、図２に示されるように、ユーザはカラーパレット２０８を使用してオブジェクトの色を調節することができる。

図２に示されるように、自動車に関するカメラデータを撮像するために、ユーザはコンピュータデバイス２０１を正しい方向に向けた。ユーザは、例えば、タッチスクリーンディスプレイ２０６の表面を横切るようにユーザの指、又は、スタイラスをスライドさせること（例えば、スワイプ又は二本の指によるピンチ）によってカラーパレット２０８と相互作用させることができる。さらに、いくつかの実施形態では、コンピュータデバイス２０１を振る、傾かせる、又は、さもなければ移動させることで、ユーザはカラーパレット２０８と相互作用することができる。当該実施形態では、加速度計又はジャイロスコープがユーザとの相互作用を検出し、及び、ユーザとの相互作用に関連するセンサ信号をプロセッサに伝送できる。

コンピュータデバイス２０１はイベントの発生に基づいて触覚効果を決定し、出力することができる。イベントには時間の経過；仮想オブジェクトの色、スケール、方向、又は位置の変化；又は、コンピュータデバイス２０１とのユーザとの相互作用（例えば、コンピュータデバイス２０１を傾ける又は移動させる、タッチスクリーンディスプレイ２０６との相互作用、又は、ボタン又はジョイスティックス等の他のユーザインターフェースデバイスとの相互作用）が含まれ得る。触覚効果には振動、知覚され得る摩擦係数又はシミュレートされる質感の変化を含み得る。いくつかの実施形態では、シミュレートされる質感には金属、ガラス、樹脂、木、ゴム、布、砂、砂利、セメント、草、及び／又は他の肌触りが含まれ得る。例えば、一実施形態では、自動車２０４を含むディスプレイ２０６上の位置の上にユーザが指を置くと、コンピュータデバイス２０１はシミュレートされる金属質感を含む触覚効果を出力する。別の実施形態では、触覚効果は、例えば、タッチスクリーンディスプレイ２０６の一部を上げる又は下げる表面変形を含み得る。例えば、一実施形態では、ユーザが指を自動車２０４が含まれるディスプレイ２０６上の位置に置くと、コンピュータデバイス２０１は自動車の周囲を含むタッチスクリーンディスプレイ２０６の一部が盛り上がる表面変形を含む触覚効果を出力する。

いくつかの実施形態では、コンピュータデバイス２０１はカメラデータ（例えば、リアルタイム又はリアルタイムに近いカメラデータ）の少なくとも１部に基づいて触覚効果を決定することができる。例えば、いくつかの実施形態では、コンピュータデバイス２０１はカメラによって撮像された画像のデータに基づいて触覚効果を決定することができる。１つの当該実施形態では、コンピュータデバイスはカメラデータに自動車の画像が含まれることを決定し、及び、関連する触覚効果を出力する。例えば、コンピュータデバイスは自動車エンジンの輪転音を模倣するように構成される触覚効果（例えば、振動）を出力することができる。いくつかの実施形態では、この触覚効果は周期的に（例えば、２分おきに）出力することができる。

いくつかの実施形態では、コンピュータデバイス２０１は他のセンサ（例えば、ＧＰＳデバイス、加速度計、ジャイロスコープ、傾斜計、深さセンサ、又は距離検出器）からのデータの少なくとも１部に基づいて触覚フィードバックを出力することができる。例えば、いくつかの実施形態では、プロセッサはユーザ位置に一部基づいて触覚効果を決定することができる。いくつかの実施形態では、ユーザは街路上の自動車の画像を撮像できる。当該実施形態では、コンピュータデバイス２０１は、ＧＰＳデバイスによってユーザの位置、並びに、自動車及び当該位置に関連するディスプレイデータを決定することができる。例えば、コンピュータデバイス２０１は自動車に関する他の情報（例えば、年、モデル、又は価格）だけではなく、自動車を運搬する最も近い自動車販売特約店に関する通知をすることができる。いくつかの実施形態では、コンピュータデバイス２０１は自動車に関する触覚効果を出力することができる。例えば、一実施形態では、当該触覚効果はユーザと自動車販売特約店との間の距離に反比例する振幅を持つ振動を含む。

別の実施例のように、いくつかの実施形態では、ユーザはレストランの画像を撮像することができる。当該実施形態では、コンピュータデバイス２０１は、ＧＰＳデバイスによって、ユーザの位置及びレストランに関連するディスプレイデータを決定することができる。例えば、コンピュータデバイスはレストランに関する情報（例えば、所有者、メニュー、予約オプション、レストラン営業時間、ウェブサイト、料理のスタイル、又は評価）を通知することができる。いくつかの実施形態では、コンピュータデバイス２０１はレストランに関する触覚効果を出力することができる。例えば、一実施形態では、触覚効果は、レストランの（５つ星からの）評価格付けに比例した振幅を持つ振動を含む。

いくつかの実施形態では、コンピュータデバイス２０１はカメラのデータを分析し、及び、この分析に基づいて、仮想オブジェクト（例えば、人、動物、家具、街路、砂利、砂、植物、建物、カーペット、昆虫、又は乗り物）をカメラで撮像したシーンに追加できる。例えば、いくつかの実施形態では、コンピュータデバイス２０１は、カメラのデータを分析し、及び、カメラで撮像したシーンに自動車２０４が含まれることを決定できる。この分析に基づいて、コンピュータデバイス２０１は、例えば、自動車２０６の下の道路を含む仮想オブジェクトをシーンに追加できる。いくつかの実施形態では、道路を含む領域上のタッチスクリーンディスプレイ２０６の表面を指が横切るようにユーザが移動させると、コンピュータデバイス２０１はディスプレイ２０６の表面の知覚される摩擦係数を増加する触覚効果を出力することができる。他の実施形態では、例えば、ユーザがカメラによって撮像された自動車と他の自動車の型式又はモデルと比較できるように、コンピュータデバイス２０１は仮想自動車を背景に追加することができる。いくつかの実施形態では、例えばタッチスクリーンディスプレイ２０６の表面を指が横切るようにスワイピングさせて、ユーザが仮想自動車モデルを切り替えると、コンピュータデバイス２０１は、ユーザ入力の受領を確認する振動を含む触覚効果を出力することができる。いくつかの実施形態では、コンピュータデバイス２０１は仮想の木を背景に追加することができる。いくつかの実施形態では、ユーザが当該木を含む領域上のタッチスクリーンディスプレイ２０６の表面を横切るように指を移動させると、コンピュータデバイス２０１は樹皮又は葉に対応するシミュレートされた肌触りを含む触覚効果を出力することができる。

いくつかの実施形態では、コンピュータデバイス２０１はイベントの発生及び／又はカメラデータに基づく触覚効果に加えて音、テキスト、及び／又はビデオを出力することができる。いくつかの実施形態では、音、テキスト、及び／又はビデオは、仮想オブジェクトと関係があり得る。例えば、イベントが発生する（例えば、ユーザが仮想自動車と相互作用する）と、コンピュータデバイス２０１は触覚効果及び音を出力する（例えば、クラクションを鳴らす）ことができる。

図３はビューポートベースの拡張現実触覚効果のためのシステムの別の実施形態を示す。この実施例では、システムはディスプレイ３０６を備えるスマートフォン又はタブレットを含むコンピュータデバイス３０１を含む。

コンピュータデバイス３０１はコンピュータデバイス３０１の後ろに配置されたカメラ（図示せず）を含む。さらに、コンピュータデバイス３０１は拡張現実アプリケーションを含む。拡張現実アプリケーションはディスプレイ３０６に、例えば、仮想の帽子、眼鏡、漫画のキャラクタ−、自動車、家具、ボタン、レバー、建物、植物、及び／又は動物等の仮想オブジェクト３０４を出力することができる。いくつかの実施形態では、拡張現実アプリケーションは、ディスプレイ３０６上のさまざまな位置の一つ、例えば、ディスプレイの端又は中央、又は、カメラデータに関連する位置（例えば、カメラによって撮像された本棚、自動車、家、動物、又は人物の最上部）に仮想オブジェクト３０４を配置することができる。さらに、いくつかの実施形態では、拡張現実アプリケーションはディスプレイ３０６の仮想オブジェクト３０４の位置に基づいて、仮想オブジェクト３０４の方向、スケール、色、及び／又は他の特性を変更することができる。

図３に図示される実施形態では、拡張現実アプリケーションはカメラによって撮像されたオブジェクトの上に仮想オブジェクト３０４を生成する。例えば、図３に示す実施形態では、ユーザがカメラの視界内に手３０８を置くと、及び拡張現実アプリケーションはユーザの手の上に仮想のペンギンを含む仮想オブジェクト３０４を生成した。

いくつかの実施形態では、コンピュータデバイス３０１は仮想オブジェクト３０４及び／又はイベントの発生に基づいて触覚効果を出力することができる。いくつかの実施形態では、触覚効果は仮想オブジェクト３０４の移動、色、位置、方向、スケール、又は存在に基づくことができる。例えば、図３に示す実施形態では、コンピュータデバイス３０１は、例えば、ユーザの手３０８の上で歩行する仮想のペンギンの移動に対応した触覚効果を出力することができる。当該実施形態では、仮想のペンギンが一歩、歩く毎に、コンピュータデバイス３０１は触覚効果を出力する、例えば、コンピュータデバイス３０１の筐体を振動させることができる。

さらに、いくつかの実施形態では、コンピュータデバイス３０１は遠隔触覚効果を出力することができる。上述したように、遠隔触覚効果は、例えば、噴霧器からの固体、液体、気体、又はプラズマの一吹きによって、アレー状の超音波振動子からの集中された圧力波によって、又は、ユーザの体の部分に装着されたウェアラブルデバイスと結合する触覚出力デバイスによって、コンピュータデバイス３０１から離れた触覚効果出力を含むことができる。例えば、いくつかの実施形態では、触覚効果は、仮想オブジェクト３０４とユーザとの間の相互作用に関係があり得る。例えば、図３に示す実施形態では、ユーザの右手３０８の上で仮想のペンギンが動くので、コンピュータデバイス３０１は遠隔触覚効果をユーザの手３０８に出力することができる。この遠隔触覚効果は、例えば、ユーザの手３０８の仮想オブジェクトが「一歩ずつ歩く（ｓｔｅｐｐｅｄ）」位置に向けて放出される空気の一吹き又は集中された圧力波が含まれてもよい。当該実施形態では、仮想オブジェクト３０８があたかも実際にユーザの手３０８に接触しているように、ユーザは気体の一吹き、又は、集中された圧力波を知覚することができる。別の実施例のように、いくつかの実施形態では、コンピュータデバイス３０１は前向きのカメラを含んでいてもよい。いくつかの実施形態では、ユーザの体の上、例えば、ユーザの顔の上に仮想オブジェクト３０４（例えば、スーパーヒーローマスク）を置くために、ユーザは拡張現実アプリケーションを使用することができる。ユーザが仮想オブジェクト３０４を操作すると、コンピュータデバイス３０１はユーザの顔に遠隔触覚効果を出力することができる。この遠隔触覚効果は、例えば、ユーザの顔に放出される気体の一吹き又は集中された圧力波を含むことができる。当該実施形態では、仮想オブジェクト３０８があたかもユーザの顔に接触及び／又は横切っているかのように、ユーザは気体の一吹き、又は、集中された圧力波を知覚することができる。

いくつかの実施形態では、システムはコンピュータデバイス３０１から遠隔にあるコンピュータデバイス３０１と通信する触覚出力デバイスを含むことができる。例えば、触覚デバイスは、ユーザの体の一部分（例えば、ユーザの指、腕、手、足、脚、又は頭）に装着されるウェアラブルデバイス（例えば、靴、スリーブ、ジャケット、眼鏡、手袋、指輪、腕時計、ブレスレット、リストバンド、ヘッドバンド、衣類、帽子、及び／又は宝石）と結合することができる。コンピュータデバイス３０１は遠隔触覚出力デバイスによってユーザに遠隔触覚効果を出力することができる（例えば、振動）。

例えば、いくつかの実施形態では、ユーザは、コンピュータデバイス３０１と通信する１つ以上の触覚出力デバイスを備えるウェアラブルデバイスを着てもよい。ユーザが仮想オブジェクト３０４を操作すると、コンピュータデバイス３０１はウェアラブルデバイスによって遠隔触覚効果を出力することができる。例えば、いくつかの実施形態では、ユーザは１つ以上の触覚出力デバイスを含むヘッドバンドを付けてもよい。いくつかの実施形態では、コンピュータデバイス３０１は前向きのカメラを含んでいてもよく、及び、衣類の仮想物品を「試着する」するためにユーザは拡張現実アプリケーションを使用することができる。例えば、１つの当該実施形態では、ユーザは帽子をユーザの頭のカメラデータに追加することができる。ユーザが拡張現実アプリケーションで仮想の帽子を操作すると、帽子をユーザの頭にかぶる間隔をシミュレートするために、コンピュータデバイス３０１はヘッドバンド（例えば、振動）によって遠隔触覚効果を出力することができる。別の実施形態では、ユーザはビデオゲームを含む拡張現実アプリケーションで遊ぶことができる。例えば、ユーザは、ユーザが手首に装着した未来の仮想のレーザーガンを撃つことができるビデオゲームで遊ぶことができる。拡張現実アプリケーションは仮想のレーザーガンをユーザの手首に対応するカメラデータに追加することができる。いくつかの実施形態では、ユーザは仮想のレーザーガンを、それがあたかもユーザの手首にあるように知覚することができる。さらに、ユーザは１つ以上の触覚出力デバイスを含むリストバンドを装着することができる。ユーザが仮想のレーザーガンを発砲すると、コンピュータデバイス３０１はリストバンドを通じて遠隔触覚効果（例えば、振動）を出力することができる。いくつかの実施形態では、遠隔触覚効果はレーザーガンを発砲する感覚をシミュレートすることができる。

図４は１つの実施形態によるビューポートベースの拡張現実触覚効果のためのシステムを示す。この実施例では、システムはディスプレイ４０２を備えるスマートフォンを含むコンピュータデバイス４０１を具備する。コンピュータデバイス４０１はコンピュータデバイス４０１の背面に位置するカメラ（図示せず）及び拡張現実アプリケーションをさらに含む。図４に図示される実施形態では、拡張現実アプリケーションは装飾又は改装に関する。いくつかの実施形態では、当該アプリケーションによってユーザが仮想的に、部屋から壁を除去又は追加する、部屋の壁色を変える、及び／又は、部屋から家具を除去又は追加することが可能になる。

図４に図示される実施形態では、ユーザがカメラを浴室に向けると、コンピュータデバイス４０１はカメラから浴室に関連するデータをディスプレイ４０２に出力している。図４に図示される実施形態では、拡張現実アプリケーションによって、ユーザは仮想の家具又は備品を浴室に追加することができる。この実施例では、ユーザは仮想シャワー４０４をユーザの浴室に追加することを決定した。

いくつかの実施形態では、仮想オブジェクト（例えば、仮想シャワー４０４）に基づいて、及び／又は、異なるイベントに対応して、コンピュータデバイス４０１は異なるタイプの触覚効果を出力することができる。例えば、一実施形態では、ユーザは仮想のシャワーのために異なるタイルを選択することができる。その後、ユーザがディスプレイ４０２を横切って指を移動させると、コンピュータデバイス４０１はディスプレイ４０２の表面上のタイルに対応する知覚される摩擦係数の肌触り、又は、変化を出力することができる。

いくつかの実施形態では、コンピュータデバイス４０１は、カメラ、深さセンサ、及び／又は距離センサの１つ以上によって、カメラによって撮像された領域のユーザジェスチャーを検出することができる。いくつかの実施形態では、このデータに基づいて、コンピュータデバイスはユーザが仮想オブジェクトに対応する領域と相互作用することを可能にし、例えば、ユーザは仮想のシャワーの蛇口と相互作用することができる。当該実施形態では、コンピュータデバイス４０１はユーザとの相互作用に関連する遠隔触覚効果を出力することができる。例えば、コンピュータデバイス４０１はユーザの指の裏側への一吹きの空気を含む、又は、触覚が可能となったウェアラブルデバイス（例えば、指輪又は腕時計）を振動させることによる遠隔触覚効果を出力することができる。いくつかの実施形態では、この触覚フィードバックによってジェスチャー入力の受領を確認すること、又は、仮想オブジェクトとの相互作用をシミュレートすることができる。例えば、図４に示す実施形態では、仮想のシャワーの蛇口との相互作用によって仮想のシャワーを「開ける（ｏｎ）」ことができる。当該実施形態では、仮想のシャワーが開けられると、コンピュータデバイス４０１は仮想のシャワーヘッドから流れる仮想の水を表示し、及び、関連する触覚効果を出力する。例えば、コンピュータデバイス４０１は流れる水の感触をシミュレートするためにコンピュータデバイス４０１の筐体を軽く振動させることによって触覚効果を出力することができる。

いくつかの実施形態では、コンピュータデバイス４０１はユーザの頭又は顔に、例えば、ヘルメット又は眼鏡を装着するように構成することができる。いくつかの実施形態では、コンピュータデバイス４０１は、例えば、頭部に装着するディスプレイ（ＨＭＤ）等のディスプレイ４０２を含むことができる。いくつかの実施形態では、ディスプレイ４０２は透明であってもよい。さらに、コンピュータデバイス４０１は拡張現実アプリケーションを含む。拡張現実アプリケーションはディスプレイ４０２上に仮想オブジェクトを出力することができる。いくつかの実施形態では、イベントが発生すると、コンピュータデバイス４０１は、例えば、振動又は遠隔触覚効果（例えば、ウェアラブルデバイス又は気体の一吹き）による触覚効果を出力することができる。例えば、いくつかの実施形態では、コンピュータデバイス４０１はヘルメットを含むことができる。ヘルメットはユーザの前又は後ろの画像を撮像するために配置されたカメラを含むことができる。コンピュータデバイス４０１はカメラ画像をディスプレイ４０２に出力することができる。さらに、いくつかの実施形態では、コンピュータデバイス４０１はカメラ画像に重ねて仮想オブジェクト（例えば、仮想シャワー４０４）を出力することができる。いくつかの実施形態では、ユーザが仮想オブジェクトに対応する実空間の領域と相互作用すると、コンピュータデバイス４０１は相互作用に対応する触覚効果を出力することができる。例えば、ユーザが仮想オブジェクトに対応する実空間の領域をタッチすると、コンピュータデバイス４０１は、例えば、ユーザの指に向けて気体の一吹きを含む触覚効果を出力することができる。頭部に装着するディスプレイの追加の例は、その両方の全体が参照により本明細書に組み込まれる、米国仮特許出願第６１／９０９７９７号の優先権を主張する米国特許出願第１４／１０６２７５号で見つけることができる。

図５は別の実施形態によるビューポートベースの拡張現実触覚効果のためのシステムを示す。この実施例では、システムはディスプレイ５０６を備えるスマートフォンを含むコンピュータデバイス５０１を具備する。

コンピュータデバイス５０１はコンピュータデバイス５０１の背面に配置されるカメラ（図示せず）を含む。この実施例では、ユーザがその上に会社名がある箱の方向にカメラを向けると、コンピュータデバイス５０１はカメラから箱に関連するデータをディスプレイ５０６に出力している。コンピュータデバイス５０１は拡張現実アプリケーションをさらに含む。図５に図示される実施形態では、拡張現実アプリケーションはカメラデータを分析し、及び、会社に関連するデータがあるか否か、例えば、会社のロゴ、名前又は製品が存在するかを決定する。会社に関連するデータが存在する場合には、拡張現実アプリケーションは当該会社に関連する仮想オブジェクトを出力する。例えば、拡張現実アプリケーションは会社に関連する仮想のロゴを出力することができる。仮想のロゴには会社のロゴの２Ｄ又は３Ｄ表現を含むことができる。

図５に図示される実施形態では、拡張現実アプリケーションは箱に関連するデータを分析し、Ｉｍｍｅｒｓｉｏｎという会社名が存在することを決定し、及び、Ｉｍｍｅｒｓｉｏｎロゴを含む仮想のロゴ５０８を出力している。他の実施形態では、拡張現実アプリケーションは製品（例えば、自動車、帽子、電話、コンピュータ、タブレット、家具、又は衣類）を分析し、製品（例えば、Ｍａｓｅｒａｔｉ（登録商標））に関連する会社を決定し、及び、会社に関連する仮想のロゴ５０８を出力することができる。例えば、いくつかの実施形態では、製品に関連する会社を決定するためにアプリケーションは特定の製品の特徴（例えば、製品のサイズ、形状、色、及び／又は材料）及び／又は製品のロゴを検出することができる。

いくつかの実施形態では、コンピュータデバイス５０１は仮想オブジェクトに基づいて、及び／又は、異なるイベントに対応して異なるタイプの触覚効果を出力することができる。いくつかの実施形態では、コンピュータデバイス５０８は触覚効果を仮想のロゴ５０８のディスプレイ上に直ちに、又は、特定の時間遅延後に（例えば、２分後に、又は、繰り返し２分おきに）出力することができる。他の実施形態では、ユーザがディスプレイ５０６上の仮想のロゴ５０８を含む位置にタッチすると、コンピュータデバイス５０１は触覚効果（例えば、振動、質感、又は知覚される摩擦係数の変化）を出力することができる。

いくつかの実施形態では、ユーザは仮想のロゴ５０８の位置に対応する実空間位置に手を伸ばし、及び、タッチすることができる。それに応答して、コンピュータデバイス５０１は、例えば、気体の一吹き、集中された圧力波、又は、ウェアラブルデバイスに結合する触覚出力デバイスを活性化することによって遠隔触覚効果を出力することができる。いくつかの実施形態では、コンピュータデバイス５０１は、追加又は代わりに、例えば、コンピュータデバイス５０１の筐体を振動させることによって局所的触覚効果を出力することができる。いくつかの実施形態では、触覚効果によって、ユーザ入力の確認を提供し、又は、仮想のロゴ５０８との強い相互作用を提供することができる。

いくつかの実施形態では、コンピュータデバイス５０１は会社の製品又はブランドに関連する触覚効果を出力することができる。例えば、会社は特定の触覚効果又は一連の触覚効果を特定の製品又はブランドと関連付けることができる。いくつかの実施形態では、ユーザが会社の仮想のロゴ５０８と相互作用すると、コンピュータデバイス５０１は会社に関連する触覚効果を出力することができる。例えば、いくつかの実施形態では、Ｉｍｍｅｒｓｉｏｎはそのブランドを３つの短いパルス振動を含む触覚効果と対応付けることができる。ユーザがＩｍｍｅｒｓｉｏｎの仮想ロゴ５０８と相互作用すると、コンピュータデバイス５０１はこの触覚効果を決定及び出力することができる。いくつかの実施形態では、触覚効果を決定することによって、ロゴに関連する触覚効果に基づくローカルデータ及び／又は遠隔データにアクセスすることを含むことができる。

ビューポートベースの拡張現実触覚効果を提供するための例示的方法
図６は、１つの実施形態によるビューポートベースの拡張現実触覚効果を提供するための方法を実行するためのステップのフローチャートである。いくつかの実施形態では、図６のステップは、例えば、汎用目的コンピュータ、携帯デバイス、又はサーバのプロセッサであるであるプロセッサによって実行されるプログラムコードによって実装されることができる。いくつかの実施形態では、これらのステップは一群のプロセッサによって実装されてもよい。いくつかの実施形態では、図６に示される１つ以上のステップは省略、又は、異なる順番で実行されてもよい。同様に、いくつかの実施形態では、図６に図示しない追加のステップが実行されてもよい。以下のステップは図１に示されるシステム１００に関連して上述されたコンポーネントを参照して記述される。

方法６００はプロセッサ１０２が画像信号を受信するステップ６０２で開始される。画像信号は、カメラ１３０からのデータに関係があり得る（例えば、カメラ１３０の視野の領域画像）。例えば、いくつかの実施形態では、画像は都市の街路の画像を含んでもよい。当該実施形態では、画像は都市街路に通常見られる特徴（例えば、建物、自動車、街路標識、又は人）を含むことができる。

方法６００はプロセッサ１０２が画像信号の一部に基づいて仮想オブジェクト（例えば、仮想の自動車、アバター、又は、一片の家具）を決定するステップ６０４に続く。いくつかの実施形態では、仮想オブジェクトはカメラ１３０に撮られた画像に関連するデータを含むことができる。例えば、いくつかの実施形態では、仮想オブジェクトは画像中の店又はレストランに関連するデータを含むことができる。当該実施形態では、仮想オブジェクトは画像中のレストランのメニューを含むことができる。

方法６００はプロセッサ１０２が画像信号の一部に基づいてディスプレイ信号を決定するステップ６０６に続く。ディスプレイ信号は仮想オブジェクトに関連するデータを含む。いくつかの実施形態では、ディスプレイ信号はカメラ１３０によって撮られた画像に重畳される仮想オブジェクトデータを含む。例えば、いくつかの実施形態では、ディスプレイ信号はカメラ１３０に撮られた画像中のレストランに重畳されるメニューデータを含むことができる。

方法６００はプロセッサ１０２がディスプレイ信号をディスプレイに伝送するステップ６０８に続く。ディスプレイはディスプレイ信号に関連する画像を出力するように構成される。例えば、ディスプレイはレストランの画像に重畳されるメニューデータを含む画像を出力することができる。

方法６００はプロセッサ１０２が仮想オブジェクトとユーザとの相互作用を決定するステップ６１０に続く。いくつかの実施形態では、プロセッサ１０２は、センサ１０８からの信号によって、仮想オブジェクトに対応する位置でのタッチ感知表面１１６の表面上のユーザとの相互作用を決定することができる。例えば、いくつかの実施形態では、仮想オブジェクトに関連する位置でユーザが指をタッチ感知表面１１６にタップすれば、プロセッサ１０２はユーザと仮想オブジェクト（例えば、仮想メニュー）との相互作用を決定することができる。いくつかの実施形態では、センサ１３２からの信号によって、プロセッサ１０２はユーザとの相互作用（例えば、コンピュータデバイス傾ける又は移動させる）ことを決定することができる。例えば、いくつかの実施形態では、仮想オブジェクトに対応する実空間のポイント（例えば、仮想自動車に対応する実空間のポイント）をユーザがタッチすると、プロセッサ１０２はユーザとの相互作用を決定することができる。

方法６００はプロセッサ１０２が触覚効果を決定するステップ６１２に続く。いくつかの実施形態では、プロセッサ１０２は仮想オブジェクト、カメラ１３０からの画像信号、イベント、又は、触覚プロファイルの１つ以上に少なくとも部分的に基づいて触覚効果を決定することができる。いくつかの実施形態では、プロセッサ１０２は触覚効果を決定するために触覚効果決定モジュール１２６に含まれるプログラミングに依存し得る。いくつかの実施形態では、触覚効果決定モジュール１２６はルックアップテーブルを含むことができる。いくつかの実施形態では、イベントを特定の触覚効果（例えば、肌触り）に関連付けるために、プロセッサ１０２はルックアップテーブルを使用することができる。

例えば、一実施形態では、イベントはゲームアクティビティ（例えば、発砲、レベルの完了（ｌｅｖｅｌｃｏｍｐｌｅｔｉｏｎ）、又は爆発）に基づいている。当該実施形態では、拡張現実アプリケーションは特定の目的を達成する（例えば、歩行者の周囲で自動車を成功的にナビゲートする）ためにユーザが制御できる仮想オブジェクト（例えば、仮想自動車）を出力することができる。ユーザが目的を達成すると、コンピュータデバイス１０１は関連する触覚効果を決定することができる。

いくつかの実施形態では、ユーザは「触覚プロファイル」を有していてもよく、ユーザはユーザが特定のイベントと関連付けたい触覚効果の「プロファイル」決定し、及び、メモリ１０４に記憶できる。例えば、一実施形態では、ユーザは入手可能な触覚効果のリストから選択でき、及び、これらの触覚効果の１つを拡張現実アプリケーションによって出力される仮想オブジェクトに関連付けることができる。いくつかの実施形態では、リストには、例えば、一吹きの空気、強い振動、弱い振動、若しくは、凹凸のある、ゴムのような、又は、滑らかな肌触りなどの触覚効果が含まれ得る。いくつかの実施形態では、どのような触覚効果を生成するべきかを決定するために、プロセッサ１０２はユーザの触覚プロファイルを検討することができる。例えば、ユーザの触覚プロファイルが仮想オブジェクトとの相互作用が強い振動に関連付けられている場合には、ユーザが仮想オブジェクト上のタッチスクリーンディスプレイに指を置くことに応答して、プロセッサ１０２は強い振動を含む触覚効果を決定することができる。

方法６００はプロセッサ１０２が触覚信号を触覚出力デバイス１１８に伝送するステップ６１４に続く。触覚信号は、触覚効果に少なくとも部分的に基づいている。いくつかの実施形態では、プロセッサ１０２はメモリ１０４に記憶され、特定の触覚効果と関連付けられる駆動信号にアクセスできる。１つの実施形態では、記憶されたアルゴリズム、及び、効果に関連付けられた入力アルゴリズムにアクセスすることによって信号が生成される。例えば、当該実施例では、振幅及び周波数パラメータに基づく駆動信号を生成する用途のために、アルゴリズムはデータを出力することができる。別の実施例のように、第２の触覚信号は、アクチュエータに送信され、アクチュエータでデコードされるデータを含むことができる。例えば、アクチュエータは振幅及び周波数等のパラメータを規定するコマンドにみずから対処できる。

方法６００は触覚出力デバイス１１８が触覚効果を出力するステップ６１４に続く。触覚出力デバイス１１８は触覚信号を受信し、及び、触覚効果を出力する。いくつかの実施形態では、触覚効果には、振動、知覚される摩擦係数の変化、シミュレートされる肌触り、表面変形、集中された圧力波、及び／又は、固体、液体、気体、又はプラズムの一吹きを含む。

ビューポートベースの拡張現実触覚効果のためのシステムの追加の実施形態
図７は別の実施形態によるビューポートベースの拡張現実触覚効果のためのシステムを示す。この実施例では、システム７００は表面７０６（例えば、床）に位置したコンピュータデバイス７０２を含む。コンピュータデバイス７０２はディスプレイ７０８及びカメラ７１０を備える。この実施例では、コンピュータデバイス７０２はキオスクを含む。

コンピュータデバイス７０２は拡張現実アプリケーションをさらに含む。いくつかの実施形態では、拡張現実アプリケーションはユーザ７０４に関連付けられる仮想オブジェクト７１２を生成するように構成することができる。いくつかの実施形態では、拡張現実アプリケーションは、コンピュータデバイス７０２の外部にある物理的オブジェクト７１４（例えば、箱、本、棒、カード、ブロック、立方体、スマートフォン、椅子、又はペン）に関連付けられた仮想オブジェクト７１２を生成するように構成することができる。例えば、いくつかの実施形態では、ユーザ７０４は物理的オブジェクト７１４を保持していてもよい。コンピュータデバイス７０２は物理的オブジェクト７１４を（例えば、カメラ７１０を介して）決定し、及び／又は、物理的オブジェクト７１４の特徴を決定することができる。いくつかの実施形態では、コンピュータデバイス７０２は決定された特徴に基づいて仮想オブジェクト７１２を生成することができる。

いくつかの実施形態では、物理的オブジェクト７０８は、コンピュータデバイス７０２と通信する触覚出力デバイスを含むことができる。イベントが発生すると、コンピュータデバイス７０２は、物理的オブジェクト７１４を介して触覚効果をユーザ７０４に出力することができる。例えば、いくつかの実施形態では、ユーザはカメラ７１０の前にある物理的オブジェクト７１４（例えば、棒）を保持し続けることができる。物理的オブジェクト７１４は触覚出力デバイスを含むことができる。コンピュータデバイス７０２は物理的オブジェクト７１４に関連する仮想オブジェクト（例えば、棒の終端から放出される輝き）を生成するように構成される拡張現実アプリケーションを含むことができる。いくつかの実施形態では、イベントが発生すると（例えば、ユーザが棒を振ると）、コンピュータデバイス７０２は、物理的オブジェクト７１４を介して触覚効果（例えば、振動）をさらに出力することができる。

例えば、いくつかの実施形態では、ユーザ７０４は、例えば、カードを含む物理的オブジェクト７１４を保持し続けることができる。カードは、コンピュータデバイス７０２と通信する触覚出力デバイスを含むことができる。イベントが発生すると、コンピュータデバイス７０２はカードを介して触覚効果を出力することができる。例えば、ユーザ７０４はカードをカメラ７１０の前に位置させることができる。コンピュータデバイス７０２は、カードの最上部に位置する仮想オブジェクト７１２を生成するように構成する拡張現実アプリケーションを含むことができる。例えば、いくつかの実施形態では、拡張現実アプリケーションはカードの最上部に位置する仮想自動車を生成することができる。ユーザ７０４が仮想自動車と相互に作用する（例えば、自動車の仮想ドアを開閉する、又は、自動車の仮想エンジンを入れる）と、コンピュータデバイス７０２は、カードの触覚出力デバイスを介してユーザに触覚効果を出力することができる。例えば、触覚効果は、自動車のドアを開くこと、又は、閉じること、若しくは、自動車のエンジンの轟音をシミュレーションするように構成することができる。

さらに、いくつかの実施形態では、ユーザ７０４はコンピュータデバイス７０２の外部にある表面７０６（例えば、床、机、椅子、又はテーブル）と接触することができる。いくつかの実施形態では、イベントが発生すると、コンピュータデバイス７０２は、表面７０６を介してユーザ７０４に触覚効果を出力することができる。例えば、いくつかの実施形態では、コンピュータデバイス７０２は、ユーザ７０４が接触している（例えば、ユーザ７０４がその上に立っている、又は、座っている）表面７０６を振動、傾け、又は、移動するように構成される触覚効果を出力することができる。いくつかの実施形態では、表面７０６は、コンピュータデバイス７０２と通信する触覚出力デバイスを含むことができる。コンピュータデバイス７０２は触覚出力デバイスを介して触覚効果を出力することができる。他の実施形態では、コンピュータデバイス７０２はユーザ７０４が触覚効果を知覚することができるように表面７０６を伝搬する触覚効果（例えば、振動）を出力することができる。例えば、いくつかの実施形態では、物理的オブジェクト７１４は本を含むことができ、及び、コンピュータデバイス７０２は、例えば、キオスク、テレビ、コンピュータ、又は、ゲームシステムを含んでもよい。ユーザ７０４はカメラ７１０の前に本を保持し続けることができる。いくつかの実施形態では、コンピュータデバイス７０２は、本に関連する仮想オブジェクト７１２、例えば、本に関連する仮想のキャラクタを生成するように構成される拡張現実アプリケーションを含むことができる。いくつかの実施形態では、ユーザ７０４が仮想のキャラクタと相互作用すると、コンピュータデバイス７０２は表面７０６、例えば、ユーザ７０４が上に立っている床を介して触覚効果を出力することができる。例えば、いくつかの実施形態では、コンピュータデバイス７０２はユーザ７０４が触覚効果を知覚することができるようには床を振動させることができる。

さらに、いくつかの実施形態では、コンピュータデバイス７０２はカメラデータを分析し、及び、物理的オブジェクト７１４に関連する情報（例えば、その製造業者、サイズ、形状、コンテンツ、色、又は方向）を決定することができる。いくつかの実施形態では、コンピュータデバイス７０２は決定された情報に基づいて触覚効果を出力することができる。例えば、いくつかの実施形態では、ユーザ７０４は、例えば、コンピュータデバイス７０２に設けられるカメラ７１０の前のおもちゃ箱を含む物理的オブジェクト７１４を保持できる。コンピュータデバイス７０２は、例えば、おもちゃ箱はおもちゃのヘリコプターを含むという、おもちゃ箱に関連する情報を決定することができる。いくつかの実施形態では、コンピュータデバイス７０２は、物理的オブジェクト７１４に関連する仮想オブジェクト７１２、例えば、おもちゃ箱の中の３Ｄモデルのおもちゃ（例えば、おもちゃのヘリコプター）を生成するように構成される拡張現実アプリケーションを含むことができる。さらに、いくつかの実施形態では、コンピュータデバイス７０２は決定された情報に基づいて触覚効果を出力することができる。例えば、物理的オブジェクトがおもちゃのヘリコプターを含む上述の実施形態では、コンピュータデバイス７０２は飛行中のヘリコプターをシミュレートするように構成される、低い轟音振動を含む触覚効果を出力することができる。いくつかの実施形態では、コンピュータデバイス７０２は、ユーザ７０４がその上の立っている表面７０６を介して触覚効果を出力することができる。他の実施形態では、コンピュータデバイス７０２はおもちゃ箱の中の触覚出力デバイスを介して触覚効果を出力することができる。

ビューポートベースの拡張現実触覚効果の利点
ビューポートベースの拡張現実触覚効果を持つことは非常に有利である。ユーザが仮想オブジェクトと相互作用する場合に拡張現実アプリケーションによって触覚フィードバックを提供すると、ユーザは仮想オブジェクトのさまざまな態様をより現実味を帯びて知覚することができるので、ユーザの総合的な満足感が増大する。例えば、いくつかの実施形態では、拡張現実アプリケーションはカメラデータにオーバレイさせた仮想のトラを出力することができる。仮想のトラに関連するタッチスクリーンディスプレイ領域をユーザが指で移動させる等のイベントが発生すると、コンピュータデバイスは毛をシミュレートする肌触りを出力することができる。結果として、ユーザは仮想のトラをより現実的に知覚することができる。

さらに、触覚フィードバックをビューポートベースの拡張現実に追加することによって、ブランドのためのマーケッティングを改善することができる。例えば、いくつかの実施形態では、拡張現実アプリケーションは、例えば、会社ロゴを含む仮想オブジェクトを出力することができ、及び、イベントが発生すると、ロゴに関連する触覚フィードバックを出力することができる。これによってユーザはブランドを触覚効果で同定できるので、ブランドを強化することができる。さらに、当該実施形態によって、より実体験のように感じ、及び、改良されたマーケッティング経験を提供することができる。

いくつかの実施形態では、ビューポートベースの拡張現実触覚効果によって、ユーザに確認させることができる。例えば、いくつかの実施形態では、拡張現実アプリケーションはボタンを含む仮想オブジェクトを出力することができる。ユーザがボタンの実空間位置と相互に作用すると、コンピュータデバイスはユーザの指の裏側に触覚効果（例えば、集中された圧力波）を出力することができるので、ボタンを押したことを確認する。いくつかの実施形態では、確認的な触覚フィードバックによって、ユーザの体験を強化することができる。

いくつかの実施形態では、触覚フィードバックをビューポートベースの拡張現実に追加することによって、追加の情報をユーザに提供することができる。例えば、いくつかの実施形態では、拡張現実アプリケーションはオートバイを含む仮想オブジェクトを出力することができる。ディスプレイスクリーンを横切って指をスワイプさせることによって、ユーザはオートバイモデルのスイッチを入れることができる。オートバイモデルのスイッチが入れられると、いくつかの実施形態では、拡張現実アプリケーションが、現在表示されているオートバイモデルのエンジンの馬力に基づいた振幅及び／又は持続時間振動を出力することができる。したがって、触覚効果の結果としてユーザは仮想オブジェクト（例えば、仮想のオートバイ）に関する追加の情報を知覚することができる。

概論
上記で論じた方法、システム、及びデバイスは一例である。適切に、さまざまな構成を省略、代替でき、又は、さまざまな手順又はコンポーネントを追加できる。たとえば、代替構成では、方法は記載された順番と異なる順番で実施でき、及び／又は、多様なステージが追加、省略、及び／又は組み合わされることができる。また、特定の構成に関して記載された特徴は、さまざまな他の構成と組み合わせられてもよい。構成の異なる態様及び要素が同様に組み合わされてもよい。また、技術は発達するので、多くの要素が実施例となり、及び、それらが本発明の範囲又は請求の範囲を制限するものではない。

実施例の構成（実装を含む）の全体を理解するために、特定の詳細が明細書中に記載されている。しかしながら、これらの特定の詳細を用いないでも構成を実施できる。たとえば、よく知られた回路、プロセス、アルゴリズム、構造、及び、技術が、構成を複雑にすることを避けるために、不必要な詳細無しで示された。この明細書は、実施例の構成だけを提供するが、範囲、適用性、又は、請求の範囲の構成を制限するものではない。むしろ、上述の構成の記載によって、当業者は記載された技術を実施することが可能になる。本発明の範囲又は精神を逸脱することなく、要素の機能及び配置に関してさまざまな変形形態が可能である。

また、フローチャート又はブロック図で示された構成は、プロセスによって記載されてもよい。それぞれはシーケンシャルプロセスで動作するように記載されたが、多くの動作は、並行して又は同時に実施できる。さらに、動作の順番は再配置することができる。プロセスは、図に含まれない追加のステップを有してもよい。さらに、方法の実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又は、それらの組み合わせのいずれかによって実装されることができる。必要なタスクを実施するために実装されるソフトウェア、ファームウェア、ミドルウェア、又はマイクロコード、プログラムコード又はコードセグメントは、記憶媒体などの一時的ではないコンピュータ読み取り可能な媒体に記憶される。プロセッサは開示されたタスクを実行できる。

いくつかの実施例の構成が記載されたが、多様な修正形態、代替構成、及び、均等態様を本発明の精神を逸脱しない範囲で使用することができる。たとえば、上記の要素は大きなシステムのコンポーネントであってもよく、他のルールが本発明のアプリケーションに先行、又は、本発明のアプリケーションを変更してもよい。また、上記の要素が検討される前、中、又は、後に、多くのステップが実施されてもよい。したがって、上記の記載は特許請求の範囲を拘束するものではない。

明細書で使用される「に適用される」又は「するように構成される」は、開放的及び包括的な用語を意味し、追加のタスク又はステップを実施するように構成され、又は、適合するデバイスを除外するものではない。加えて、「に基づいて」の使用は、開放的及び包括的であることを意味し、プロセス、ステップ、演算、又は、他の動作において、１つ以上の引用される条件又は値「に基づいて」とは、実際には、引用される条件又は値の範囲を超える、追加の条件又は値に基づいてもよい。見出し、リスト、及び、明細書に含まれる符番は、説明を簡潔にするためだけであって、制限することを意図しない。

本発明の態様による実施形態を、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又は、それらの組み合わせに実装することができる。一実施形態では、コンピュータは、単数又は複数のプロセッサを含んでもよい。プロセッサは、プロセッサに結合するランダムアクセスメモリ（ＲＡＭ）などのコンピュータ読み取り可能な媒体を含み、又は、アクセスする。上述の方法を実施するセンササンプリングルーチン、選択ルーチン、及び、他のルーチンを含む１つ以上のコンピュータプログラムを実行するように、メモリに記憶されたコンピュータ実行可能なプログラム命令をプロセッサが実施する。

該プロセッサは、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレー（ＦＰＤＧＡ）、及び、ステートマシーンを含んでもよい。該プロセッサは、ＰＬＣなどのプログラム可能電子デバイス、プログラム可能割り込みコントローラー（ＰＩＣ）、プログラム可能論理デバイス（ＰＬＤ）、プログラム可能読み出し専用メモリ（ＰＲＯＭ）、電気的プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はＥＥＰＲＯＭ）、又は他の類似デバイスをさらに含んでもよい。

該プロセッサは、たとえば有形のコンピュータ読み取り可能な媒体などの媒体を含み、又は、たとえば有形のコンピュータ読み取り可能な媒体などの媒体と通信でき、該媒体は、プロセッサに本明細書に記載のステップを実施、又は、補助するようにさせる命令を記憶する。コンピュータ読み取り可能な媒体の例は、これに限定されるものではないが、ウェブサーバー中のプロセッサなどのプロセッサに、コンピュータ読み取り可能な命令を提供できる、すべての電子的、光学的、磁気的、又は他の記憶デバイスが挙げられる。媒体の他の例は、これに限定されるものではないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成されたプロセッサ、すべての光学的媒体、すべての磁気テープ又は他の磁気媒体、又は、コンピュータプロセッサが読み出し可能なすべての他の媒体を含む。また、ルータ、プライベート又はパブリックネットワーク、又は他の転送デバイスなどのさまざまな他のデバイスは、コンピュータ読み取り可能な媒体を含んでもよい。記載されたプロセッサ、及び、処理は、１つ以上の構造の中に存在してもよいし、１つ以上の構造を通じて分散されていてもよい。プロセッサは、本明細書に記載の方法の１つ以上（又は方法の一部）を実行するためのコードを含んでもよい。

本発明が、本発明の特定の実施形態に対して詳細に記載されたが、当然のことながら、当業者であれば、本明細書の内容を理解することによって、該実施形態に対する代替形態、変形形態、及び、均等態様を容易に生成できる。したがって、当業者には容易に明らかになるであろうが、本発明の開示は制限するものではなく、実施例を説明するためであって、及び、本発明に対する該修正形態、変形形態及び／又は追加形態を含めることを除外するものではないことを理解するべきである。

Claims (20)

1. システムであって、
   ディスプレイ信号を受信して画像を出力するように構成されるディスプレイと、
   領域画像を撮像して画像信号を伝送するように構成される画像撮像デバイスと、
   前記画像撮像デバイス及び前記ディスプレイと通信するプロセッサと、
   触覚出力デバイスと
   を含み、
   前記プロセッサは、
   前記画像信号を受信することと、
   前記画像信号の一部に基づいて仮想オブジェクトを決定することと、
   前記画像信号の一部に基づいて前記ディスプレイ信号を決定することであって、前記ディスプレイ信号は仮想オブジェクトに関連するデータを含むことと、
   前記仮想オブジェクトに少なくとも部分的に基づいて触覚効果を決定することと、
   前記触覚効果に関連する触覚信号を伝送することと
   を行うべく構成され、
   前記触覚出力デバイスは、前記触覚信号を受信し、前記触覚効果を出力するように構成される、システム。
2. 前記ディスプレイはタッチスクリーンディスプレイを含む、請求項１のシステム。
3. 前記ディスプレイ信号は前記領域画像の上に重畳される前記仮想オブジェクトを含む、請求項１のシステム。
4. 前記仮想オブジェクトは自動車、自転車、１つの家具、昆虫、建物、家、動物、人物、コンピュータデバイス、漫画のキャラクタ−、ロゴ、又は植物を含む、請求項１のシステム。
5. 前記触覚出力デバイスは、ユーザが装着するように構成される物品に結合される、請求項１のシステム。
6. 前記物品は、スリーブ、腕時計、ブレスレット、リストバンド、衣類、ジャケット、眼鏡、手袋、指輪、ヘッドバンド、帽子、又は靴を含む、請求項５のシステム。
7. 前記触覚効果は、振動、シミュレートされる肌触り、知覚される摩擦係数の変化、又は、固体、液体、気体、プラズマ、若しくは集中された圧力波の１つ以上の放出を含む、請求項１のシステム。
8. 前記触覚効果を決定することはさらに、前記仮想オブジェクトとユーザとの相互作用を決定することを含み、
   前記触覚効果は、前記ユーザとの相互作用に少なくとも部分的に基づく、請求項１のシステム。
9. 方法であって、
   領域画像を含む画像信号を受信することと、
   前記画像信号の一部に基づいて仮想オブジェクトを決定すること、
   前記画像信号の一部に基づいてディスプレイ信号を決定することであって、前記ディスプレイ信号は仮想オブジェクトに関連するデータを含むことと、
   前記ディスプレイ信号をディスプレイに伝送することであって、前記ディスプレイは画像を出力するように構成されることと、
   前記仮想オブジェクトに少なくとも部分的に基づいて触覚効果を決定することと、
   前記触覚効果に関連する触覚信号を触覚出力デバイスに伝送することと、
   前記触覚効果を出力することと
   を含む、方法。
10. 前記ディスプレイはタッチスクリーンディスプレイを含む、請求項９の方法。
11. 前記ディスプレイ信号は前記領域画像に重畳される前記仮想オブジェクトを含む、請求項９の方法。
12. 前記仮想オブジェクトは自動車、自転車、１つの家具、昆虫、建物、家、動物、人物、コンピュータデバイス、漫画のキャラクタ−、ロゴ、又は植物を含む、請求項９の方法。
13. 前記触覚出力デバイスは、ユーザが装着するように構成される物品に結合される、請求項９の方法。
14. 前記物品は、スリーブ、腕時計、ブレスレット、リストバンド、衣類、ジャケット、眼鏡、手袋、指輪、ヘッドバンド、帽子、又は靴を含む、請求項１３の方法。
15. 前記触覚効果は振動、シミュレートされる肌触り、知覚される摩擦係数の変化、又は、固体、液体、気体、プラズマ、若しくは集中された圧力波の１つ以上の放出を含む、請求項９の方法。
16. 前記触覚効果を決定することはさらに、前記仮想オブジェクトとユーザとの相互作用を決定することを含み、
    前記触覚効果は、前記ユーザとの相互作用に少なくとも部分的に基づく、請求項９の方法。
17. プログラムコードを含む非一時的コンピュータ可読媒体であって、
    前記プログラムコードは、プロセッサによって実行されると前記プロセッサに、
    領域画像を含む画像信号を受信することと、
    前記画像信号に部分的に基づいて仮想オブジェクトを決定することと、
    前記画像信号に部分的に基づいてディスプレイ信号を決定することであって、前記ディスプレイ信号は仮想オブジェクトに関連するデータを含むことと、
    前記ディスプレイ信号をディスプレイに伝送することであって、前記ディスプレイは画像を出力するように構成されていることと、
    前記仮想オブジェクトに少なくとも部分的に基づいて触覚効果を決定することと、
    前記触覚効果に関連する触覚信号を触覚出力デバイスに伝送することと、
    前記触覚効果を出力することと
    を行うように構成される、非一時的コンピュータ可読媒体。
18. 前記仮想オブジェクトは自動車、自転車、１つの家具、昆虫、建物、家、動物、人物、コンピュータデバイス、漫画のキャラクタ−、ロゴ、又は植物を含む、請求項１７の非一時的コンピュータ可読媒体。
19. 前記触覚出力デバイスは、ユーザが装着するように構成される物品と結合する、請求項１７の非一時的コンピュータ可読媒体。
20. 前記触覚効果を決定することはさらに、前記仮想オブジェクトとユーザとの相互作用を決定することを含み、
    前記触覚効果は、ユーザとの相互作用に少なくとも部分的に基づく、請求項１７の非一時的コンピュータ可読媒体。
    

Images