JP2018073433A - 触覚フィードバックを備えた拡張現実ユーザ・インタフェース - Google Patents
触覚フィードバックを備えた拡張現実ユーザ・インタフェース Download PDFInfo
- Publication number
- JP2018073433A JP2018073433A JP2017250980A JP2017250980A JP2018073433A JP 2018073433 A JP2018073433 A JP 2018073433A JP 2017250980 A JP2017250980 A JP 2017250980A JP 2017250980 A JP2017250980 A JP 2017250980A JP 2018073433 A JP2018073433 A JP 2018073433A
- Authority
- JP
- Japan
- Prior art keywords
- augmented reality
- feedback
- environment
- control signal
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 118
- 238000004891 communication Methods 0.000 claims description 102
- 230000003993 interaction Effects 0.000 claims description 49
- 230000000007 visual effect Effects 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 31
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000012790 confirmation Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 5
- 239000011521 glass Substances 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 46
- 230000004044 response Effects 0.000 description 33
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 20
- 238000000034 method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 239000000956 alloy Substances 0.000 description 3
- 229910045601 alloy Inorganic materials 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 229920001746 electroactive polymer Polymers 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 239000002520 smart material Substances 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 210000004905 finger nail Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
スは、通信チャネルを介し、拡張現実デバイスに位置、方位またはその両方を提供するよう構成することができる。入力コンポーネントは、例えば、ボタン押し、ジェスチャ、および/または他の入力などの入力を受け取るよう構成することが可能である。この入力は、プロセッサによって通信チャネルを介して拡張現実デバイスに伝達することができる。
Resonant Actuator)、または、圧電物質、電気活性ポリマーまたは形
状合金などの「スマート材料」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、および/または、触覚(例、振動触覚)フィードバックなどの物理的フィードバック提供する他の種類のアクチュエータなど、アクチュエータを含めることができる。触覚出力デバイスには、静電気摩擦(ESF:electrostatic friction)、超音波表面摩擦(USF:ultrasonic surface friction)を使うもの、または超音波触覚トランスデューサを使い音響放
射圧を誘導するもの、または触覚基板とフレキシブルまたは変形可能表面とを使うもの、またはエア・ジェットを用いたエア吐き出しなどの射出触覚出力を与えるものなど、非機
械的または非振動型のデバイスを含めることが可能である。視覚デバイスは、デバイスでの可視光など視覚フィードバックを生成するよう構成することができる。例えば、視覚フィードバックは、拡張現実環境中のイベントの発生を視覚的に示すことが可能である。
ンポーネントを含めることが可能である。通信ポートには、例えば本デバイスとの、通信チャネルの維持を可能にするためのインターフェースを含めることができる。カメラなどの撮像デバイスは、物理空間を画像化するよう構成することが可能である。いくつかの実施態様において、拡張現実デバイスの撮像デバイスには、カメラ、赤外線検出装置、および/または他の画像記録デバイスを含めることができる。プロセッサは、物理空間に合わさった拡張現実空間を生成するよう構成することができる。プロセッサは、物理空間中の少なくとも一つの物理オブジェクトを認識し、拡張現実空間において、一つ以上の仮想オブジェクトを使って該少なくとも一つの物理オブジェクトを拡張するよう構成することが可能である。プロセッサは、拡張現実環境内のイベントを判定し、有線または無線通信チャネルを介して、本デバイスにそのイベントを表す制御信号を伝達するよう構成することができる。該制御信号は、本デバイスでフィードバックを生成させることができる。
130、位置/方位デバイス140、入力コンポーネント150、識別子デバイス160、および/または他のコンポーネントを含めることができる。後記で詳しく説明するように、いくつかの実施態様において、デバイス100は手袋、指ぬき、指輪、および/または身に着けられる他のデバイスを含み得る。いくつかの実施態様において、デバイス100は、タッチペン、ジョイスティック、携帯電話、ビデオ・ゲーム・コントローラ、および/またはARデバイス200と通信可能に連結できる他の携帯端末など、携帯端末として構成することが可能である。いくつかの実施態様において、デバイス100とARデバイス200とは、単一の物理デバイス中の別個のデバイスとすることもでき、単一の物理デバイスに組み込むことも可能である。
述した例に限定されない。
の物理オブジェクトを拡張するよう構成することが可能である。プロセッサ210は、AR環境内のイベントを判定し、有線または無線通信チャネル300を介して、デバイス100にそのイベントを表す制御信号を伝達するよう構成することができる。該制御信号は、デバイス100においてフィードバックを生成させることができる。撮像デバイス220は、物理空間を画像化するよう構成することが可能である。いくつかの実施態様において、撮像デバイス220には、一つ以上のカメラ、赤外線検出装置、ビデオ・カメラ、および/または他の画像記録デバイスを含めることができる。通信ポート230には、例えば、デバイス100との通信チャネル300の維持を可能にするためのインターフェースを含めることができる。
、および/または、プロセッサ210の他のモジュールと、のうちの一つ以上に送信することができる。
理空間520中に存在する一つ以上の物理オブジェクト520a、520b、…、520nに一致してまたは関連付けて表示させ、これにより、AR環境500中の一つ以上の物理オブジェクト520a、520b、…、520nを拡張することができる。単一の仮想オブジェクト510aが、単一の物理オブジェクト520aを拡張することもあるいは複数の物理オブジェクト520a、520b、…、520nを拡張することも可能である。複数の仮想オブジェクト510a、510b、…、510nが、単一の物理オブジェクト520aを拡張することもあるいは複数の物理オブジェクト520a、520b、…、520nを拡張することも可能である。物理空間520中に存在する物理オブジェクト520a、520b、…、520nを拡張する仮想オブジェクト510a、510b、…、510nの数および種類は、上述の例には限定されない。
を行なえるように、受信情報を含めイベント・データをサーバ400に送信することができる。受信情報の一部または全部が、サーバ400のストレージに格納されているイベントに関連付けられている場合、サーバ400は、関連するイベントに関連する情報をイベント処理モジュール213に伝達することが可能である。イベント処理モジュール213は、受信情報および関連イベントに関連するデータ含むイベント・データを、制御信号生成モジュール214に送信することができる。受信情報が、サーバ400のストレージに格納されているイベントに関連付けられていない場合、サーバ400は、合致するものが見付からなかった旨を連絡することができる。
。この指標には、製品コード、QRコード、デバイス100に関連付けられた画像、および/またはデバイス100を識別するのに用いられる他の画像を含めることが可能である。ARデバイス200のプロセッサ210は、可聴署名、赤外線署名、および/またはデバイス100によって生成される他の署名を認識するよう構成することができる。これらの実施態様において、制御信号生成モジュール214が、デバイス100の認識を表すことが可能な制御信号を生成して、デバイス100で生成されるフィードバックがその認識を示すようにすることが可能である。
分を含む)には、プロセッサ、通信ポート、および/またはARデバイス200の他のコンポーネントを含めることができる。いくつかの実施態様において、眼鏡アーム210A,210Bには、プロセッサと、通信ポートと、および/またはARデバイス200の他のコンポーネントとのうちの一つ以上を含めることが可能である。他の構成も同様に用いることができる。
理し、データを送信し、および/または他の機能を提供するよう構成することが可能である。いくつかの実施態様において、サーバ400は、デバイス100のプロセッサ110から制御信号を受信するよう構成することができる。サーバ400のストレージには、複数の制御信号と複数のフィードバック応答とを含む、デバイス100のルックアップ・テーブルと類似または同じ仕方で構成可能な、ルックアップ・テーブルを含めることができる。このルックアップ・テーブルが当該制御信号に関連するエントリを含む場合、サーバ400は、フィードバック応答を含む情報をフィードバック制御モジュール111に伝達することが可能である。サーバ400のルックアップ・テーブルが制御信号に関連するエントリを含まない場合、サーバ400は、その制御信号に合致するものが見付からなかった旨を、フィードバック制御モジュール111に連絡することができる。いくつかの実施態様において、サーバ400は、デバイス100から受信したデータに関連する画像処理および/またはオブジェクト認識を実施することができる。
イス200、および/またはサーバ400と交信する他のデバイスとの通信チャネル300の維持を可能にするためのインターフェースを含めることができる。データおよび/または信号は、通信チャネル300、および/または、サーバ400がデータおよび/または信号を受信するための他の通信チャネル、を介して受信することが可能である。
きる。フィードバック制御モジュール111は、フィードバック・デバイス120に、デバイス100を介してフィードバックを提供させることが可能である。いくつかの実施態様において、フィードバック制御モジュール111は、フィードバック・デバイス120に制御信号を与えるように構成することができる。これの実施形態において、制御信号をフィードバック・デバイス120に直接印加してフィードバックを行わせることが可能である。いくつかの実施態様において、フィードバック制御モジュール111は、受信した制御信号に基づいてフィードバック応答を決めるよう構成することができる。フィードバック制御モジュール111は、一つ以上の種類のフィードバックと生成対象の指定フィードバックの種類の一つ以上のフィードバック信号とを含むフィードバック応答を提供することができる。フィードバック制御モジュール111は、フィードバック応答の指定フィードバック信号を生成し、そのフィードバック信号をそれら信号が対応するそれぞれのフィードバック・デバイス120に送信するよう構成することが可能である。
ト認識モジュール211から受信したデータをストレージ中に格納されたデータと比較して、そのデータがあるイベントと関連付けられているかどうかを判定することができる。受信した情報の一部または全部が、デバイス100の認識を含むイベントに関連している場合、イベント処理モジュール213は、受信情報およびデバイス100の認識に関連するデータを含むイベント・データを、制御信号生成モジュール214に送信することが可能である。制御信号生成モジュール214は、イベント処理モジュール213からイベント・データを受信し、デバイス100に送信するため、該イベント・データに基づいて制御信号を生成するよう構成することができる。
イス200(例えば、オブジェクト認識モジュール211、イベント処理モジュール213、制御信号生成モジュール214、および/またはARデバイス200の他のモジュールまたはデバイスを含む)が、サービス100とAR環境500との間の相互作用を検出した場合、ARデバイス200(例えば、イベント処理モジュール213、制御信号生成モジュール214、および/またはARデバイス200の他のモジュールまたはデバイスを含む)は、相互作用の検出に基づいて、デバイス100に送信するための制御信号を生成することが可能である。
ジュールまたはデバイスを含む)は、デバイス100および/またはARデバイス200に関連する情報を有するユーザ間の相互作用だけを検出することができる。いくつかの実施態様において、ARデバイス200(例えば、オブジェクト認識モジュール211、イベント処理モジュール213、制御信号生成モジュール214、および/またはARデバイス200の他のモジュールまたはデバイスを含む)は、任意のユーザとAR環境500との間の相互作用を検出することが可能である。
Claims (24)
- 拡張現実環境に基づいてフィードバックを提供するよう構成されたデバイスであって、
前記デバイスの遠隔にあり、前記拡張現実環境を生成する拡張現実デバイスから、前記拡張現実環境中に生じているイベントを表す制御信号を受信するよう構成されたプロセッサと、
前記受信された制御信号に基づいてフィードバックを提供するよう構成されたフィードバック・デバイスと、
を備えるデバイス。 - 前記フィードバック・デバイスが、触覚効果を提供するよう構成された触覚出力デバイス、視覚効果を提供するよう構成された視覚デバイス、または聴覚効果を提供するよう構成された聴覚デバイスを含む、請求項1に記載のデバイス。
- 前記フィードバック・デバイスが、触覚効果を生成するよう構成されたアクチュエータを含む、請求項1に記載のデバイス。
- 前記フィードバック・デバイスが、触覚効果を生成するよう構成された非機械的触覚出力デバイスを含む、請求項1に記載のデバイス。
- 前記イベントが、前記デバイスと前記拡張現実環境との相互作用、前記拡張現実環境に対して起きているアクションの確認、または前記デバイスが前記拡張現実デバイスによって認識されていることの確認を含む、請求項1に記載のデバイス。
- 前記拡張現実デバイスとの無線または有線通信チャネルを確立するよう構成された通信ポートをさらに含み、前記制御信号が前記無線または有線通信チャネルを介して受信される、
請求項1に記載のデバイス。 - 前記拡張現実デバイスに、前記無線または有線通信チャネルを介して、位置、方位、またはその両方を提供するよう構成された位置または方位デバイス、
をさらに含む、請求項6に記載のデバイス。 - 入力を受け取るよう構成された入力コンポーネントをさらに含み、前記プロセッサが、前記入力を前記有線または無線通信チャネルを介して前記拡張現実デバイスに伝達するよう構成される、
請求項6に記載のデバイス。 - 前記拡張現実環境が、一つ以上の仮想オブジェクトがその中に表示された拡張現実空間、および前記デバイスと前記一つ以上の仮想オブジェクトとの間の相互作用を含む前記イベントを含む、請求項1に記載のデバイス。
- 前記フィードバック・デバイスが、視覚フィードバックを提供するよう構成された視覚デバイスを含み、前記視覚デバイスは、前記デバイスにおいて前記一つ以上の仮想オブジェクトにコーディネートされた視覚フィードバックを生成するよう構成される、請求項9に記載のデバイス。
- 前記デバイスにおける前記視覚フィードバックが、前記一つ以上の仮想オブジェクトに対して両方が類似の色またはパターンを含むようにコーディネートされる、請求項10に記載のデバイス。
- 前記デバイスの表面上に配置された拡張現実シンボルをさらに含み、前記拡張現実シンボルは、前記拡張現実環境内での前記デバイスの方位を測定するために用いられる、
請求項1に記載のデバイス。 - 前記拡張現実デバイスによって前記デバイスを識別するために用いられる識別指標を生成するよう構成された識別子デバイスをさらに備える請求項1に記載のデバイス。
- 前記識別指標が光学署名または不可視の署名を含む、請求項13に記載のデバイス。
- 前記デバイスが指輪として構成される、請求項1に記載のデバイス。
- 前記フィードバック・デバイスが前記指輪周りに配置された発光バンドを含む、請求項15に記載のデバイス。
- 拡張現実空間と物理空間とを含む拡張現実環境を生成するよう構成された拡張現実デバイスであって、
あるデバイスとの有線または無線通信チャネルを確立するよう構成された通信ポートと、
前記物理空間を画像化するよう構成された撮像デバイスと、
プロセッサと、
を備え、
前記プロセッサは、
前記物理空間と合わさった前記拡張現実空間を生成し、
前記物理空間中の少なくとも一つの物理オブジェクトを認識して、前記拡張現実空間中の一つ以上の仮想オブジェクトを使って前記少なくとも一つの物理オブジェクトを拡張し、
前記拡張現実環境内のイベントを判定し、
前記イベントを表す制御信号を、前記有線または無線通信チャネルを介して前記デバイスに伝達し、前記制御信号が前記デバイスにおいてフィードバックを生成させる、
よう構成される、拡張現実デバイス。 - 前記プロセッサは、前記デバイスが前記撮像デバイスの視界内且つ前記物理空間内で移動されるとき、前記デバイスを認識するよう構成される、請求項17に記載の拡張現実デバイス。
- 前記制御信号が、前記デバイスの前記認識を表し、前記デバイスで生成される前記フィードバックが前記認識を示すようにする、請求項18に記載の拡張現実デバイス。
- 前記プロセッサが、
前記デバイスから、前記デバイスの位置、前記デバイスの方位、または前記デバイスの前記位置および前記デバイスの前記方位の両方を受信し、
前記デバイスの前記受信された位置、前記デバイスの前記受信された方位、または前記受信された方位および前記受信された位置の両方に基づいて、前記拡張現実環境内の前記デバイスの前記位置、前記デバイスの前記方位、または前記デバイスの前記位置および前記方位の両方を測定する、
よう構成される、請求項17に記載の拡張現実デバイス。 - 前記プロセッサが、前記少なくとも一つの物理オブジェクトと前記デバイスとの間の距離を顧慮せずに、前記デバイスを前記拡張現実環境内に位置付けるよう構成される、請求
項17に記載の拡張現実デバイス。 - 前記拡張現実デバイスが眼鏡として構成される、請求項17に記載の拡張現実デバイス。
- 前記拡張現実環境が前記眼鏡のレンズを介して伝えられる、請求項22に記載の拡張現実デバイス。
- 拡張現実環境に基づいてフィードバックを提供するシステムであって、
デバイスと、拡張現実デバイスとを備え、
当該拡張現実デバイスは、
前記デバイスとの有線または無線通信チャネルを確立するよう構成された通信ポート、
前記物理空間を画像化するよう構成された撮像デバイス、および
プロセッサ、を含み、
前記プロセッサは、
前記物理空間と合わさった前記拡張現実空間を生成し、
前記物理空間中の少なくとも一つの物理オブジェクトを認識して、前記拡張現実空間中の一つ以上の仮想オブジェクトを使って前記少なくとも一つの物理オブジェクトを拡張し、
前記拡張現実環境内のイベントを判定し、
前記イベントを表す制御信号を、前記有線または無線通信チャネルを介して前記デバイスに伝達し、前記制御信号が前記デバイスにおいてフィードバックを生成させる、
よう構成され、
前記デバイスは、前記受信された制御信号に基づいてフィードバックを提供するよう構成されたフィードバック・デバイスを含む、
システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/741,826 | 2013-01-15 | ||
US13/741,826 US20140198130A1 (en) | 2013-01-15 | 2013-01-15 | Augmented reality user interface with haptic feedback |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014001010A Division JP6271256B2 (ja) | 2013-01-15 | 2014-01-07 | 触覚フィードバックを備えた拡張現実ユーザ・インタフェース |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018073433A true JP2018073433A (ja) | 2018-05-10 |
JP6713445B2 JP6713445B2 (ja) | 2020-06-24 |
Family
ID=49958279
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014001010A Expired - Fee Related JP6271256B2 (ja) | 2013-01-15 | 2014-01-07 | 触覚フィードバックを備えた拡張現実ユーザ・インタフェース |
JP2017250980A Expired - Fee Related JP6713445B2 (ja) | 2013-01-15 | 2017-12-27 | 触覚フィードバックを備えた拡張現実ユーザ・インタフェース |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014001010A Expired - Fee Related JP6271256B2 (ja) | 2013-01-15 | 2014-01-07 | 触覚フィードバックを備えた拡張現実ユーザ・インタフェース |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140198130A1 (ja) |
EP (1) | EP2755113A3 (ja) |
JP (2) | JP6271256B2 (ja) |
KR (1) | KR20140092267A (ja) |
CN (2) | CN110262666A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020059949A1 (ko) * | 2018-09-20 | 2020-03-26 | (주)리얼감 | 포스 피드백 방법 및 시스템 |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2741177B1 (en) | 2008-07-15 | 2019-06-26 | Immersion Corporation | Systems and Methods for Transmitting Haptic Messages |
EP2754008A4 (en) * | 2011-06-21 | 2015-04-22 | Univ Northwestern | TOUCHING INTERFACE DEVICE AND METHOD FOR USING CROSS-HOLLOWS ON HUMAN LIMBS |
US9041647B2 (en) * | 2013-03-15 | 2015-05-26 | Immersion Corporation | User interface device provided with surface haptic sensations |
JP2015130168A (ja) * | 2013-12-31 | 2015-07-16 | イマージョン コーポレーションImmersion Corporation | 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法 |
US9690370B2 (en) | 2014-05-05 | 2017-06-27 | Immersion Corporation | Systems and methods for viewport-based augmented reality haptic effects |
EP3940509A1 (en) * | 2014-10-31 | 2022-01-19 | Sony Group Corporation | Electronic device and feedback providing method |
US20170323062A1 (en) * | 2014-11-18 | 2017-11-09 | Koninklijke Philips N.V. | User guidance system and method, use of an augmented reality device |
US9846484B2 (en) * | 2014-12-04 | 2017-12-19 | Immersion Corporation | Systems and methods for controlling haptic signals |
CN105739671A (zh) * | 2014-12-08 | 2016-07-06 | 北京蚁视科技有限公司 | 一种振动反馈装置及含有该装置的近眼显示器 |
EP3234742A4 (en) * | 2014-12-16 | 2018-08-08 | Quan Xiao | Methods and apparatus for high intuitive human-computer interface |
US20160189427A1 (en) * | 2014-12-31 | 2016-06-30 | Immersion Corporation | Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications |
US10921896B2 (en) | 2015-03-16 | 2021-02-16 | Facebook Technologies, Llc | Device interaction in augmented reality |
JP6834962B2 (ja) * | 2015-09-08 | 2021-02-24 | ソニー株式会社 | 情報処理装置、方法およびコンピュータプログラム |
US9857874B2 (en) * | 2015-11-03 | 2018-01-02 | Chunghwa Picture Tubes, Ltd. | Augmented reality system and augmented reality interaction method |
WO2017127128A1 (en) * | 2016-01-22 | 2017-07-27 | Elwha Llc | Feedback for enhanced situational awareness |
US20210385299A1 (en) * | 2016-01-25 | 2021-12-09 | Hiscene Information Technology Co., Ltd | Method and apparatus for augmented reality interaction and presentation |
CN106997235B (zh) * | 2016-01-25 | 2018-07-13 | 亮风台(上海)信息科技有限公司 | 用于实现增强现实交互和展示的方法、设备 |
DE102016113060A1 (de) | 2016-07-15 | 2018-01-18 | Beckhoff Automation Gmbh | Verfahren zum Steuern eines Objekts |
KR20180019270A (ko) * | 2016-08-16 | 2018-02-26 | (주)알비케이이엠디 | 증강현실 또는 가상현실 구현 기기와 연동되는 햅틱 디바이스 |
US10427039B2 (en) * | 2016-12-08 | 2019-10-01 | Immersion Corporation | Haptic surround functionality |
US10019875B1 (en) * | 2016-12-30 | 2018-07-10 | Immersion Corporation | Inertial haptic actuators having a cantilevered beam and a smart material |
EP3602245B1 (en) | 2017-03-21 | 2023-09-27 | InterDigital VC Holdings, Inc. | Method and system for the detection and augmentation of tactile interactions in augmented reality |
CN110678827B (zh) * | 2017-06-08 | 2023-11-10 | 霍尼韦尔国际公司 | 用于在工业自动化系统和其他系统中以增强/虚拟现实记录和重放交互式内容的装置和方法 |
CN109147001A (zh) * | 2017-06-19 | 2019-01-04 | 亮风台(上海)信息科技有限公司 | 一种用于呈现虚拟指甲的方法与设备 |
KR102364678B1 (ko) * | 2017-06-20 | 2022-02-18 | 엘지전자 주식회사 | 이동 단말기 |
CN107422942A (zh) * | 2017-08-15 | 2017-12-01 | 吴金河 | 一种沉浸式体验的控制系统及方法 |
US20190155387A1 (en) * | 2017-11-22 | 2019-05-23 | Immersion Corporation | Haptic Accessory Apparatus |
JP6453501B1 (ja) * | 2018-02-01 | 2019-01-16 | 株式会社Cygames | 複合現実システム、プログラム、方法、及び携帯端末装置 |
US10572016B2 (en) * | 2018-03-06 | 2020-02-25 | Microsoft Technology Licensing, Llc | Spatialized haptic device force feedback |
US20190324538A1 (en) * | 2018-04-20 | 2019-10-24 | Immersion Corporation | Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment |
US11270597B2 (en) | 2018-05-01 | 2022-03-08 | Codescribe Llc | Simulated reality technologies for enhanced medical protocol training |
US11875693B2 (en) | 2018-05-01 | 2024-01-16 | Codescribe Corporation | Simulated reality technologies for enhanced medical protocol training |
EP3599538B1 (en) * | 2018-07-24 | 2023-07-19 | Nokia Technologies Oy | Method and apparatus for adding interactive objects to a virtual reality environment |
CN110928472B (zh) * | 2018-09-19 | 2023-05-05 | 阿里巴巴集团控股有限公司 | 物品处理方法、装置及电子设备 |
CN109917911B (zh) * | 2019-02-20 | 2021-12-28 | 西北工业大学 | 一种基于信息物理交互的振动触觉反馈装置设计方法 |
US10852827B1 (en) | 2019-03-25 | 2020-12-01 | Facebook Technologies, Llc | Tactile simulation of initial contact with virtual objects |
CN110442233B (zh) * | 2019-06-18 | 2020-12-04 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于手势交互的增强现实键鼠系统 |
KR102467436B1 (ko) * | 2020-11-13 | 2022-11-16 | (주)에이트원 | 산업 안전 가상 훈련 시스템 및 그 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009069918A (ja) * | 2007-09-10 | 2009-04-02 | Canon Inc | 情報処理装置、情報処理方法 |
JP2010020526A (ja) * | 2008-07-10 | 2010-01-28 | Ritsumeikan | 操作システム |
JP2010537302A (ja) * | 2007-08-19 | 2010-12-02 | リングボウ エルティディ. | 指に装着される装置とその使用方法 |
JP2012507068A (ja) * | 2008-10-27 | 2012-03-22 | 株式会社ソニー・コンピュータエンタテインメント | 視覚情報を通信するためのコントロールデバイス |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US1758156A (en) * | 1928-12-27 | 1930-05-13 | Frederick W Huber | Method and means for cementing oil wells |
JP2002082751A (ja) * | 2000-09-08 | 2002-03-22 | Mitsubishi Electric Corp | 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム |
WO2003038800A1 (en) * | 2001-11-01 | 2003-05-08 | Immersion Corporation | Method and apparatus for providing tactile sensations |
JP2003316493A (ja) * | 2002-04-19 | 2003-11-07 | Seiko Epson Corp | 触覚提示装置 |
SE0203908D0 (sv) * | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
US20060017654A1 (en) * | 2004-07-23 | 2006-01-26 | Romo Justin R | Virtual reality interactivity system and method |
WO2006081198A2 (en) * | 2005-01-25 | 2006-08-03 | The Board Of Trustees Of The University Of Illinois | Compact haptic and augmented virtual reality system |
JP4926799B2 (ja) * | 2006-10-23 | 2012-05-09 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
KR100927009B1 (ko) * | 2008-02-04 | 2009-11-16 | 광주과학기술원 | 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템 |
US20090289955A1 (en) * | 2008-05-22 | 2009-11-26 | Yahoo! Inc. | Reality overlay device |
US8747116B2 (en) * | 2008-08-21 | 2014-06-10 | Lincoln Global, Inc. | System and method providing arc welding training in a real-time simulated virtual reality environment using real-time weld puddle feedback |
US9978288B2 (en) * | 2009-02-13 | 2018-05-22 | University Of Florida Research Foundation, Inc. | Communication and skills training using interactive virtual humans |
US8009022B2 (en) * | 2009-05-29 | 2011-08-30 | Microsoft Corporation | Systems and methods for immersive interaction with virtual objects |
US8542105B2 (en) * | 2009-11-24 | 2013-09-24 | Immersion Corporation | Handheld computer interface with haptic feedback |
US8633916B2 (en) * | 2009-12-10 | 2014-01-21 | Apple, Inc. | Touch pad with force sensors and actuator feedback |
CN101819462B (zh) * | 2010-03-12 | 2011-07-20 | 东南大学 | 基于力/触觉交互设备的图像纹理的力触觉再现系统 |
US20110310227A1 (en) * | 2010-06-17 | 2011-12-22 | Qualcomm Incorporated | Mobile device based content mapping for augmented reality environment |
CA2835120C (en) * | 2011-05-06 | 2019-05-28 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
US20130002425A1 (en) * | 2011-07-01 | 2013-01-03 | General Electric Company | Augmented reality excessive noise display and warning system |
US20130265300A1 (en) * | 2011-07-03 | 2013-10-10 | Neorai Vardi | Computer device in form of wearable glasses and user interface thereof |
CA3207408A1 (en) * | 2011-10-28 | 2013-06-13 | Magic Leap, Inc. | System and method for augmented and virtual reality |
-
2013
- 2013-01-15 US US13/741,826 patent/US20140198130A1/en not_active Abandoned
-
2014
- 2014-01-07 JP JP2014001010A patent/JP6271256B2/ja not_active Expired - Fee Related
- 2014-01-15 CN CN201910688902.1A patent/CN110262666A/zh active Pending
- 2014-01-15 CN CN201410018078.6A patent/CN103970265B/zh not_active Expired - Fee Related
- 2014-01-15 EP EP14151258.2A patent/EP2755113A3/en not_active Ceased
- 2014-01-15 KR KR1020140005006A patent/KR20140092267A/ko not_active Application Discontinuation
-
2017
- 2017-12-27 JP JP2017250980A patent/JP6713445B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010537302A (ja) * | 2007-08-19 | 2010-12-02 | リングボウ エルティディ. | 指に装着される装置とその使用方法 |
JP2009069918A (ja) * | 2007-09-10 | 2009-04-02 | Canon Inc | 情報処理装置、情報処理方法 |
JP2010020526A (ja) * | 2008-07-10 | 2010-01-28 | Ritsumeikan | 操作システム |
JP2012507068A (ja) * | 2008-10-27 | 2012-03-22 | 株式会社ソニー・コンピュータエンタテインメント | 視覚情報を通信するためのコントロールデバイス |
Non-Patent Citations (1)
Title |
---|
高見 雄介: "複数の道具型デバイスを活用する複合現実型木材加工システム", ヒューマンインタフェース学会論文誌 2012年度, vol. 14, no. 2, JPN6018039761, 25 May 2012 (2012-05-25), pages 141 - 150, ISSN: 0004124980 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020059949A1 (ko) * | 2018-09-20 | 2020-03-26 | (주)리얼감 | 포스 피드백 방법 및 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JP2014139784A (ja) | 2014-07-31 |
CN103970265A (zh) | 2014-08-06 |
JP6271256B2 (ja) | 2018-01-31 |
EP2755113A3 (en) | 2016-12-28 |
CN110262666A (zh) | 2019-09-20 |
CN103970265B (zh) | 2019-08-23 |
JP6713445B2 (ja) | 2020-06-24 |
EP2755113A2 (en) | 2014-07-16 |
US20140198130A1 (en) | 2014-07-17 |
KR20140092267A (ko) | 2014-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6713445B2 (ja) | 触覚フィードバックを備えた拡張現実ユーザ・インタフェース | |
US20190164394A1 (en) | System with wearable device and haptic output device | |
US10395116B2 (en) | Dynamically created and updated indoor positioning map | |
US20180068614A1 (en) | Wearable display device | |
US20180033177A1 (en) | Method for image display and electronic device supporting the same | |
US20170277259A1 (en) | Eye tracking via transparent near eye lens | |
KR20190089627A (ko) | Ar 서비스를 제공하는 디바이스 및 그 동작 방법 | |
CN111857365B (zh) | 用于头戴式设备的基于触笔的输入 | |
KR102360176B1 (ko) | 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스 | |
CN110968190B (zh) | 用于触摸检测的imu | |
CN107076999A (zh) | 使用目光接触经由平视显示器进行对接 | |
CN103713387A (zh) | 电子设备和采集方法 | |
TW201807540A (zh) | 信息處理系統、操作方法及操作程序 | |
KR102118434B1 (ko) | 모바일 디바이스 및 그 제어 방법 | |
JP2023531849A (ja) | オーディオ認識を行う拡張現実デバイスおよびその制御方法 | |
US11775168B1 (en) | Eyewear device user interface | |
US11863860B2 (en) | Image capture eyewear with context-based sending | |
WO2024049463A1 (en) | Virtual keyboard | |
KR20170093057A (ko) | 미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령의 처리 방법 및 장치 | |
KR20160027813A (ko) | 글래스형 단말기 | |
CN117590933A (zh) | 用于多个视图的相机 | |
KR20240094948A (ko) | 객체에 대한 정보를 획득하기 위한 전자 장치 및 방법 | |
CN117425889A (zh) | 作为生物计量信号的弯曲估计 | |
CN109086579A (zh) | 一种解密加密的可见代码的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180104 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181016 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190111 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190415 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190827 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200603 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6713445 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |