JP2019517049A - 姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用 - Google Patents
姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用 Download PDFInfo
- Publication number
- JP2019517049A JP2019517049A JP2018550396A JP2018550396A JP2019517049A JP 2019517049 A JP2019517049 A JP 2019517049A JP 2018550396 A JP2018550396 A JP 2018550396A JP 2018550396 A JP2018550396 A JP 2018550396A JP 2019517049 A JP2019517049 A JP 2019517049A
- Authority
- JP
- Japan
- Prior art keywords
- user
- objects
- movement
- cone
- virtual object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 29
- 230000033001 locomotion Effects 0.000 claims abstract description 186
- 238000000034 method Methods 0.000 claims description 158
- 210000001508 eye Anatomy 0.000 claims description 101
- 210000003128 head Anatomy 0.000 claims description 61
- 230000008859 change Effects 0.000 claims description 35
- 230000000007 visual effect Effects 0.000 claims description 27
- 230000001133 acceleration Effects 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 238000004873 anchoring Methods 0.000 claims description 5
- 230000000977 initiatory effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000036544 posture Effects 0.000 description 60
- 230000008569 process Effects 0.000 description 43
- 238000003384 imaging method Methods 0.000 description 32
- 230000003287 optical effect Effects 0.000 description 32
- 238000004422 calculation algorithm Methods 0.000 description 26
- 210000001747 pupil Anatomy 0.000 description 23
- 230000006870 function Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 18
- 230000004308 accommodation Effects 0.000 description 15
- 238000000605 extraction Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000003190 augmentative effect Effects 0.000 description 10
- 230000007423 decrease Effects 0.000 description 10
- 230000003213 activating effect Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 239000000835 fiber Substances 0.000 description 7
- 210000003811 finger Anatomy 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 239000006185 dispersion Substances 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- 238000005266 casting Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 208000001491 myopia Diseases 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Abstract
Description
本願は、米国仮出願第62/316,030号、出願日2016年3月31日、発明の名称“CONE CASTING WITH DYNAMICALLY UPDATED APERTURE”および第62/325,679号、出願日2016年4月21日、発明の名称“DYNAMIC MAPPING OF USER INPUT DEVICE”に対する35 U.S.C.§119(e)のもとでの優先権の利益を主張するものであり、これらの両方は、全体が参照により本明細書中に援用される。
ウェアラブルシステムは、仮想コンテンツをAR/VR/MR環境内に表示するように構成されることができる。ウェアラブルシステムは、ユーザが、ユーザの環境内の物理的または仮想オブジェクトと相互作用することを可能にすることができる。ユーザは、例えば、オブジェクトを選択および移動させることによって、姿勢を使用することによって、またはユーザ入力デバイスを作動させることによって、オブジェクトと相互作用することができる。例えば、ユーザは、ユーザ入力デバイスをある距離にわたって移動させてもよく、仮想オブジェクトは、ユーザ入力デバイスに追従し、同一距離量だけ移動するであろう。同様に、ウェアラブルシステムは、円錐投射を使用して、ユーザが、仮想オブジェクトを姿勢に伴って選択または標的化することを可能にしてもよい。ユーザがその手を移動させるにつれて、ウェアラブルシステムは、それに従って、異なる仮想オブジェクトをユーザの視野内で標的化および選択することができる。
ウェアラブルシステム(本明細書では、拡張現実(AR)システムとも称される)は、2Dまたは3D仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムは、ユーザ相互作用のために、単独で、または組み合わせて、VR、AR、またはMR環境を提示し得る、ウェアラブルデバイスを含むことができる。ウェアラブルデバイスは、頭部搭載型デバイス(HMD)であることができる。
図4は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム400は、複数の導波管432b、434b、436b、438b、4400bを使用して、3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ480を含む。いくつかの実施形態では、ウェアラブルシステム400は、図2のウェアラブルシステム200に対応してもよく、図4は、ウェアラブルシステム200のいくつかの部分をより詳細に概略的に示す。例えば、いくつかの実施形態では、導波管アセンブリ480は、図2のディスプレイ220の中に統合されてもよい。
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、1つまたはそれを上回る触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、他の仮想構造)に触れると、圧力および/またはテクスチャの感覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ(例えば、ドラゴン)の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい(例えば、ユーザウェアラブルグローブ)。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたFOV画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点(2D点または3D点等)のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第1のユーザの世界モデルは、第2のユーザが第1のユーザを囲繞する世界を体験し得るように、(例えば、クラウドネットワーク等のネットワークを経由して)第2のユーザに通信されることができる。
ウェアラブルシステムは、コンテキスト情報に基づいて、FOR内のオブジェクトとの種々のユーザ相互作用をサポートすることができる。例えば、ウェアラブルシステムは、ユーザが円錐投射を使用してオブジェクトと相互作用することに伴って、円錐投射の開口のサイズを調節することができる。別の実施例として、ウェアラブルシステムは、コンテキスト情報に基づいて、ユーザ入力デバイスの作動と関連付けられた仮想オブジェクトの移動量を調節することができる。これらの相互作用の詳細な実施例は、以下に提供される。
ユーザのFORは、ウェアラブルシステムを介して、ユーザによって知覚され得る、オブジェクトのグループを含有することができる。ユーザのFOR1200内のオブジェクトは、仮想および/または物理的オブジェクトであってもよい。仮想オブジェクトは、例えば、削除されたファイルのためのゴミ箱、コマンドを入力するための端末、ファイルまたはディレクトリにアクセスするためのファイルマネージャ、アイコン、メニュー、オーディオまたはビデオストリーミングのためのアプリケーション、オペレーティングシステムからの通知等のオペレーティングシステムオブジェクトを含んでもよい。仮想オブジェクトはまた、例えば、アバタ、ゲーム内の仮想オブジェクト、グラフィックまたは画像等、アプリケーション内のオブジェクトを含んでもよい。いくつかの仮想オブジェクトは、オペレーティングシステムオブジェクトおよびアプリケーション内のオブジェクトの両方であることができる。いくつかの実施形態では、ウェアラブルシステムは、仮想要素を既存の物理的オブジェクトに追加することができる。例えば、ウェアラブルシステムは、部屋内のテレビと関連付けられた仮想メニューを追加してもよく、仮想メニューは、ユーザに、ウェアラブルシステムを使用して、テレビをオンにする、またはチャンネルを変更するためのオプションを与えてもよい。
本明細書に説明されるように、ユーザは、姿勢を使用して、その環境内のオブジェクトと相互作用することができる。例えば、ユーザが、部屋を見渡すと、テーブル、椅子、壁、および壁のうちの1つ上の仮想テレビディスプレイが見え得る。ユーザが見ているオブジェクトを判定するために、ウェアラブルシステムは、円錐投射技法を使用してもよく、これは、概して説明すると、不可視の円錐をユーザが見ている方向に投影し、円錐と交差する任意のオブジェクトを識別するものである。円錐投射は、(ウェアラブルシステムの)HMDから物理的または仮想オブジェクトに向かって、側方厚さを有していない、単一光線を投射することを伴い得る。単一光線を伴う円錐投射はまた、光線投射とも称され得る。
ウェアラブルシステムは、ユーザ1210が、例えば、マウスをクリックする、タッチパッドをタップする、タッチスクリーンをスワイプする、容量ボタンに手をかざす、またはタッチする、キーボードまたはゲームコントローラ(例えば、5方向d−パッド)上のキーを押下する、ジョイスティック、ワンド、またはトーテムをオブジェクトに向かって向ける、遠隔制御上のボタンを押下する、またはユーザ入力デバイス等との他の相互作用によって、ユーザ入力デバイス466を作動させると、円錐投射を開始することができる。
円錐1220は、例えば、サイズ、形状、または色等の種々の性質を有してもよい。これらの性質は、円錐がユーザに知覚可能であるように、ユーザに表示されてもよい。ある場合には、円錐1220の一部が、表示されてもよい(例えば、円錐の端部、円錐の表面、円錐の中心光線等)。他の実施形態では、円錐1220は、直方体、多面体、角錐、円錐台等であってもよい。円錐の遠位端1228bは、任意の断面、例えば、円形、卵形、多角形、または不規則形を有することができる。
円錐投射は、ユーザの環境内のオブジェクトと相互作用するとき、特に、それらのオブジェクトが、ユーザからの少量の移動が光線の大移動に変換され得る距離に位置するとき、精度を増加させるために使用されることができる。円錐投射はまた、円錐を1つまたはそれを上回る仮想オブジェクトに重複させるために、ユーザからの必要な移動量を減少させるためにも使用され得る。いくつかの実装では、ユーザは、例えば、多くのオブジェクトが存在するとき、より狭い円錐を使用し、より少ないオブジェクトが存在するとき、より広い円錐を使用することによって、円錐の開口を手動で更新し、標的オブジェクトを選択する速度および精度を改良することができる。他の実装では、ウェアラブルシステムは、手動更新に加えて、または代替として、ユーザの環境内のオブジェクトと関連付けられたコンテキスト係数を判定し、自動円錐更新を可能にすることができ、これは、ユーザ入力が殆ど必要とされないため、有利には、ユーザが環境内のオブジェクトと相互作用することをより容易にすることができる。
図12Bおよび12Cを参照して説明されるように、円錐の開口は、ユーザのFOR内のオブジェクトの密度に基づいて、円錐投射の間、動的に更新されることができる。図12D、12E、12F、12Gは、オブジェクトの密度に基づいて、開口を動的に調節する実施例を説明する。図12Dは、ユーザのFOR1208内のオブジェクトの密度と関連付けられた等高線マップを図示する。仮想オブジェクト1271は、小テクスチャ化ドットによって表される。仮想オブジェクトの密度は、所与の領域内の等高線線の量によって反映される。例えば、等高線は、領域1272内で相互に近接し、領域1272内のオブジェクトの密度が高いことを表す。別の実施例として、領域1278内の等高線線は、比較的に疎らである。故に、領域1278内のオブジェクトの密度は、低い。
ウェアラブルシステムは、1つまたはそれを上回るオブジェクトが、円錐投射の間、円錐と衝突するかどうかを判定することができる。ウェアラブルシステムは、衝突検出エージェントを使用して、衝突を検出してもよい。例えば、衝突検出エージェントは、円錐の表面と交差するオブジェクトを識別し、および/または円錐の内側にあるオブジェクトを識別することができる。ウェアラブルシステムは、円錐の体積および場所およびオブジェクトの場所情報(図9を参照して説明される世界マップ内に記憶されるように)に基づいて、そのような識別を行うことができる。ユーザの環境内のオブジェクトは、メッシュ(世界メッシュとも称される)と関連付けられてもよい。衝突検出エージェントは、円錐に関する部分がオブジェクトのメッシュと重複するかどうかを判定し、衝突を検出することができる。ある実装では、ウェアラブルシステムは、円錐とある深度平面上のオブジェクトとの間の衝突のみを検出するように構成されてもよい。
図13は、動的に調節可能な開口を伴う円錐投射を使用してオブジェクトを選択するための例示的プロセスのフローチャートである。本プロセス1300は、ウェアラブルシステム(図2および4に示される)によって実施されることができる。
円錐投射の間、円錐の開口を調節することに加え、またはその代替として、コンテキスト情報もまた、ユーザ入力デバイスまたはユーザの身体の一部(例えば、ユーザの姿勢の変化)と関連付けられた移動を、例えば、仮想オブジェクトを移動させる等のユーザインターフェース動作に変換するために使用されることができる。
上記に説明されるように、ウェアラブルシステムは、ユーザ入力デバイスの移動を標的仮想オブジェクトの移動にマッピングするための乗数を計算することができる。乗数は、例えば、ユーザと標的仮想オブジェクトとの間の距離等のコンテキスト情報に基づいて計算されてもよい。例えば、図16に示されるように、乗数は、ユーザ1210の頭部の位置と仮想オブジェクト1640の位置との間の距離を使用して計算されてもよい。
乗数はまた、ユーザの物理的および/または仮想環境についてのコンテキスト情報等の他の係数を使用して計算されることができる。例えば、仮想オブジェクトが、オブジェクトの高密度クラスタ内に位置する場合、ウェアラブルシステムは、より小さい乗数を使用して、オブジェクトを設置する精度を増加させてもよい。コンテキスト情報はまた、仮想オブジェクトの性質を含んでもよい。例えば、ドライビングゲームでは、ウェアラブルシステムは、優れた車には大きい乗数を、平凡な車には小さい乗数を提供してもよい。
図16および17を参照して説明されるように、ウェアラブルシステムは、ユーザ入力デバイスの移動を仮想オブジェクトの移動にマッピングするための乗数を適用することができる。移動は、速度、加速、または位置変化(回転、1つの場所から他の場所への移動等)を含んでもよい。例えば、ウェアラブルシステムは、仮想オブジェクトがより離れて位置するとき、仮想オブジェクトをより高速で移動させるように構成されてもよい。
図18は、ユーザ入力デバイスの移動に応答して、仮想オブジェクトを移動させるための例示的プロセスのフローチャートを図示する。プロセス1800は、図2および4に示されるウェアラブルシステムによって実施されることができる。
第1の側面では、3次元(3D)空間内に位置する仮想オブジェクトを選択するための方法であって、前記方法は、コンピュータハードウェアを備える拡張現実(AR)システムの制御下で行われ、ARシステムは、ユーザの動眼視野(FOR)内のオブジェクトとのユーザ相互作用を可能にするように構成され、FORは、ARシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備え、ユーザのFOR内のオブジェクトのグループを判定することと、ユーザの姿勢を判定することと、オブジェクトのグループ上への円錐投射を開始することであって、円錐投射は、少なくとも部分的にユーザの姿勢に基づく方向に開口を伴う仮想円錐を投射することを含む、ことと、オブジェクトのグループ内のオブジェクトのサブグループと関連付けられたコンテキスト情報を分析することと、少なくとも部分的にコンテキスト情報に基づいて、円錐投射イベントに関する開口を更新することと、円錐投射の視覚的表現をレンダリングすることとを含む、方法。
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
本発明は、例えば、以下を提供する。
(項目1)
ウェアラブルデバイスのためのオブジェクトと相互作用するためのシステムであって、前記システムは、
3次元(3D)ビューをユーザに提示し、ユーザの動眼視野(FOR)内のオブジェクトとのユーザ相互作用を可能にするように構成される、ウェアラブルデバイスのディスプレイシステムであって、前記FORは、前記ディスプレイシステムを介して前記ユーザによって知覚可能な前記ユーザの周囲の環境の一部を含む、ウェアラブルデバイスのディスプレイシステムと、
前記ユーザの姿勢と関連付けられたデータを入手するように構成されるセンサと、
前記センサおよび前記ディスプレイシステムと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記センサによって入手されたデータに基づいて、前記ユーザの姿勢を判定することと、
前記FOR内のオブジェクトのグループ上への円錐投射を開始することであって、前記円錐投射は、少なくとも部分的に前記ユーザの姿勢に基づく方向に開口を伴う仮想円錐を投射することを含む、ことと、
前記ユーザの環境と関連付けられたコンテキスト情報を分析することと、
少なくとも部分的に前記コンテキスト情報に基づいて、前記仮想円錐の開口を更新することと、
前記円錐投射のための前記仮想円錐の視覚的表現をレンダリングすることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
(項目2)
前記コンテキスト情報は、前記ユーザの視野(FOV)内のオブジェクトのサブグループのタイプ、レイアウト、場所、サイズ、または密度のうちの少なくとも1つを備え、前記FOVは、前記ディスプレイシステムを介して前記ユーザによって所与の時間に知覚可能な前記FORの一部を含む、項目1に記載のシステム。
(項目3)
前記ユーザのFOV内の前記オブジェクトのサブグループの密度は、
前記オブジェクトのサブグループ内のオブジェクトの数を計算すること、
前記オブジェクトのサブグループによって被覆される前記FOVのパーセンテージを計算すること、または
前記オブジェクトのサブグループ内のオブジェクトに関する等高線マップを計算すること
のうちの少なくとも1つによって計算される、項目2に記載のシステム。
(項目4)
前記ハードウェアプロセッサはさらに、前記仮想円錐と前記FOR内のオブジェクトのグループの中の1つまたはそれを上回るオブジェクトとの間の衝突を検出するようにプログラムされ、前記衝突の検出に応答して、前記ハードウェアプロセッサはさらに、焦点インジケータを前記1つまたはそれを上回るオブジェクトに提示するようにプログラムされる、項目1−3のいずれか1項に記載のシステム。
(項目5)
前記ハードウェアプロセッサは、遮蔽曖昧性解消技法を前記仮想円錐と衝突する1つまたはそれを上回るオブジェクトに適用し、遮蔽されたオブジェクトを識別するようにプログラムされる、項目4に記載のシステム。
(項目6)
前記円錐は、中心光線を備え、前記開口は、前記中心光線を横断する、項目1−5のいずれか1項に記載のシステム。
(項目7)
前記仮想円錐は、近位端を備え、前記近位端は、前記ユーザの眼間の場所、ユーザの腕の一部上の場所、ユーザ入力デバイス上の場所、または前記ユーザの環境内の任意の他の場所のうちの少なくとも1つの場所にアンカリングされる、項目1−6のいずれか1項に記載のシステム。
(項目8)
前記ハードウェアプロセッサはさらに、ユーザ入力デバイスから、前記仮想円錐の深度を深度平面にアンカリングするインジケーションを受信するようにプログラムされ、円錐投射は、前記深度平面内の前記オブジェクトのグループ上に実施される、項目1−7のいずれか1項に記載のシステム。
(項目9)
ウェアラブルデバイスのためのオブジェクトと相互作用するための方法であって、前記方法は、
3次元(3D)空間内の第1の位置においてユーザに表示される標的仮想オブジェクトの選択を受信することと、
前記標的仮想オブジェクトに関する移動のインジケーションを受信することと、
前記標的仮想オブジェクトと関連付けられたコンテキスト情報を分析することと、
少なくとも部分的に前記コンテキスト情報に基づいて、前記標的仮想オブジェクトの移動に適用されるための乗数を計算することと、
前記標的仮想オブジェクトに関する移動量を計算することであって、前記移動量は、少なくとも部分的に前記移動のインジケーションおよび前記乗数に基づく、ことと、
前記ユーザに、第2の位置において前記標的仮想オブジェクトを表示することであって、前記第2の位置は、少なくとも部分的に前記第1の位置および前記移動量に基づく、ことと
を含む、方法。
(項目10)
前記コンテキスト情報は、前記ユーザから前記標的仮想オブジェクトまでの距離を含む、項目9に記載の方法。
(項目11)
前記乗数は、前記距離の増加に伴って比例して増加する、項目10に記載の方法。
(項目12)
前記移動は、位置変化、速度、または加速のうちの1つまたはそれを上回るものを含む、項目9−11のいずれか1項に記載の方法。
(項目13)
前記移動のインジケーションは、前記ウェアラブルデバイスと関連付けられたユーザ入力デバイスの作動または前記ユーザの姿勢の変化のうちの少なくとも1つを含む、項目9−12のいずれか1項に記載の方法。
(項目14)
前記姿勢は、頭部姿勢、眼姿勢、または身体姿勢のうちの1つまたはそれを上回るものを含む、項目13に記載の方法。
(項目15)
ウェアラブルデバイスのためのオブジェクトと相互作用するためのシステムであって、前記システムは、
3次元(3D)ビューをユーザに提示するように構成される、ウェアラブルデバイスのディスプレイシステムであって、前記3Dビューは、標的仮想オブジェクトを備える、ウェアラブルデバイスのディスプレイシステムと、
前記ディスプレイシステムと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記標的仮想オブジェクトに関する移動のインジケーションを受信することと、
前記標的仮想オブジェクトと関連付けられたコンテキスト情報を分析することと、
少なくとも部分的に前記コンテキスト情報に基づいて、前記標的仮想オブジェクトの移動に適用されるための乗数を計算することと、
前記標的仮想オブジェクトに関する移動量を計算することであって、前記移動量は、少なくとも部分的に前記移動のインジケーションおよび前記乗数に基づく、ことと、
前記ディスプレイシステムによって、第2の位置において前記標的仮想オブジェクトを表示すことであって、前記第2の位置は、少なくとも部分的に、前記第1の位置および前記移動量に基づく、ことと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
(項目16)
前記標的仮想オブジェクトの移動のインジケーションは、前記ウェアラブルデバイスのユーザの姿勢の変化または前記ウェアラブルデバイスと関連付けられたユーザ入力デバイスから受信された入力を含む、項目15に記載のシステム。
(項目17)
前記コンテキスト情報は、前記ユーザから前記標的仮想オブジェクトまでの距離を含む、項目15−16のいずれか1項に記載のシステム。
(項目18)
前記乗数は、前記距離が閾値距離未満であるとき、1に等しく、前記閾値距離は、前記ユーザの手が届く範囲と等しい、項目17に記載のシステム。
(項目19)
前記乗数は、前記距離の増加に伴って比例して増加する、項目17−18のいずれか1項に記載のシステム。
(項目20)
前記移動は、位置変化、速度、または加速のうちの1つまたはそれを上回るものを含む、項目15−19のいずれか1項に記載のシステム。
Claims (20)
- ウェアラブルデバイスのためのオブジェクトと相互作用するためのシステムであって、前記システムは、
3次元(3D)ビューをユーザに提示し、ユーザの動眼視野(FOR)内のオブジェクトとのユーザ相互作用を可能にするように構成される、ウェアラブルデバイスのディスプレイシステムであって、前記FORは、前記ディスプレイシステムを介して前記ユーザによって知覚可能な前記ユーザの周囲の環境の一部を含む、ウェアラブルデバイスのディスプレイシステムと、
前記ユーザの姿勢と関連付けられたデータを入手するように構成されるセンサと、
前記センサおよび前記ディスプレイシステムと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記センサによって入手されたデータに基づいて、前記ユーザの姿勢を判定することと、
前記FOR内のオブジェクトのグループ上への円錐投射を開始することであって、前記円錐投射は、少なくとも部分的に前記ユーザの姿勢に基づく方向に開口を伴う仮想円錐を投射することを含む、ことと、
前記ユーザの環境と関連付けられたコンテキスト情報を分析することと、
少なくとも部分的に前記コンテキスト情報に基づいて、前記仮想円錐の開口を更新することと、
前記円錐投射のための前記仮想円錐の視覚的表現をレンダリングすることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。 - 前記コンテキスト情報は、前記ユーザの視野(FOV)内のオブジェクトのサブグループのタイプ、レイアウト、場所、サイズ、または密度のうちの少なくとも1つを備え、前記FOVは、前記ディスプレイシステムを介して前記ユーザによって所与の時間に知覚可能な前記FORの一部を含む、請求項1に記載のシステム。
- 前記ユーザのFOV内の前記オブジェクトのサブグループの密度は、
前記オブジェクトのサブグループ内のオブジェクトの数を計算すること、
前記オブジェクトのサブグループによって被覆される前記FOVのパーセンテージを計算すること、または
前記オブジェクトのサブグループ内のオブジェクトに関する等高線マップを計算すること
のうちの少なくとも1つによって計算される、請求項2に記載のシステム。 - 前記ハードウェアプロセッサはさらに、前記仮想円錐と前記FOR内のオブジェクトのグループの中の1つまたはそれを上回るオブジェクトとの間の衝突を検出するようにプログラムされ、前記衝突の検出に応答して、前記ハードウェアプロセッサはさらに、焦点インジケータを前記1つまたはそれを上回るオブジェクトに提示するようにプログラムされる、請求項1−3のいずれか1項に記載のシステム。
- 前記ハードウェアプロセッサは、遮蔽曖昧性解消技法を前記仮想円錐と衝突する1つまたはそれを上回るオブジェクトに適用し、遮蔽されたオブジェクトを識別するようにプログラムされる、請求項4に記載のシステム。
- 前記円錐は、中心光線を備え、前記開口は、前記中心光線を横断する、請求項1−5のいずれか1項に記載のシステム。
- 前記仮想円錐は、近位端を備え、前記近位端は、前記ユーザの眼間の場所、ユーザの腕の一部上の場所、ユーザ入力デバイス上の場所、または前記ユーザの環境内の任意の他の場所のうちの少なくとも1つの場所にアンカリングされる、請求項1−6のいずれか1項に記載のシステム。
- 前記ハードウェアプロセッサはさらに、ユーザ入力デバイスから、前記仮想円錐の深度を深度平面にアンカリングするインジケーションを受信するようにプログラムされ、円錐投射は、前記深度平面内の前記オブジェクトのグループ上に実施される、請求項1−7のいずれか1項に記載のシステム。
- ウェアラブルデバイスのためのオブジェクトと相互作用するための方法であって、前記方法は、
3次元(3D)空間内の第1の位置においてユーザに表示される標的仮想オブジェクトの選択を受信することと、
前記標的仮想オブジェクトに関する移動のインジケーションを受信することと、
前記標的仮想オブジェクトと関連付けられたコンテキスト情報を分析することと、
少なくとも部分的に前記コンテキスト情報に基づいて、前記標的仮想オブジェクトの移動に適用されるための乗数を計算することと、
前記標的仮想オブジェクトに関する移動量を計算することであって、前記移動量は、少なくとも部分的に前記移動のインジケーションおよび前記乗数に基づく、ことと、
前記ユーザに、第2の位置において前記標的仮想オブジェクトを表示することであって、前記第2の位置は、少なくとも部分的に前記第1の位置および前記移動量に基づく、ことと
を含む、方法。 - 前記コンテキスト情報は、前記ユーザから前記標的仮想オブジェクトまでの距離を含む、請求項9に記載の方法。
- 前記乗数は、前記距離の増加に伴って比例して増加する、請求項10に記載の方法。
- 前記移動は、位置変化、速度、または加速のうちの1つまたはそれを上回るものを含む、請求項9−11のいずれか1項に記載の方法。
- 前記移動のインジケーションは、前記ウェアラブルデバイスと関連付けられたユーザ入力デバイスの作動または前記ユーザの姿勢の変化のうちの少なくとも1つを含む、請求項9−12のいずれか1項に記載の方法。
- 前記姿勢は、頭部姿勢、眼姿勢、または身体姿勢のうちの1つまたはそれを上回るものを含む、請求項13に記載の方法。
- ウェアラブルデバイスのためのオブジェクトと相互作用するためのシステムであって、前記システムは、
3次元(3D)ビューをユーザに提示するように構成される、ウェアラブルデバイスのディスプレイシステムであって、前記3Dビューは、標的仮想オブジェクトを備える、ウェアラブルデバイスのディスプレイシステムと、
前記ディスプレイシステムと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記標的仮想オブジェクトに関する移動のインジケーションを受信することと、
前記標的仮想オブジェクトと関連付けられたコンテキスト情報を分析することと、
少なくとも部分的に前記コンテキスト情報に基づいて、前記標的仮想オブジェクトの移動に適用されるための乗数を計算することと、
前記標的仮想オブジェクトに関する移動量を計算することであって、前記移動量は、少なくとも部分的に前記移動のインジケーションおよび前記乗数に基づく、ことと、
前記ディスプレイシステムによって、第2の位置において前記標的仮想オブジェクトを表示すことであって、前記第2の位置は、少なくとも部分的に、前記第1の位置および前記移動量に基づく、ことと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。 - 前記標的仮想オブジェクトの移動のインジケーションは、前記ウェアラブルデバイスのユーザの姿勢の変化または前記ウェアラブルデバイスと関連付けられたユーザ入力デバイスから受信された入力を含む、請求項15に記載のシステム。
- 前記コンテキスト情報は、前記ユーザから前記標的仮想オブジェクトまでの距離を含む、請求項15−16のいずれか1項に記載のシステム。
- 前記乗数は、前記距離が閾値距離未満であるとき、1に等しく、前記閾値距離は、前記ユーザの手が届く範囲と等しい、請求項17に記載のシステム。
- 前記乗数は、前記距離の増加に伴って比例して増加する、請求項17−18のいずれか1項に記載のシステム。
- 前記移動は、位置変化、速度、または加速のうちの1つまたはそれを上回るものを含む、請求項15−19のいずれか1項に記載のシステム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021083134A JP7209041B2 (ja) | 2016-03-31 | 2021-05-17 | 姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用 |
JP2022128859A JP7186913B2 (ja) | 2016-03-31 | 2022-08-12 | 姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662316030P | 2016-03-31 | 2016-03-31 | |
US62/316,030 | 2016-03-31 | ||
US201662325679P | 2016-04-21 | 2016-04-21 | |
US62/325,679 | 2016-04-21 | ||
PCT/US2017/024844 WO2017172982A1 (en) | 2016-03-31 | 2017-03-29 | Interactions with 3d virtual objects using poses and multiple-dof controllers |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021083134A Division JP7209041B2 (ja) | 2016-03-31 | 2021-05-17 | 姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019517049A true JP2019517049A (ja) | 2019-06-20 |
JP2019517049A5 JP2019517049A5 (ja) | 2020-09-10 |
JP6904973B2 JP6904973B2 (ja) | 2021-07-21 |
Family
ID=59961806
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018550396A Active JP6904973B2 (ja) | 2016-03-31 | 2017-03-29 | 姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用 |
JP2021083134A Active JP7209041B2 (ja) | 2016-03-31 | 2021-05-17 | 姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用 |
JP2022128859A Active JP7186913B2 (ja) | 2016-03-31 | 2022-08-12 | 姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用 |
JP2023001014A Pending JP2023052243A (ja) | 2016-03-31 | 2023-01-06 | 姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021083134A Active JP7209041B2 (ja) | 2016-03-31 | 2021-05-17 | 姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用 |
JP2022128859A Active JP7186913B2 (ja) | 2016-03-31 | 2022-08-12 | 姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用 |
JP2023001014A Pending JP2023052243A (ja) | 2016-03-31 | 2023-01-06 | 姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用 |
Country Status (10)
Country | Link |
---|---|
US (7) | US10078919B2 (ja) |
EP (1) | EP3436863A4 (ja) |
JP (4) | JP6904973B2 (ja) |
KR (3) | KR102438052B1 (ja) |
CN (2) | CN114995594A (ja) |
AU (2) | AU2017244109B2 (ja) |
CA (1) | CA3018758A1 (ja) |
IL (3) | IL289973B2 (ja) |
NZ (1) | NZ746640A (ja) |
WO (1) | WO2017172982A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020262923A1 (en) * | 2019-06-27 | 2020-12-30 | Samsung Electronics Co., Ltd. | System and method for generating a mixed reality experience |
DE112021002116T5 (de) | 2020-03-31 | 2023-03-09 | Sony Group Corporation | Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Informationsverarbeitungsprogramm |
Families Citing this family (90)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2905427C (en) * | 2013-03-11 | 2022-07-12 | Magic Leap, Inc. | System and method for augmented and virtual reality |
CN107656618B (zh) | 2013-03-15 | 2021-03-23 | 奇跃公司 | 显示系统和方法 |
JP6344311B2 (ja) * | 2015-05-26 | 2018-06-20 | ソニー株式会社 | 表示装置、情報処理システム及び制御方法 |
CN114995594A (zh) | 2016-03-31 | 2022-09-02 | 奇跃公司 | 使用姿势和多dof控制器与3d虚拟对象的交互 |
WO2018013495A1 (en) * | 2016-07-11 | 2018-01-18 | Gravity Jack, Inc. | Augmented reality methods and devices |
US11269480B2 (en) * | 2016-08-23 | 2022-03-08 | Reavire, Inc. | Controlling objects using virtual rays |
US10692287B2 (en) * | 2017-04-17 | 2020-06-23 | Microsoft Technology Licensing, Llc | Multi-step placement of virtual objects |
KR102652922B1 (ko) | 2017-04-19 | 2024-03-29 | 매직 립, 인코포레이티드 | 웨어러블 시스템을 위한 멀티모달 임무 실행 및 텍스트 편집 |
US11112857B2 (en) * | 2017-04-28 | 2021-09-07 | Sony Interactive Entertainment Inc. | Information processing apparatus, information processing method, and program |
KR102029906B1 (ko) * | 2017-11-10 | 2019-11-08 | 전자부품연구원 | 이동수단의 가상현실 콘텐츠 제공 장치 및 방법 |
KR102040858B1 (ko) | 2017-11-29 | 2019-11-06 | 한국과학기술연구원 | 가상 공간의 인터랙션 분석 시스템 및 방법 |
WO2019127052A1 (zh) * | 2017-12-26 | 2019-07-04 | 深圳市大疆创新科技有限公司 | 一种飞行轨迹原路复演方法及飞行器 |
CN108319363A (zh) * | 2018-01-09 | 2018-07-24 | 北京小米移动软件有限公司 | 基于vr的产品展示方法、装置及电子设备 |
US10855564B2 (en) | 2018-01-15 | 2020-12-01 | Worcester Polytechnic Institute | Visualization of network data as a three-dimensional hierarchical data structure in a mixed reality environment |
US10854003B2 (en) * | 2018-01-15 | 2020-12-01 | Worcester Polytechnic Institute | Visualization of network data as a three-dimensional hierarchical data structure in a mixed reality environment |
US11567627B2 (en) * | 2018-01-30 | 2023-01-31 | Magic Leap, Inc. | Eclipse cursor for virtual content in mixed reality displays |
US10540941B2 (en) | 2018-01-30 | 2020-01-21 | Magic Leap, Inc. | Eclipse cursor for mixed reality displays |
US10565718B2 (en) * | 2018-04-18 | 2020-02-18 | Faro Technologies, Inc. | System and method of scanning an environment |
WO2019213111A1 (en) * | 2018-04-30 | 2019-11-07 | Meta View, Inc. | System and method for presenting virtual content in an interactive space |
EP3797345A4 (en) | 2018-05-22 | 2022-03-09 | Magic Leap, Inc. | TRANSMODAL INPUT FUSION FOR A BODY WEARABLE SYSTEM |
US10984600B2 (en) | 2018-05-25 | 2021-04-20 | Tiff's Treats Holdings, Inc. | Apparatus, method, and system for presentation of multimedia content including augmented reality content |
US10818093B2 (en) | 2018-05-25 | 2020-10-27 | Tiff's Treats Holdings, Inc. | Apparatus, method, and system for presentation of multimedia content including augmented reality content |
US11157159B2 (en) | 2018-06-07 | 2021-10-26 | Magic Leap, Inc. | Augmented reality scrollbar |
US10885709B2 (en) * | 2018-06-14 | 2021-01-05 | Robert Labron | Virtual reality software system and method for treating medical condition in user |
US11733824B2 (en) * | 2018-06-22 | 2023-08-22 | Apple Inc. | User interaction interpreter |
WO2020001792A1 (en) * | 2018-06-29 | 2020-01-02 | Huawei Technologies Co., Ltd. | Device and method for displaying a 3d image |
EP3599539B1 (en) * | 2018-07-26 | 2023-08-23 | Nokia Technologies Oy | Rendering objects in virtual views |
US10861249B2 (en) | 2018-07-27 | 2020-12-08 | The Q Digital Technologies, Inc. | Methods and system for manipulating digital assets on a three-dimensional viewing platform |
US11141645B2 (en) | 2018-09-11 | 2021-10-12 | Real Shot Inc. | Athletic ball game using smart glasses |
US11103763B2 (en) | 2018-09-11 | 2021-08-31 | Real Shot Inc. | Basketball shooting game using smart glasses |
WO2020059277A1 (ja) * | 2018-09-20 | 2020-03-26 | 富士フイルム株式会社 | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
ES2716012B2 (es) * | 2018-09-28 | 2020-07-22 | Univ Leon | Sistema y metodo de interaccion en entornos virtuales utilizando dispositivos hapticos |
KR20200094396A (ko) * | 2019-01-30 | 2020-08-07 | 삼성전자주식회사 | 전자 장치 및 복수의 액션들을 포함하는 태스크를 결정하는 방법 |
US10895949B2 (en) * | 2019-02-22 | 2021-01-19 | Htc Corporation | Head mounted display and display method for eye-tracking cursor |
CN111752425B (zh) * | 2019-03-27 | 2022-02-15 | 北京外号信息技术有限公司 | 用于选择在设备的显示媒介上的交互对象的方法 |
CN110287764B (zh) * | 2019-05-06 | 2022-01-11 | 深圳大学 | 姿势预测方法、装置、计算机设备和存储介质 |
CN110162178A (zh) * | 2019-05-22 | 2019-08-23 | 努比亚技术有限公司 | 说明信息的展示方法、可穿戴设备以及存储介质 |
DE102019207803A1 (de) * | 2019-05-28 | 2020-12-03 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Registrierungseinrichtung, Verfahren zum Registrieren, entsprechendes Computerprogramm und computerlesbares Speichermedium |
CN111857367B (zh) * | 2019-07-10 | 2023-06-27 | 深圳市工匠社科技有限公司 | 虚拟角色控制方法及装置 |
US10841483B1 (en) * | 2019-07-11 | 2020-11-17 | Denso International America, Inc. | System and method for calibrating at least one camera and a light detection and ranging sensor |
KR102614496B1 (ko) * | 2019-08-09 | 2023-12-15 | 엘지전자 주식회사 | Xr 디바이스 및 그 제어 방법 |
US20210063745A1 (en) * | 2019-08-27 | 2021-03-04 | Apple Inc. | Transparent Display System With Peripheral Illumination |
US11189099B2 (en) | 2019-09-20 | 2021-11-30 | Facebook Technologies, Llc | Global and local mode virtual object interactions |
US10802600B1 (en) * | 2019-09-20 | 2020-10-13 | Facebook Technologies, Llc | Virtual interactions at a distance |
US10991163B2 (en) | 2019-09-20 | 2021-04-27 | Facebook Technologies, Llc | Projection casting in virtual environments |
US11176745B2 (en) | 2019-09-20 | 2021-11-16 | Facebook Technologies, Llc | Projection casting in virtual environments |
US11170576B2 (en) | 2019-09-20 | 2021-11-09 | Facebook Technologies, Llc | Progressive display of virtual objects |
US11086406B1 (en) | 2019-09-20 | 2021-08-10 | Facebook Technologies, Llc | Three-state gesture virtual controls |
WO2021073733A1 (en) * | 2019-10-16 | 2021-04-22 | Supsi | Method for controlling a device by a human |
US11086476B2 (en) * | 2019-10-23 | 2021-08-10 | Facebook Technologies, Llc | 3D interactions with web content |
US11493989B2 (en) * | 2019-11-08 | 2022-11-08 | Magic Leap, Inc. | Modes of user interaction |
US11175730B2 (en) | 2019-12-06 | 2021-11-16 | Facebook Technologies, Llc | Posture-based virtual space configurations |
US11475639B2 (en) | 2020-01-03 | 2022-10-18 | Meta Platforms Technologies, Llc | Self presence in artificial reality |
US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
US11294461B2 (en) * | 2020-01-24 | 2022-04-05 | Magic Leap, Inc. | Content movement and interaction using a single controller |
JP7455985B2 (ja) | 2020-02-10 | 2024-03-26 | マジック リープ, インコーポレイテッド | 複合現実環境における3次元コンテナに対する身体中心コンテンツ位置付け |
WO2021163354A1 (en) * | 2020-02-14 | 2021-08-19 | Magic Leap, Inc. | Virtual object movement speed curve for virtual and augmented reality display systems |
WO2021173839A1 (en) * | 2020-02-26 | 2021-09-02 | Magic Leap, Inc. | Hand gesture input for wearable system |
CN115244493A (zh) * | 2020-02-27 | 2022-10-25 | 奇跃公司 | 用于大规模环境重建的交叉现实系统 |
CN111383348A (zh) * | 2020-03-17 | 2020-07-07 | 北京理工大学 | 一种虚拟现实远程同步控制机器人的方法 |
US11455078B1 (en) | 2020-03-31 | 2022-09-27 | Snap Inc. | Spatial navigation and creation interface |
US11257280B1 (en) * | 2020-05-28 | 2022-02-22 | Facebook Technologies, Llc | Element-based switching of ray casting rules |
CN111651048B (zh) * | 2020-06-08 | 2024-01-05 | 浙江商汤科技开发有限公司 | 多虚拟对象排列展示方法、装置、电子设备及存储介质 |
US11256336B2 (en) | 2020-06-29 | 2022-02-22 | Facebook Technologies, Llc | Integration of artificial reality interaction modes |
ES2894178B2 (es) * | 2020-08-07 | 2022-09-13 | Ascasibar Ioritz Hontecillas | Sistema de generación de gráficos en tres dimensiones |
WO2022040195A1 (en) * | 2020-08-19 | 2022-02-24 | Sauers Jason | Augmented reality targeting system |
US11176755B1 (en) | 2020-08-31 | 2021-11-16 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
US11227445B1 (en) | 2020-08-31 | 2022-01-18 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
US11178376B1 (en) | 2020-09-04 | 2021-11-16 | Facebook Technologies, Llc | Metering for display modes in artificial reality |
CN116719413A (zh) * | 2020-09-11 | 2023-09-08 | 苹果公司 | 用于操纵环境中的对象的方法 |
CN112198962B (zh) * | 2020-09-30 | 2023-04-28 | 聚好看科技股份有限公司 | 一种与虚拟现实设备交互的方法及虚拟现实设备 |
US11113893B1 (en) | 2020-11-17 | 2021-09-07 | Facebook Technologies, Llc | Artificial reality environment with glints displayed by an extra reality device |
US11782577B2 (en) | 2020-12-22 | 2023-10-10 | Snap Inc. | Media content player on an eyewear device |
US11461973B2 (en) | 2020-12-22 | 2022-10-04 | Meta Platforms Technologies, Llc | Virtual reality locomotion via hand gesture |
US11797162B2 (en) | 2020-12-22 | 2023-10-24 | Snap Inc. | 3D painting on an eyewear device |
US11409405B1 (en) | 2020-12-22 | 2022-08-09 | Facebook Technologies, Llc | Augment orchestration in an artificial reality environment |
US11294475B1 (en) | 2021-02-08 | 2022-04-05 | Facebook Technologies, Llc | Artificial reality multi-modal input switching model |
US20220253136A1 (en) * | 2021-02-11 | 2022-08-11 | Apple Inc. | Methods for presenting and sharing content in an environment |
EP4089506A1 (en) * | 2021-05-10 | 2022-11-16 | Facebook Technologies, LLC | Element-based switching of ray casting rules |
US11762952B2 (en) | 2021-06-28 | 2023-09-19 | Meta Platforms Technologies, Llc | Artificial reality application lifecycle |
US11295503B1 (en) | 2021-06-28 | 2022-04-05 | Facebook Technologies, Llc | Interactive avatars in artificial reality |
US20230083302A1 (en) * | 2021-09-12 | 2023-03-16 | Sony Interactive Entertainment Inc. | Local environment scanning to characterize physical environment for use in vr/ar |
US11748944B2 (en) | 2021-10-27 | 2023-09-05 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
US11798247B2 (en) | 2021-10-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
US20230333643A1 (en) * | 2022-03-30 | 2023-10-19 | Apple Inc. | Eye Tracking Based Selection of a User Interface (UI) Element Based on Targeting Criteria |
US20230367611A1 (en) * | 2022-05-10 | 2023-11-16 | Meta Platforms Technologies, Llc | World-Controlled and Application-Controlled Augments in an Artificial-Reality Environment |
US20230385790A1 (en) * | 2022-05-24 | 2023-11-30 | Flybits Inc. | Decentralized, open banking, contextual decision support tool for virtual, augmented, and mixed reality |
CN115344121A (zh) * | 2022-08-10 | 2022-11-15 | 北京字跳网络技术有限公司 | 用于处理手势事件的方法、装置、设备和存储介质 |
CN115328309A (zh) * | 2022-08-10 | 2022-11-11 | 北京字跳网络技术有限公司 | 用于虚拟对象的交互方法、装置、设备和存储介质 |
US11947862B1 (en) | 2022-12-30 | 2024-04-02 | Meta Platforms Technologies, Llc | Streaming native application content to artificial reality devices |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001522498A (ja) * | 1998-02-21 | 2001-11-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 仮想環境における注意に基づく相互作用 |
JP2002170131A (ja) * | 2000-11-30 | 2002-06-14 | Konami Co Ltd | 画像処理装置、画像処理方法及び情報記憶媒体 |
US20090293012A1 (en) * | 2005-06-09 | 2009-11-26 | Nav3D Corporation | Handheld synthetic vision device |
WO2014208689A1 (ja) * | 2013-06-26 | 2014-12-31 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、情報処理装置の制御方法、プログラム及び情報記憶媒体 |
JP2015503141A (ja) * | 2011-10-28 | 2015-01-29 | マジック リープ, インコーポレイテッド | 拡張現実および仮想現実のためのシステムおよび方法 |
US20150061992A1 (en) * | 2013-09-05 | 2015-03-05 | Atheer, Inc. | Method and apparatus for manipulating content in an interface |
KR20150084485A (ko) * | 2014-01-14 | 2015-07-22 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어 방법 |
Family Cites Families (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04372012A (ja) | 1991-06-20 | 1992-12-25 | Fuji Xerox Co Ltd | 入力装置 |
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
JP3822357B2 (ja) | 1998-02-09 | 2006-09-20 | 株式会社東芝 | マルチモーダル入出力装置のインタフェース装置及びその方法 |
GB2376397A (en) * | 2001-06-04 | 2002-12-11 | Hewlett Packard Co | Virtual or augmented reality |
USD514570S1 (en) | 2004-06-24 | 2006-02-07 | Microsoft Corporation | Region of a fingerprint scanning device with an illuminated ring |
WO2006073936A2 (en) * | 2005-01-04 | 2006-07-13 | Qmotions, Inc. | Baseball simulation device |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US20070222746A1 (en) * | 2006-03-23 | 2007-09-27 | Accenture Global Services Gmbh | Gestural input for navigation and manipulation in virtual space |
JP2010033296A (ja) * | 2008-07-28 | 2010-02-12 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
US8266536B2 (en) * | 2008-11-20 | 2012-09-11 | Palo Alto Research Center Incorporated | Physical-virtual environment interface |
JP2010218195A (ja) | 2009-03-17 | 2010-09-30 | Cellius Inc | 画像生成システム、プログラム、情報記憶媒体、及びサーバシステム |
US20110161060A1 (en) * | 2009-12-29 | 2011-06-30 | Changkyu Kim | Optimization-Based exact formulation and solution of crowd simulation in virtual worlds |
US8704879B1 (en) * | 2010-08-31 | 2014-04-22 | Nintendo Co., Ltd. | Eye tracking enabling 3D viewing on conventional 2D display |
US9122053B2 (en) * | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
US9292973B2 (en) * | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
KR101997852B1 (ko) | 2010-12-24 | 2019-10-01 | 매직 립, 인코포레이티드 | 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템 |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
JP5565331B2 (ja) | 2011-01-28 | 2014-08-06 | コニカミノルタ株式会社 | 表示システム、表示処理装置、表示方法、および表示プログラム |
WO2012135553A1 (en) | 2011-03-29 | 2012-10-04 | Qualcomm Incorporated | Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking |
US20120264510A1 (en) * | 2011-04-12 | 2012-10-18 | Microsoft Corporation | Integrated virtual environment |
CN103635891B (zh) | 2011-05-06 | 2017-10-27 | 奇跃公司 | 大量同时远程数字呈现世界 |
US20120320080A1 (en) * | 2011-06-14 | 2012-12-20 | Microsoft Corporation | Motion based virtual object navigation |
WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
US20130104085A1 (en) | 2011-10-21 | 2013-04-25 | Digital Artforms, Inc. | Systems and methods for human-computer interaction using a two handed interface |
US8950867B2 (en) | 2011-11-23 | 2015-02-10 | Magic Leap, Inc. | Three dimensional virtual and augmented reality display system |
US20130215230A1 (en) | 2012-02-22 | 2013-08-22 | Matt Miesnieks | Augmented Reality System Using a Portable Device |
US8878840B2 (en) * | 2012-03-06 | 2014-11-04 | Autodesk, Inc. | Devices and methods for displaying a sub-section of a virtual model |
EP2841991B1 (en) | 2012-04-05 | 2020-01-08 | Magic Leap, Inc. | Wide-field of view (fov) imaging devices with active foveation capability |
AU2013274359B2 (en) | 2012-06-11 | 2017-05-25 | Magic Leap, Inc. | Multiple depth plane three-dimensional display using a wave guide reflector array projector |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
CA2884663A1 (en) | 2012-09-11 | 2014-03-20 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
US20140152558A1 (en) * | 2012-11-30 | 2014-06-05 | Tom Salter | Direct hologram manipulation using imu |
KR20140082266A (ko) * | 2012-12-24 | 2014-07-02 | 한국전자통신연구원 | 혼합현실 콘텐츠 시뮬레이션 시스템 |
CN105122105B (zh) | 2013-01-15 | 2018-06-15 | 奇跃公司 | 超高分辨率扫描光纤显示器 |
US9632658B2 (en) * | 2013-01-15 | 2017-04-25 | Leap Motion, Inc. | Dynamic user interactions for display control and scaling responsiveness of display objects |
US9202313B2 (en) | 2013-01-21 | 2015-12-01 | Microsoft Technology Licensing, Llc | Virtual interaction with image projection |
US20140240351A1 (en) * | 2013-02-27 | 2014-08-28 | Michael Scavezze | Mixed reality augmentation |
CA2905427C (en) | 2013-03-11 | 2022-07-12 | Magic Leap, Inc. | System and method for augmented and virtual reality |
CN107656618B (zh) | 2013-03-15 | 2021-03-23 | 奇跃公司 | 显示系统和方法 |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9329682B2 (en) | 2013-06-18 | 2016-05-03 | Microsoft Technology Licensing, Llc | Multi-step virtual object selection |
US9129430B2 (en) * | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
CN105829953B (zh) | 2013-10-16 | 2019-05-28 | 奇跃公司 | 具有可调节的瞳距的虚拟或增强现实头戴设备 |
JPWO2015059976A1 (ja) | 2013-10-24 | 2017-03-09 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US9652892B2 (en) * | 2013-10-29 | 2017-05-16 | Microsoft Technology Licensing, Llc | Mixed reality spotlight |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
KR102651578B1 (ko) * | 2013-11-27 | 2024-03-25 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
EP3100098B8 (en) | 2014-01-31 | 2022-10-05 | Magic Leap, Inc. | Multi-focal display system and method |
EP3100099B1 (en) | 2014-01-31 | 2020-07-01 | Magic Leap, Inc. | Multi-focal display system and method |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
EP3382443B1 (en) * | 2014-03-21 | 2023-07-26 | Samsung Electronics Co., Ltd. | Head-mounted display and method of operating the same |
KR102173699B1 (ko) | 2014-05-09 | 2020-11-03 | 아이플루언스, 인크. | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
USD759657S1 (en) | 2014-05-19 | 2016-06-21 | Microsoft Corporation | Connector with illumination region |
AU2015266586B2 (en) | 2014-05-30 | 2020-07-23 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
US20170220225A1 (en) | 2014-06-02 | 2017-08-03 | Apelab Sarl | A method and system for providing interactivity within a virtual environment |
USD752529S1 (en) | 2014-06-09 | 2016-03-29 | Comcast Cable Communications, Llc | Electronic housing with illuminated region |
US20150378440A1 (en) | 2014-06-27 | 2015-12-31 | Microsoft Technology Licensing, Llc | Dynamically Directing Interpretation of Input Data Based on Contextual Information |
US9766460B2 (en) * | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
US9990774B2 (en) | 2014-08-08 | 2018-06-05 | Sony Interactive Entertainment Inc. | Sensory stimulus management in head mounted display |
US10740971B2 (en) * | 2015-01-20 | 2020-08-11 | Microsoft Technology Licensing, Llc | Augmented reality field of view object follower |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
US9965697B2 (en) * | 2015-05-18 | 2018-05-08 | Intel Corporation | Head pose determination using a camera and a distance determination |
CN107683497B (zh) | 2015-06-15 | 2022-04-08 | 索尼公司 | 信息处理设备、信息处理方法及程序 |
USD805734S1 (en) | 2016-03-04 | 2017-12-26 | Nike, Inc. | Shirt |
USD794288S1 (en) | 2016-03-11 | 2017-08-15 | Nike, Inc. | Shoe with illuminable sole light sequence |
CN114995594A (zh) | 2016-03-31 | 2022-09-02 | 奇跃公司 | 使用姿势和多dof控制器与3d虚拟对象的交互 |
US10388077B2 (en) | 2017-04-25 | 2019-08-20 | Microsoft Technology Licensing, Llc | Three-dimensional environment authoring and generation |
-
2017
- 2017-03-29 CN CN202210649442.3A patent/CN114995594A/zh active Pending
- 2017-03-29 CA CA3018758A patent/CA3018758A1/en active Pending
- 2017-03-29 JP JP2018550396A patent/JP6904973B2/ja active Active
- 2017-03-29 CN CN201780033339.3A patent/CN109196447B/zh active Active
- 2017-03-29 KR KR1020187031477A patent/KR102438052B1/ko active IP Right Grant
- 2017-03-29 IL IL289973A patent/IL289973B2/en unknown
- 2017-03-29 US US15/473,444 patent/US10078919B2/en active Active
- 2017-03-29 KR KR1020227029325A patent/KR102551198B1/ko active IP Right Grant
- 2017-03-29 EP EP17776592.2A patent/EP3436863A4/en active Pending
- 2017-03-29 WO PCT/US2017/024844 patent/WO2017172982A1/en active Application Filing
- 2017-03-29 AU AU2017244109A patent/AU2017244109B2/en active Active
- 2017-03-29 NZ NZ746640A patent/NZ746640A/en unknown
- 2017-03-29 KR KR1020237021779A patent/KR20230098927A/ko not_active Application Discontinuation
- 2017-03-29 IL IL303608A patent/IL303608A/en unknown
-
2018
- 2018-08-02 US US16/053,620 patent/US10417831B2/en active Active
- 2018-09-20 IL IL261890A patent/IL261890B/en unknown
-
2019
- 2019-08-02 US US16/530,901 patent/US10510191B2/en active Active
- 2019-11-13 US US16/682,851 patent/US10733806B2/en active Active
-
2020
- 2020-06-24 US US16/911,166 patent/US11049328B2/en active Active
-
2021
- 2021-05-17 JP JP2021083134A patent/JP7209041B2/ja active Active
- 2021-06-28 US US17/361,059 patent/US11657579B2/en active Active
-
2022
- 2022-08-12 JP JP2022128859A patent/JP7186913B2/ja active Active
- 2022-08-31 AU AU2022224790A patent/AU2022224790A1/en not_active Abandoned
-
2023
- 2023-01-06 JP JP2023001014A patent/JP2023052243A/ja active Pending
- 2023-04-11 US US18/298,983 patent/US20230245406A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001522498A (ja) * | 1998-02-21 | 2001-11-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 仮想環境における注意に基づく相互作用 |
JP2002170131A (ja) * | 2000-11-30 | 2002-06-14 | Konami Co Ltd | 画像処理装置、画像処理方法及び情報記憶媒体 |
US20090293012A1 (en) * | 2005-06-09 | 2009-11-26 | Nav3D Corporation | Handheld synthetic vision device |
JP2015503141A (ja) * | 2011-10-28 | 2015-01-29 | マジック リープ, インコーポレイテッド | 拡張現実および仮想現実のためのシステムおよび方法 |
WO2014208689A1 (ja) * | 2013-06-26 | 2014-12-31 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、情報処理装置の制御方法、プログラム及び情報記憶媒体 |
US20150061992A1 (en) * | 2013-09-05 | 2015-03-05 | Atheer, Inc. | Method and apparatus for manipulating content in an interface |
KR20150084485A (ko) * | 2014-01-14 | 2015-07-22 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어 방법 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020262923A1 (en) * | 2019-06-27 | 2020-12-30 | Samsung Electronics Co., Ltd. | System and method for generating a mixed reality experience |
US11533468B2 (en) | 2019-06-27 | 2022-12-20 | Samsung Electronics Co., Ltd. | System and method for generating a mixed reality experience |
DE112021002116T5 (de) | 2020-03-31 | 2023-03-09 | Sony Group Corporation | Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Informationsverarbeitungsprogramm |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7186913B2 (ja) | 姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用 | |
JP7407219B2 (ja) | 3次元空間内の仮想オブジェクトの自動配置 | |
JP7116166B2 (ja) | 拡張現実システムのための仮想レチクル | |
JP7118007B2 (ja) | 視野周辺の視覚的背光 | |
JP2022097726A (ja) | 複合現実環境における仮想ユーザ入力制御 | |
NZ786547A (en) | Interactions with 3d virtual objects using poses and multiple-dof controllers | |
NZ786551A (en) | Interactions with 3d virtual objects using poses and multiple-dof controllers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181127 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200731 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210527 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210623 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210624 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6904973 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |