JP2021514089A - 物理的操作を用いたオブジェクト作成 - Google Patents
物理的操作を用いたオブジェクト作成 Download PDFInfo
- Publication number
- JP2021514089A JP2021514089A JP2020544237A JP2020544237A JP2021514089A JP 2021514089 A JP2021514089 A JP 2021514089A JP 2020544237 A JP2020544237 A JP 2020544237A JP 2020544237 A JP2020544237 A JP 2020544237A JP 2021514089 A JP2021514089 A JP 2021514089A
- Authority
- JP
- Japan
- Prior art keywords
- user
- interactable
- interactable object
- user interaction
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 209
- 230000003993 interaction Effects 0.000 claims abstract description 165
- 230000015654 memory Effects 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 description 52
- 230000000875 corresponding effect Effects 0.000 description 47
- 238000013507 mapping Methods 0.000 description 41
- 238000013459 approach Methods 0.000 description 34
- 238000009434 installation Methods 0.000 description 23
- 230000008859 change Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 230000001052 transient effect Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 238000009877 rendering Methods 0.000 description 8
- 241000699666 Mus <mouse, genus> Species 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000010422 painting Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 206010027646 Miosis Diseases 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 2
- 208000006550 Mydriasis Diseases 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003547 miosis Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001074085 Scophthalmus aquosus Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006886 spatial memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Databases & Information Systems (AREA)
- Architecture (AREA)
- Data Mining & Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Preparation Of Compounds By Using Micro-Organisms (AREA)
- Medicines Containing Material From Animals Or Micro-Organisms (AREA)
- Control And Other Processes For Unpacking Of Materials (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本開示は、2018年2月22日に出願され、「Window Creation With Physical Manipulation」と題された、米国仮出願第62/634,007号、および2018年5月1日に出願され、「Object Creation With Physical Manipulation」と題された、第62/665,251号の優先権を主張する。本開示は、2017年5月1日に出願され、「Spatially Deconstructed Browser」と題された、米国仮出願第62/492,292号に関連する。前述の特許出願の内容は、完全に記載される場合と同様に、参照することによってその全体として本明細書に明示的かつ完全に組み込まれる。
本開示は、空間3D環境内にブラウジング技術を実装するためのシステムおよび方法に関する。
ウェブページ分解
本発明のいくつかの実施形態は、オブジェクトの作成、物理的ナビゲーション、および操作を提供するためのアプローチを対象とする。ユーザとの相互作用の範囲を、オブジェクトを操作するために従来のマウス/キーボードタイプの相互作用の使用を伴う、2D空間内に表示されるオブジェクトの表現のみに限定する、既知のコンピューティングシステムと異なり、本実施形態は、コンピューティングシステムとの物理的相互作用を可能にする、3D空間内のユーザによる相互作用に関する。これは、ユーザが、物理的移動およびジェスチャを利用して、双方向環境内のオブジェクトの移動および設置を制御することを可能にする。
本開示の付加的実施形態が、下記に説明される。これらの付加的実施形態は、上記に開示される実施形態からの要素を組み込んでもよく、これらの付加的実施形態の要素は、上記に開示される実施形態の中に組み込まれてもよい。
1.
方法であって、
相互作用可能オブジェクトを識別するステップと、
相互作用可能オブジェクトに対応するユーザの物理的移動を識別するステップと、
ユーザの物理的移動に基づいて、相互作用可能オブジェクトと関連付けられたデータに関する座標場所を決定するステップと、
相互作用可能オブジェクトと関連付けられたデータをユーザの物理的移動に対応する座標場所に設置するステップと、
を含む、方法。
2.
ユーザ入力デバイスが、ユーザの物理的移動を検出するために採用される、実施形態1に記載の方法。
3.
ユーザ入力デバイスは、触覚的コントローラである、実施形態2に記載の方法。
4.
触覚的コントローラは、少なくとも6自由度を有する、トーテムデバイスに対応する、実施形態3に記載の方法。
5.
ユーザの物理的移動は、触覚的コントローラと関連付けられた処理システムにおいて、イベントオブジェクトに変換され、イベントオブジェクトは、触覚的コントローラの移動または位置付けを示すデータに相関する、実施形態3に記載の方法。
6.
相互作用可能オブジェクトに関する座標場所は、ユーザの物理的移動後、トリガが触覚的コントローラに関して解放された場所を識別することによって決定される、実施形態3に記載の方法。
7.
ユーザ入力デバイスは、ユーザジェスチャを検出するためのカメラである、実施形態2に記載の方法。
8.
開くための相互作用可能オブジェクトは、ユーザの身体の一部と相互作用する、リンクを識別することによって識別される、実施形態1に記載の方法。
9.
リンクと関連付けられたURLに関するコンテンツにアクセスすることによって、リンクのプレビューが、生成される、実施形態8に記載の方法。
10.
ユーザの物理的移動は、プレビューの物理的移動に対応する、実施形態9に記載の方法。
11.
相互作用可能オブジェクトは、コンピューティングデバイスの単一ユーザ相互作用を用いて、開くことと、設置することとの両方が、行われる、実施形態1に記載の方法。
12.
相互作用可能オブジェクトに関する配向が、
座標場所の面法線を決定するステップと、
相互作用可能オブジェクトと関連付けられたデータの配向を決定するステップと、
座標場所の面法線と相互作用可能オブジェクトと関連付けられたデータの配向を整合させるステップと、
によって決定される、実施形態1に記載の方法。
13.
相互作用可能オブジェクトは、ウォールハンギングを備える、実施形態1に記載の方法。
14.
システムであって、
3次元コンテンツを表示するように構成される、複合現実ディスプレイデバイスと、
ユーザの物理的移動を検出するように構成される、ユーザ入力デバイスと、
データをユーザ入力デバイスから受信し、処理する、プロセッサと、
プロセッサによって実行可能なプログラマブルコードを保持するためのメモリであって、プログラマブルコードは、相互作用可能オブジェクトを識別するステップと、相互作用可能オブジェクトに対応するユーザの物理的移動を識別するステップと、ユーザの物理的移動に基づいて、相互作用可能オブジェクトと関連付けられたデータに関する座標場所を決定するステップと、相互作用可能オブジェクトと関連付けられたデータをユーザの物理的移動に対応する座標場所に設置するステップと、のための命令を含む、メモリと、
を備える、システム。
15.
ユーザ入力デバイスは、触覚的コントローラである、実施形態14に記載のシステム。
16.
触覚的コントローラは、少なくとも6自由度を有する、トーテムデバイスに対応する、実施形態15に記載のシステム。
17.
ユーザの物理的移動は、プロセッサにおいて、イベントオブジェクトに変換され、イベントオブジェクトは、触覚的コントローラの移動または位置付けを示すデータに相関する、実施形態15に記載のシステム。
18.
相互作用可能オブジェクトに関する座標場所は、ユーザの物理的移動後、トリガが触覚的コントローラに関して解放された場所を識別することによって決定される、実施形態15に記載のシステム。
19.
ユーザ入力デバイスは、ユーザジェスチャを検出するためのカメラである、実施形態14に記載のシステム。
20.
開くための相互作用可能オブジェクトは、ユーザの身体の一部と相互作用する、リンクを識別することによって識別される、実施形態14に記載のシステム。
21.
リンクと関連付けられたURLに関するコンテンツにアクセスすることによって、リンクのプレビューが、生成される、実施形態20に記載のシステム。
22.
ユーザの物理的移動は、プレビューの物理的移動に対応する、実施形態20に記載のシステム。
23.
相互作用可能オブジェクトは、ウォールハンギングを備える、実施形態14に記載のシステム。
24.
プログラマブルコードはさらに、
座標場所の面法線を決定するステップと、
相互作用可能オブジェクトと関連付けられたデータの配向を決定するステップと、
座標場所の面法線と相互作用可能オブジェクトと関連付けられたデータの配向を整合させるステップと、
によって、相互作用可能オブジェクトに関する配向を決定するための命令を含む、実施形態14に記載のシステム。
25.
コンピュータ可読媒体上に具現化されるコンピュータプログラム製品であって、コンピュータ可読媒体は、その上に記憶される命令のシーケンスを有し、プロセッサによって実行されると、プロセッサに、
相互作用可能オブジェクトを識別するステップと、
相互作用可能オブジェクトに対応するユーザの物理的移動を識別するステップと、
ユーザの物理的移動に基づいて、相互作用可能オブジェクトと関連付けられたデータに関する座標場所を決定するステップと、
相互作用可能オブジェクトと関連付けられたデータをユーザの物理的移動に対応する座標場所に設置するステップと、
を含む、方法を実行させる、コンピュータプログラム製品。
26.
ユーザ入力デバイスが、ウィンドウに対応するユーザの物理的移動を検出するために採用される、実施形態25に記載のコンピュータプログラム製品。
27.
ユーザ入力デバイスは、触覚的コントローラである、実施形態26に記載のコンピュータプログラム製品。
28.
触覚的コントローラは、少なくとも6自由度を有する、トーテムデバイスに対応する、実施形態27に記載のコンピュータプログラム製品。
29.
ユーザの物理的移動は、触覚的コントローラと関連付けられた処理システムにおいて、イベントオブジェクトに変換され、イベントオブジェクトは、触覚的コントローラの移動または位置付けを示すデータに相関する、実施形態27に記載のコンピュータプログラム製品。
30.
相互作用可能オブジェクトに関する座標場所は、ユーザの物理的移動後、トリガが触覚的コントローラに関して解放された場所を識別することによって決定される、実施形態27に記載のコンピュータプログラム製品。
31.
ユーザ入力デバイスは、ユーザジェスチャを検出するためのカメラである、実施形態26に記載のコンピュータプログラム製品。
32.
開くためのウィンドウは、ユーザの身体の一部と相互作用する、リンクを識別することによって識別される、実施形態25に記載のコンピュータプログラム製品。
33.
リンクと関連付けられたURLに関するコンテンツにアクセスすることによって、リンクのプレビューが、生成される、実施形態32に記載のコンピュータプログラム製品。
34.
ユーザの物理的移動は、プレビューの物理的移動に対応する、実施形態33に記載のコンピュータプログラム製品。
35.
相互作用可能オブジェクトは、コンピューティングデバイスの単一ユーザ相互作用を用いて、開くことと、設置することとの両方が、行われる、実施形態25に記載のコンピュータプログラム製品。
36.
単一ユーザ相互作用は、コンピューティングデバイス上のボタンの単回押下を含む、実施形態35に記載のコンピュータプログラム製品。
37.
命令のシーケンスはさらに、
座標場所の面法線を決定するステップと、
相互作用可能オブジェクトと関連付けられたデータの配向を決定するステップと、
座標場所の面法線と相互作用可能オブジェクトと関連付けられたデータの配向を整合させるステップと、
によって、相互作用可能オブジェクトに関する配向を決定する、実施形態25に記載のコンピュータプログラム製品。
38.
方法であって、
ユーザ相互作用の開始時に、相互作用可能オブジェクトの選択を示すデータを受信するステップと、
相互作用可能オブジェクトとのユーザ相互作用の終了を示すデータを受信するステップと、
ユーザ相互作用の終了時の相互作用可能オブジェクトの場所を決定するステップと、
相互作用可能オブジェクトと関連付けられたデータをユーザ相互作用の終了時の相互作用可能オブジェクトの場所に設置するステップと、
を含む、方法。
39.
ユーザ入力デバイスが、相互作用可能オブジェクトの選択を示すデータと、相互作用可能オブジェクトとのユーザ相互作用の終了を示すデータとを提供するステップをさらに含む、実施形態38に記載の方法。
40.
ユーザ入力デバイスは、触覚的コントローラである、実施形態39に記載の方法。
41.
触覚的コントローラは、少なくとも6自由度を有する、トーテムデバイスに対応する、実施形態40に記載の方法。
42.
ユーザの物理的移動は、触覚的コントローラと関連付けられた処理システムにおいて、イベントオブジェクトに変換され、イベントオブジェクトは、触覚的コントローラの移動または位置付けに関するデータに相関する、実施形態40に記載の方法。
43.
ユーザ相互作用の終了時の相互作用可能オブジェクトの場所は、相互作用可能オブジェクトの選択後、トリガが触覚的コントローラに関して解放された場所を識別することによって決定される、実施形態40に記載の方法。
44.
ユーザ入力デバイスは、ユーザジェスチャを検出するためのカメラである、実施形態39に記載の方法。
45.
相互作用可能オブジェクトの選択を示すデータは、選択ジェスチャに対応する、実施形態44に記載の方法。
46.
相互作用可能オブジェクトとのユーザ相互作用の終了を示すデータは、解放ジェスチャに対応する、実施形態44に記載の方法。
47.
相互作用可能オブジェクトの選択を示すデータは、リンクと相互作用する、ユーザの身体の少なくとも一部に対応する、実施形態38に記載の方法。
48.
リンクと関連付けられたURLに関するコンテンツにアクセスすることによって、リンクのプレビューが、生成される、実施形態47に記載の方法。
49.
ユーザの物理的移動を示すデータを受信するステップをさらに含み、ユーザの物理的移動は、プレビューの物理的移動に対応する、実施形態48に記載の方法。
50.
相互作用可能オブジェクトは、ユーザ相互作用を用いることで、開かれることと、設置されることとの両方が、行われる、実施形態38に記載の方法。
51.
相互作用可能オブジェクトに関する配向が、ユーザ相互作用の終了時の相互作用可能オブジェクトの場所の面法線を決定するステップと、
相互作用可能オブジェクトと関連付けられたデータの配向を決定するステップと、
座標場所の面法線と相互作用可能オブジェクトと関連付けられたデータの配向を整合させるステップと、
によって決定される、実施形態38に記載の方法。
52.
相互作用可能オブジェクトは、ウォールハンギングを備える、実施形態39に記載の方法。
53.
方法であって、
ユーザ相互作用の開始時に、相互作用可能オブジェクトの選択を示すデータを受信するステップと、
相互作用可能オブジェクトとのユーザ相互作用の終了を示すデータを受信するステップと、
ユーザ相互作用の終了時の相互作用可能オブジェクトの場所を決定するステップと、
ユーザ相互作用の終了時の相互作用可能オブジェクトの場所が相互作用可能オブジェクトの初期プリズム外にあるとき、ユーザ相互作用の終了時に、
相互作用可能オブジェクトと関連付けられたデータのための新しいプリズムを作成するステップと、
を含む、方法。
54.
相互作用可能オブジェクトが初期プリズムの境界外に位置するときのユーザ相互作用の開始と終了との間に、相互作用可能オブジェクトと関連付けられたデータの視覚的プレビューを相互作用可能オブジェクトの場所に表示するステップをさらに含む、実施形態53に記載の方法。
55.
ユーザ入力デバイスが、相互作用可能オブジェクトの選択を示すデータと、相互作用可能オブジェクトとのユーザ相互作用の終了を示すデータとを提供するステップをさらに含む、実施形態53に記載の方法。
56.
ユーザ入力デバイスは、触覚的コントローラである、実施形態55に記載の方法。
57.
触覚的コントローラは、少なくとも6自由度を有する、トーテムデバイスに対応する、実施形態56に記載の方法。
58.
ユーザの物理的移動は、触覚的コントローラと関連付けられた処理システムにおいて、イベントオブジェクトに変換され、イベントオブジェクトは、触覚的コントローラの移動または位置付けに関するデータに相関する、実施形態56に記載の方法。
59.
ユーザ相互作用の終了時の相互作用可能オブジェクトの場所は、相互作用可能オブジェクトの選択後、トリガが触覚的コントローラに関して解放された場所を識別することによって決定される、実施形態56に記載の方法。
60.
ユーザ入力デバイスは、ユーザジェスチャを検出するためのカメラである、実施形態55に記載の方法。
61.
相互作用可能オブジェクトの選択を示すデータは、選択ジェスチャに対応する、実施形態60に記載の方法。
62.
相互作用可能オブジェクトとのユーザ相互作用の終了を示すデータは、解放ジェスチャに対応する、実施形態60に記載の方法。
63.
相互作用可能オブジェクトの選択を示すデータは、リンクと相互作用する、ユーザの身体の少なくとも一部に対応する、実施形態53に記載の方法。
64.
リンクと関連付けられたURLに関するコンテンツにアクセスすることによって、リンクのプレビューが、生成される、実施形態63に記載の方法。
65.
ユーザの物理的移動を示すデータを受信するステップをさらに含み、ユーザの物理的移動は、プレビューの物理的移動に対応する、実施形態64に記載の方法。
66.
相互作用可能オブジェクトは、ユーザ相互作用を用いることで、開かれることと、設置されることとの両方が、行われる、実施形態53に記載の方法。
67.
相互作用可能オブジェクトに関する配向が、
ユーザ相互作用の終了時の相互作用可能オブジェクトの場所の面法線を決定するステップと、
相互作用可能オブジェクトと関連付けられたデータの配向を決定するステップと、
座標場所の面法線と相互作用可能オブジェクトと関連付けられたデータの配向を整合させるステップと、
によって決定される、実施形態53に記載の方法。
68.
相互作用可能オブジェクトは、ウォールハンギングを備える、実施形態53に記載の方法。
69.
方法であって、
ユーザ相互作用の開始時に、第1のプリズム内に含有される相互作用可能オブジェクトの選択を示すデータを受信するステップと、
ユーザ相互作用の開始と終了との間のユーザ相互作用に対応するユーザの物理的移動を表すデータが、相互作用可能オブジェクトがユーザ相互作用の終了時に第1のプリズム外にあることを示すとき、相互作用可能オブジェクトと関連付けられたデータを含有するように第2のプリズムをユーザ相互作用の終了時の相互作用可能オブジェクトの場所に作成するステップと、
を含む、方法。
70.
ユーザ入力デバイスが、相互作用可能オブジェクトの選択を示すデータと、ユーザの相互作用の開始と終了との間のユーザ相互作用に対応するユーザの物理的移動を示すデータとを提供するステップをさらに含む、実施形態69に記載の方法。
71.
ユーザ入力デバイスは、触覚的コントローラである、実施形態70に記載の方法。
72.
触覚的コントローラは、少なくとも6自由度を有する、トーテムデバイスに対応する、実施形態71に記載の方法。
73.
ユーザの物理的移動は、触覚的コントローラと関連付けられた処理システムにおいて、イベントオブジェクトに変換され、イベントオブジェクトは、触覚的コントローラの移動または位置付けに関するデータに相関する、実施形態71に記載の方法。
74.
ユーザ相互作用の終了時の相互作用可能オブジェクトの場所は、相互作用可能オブジェクトの選択後、トリガが触覚的コントローラに関して解放された場所を識別することによって決定される、実施形態71に記載の方法。
75.
ユーザ入力デバイスは、ユーザジェスチャを検出するためのカメラである、実施形態70に記載の方法。
76.
相互作用可能オブジェクトの選択を示すデータは、選択ジェスチャに対応する、実施形態75に記載の方法。
77.
相互作用可能オブジェクトとのユーザ相互作用の終了を示すデータは、解放ジェスチャに対応する、実施形態75に記載の方法。
78.
相互作用可能オブジェクトの選択を示すデータは、リンクと相互作用する、ユーザの身体の少なくとも一部に対応する、実施形態69に記載の方法。
79.
リンクと関連付けられたURLに関するコンテンツにアクセスすることによって、リンクのプレビューが、生成される、実施形態78に記載の方法。
80.
ユーザの物理的移動は、プレビューの物理的移動に対応する、実施形態79に記載の方法。
81.
相互作用可能オブジェクトは、ユーザ相互作用を用いることで、開かれることと、設置されることとの両方が、行われる、実施形態69に記載の方法。
82.
相互作用可能オブジェクトに関する配向が、
ユーザ相互作用の終了時の相互作用可能オブジェクトの場所の面法線を決定するステップと、
相互作用可能オブジェクトと関連付けられたデータの配向を決定するステップと、
座標場所の面法線と相互作用可能オブジェクトと関連付けられたデータの配向を整合させるステップと、
によって決定される、実施形態69に記載の方法。
83.
相互作用可能オブジェクトは、ウォールハンギングを備える、実施形態69に記載の方法。
84.
システムであって、
3次元コンテンツを表示するように構成される、複合現実ディスプレイデバイスと、
ユーザの物理的移動を検出するように構成される、ユーザ入力デバイスと、
データをユーザ入力デバイスから受信し、処理する、プロセッサと、
プロセッサによって実行可能なプログラマブルコードを保持するためのメモリであって、プログラマブルコードは、ユーザ相互作用の開始時に、第1のプリズム内に含有される相互作用可能オブジェクトの選択を示すデータを受信するステップと、相互作用可能オブジェクトとのユーザ相互作用の終了を示すデータを受信するステップと、ユーザ相互作用の開始と終了との間に、第1のプリズムからの相互作用可能オブジェクトの除去に対応する、ユーザの物理的移動を示すデータを受信するステップと、相互作用可能オブジェクトとのユーザ相互作用の終了時に、相互作用可能オブジェクトと関連付けられたデータを含有するように第2のプリズムを作成するステップとのための命令を含む、メモリと、
を備える、システム。
85.
システムであって、
3次元コンテンツを表示するように構成される、複合現実ディスプレイデバイスと、
ユーザの物理的移動を検出するように構成される、ユーザ入力デバイスと、
データをユーザ入力デバイスから受信し、処理する、プロセッサと、
プロセッサによって実行可能なプログラマブルコードを保持するためのメモリであって、プログラマブルコードは、ユーザ相互作用の開始時に、相互作用可能オブジェクトの選択を示すデータを受信するステップと、相互作用可能オブジェクトとのユーザ相互作用の終了を示すデータを受信するステップと、ユーザ相互作用の終了時の相互作用可能オブジェクトの場所を決定するステップと、ユーザ相互作用の終了時の相互作用可能オブジェクトの場所が相互作用可能オブジェクトの初期プリズム外にあるとき、ユーザ相互作用の終了時に、相互作用可能オブジェクトと関連付けられたデータのための新しいプリズムを作成するステップとのための命令を含む、メモリと、
を備える、システム。
86.
システムであって、
3次元コンテンツを表示するように構成される、複合現実ディスプレイデバイスと、
ユーザの物理的移動を検出するように構成される、ユーザ入力デバイスと、
データをユーザ入力デバイスから受信し、処理する、プロセッサと、
プロセッサによって実行可能なプログラマブルコードを保持するためのメモリであって、プログラマブルコードは、ユーザ相互作用の開始時に、第1のプリズム内に含有される相互作用可能オブジェクトの選択を示すデータを受信するステップと、ユーザ相互作用の開始と終了との間のユーザ相互作用に対応するユーザの物理的移動を表すデータが、相互作用可能オブジェクトがユーザ相互作用の終了時に第1のプリズム外にあることを示すとき、相互作用可能オブジェクトと関連付けられたデータを含有するように第2のプリズムをユーザ相互作用の終了時の相互作用可能オブジェクトの場所に作成するステップとのための命令を含む、メモリと、
を備える、システム。
図13は、本開示の実施形態を実装するために好適な例証的コンピューティングシステム1400のブロック図である。コンピューティングシステム1400は、情報を通信するためのバス1406または他の通信機構を含み、これは、プロセッサ1407、システムメモリ1408(例えば、RAM)、静的記憶デバイス1409(例えば、ROM)、ディスクドライブ1410(例えば、磁気または光学)、通信インターフェース1414(例えば、モデムまたはEthernet(登録商標)カード)、ディスプレイ1411(例えば、CRTまたはLCD)、入力デバイス1412(例えば、キーボードおよびマウス)等のサブシステムおよびデバイスを相互接続する。
Claims (25)
- 方法であって、
ユーザ相互作用の開始時に、第1のプリズム内に含有される相互作用可能オブジェクトの選択を示すデータを受信することと、
前記相互作用可能オブジェクトとのユーザ相互作用の終了を示すデータを受信することと、
前記ユーザ相互作用の開始と終了との間に、前記第1のプリズムからの前記相互作用可能オブジェクトの除去に対応する前記ユーザの物理的移動を示すデータを受信することと、
前記相互作用可能オブジェクトとのユーザ相互作用の終了時に、前記相互作用可能オブジェクトと関連付けられたデータを含有するように第2のプリズムを作成することと
を含む、方法。 - 前記相互作用可能オブジェクトが前記第1のプリズムの境界外に位置するときの前記ユーザ相互作用の開始と終了との間に、前記相互作用可能オブジェクトと関連付けられたデータの視覚的プレビューを前記相互作用可能オブジェクトの場所に表示することをさらに含む、請求項1に記載の方法。
- ユーザ入力デバイスが、前記相互作用可能オブジェクトの選択を示すデータと、前記相互作用可能オブジェクトとのユーザ相互作用の終了を示すデータとを提供することをさらに含む、請求項1に記載の方法。
- 前記ユーザ入力デバイスは、触覚的コントローラである、請求項3に記載の方法。
- 前記触覚的コントローラは、少なくとも6自由度を有するトーテムデバイスに対応する、請求項4に記載の方法。
- 前記ユーザの物理的移動は、前記触覚的コントローラと関連付けられた処理システムにおいて、イベントオブジェクトに変換され、前記イベントオブジェクトは、前記触覚的コントローラの移動または位置付けに関するデータに相関する、請求項4に記載の方法。
- 前記ユーザ相互作用の終了時の前記相互作用可能オブジェクトの場所は、前記相互作用可能オブジェクトの選択後、トリガが前記触覚的コントローラに関して解放された場所を識別することによって決定される、請求項4に記載の方法。
- 前記ユーザ入力デバイスは、ユーザジェスチャを検出するためのカメラである、請求項3に記載の方法。
- 前記相互作用可能オブジェクトの選択を示すデータは、選択ジェスチャに対応する、請求項8に記載の方法。
- 前記相互作用可能オブジェクトとのユーザ相互作用の終了を示すデータは、解放ジェスチャに対応する、請求項8に記載の方法。
- 前記相互作用可能オブジェクトの選択を示すデータは、リンクと相互作用する前記ユーザの身体の少なくとも一部に対応する、請求項1に記載の方法。
- 前記リンクと関連付けられたURLに関するコンテンツにアクセスすることによって、前記リンクのプレビューが生成される、請求項11に記載の方法。
- 前記ユーザの物理的移動を示すデータを受信することをさらに含み、前記ユーザの物理的移動は、前記プレビューの物理的移動に対応する、請求項12に記載の方法。
- 前記相互作用可能オブジェクトは、前記ユーザ相互作用を用いることで開かれることと、設置されることとの両方が、行われる、請求項1に記載の方法。
- 前記相互作用可能オブジェクトに関する配向が、
前記ユーザ相互作用の終了時の前記相互作用可能オブジェクトの場所の面法線を決定することと、
前記相互作用可能オブジェクトと関連付けられたデータの配向を決定することと、
前記座標場所の面法線と、前記相互作用可能オブジェクトと関連付けられたデータの配向とを整合させることと
によって決定される、請求項1に記載の方法。 - 前記相互作用可能オブジェクトは、ウォールハンギングを備える、請求項1に記載の方法。
- 方法であって、
相互作用可能オブジェクトを識別することと、
前記相互作用可能オブジェクトに対応するユーザの物理的移動を識別することと、
前記ユーザの物理的移動に基づいて、前記相互作用可能オブジェクトと関連付けられたデータに関する座標場所を決定することと、
前記相互作用可能オブジェクトと関連付けられたデータを前記ユーザの物理的移動に対応する前記座標場所に設置することと
を含む、方法。 - システムであって、
3次元コンテンツを表示するように構成される複合現実ディスプレイデバイスと、
ユーザの物理的移動を検出するように構成されるユーザ入力デバイスと、
データを前記ユーザ入力デバイスから受信し、処理するプロセッサと、
前記プロセッサによって実行可能なプログラマブルコードを保持するためのメモリであって、前記プログラマブルコードは、相互作用可能オブジェクトを識別することと、前記相互作用可能オブジェクトに対応するユーザの物理的移動を識別することと、前記ユーザの物理的移動に基づいて、前記相互作用可能オブジェクトと関連付けられたデータに関する座標場所を決定することと、前記相互作用可能オブジェクトと関連付けられたデータを前記ユーザの物理的移動に対応する前記座標場所に設置することとのための命令を含む、メモリと
を備える、システム。 - コンピュータ可読媒体上に具現化されるコンピュータプログラム製品であって、前記コンピュータ可読媒体は、その上に記憶される命令のシーケンスを有し、前記命令のシーケンスは、プロセッサによって実行されると、前記プロセッサに、
相互作用可能オブジェクトを識別することと、
前記相互作用可能オブジェクトに対応するユーザの物理的移動を識別することと、
前記ユーザの物理的移動に基づいて、前記相互作用可能オブジェクトと関連付けられたデータに関する座標場所を決定することと、
前記相互作用可能オブジェクトと関連付けられたデータを前記ユーザの物理的移動に対応する前記座標場所に設置することと
を含む方法を実行させる、コンピュータプログラム製品。 - 方法であって、
ユーザ相互作用の開始時に、相互作用可能オブジェクトの選択を示すデータを受信することと、
前記相互作用可能オブジェクトとのユーザ相互作用の終了を示すデータを受信することと、
前記ユーザ相互作用の終了時の前記相互作用可能オブジェクトの場所を決定することと、
前記相互作用可能オブジェクトと関連付けられたデータを前記ユーザ相互作用の終了時の前記相互作用可能オブジェクトの場所に設置することと
を含む、方法。 - 方法であって、
ユーザ相互作用の開始時に、相互作用可能オブジェクトの選択を示すデータを受信することと、
前記相互作用可能オブジェクトとのユーザ相互作用の終了を示すデータを受信することと、
前記ユーザ相互作用の終了時の前記相互作用可能オブジェクトの場所を決定することと、
前記ユーザ相互作用の終了時の前記相互作用可能オブジェクトの場所が前記相互作用可能オブジェクトの初期プリズム外にあるとき、前記ユーザ相互作用の終了時に、前記相互作用可能オブジェクトと関連付けられたデータのための新しいプリズムを作成することと
を含む、方法。 - 方法であって、
ユーザ相互作用の開始時に、第1のプリズム内に含有される相互作用可能オブジェクトの選択を示すデータを受信することと、
前記ユーザ相互作用の開始と終了との間の前記ユーザ相互作用に対応する前記ユーザの物理的移動を表すデータが、前記相互作用可能オブジェクトが前記ユーザ相互作用の終了時に前記第1のプリズム外にあることを示すとき、前記相互作用可能オブジェクトと関連付けられたデータを含有するように第2のプリズムを前記ユーザ相互作用の終了時の前記相互作用可能オブジェクトの場所に作成することと
を含む、方法。 - システムであって、
3次元コンテンツを表示するように構成される複合現実ディスプレイデバイスと、
ユーザの物理的移動を検出するように構成されるユーザ入力デバイスと、
データを前記ユーザ入力デバイスから受信し、処理するプロセッサと、
前記プロセッサによって実行可能なプログラマブルコードを保持するためのメモリであって、前記プログラマブルコードは、ユーザ相互作用の開始時に、第1のプリズム内に含有される相互作用可能オブジェクトの選択を示すデータを受信することと、前記相互作用可能オブジェクトとのユーザ相互作用の終了を示すデータを受信することと、前記ユーザ相互作用の開始と終了との間に、前記第1のプリズムからの前記相互作用可能オブジェクトの除去に対応する前記ユーザの物理的移動を示すデータを受信することと、前記相互作用可能オブジェクトとのユーザ相互作用の終了時に、前記相互作用可能オブジェクトと関連付けられたデータを含有するように第2のプリズムを作成することとのための命令を含む、メモリと
を備える、システム。 - システムであって、
3次元コンテンツを表示するように構成される複合現実ディスプレイデバイスと、
ユーザの物理的移動を検出するように構成されるユーザ入力デバイスと、
データを前記ユーザ入力デバイスから受信し、処理するプロセッサと、
前記プロセッサによって実行可能なプログラマブルコードを保持するためのメモリであって、前記プログラマブルコードは、ユーザ相互作用の開始時に、相互作用可能オブジェクトの選択を示すデータを受信することと、前記相互作用可能オブジェクトとのユーザ相互作用の終了を示すデータを受信することと、前記ユーザ相互作用の終了時の前記相互作用可能オブジェクトの場所を決定することと、前記ユーザ相互作用の終了時の前記相互作用可能オブジェクトの場所が前記相互作用可能オブジェクトの初期プリズム外にあるとき、前記ユーザ相互作用の終了時に、前記相互作用可能オブジェクトと関連付けられたデータのための新しいプリズムを作成することとのための命令を含む、メモリと
を備える、システム - システムであって、
3次元コンテンツを表示するように構成される複合現実ディスプレイデバイスと、
ユーザの物理的移動を検出するように構成されるユーザ入力デバイスと、
データを前記ユーザ入力デバイスから受信し、処理するプロセッサと、
前記プロセッサによって実行可能なプログラマブルコードを保持するためのメモリであって、前記プログラマブルコードは、ユーザ相互作用の開始時に、第1のプリズム内に含有される相互作用可能オブジェクトの選択を示すデータを受信することと、前記ユーザ相互作用の開始と終了との間の前記ユーザ相互作用に対応する前記ユーザの物理的移動を表すデータが、前記相互作用可能オブジェクトが前記ユーザ相互作用の終了時に前記第1のプリズム外にあることを示すとき、前記相互作用可能オブジェクトと関連付けられたデータを含有するように第2のプリズムを前記ユーザ相互作用の終了時の前記相互作用可能オブジェクトの場所に作成することとのための命令を含む、メモリと
を備える、システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022142067A JP2022168082A (ja) | 2018-02-22 | 2022-09-07 | 物理的操作を用いたオブジェクト作成 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862634007P | 2018-02-22 | 2018-02-22 | |
US62/634,007 | 2018-02-22 | ||
US201862665251P | 2018-05-01 | 2018-05-01 | |
US62/665,251 | 2018-05-01 | ||
PCT/US2019/018920 WO2019165044A1 (en) | 2018-02-22 | 2019-02-21 | Object creation with physical manipulation |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022142067A Division JP2022168082A (ja) | 2018-02-22 | 2022-09-07 | 物理的操作を用いたオブジェクト作成 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021514089A true JP2021514089A (ja) | 2021-06-03 |
JPWO2019165044A5 JPWO2019165044A5 (ja) | 2022-02-09 |
JP7139436B2 JP7139436B2 (ja) | 2022-09-20 |
Family
ID=67688428
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020544237A Active JP7139436B2 (ja) | 2018-02-22 | 2019-02-21 | 物理的操作を用いたオブジェクト作成 |
JP2022142067A Pending JP2022168082A (ja) | 2018-02-22 | 2022-09-07 | 物理的操作を用いたオブジェクト作成 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022142067A Pending JP2022168082A (ja) | 2018-02-22 | 2022-09-07 | 物理的操作を用いたオブジェクト作成 |
Country Status (9)
Country | Link |
---|---|
US (3) | US11087563B2 (ja) |
EP (1) | EP3756079A4 (ja) |
JP (2) | JP7139436B2 (ja) |
KR (1) | KR20200121357A (ja) |
CN (1) | CN111801641A (ja) |
AU (1) | AU2019225931A1 (ja) |
CA (1) | CA3091026A1 (ja) |
IL (2) | IL301281A (ja) |
WO (1) | WO2019165044A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230108352A (ko) | 2017-05-01 | 2023-07-18 | 매직 립, 인코포레이티드 | 콘텐츠를 공간 3d 환경에 매칭 |
KR102556889B1 (ko) | 2017-12-22 | 2023-07-17 | 매직 립, 인코포레이티드 | 혼합 현실 시스템에서 가상 콘텐츠를 관리하고 디스플레이하기 위한 방법들 및 시스템 |
AU2019225989A1 (en) | 2018-02-22 | 2020-08-13 | Magic Leap, Inc. | Browser for mixed reality systems |
KR20200121357A (ko) * | 2018-02-22 | 2020-10-23 | 매직 립, 인코포레이티드 | 물리적 조작을 사용한 오브젝트 생성 |
EP3640767A1 (de) * | 2018-10-17 | 2020-04-22 | Siemens Schweiz AG | Verfahren zum bestimmen mindestens eines bereichs in mindestens einem eingabemodell für mindestens ein zu platzierendes element |
US11263824B2 (en) * | 2018-11-14 | 2022-03-01 | Unity IPR ApS | Method and system to generate authoring conditions for digital content in a mixed reality environment |
WO2020226832A1 (en) * | 2019-05-06 | 2020-11-12 | Apple Inc. | Device, method, and computer-readable medium for presenting computer-generated reality files |
US11315326B2 (en) * | 2019-10-15 | 2022-04-26 | At&T Intellectual Property I, L.P. | Extended reality anchor caching based on viewport prediction |
US11640228B2 (en) * | 2021-01-06 | 2023-05-02 | Adobe Inc. | Accessing virtually rendered digital content |
CA3226429A1 (en) * | 2021-07-22 | 2023-01-26 | The University Of British Columbia | System and apparatus for remote interaction with an object |
US20230040610A1 (en) * | 2021-08-06 | 2023-02-09 | Apple Inc. | Object placement for electronic devices |
CN117093070A (zh) * | 2023-06-05 | 2023-11-21 | 北京虹宇科技有限公司 | 扩展现实空间中的应用形态控制方法、装置及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009518699A (ja) * | 2005-09-26 | 2009-05-07 | マイクロソフト コーポレーション | ウェブ閲覧のための情報プレビュー |
WO2015033377A1 (ja) * | 2013-09-06 | 2015-03-12 | 株式会社マーズフラッグ | 情報処理装置、検索サーバ、ウェブサーバ及びコンピュータプログラム |
JP2016511492A (ja) * | 2013-03-15 | 2016-04-14 | クアルコム,インコーポレイテッド | 少なくとも2つの制御オブジェクトを用いて行われるジェスチャの検出 |
WO2018031621A1 (en) * | 2016-08-11 | 2018-02-15 | Magic Leap, Inc. | Automatic placement of a virtual object in a three-dimensional space |
Family Cites Families (101)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5923318A (en) * | 1996-04-12 | 1999-07-13 | Zhai; Shumin | Finger manipulatable 6 degree-of-freedom input device |
US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6629065B1 (en) | 1998-09-30 | 2003-09-30 | Wisconsin Alumni Research Foundation | Methods and apparata for rapid computer-aided design of objects in virtual reality and other environments |
US9208270B2 (en) | 2000-08-02 | 2015-12-08 | Comsol Ab | System and method for establishing bidirectional links between multiphysics modeling and design systems |
US7043695B2 (en) | 2000-09-19 | 2006-05-09 | Technion Research & Development Foundation Ltd. | Object positioning and display in virtual environments |
EP1556805B1 (en) | 2002-10-22 | 2011-08-24 | Artoolworks | Tracking a surface in a 3-dimensional scene using natural visual features of the surface |
JP4212564B2 (ja) | 2005-02-28 | 2009-01-21 | ザイオソフト株式会社 | 画像処理方法および画像処理プログラム |
US7595810B2 (en) | 2006-03-22 | 2009-09-29 | Apple Inc. | Methods of manipulating a screen space of a display device |
US20090028142A1 (en) | 2007-07-25 | 2009-01-29 | Schmidt Brian K | Streaming data content in a network |
US8245241B2 (en) | 2007-10-02 | 2012-08-14 | International Business Machines Corporation | Arrangements for interactivity between a virtual universe and the world wide web |
US10872322B2 (en) * | 2008-03-21 | 2020-12-22 | Dressbot, Inc. | System and method for collaborative shopping, business and entertainment |
WO2009146130A2 (en) | 2008-04-05 | 2009-12-03 | Social Communications Company | Shared virtual area communication environment based apparatus and methods |
US9952673B2 (en) | 2009-04-02 | 2018-04-24 | Oblong Industries, Inc. | Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control |
US20160077677A1 (en) | 2008-05-20 | 2016-03-17 | Israel Valdes | Apparatus and method for user configurable content |
US8924862B1 (en) | 2008-09-05 | 2014-12-30 | Cisco Technology, Inc. | Optimizing desktop sharing for wireless clients during networked collaboration |
KR101082487B1 (ko) | 2010-01-29 | 2011-11-11 | 키위플 주식회사 | 객체 인식시스템 및 이를 이용하는 객체 인식 방법 |
US20130278631A1 (en) * | 2010-02-28 | 2013-10-24 | Osterhout Group, Inc. | 3d positioning of augmented reality information |
US20120212484A1 (en) | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | System and method for display content placement using distance and location information |
JP2013521576A (ja) * | 2010-02-28 | 2013-06-10 | オスターハウト グループ インコーポレイテッド | 対話式ヘッド取付け型アイピース上での地域広告コンテンツ |
US9069577B2 (en) | 2010-11-23 | 2015-06-30 | Apple Inc. | Grouping and browsing open windows |
EP2691935A1 (en) | 2011-03-29 | 2014-02-05 | Qualcomm Incorporated | System for the rendering of shared digital interfaces relative to each user's point of view |
US9354899B2 (en) | 2011-04-18 | 2016-05-31 | Google Inc. | Simultaneous display of multiple applications using panels |
CN103702726B (zh) | 2011-05-23 | 2016-01-13 | 乐高公司 | 玩具搭建系统、产生构建指令的方法和数据处理系统 |
US8912979B1 (en) | 2011-07-14 | 2014-12-16 | Google Inc. | Virtual window in head-mounted display |
KR20140066258A (ko) * | 2011-09-26 | 2014-05-30 | 마이크로소프트 코포레이션 | 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정 |
US9734633B2 (en) | 2012-01-27 | 2017-08-15 | Microsoft Technology Licensing, Llc | Virtual environment generating system |
US9575652B2 (en) * | 2012-03-31 | 2017-02-21 | Microsoft Technology Licensing, Llc | Instantiable gesture objects |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US9069455B2 (en) * | 2012-06-22 | 2015-06-30 | Microsoft Technology Licensing, Llc | 3D user interface for application entities |
US20130342572A1 (en) | 2012-06-26 | 2013-12-26 | Adam G. Poulos | Control of displayed content in virtual environments |
US9292085B2 (en) | 2012-06-29 | 2016-03-22 | Microsoft Technology Licensing, Llc | Configuring an interaction zone within an augmented reality environment |
WO2014031899A1 (en) | 2012-08-22 | 2014-02-27 | Goldrun Corporation | Augmented reality virtual content platform apparatuses, methods and systems |
US9461876B2 (en) | 2012-08-29 | 2016-10-04 | Loci | System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction |
US9070194B2 (en) | 2012-10-25 | 2015-06-30 | Microsoft Technology Licensing, Llc | Planar surface detection |
US9407824B2 (en) | 2012-11-01 | 2016-08-02 | Google Inc. | Multi-directional content capture on mobile devices |
KR101984915B1 (ko) | 2012-12-03 | 2019-09-03 | 삼성전자주식회사 | 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템 |
US9317972B2 (en) | 2012-12-18 | 2016-04-19 | Qualcomm Incorporated | User interface for augmented reality enabled devices |
AU2014204252B2 (en) | 2013-01-03 | 2017-12-14 | Meta View, Inc. | Extramissive spatial imaging digital eye glass for virtual or augmediated vision |
WO2014110502A1 (en) | 2013-01-11 | 2014-07-17 | The Regents Of The University Of Michigan | Monitoring proximity of objects at construction jobsites via three-dimensional virtuality in real-time |
US20140225922A1 (en) | 2013-02-11 | 2014-08-14 | Rocco A. Sbardella | System and method for an augmented reality software application |
JP2014157466A (ja) | 2013-02-15 | 2014-08-28 | Sony Corp | 情報処理装置及び記憶媒体 |
GB201303707D0 (en) * | 2013-03-01 | 2013-04-17 | Tosas Bautista Martin | System and method of interaction for mobile devices |
EP2967322A4 (en) | 2013-03-11 | 2017-02-08 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US20140267228A1 (en) | 2013-03-14 | 2014-09-18 | Microsoft Corporation | Mapping augmented reality experience to various environments |
KR20230113418A (ko) | 2013-03-15 | 2023-07-28 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
US20150277699A1 (en) * | 2013-04-02 | 2015-10-01 | Cherif Atia Algreatly | Interaction method for optical head-mounted display |
KR20140133361A (ko) * | 2013-05-10 | 2014-11-19 | 삼성전자주식회사 | 디스플레이 장치 및 그 ui 화면 제공 방법 |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9129430B2 (en) | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
US10861224B2 (en) | 2013-07-23 | 2020-12-08 | Hover Inc. | 3D building analyzer |
US20180225885A1 (en) | 2013-10-01 | 2018-08-09 | Aaron Scott Dishno | Zone-based three-dimensional (3d) browsing |
KR101512084B1 (ko) | 2013-11-15 | 2015-04-17 | 한국과학기술원 | 가상현실 기반의 3차원 웹 검색 인터페이스를 제공하는 웹 검색 시스템 및 그 제공 방법 |
US9354778B2 (en) | 2013-12-06 | 2016-05-31 | Digimarc Corporation | Smartphone-based methods and systems |
US9411422B1 (en) | 2013-12-13 | 2016-08-09 | Audible, Inc. | User interaction with content markers |
US20150185825A1 (en) | 2013-12-30 | 2015-07-02 | Daqri, Llc | Assigning a virtual user interface to a physical object |
US20150206343A1 (en) | 2014-01-17 | 2015-07-23 | Nokia Corporation | Method and apparatus for evaluating environmental structures for in-situ content augmentation |
US9201578B2 (en) | 2014-01-23 | 2015-12-01 | Microsoft Technology Licensing, Llc | Gaze swipe selection |
KR102184402B1 (ko) * | 2014-03-06 | 2020-11-30 | 엘지전자 주식회사 | 글래스 타입의 이동 단말기 |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US20150302651A1 (en) | 2014-04-18 | 2015-10-22 | Sam Shpigelman | System and method for augmented or virtual reality entertainment experience |
US9361732B2 (en) | 2014-05-01 | 2016-06-07 | Microsoft Technology Licensing, Llc | Transitions between body-locked and world-locked augmented reality |
US20150331240A1 (en) | 2014-05-15 | 2015-11-19 | Adam G. Poulos | Assisted Viewing Of Web-Based Resources |
US10156967B2 (en) | 2014-05-31 | 2018-12-18 | Apple Inc. | Device, method, and graphical user interface for tabbed and private browsing |
WO2015192117A1 (en) | 2014-06-14 | 2015-12-17 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US20160027214A1 (en) | 2014-07-25 | 2016-01-28 | Robert Memmott | Mouse sharing between a desktop and a virtual world |
US9858720B2 (en) | 2014-07-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Three-dimensional mixed-reality viewport |
US9734634B1 (en) * | 2014-09-26 | 2017-08-15 | A9.Com, Inc. | Augmented reality product preview |
US10726593B2 (en) | 2015-09-22 | 2020-07-28 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
JP5767386B1 (ja) | 2014-12-15 | 2015-08-19 | 株式会社コロプラ | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム |
US10335677B2 (en) | 2014-12-23 | 2019-07-02 | Matthew Daniel Fuchs | Augmented reality system with agent device for viewing persistent content and method of operation thereof |
US20160300392A1 (en) | 2015-04-10 | 2016-10-13 | VR Global, Inc. | Systems, media, and methods for providing improved virtual reality tours and associated analytics |
US9465891B1 (en) | 2015-04-29 | 2016-10-11 | Data Cocoon LLC | Tessellated data visualization system |
WO2016203792A1 (ja) | 2015-06-15 | 2016-12-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
EP3113106A1 (en) | 2015-07-02 | 2017-01-04 | Nokia Technologies Oy | Determination of environmental augmentation allocation data |
EP3308304A4 (en) | 2015-08-18 | 2018-05-16 | Samsung Electronics Co., Ltd. | Method and system for bookmarking a webpage |
US10057078B2 (en) | 2015-08-21 | 2018-08-21 | Samsung Electronics Company, Ltd. | User-configurable interactive region monitoring |
US10318225B2 (en) * | 2015-09-01 | 2019-06-11 | Microsoft Technology Licensing, Llc | Holographic augmented authoring |
CN113190111A (zh) | 2015-10-08 | 2021-07-30 | Pcms控股公司 | 一种方法和设备 |
EP3862852A1 (en) | 2015-10-20 | 2021-08-11 | Magic Leap, Inc. | Selecting virtual objects in a three-dimensional space |
TWI567691B (zh) * | 2016-03-07 | 2017-01-21 | 粉迷科技股份有限公司 | 立體空間的場景編輯方法與系統 |
US20170256096A1 (en) | 2016-03-07 | 2017-09-07 | Google Inc. | Intelligent object sizing and placement in a augmented / virtual reality environment |
CN111329553B (zh) * | 2016-03-12 | 2021-05-04 | P·K·朗 | 用于手术的装置与方法 |
US10373381B2 (en) | 2016-03-30 | 2019-08-06 | Microsoft Technology Licensing, Llc | Virtual object manipulation within physical environment |
US10268266B2 (en) | 2016-06-29 | 2019-04-23 | Microsoft Technology Licensing, Llc | Selection of objects in three-dimensional space |
EP3479160A4 (en) | 2016-06-30 | 2020-03-25 | Magic Leap, Inc. | ESTIMATE OF THE POSE IN A 3D SPACE |
US10489978B2 (en) * | 2016-07-26 | 2019-11-26 | Rouslan Lyubomirov DIMITROV | System and method for displaying computer-based content in a virtual or augmented environment |
US20180082480A1 (en) * | 2016-09-16 | 2018-03-22 | John R. White | Augmented reality surgical technique guidance |
KR102317776B1 (ko) | 2016-10-05 | 2021-10-25 | 매직 립, 인코포레이티드 | 표면 모델링 시스템들 및 방법들 |
US11290572B2 (en) * | 2016-11-07 | 2022-03-29 | Constructive Labs | System and method for facilitating sharing of virtual three-dimensional space |
US10599823B2 (en) | 2016-11-18 | 2020-03-24 | Invensense, Inc. | Systems and methods for coordinating applications with a user interface |
US10271043B2 (en) | 2016-11-18 | 2019-04-23 | Zspace, Inc. | 3D user interface—360-degree visualization of 2D webpage content |
US20180150204A1 (en) | 2016-11-30 | 2018-05-31 | Google Inc. | Switching of active objects in an augmented and/or virtual reality environment |
WO2018176014A1 (en) * | 2017-03-24 | 2018-09-27 | Inmentis, Llc | Social media system with navigable, artificial-intelligence-based graphical user interface with a carousel view |
KR20230108352A (ko) | 2017-05-01 | 2023-07-18 | 매직 립, 인코포레이티드 | 콘텐츠를 공간 3d 환경에 매칭 |
US10304251B2 (en) | 2017-06-15 | 2019-05-28 | Microsoft Technology Licensing, Llc | Virtually representing spaces and objects while maintaining physical properties |
US10719870B2 (en) * | 2017-06-27 | 2020-07-21 | Microsoft Technology Licensing, Llc | Mixed reality world integration of holographic buttons in a mixed reality device |
US20190005724A1 (en) | 2017-06-30 | 2019-01-03 | Microsoft Technology Licensing, Llc | Presenting augmented reality display data in physical presentation environments |
US10444975B2 (en) * | 2017-07-18 | 2019-10-15 | Google Llc | Graphical icon manipulation |
US10803663B2 (en) | 2017-08-02 | 2020-10-13 | Google Llc | Depth sensor aided estimation of virtual reality environment boundaries |
KR102556889B1 (ko) * | 2017-12-22 | 2023-07-17 | 매직 립, 인코포레이티드 | 혼합 현실 시스템에서 가상 콘텐츠를 관리하고 디스플레이하기 위한 방법들 및 시스템 |
KR20200121357A (ko) * | 2018-02-22 | 2020-10-23 | 매직 립, 인코포레이티드 | 물리적 조작을 사용한 오브젝트 생성 |
-
2019
- 2019-02-21 KR KR1020207026920A patent/KR20200121357A/ko active Search and Examination
- 2019-02-21 AU AU2019225931A patent/AU2019225931A1/en not_active Abandoned
- 2019-02-21 EP EP19756664.9A patent/EP3756079A4/en active Pending
- 2019-02-21 CA CA3091026A patent/CA3091026A1/en active Pending
- 2019-02-21 US US16/971,603 patent/US11087563B2/en active Active
- 2019-02-21 CN CN201980014588.7A patent/CN111801641A/zh active Pending
- 2019-02-21 JP JP2020544237A patent/JP7139436B2/ja active Active
- 2019-02-21 WO PCT/US2019/018920 patent/WO2019165044A1/en unknown
- 2019-02-21 IL IL301281A patent/IL301281A/en unknown
-
2020
- 2020-08-10 IL IL276629A patent/IL276629B2/en unknown
-
2021
- 2021-07-06 US US17/368,495 patent/US11636660B2/en active Active
-
2022
- 2022-09-07 JP JP2022142067A patent/JP2022168082A/ja active Pending
-
2023
- 2023-03-13 US US18/182,590 patent/US20230267697A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009518699A (ja) * | 2005-09-26 | 2009-05-07 | マイクロソフト コーポレーション | ウェブ閲覧のための情報プレビュー |
JP2016511492A (ja) * | 2013-03-15 | 2016-04-14 | クアルコム,インコーポレイテッド | 少なくとも2つの制御オブジェクトを用いて行われるジェスチャの検出 |
WO2015033377A1 (ja) * | 2013-09-06 | 2015-03-12 | 株式会社マーズフラッグ | 情報処理装置、検索サーバ、ウェブサーバ及びコンピュータプログラム |
WO2018031621A1 (en) * | 2016-08-11 | 2018-02-15 | Magic Leap, Inc. | Automatic placement of a virtual object in a three-dimensional space |
Also Published As
Publication number | Publication date |
---|---|
EP3756079A4 (en) | 2021-04-28 |
AU2019225931A1 (en) | 2020-08-20 |
EP3756079A1 (en) | 2020-12-30 |
JP7139436B2 (ja) | 2022-09-20 |
US20230267697A1 (en) | 2023-08-24 |
US20210097775A1 (en) | 2021-04-01 |
US11087563B2 (en) | 2021-08-10 |
CN111801641A (zh) | 2020-10-20 |
US11636660B2 (en) | 2023-04-25 |
IL276629B1 (en) | 2023-04-01 |
JP2022168082A (ja) | 2022-11-04 |
WO2019165044A1 (en) | 2019-08-29 |
IL276629A (en) | 2020-09-30 |
US20210335053A1 (en) | 2021-10-28 |
IL301281A (en) | 2023-05-01 |
KR20200121357A (ko) | 2020-10-23 |
IL276629B2 (en) | 2023-08-01 |
CA3091026A1 (en) | 2019-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7139436B2 (ja) | 物理的操作を用いたオブジェクト作成 | |
JP7112502B2 (ja) | 複合現実システムのためのブラウザ | |
KR102555443B1 (ko) | 콘텐츠를 공간 3d 환경에 매칭 | |
CN115601671B (zh) | 用于向用户显示虚拟内容的系统和方法 | |
JP7311643B2 (ja) | モード式ウィンドウを介したセキュアな認可 | |
JP6013583B2 (ja) | 有効インターフェース要素の強調のための方式 | |
JP2018077882A (ja) | 複数クライアント装置およびディスプレイを有する動作環境のための方法、およびシステム | |
US20240211113A1 (en) | Browser for mixed reality systems | |
US12008216B1 (en) | Displaying a volumetric representation within a tab |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220201 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220907 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7139436 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |