JP2014514652A - 骨格追跡を使用した物理的表面上への仮想投影上での選択的な手のオクルージョン - Google Patents
骨格追跡を使用した物理的表面上への仮想投影上での選択的な手のオクルージョン Download PDFInfo
- Publication number
- JP2014514652A JP2014514652A JP2014502813A JP2014502813A JP2014514652A JP 2014514652 A JP2014514652 A JP 2014514652A JP 2014502813 A JP2014502813 A JP 2014502813A JP 2014502813 A JP2014502813 A JP 2014502813A JP 2014514652 A JP2014514652 A JP 2014514652A
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- processor
- body part
- individual
- recognized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 claims abstract description 49
- 230000003190 augmentative effect Effects 0.000 claims abstract description 27
- 230000009471 action Effects 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 333
- 238000003860 storage Methods 0.000 claims description 49
- 230000004044 response Effects 0.000 claims description 26
- 238000004458 analytical method Methods 0.000 claims description 23
- 210000000988 bone and bone Anatomy 0.000 claims description 8
- 230000008569 process Effects 0.000 description 93
- 230000033001 locomotion Effects 0.000 description 54
- 238000012545 processing Methods 0.000 description 52
- 210000003811 finger Anatomy 0.000 description 51
- 238000004891 communication Methods 0.000 description 50
- 230000006854 communication Effects 0.000 description 50
- 238000010586 diagram Methods 0.000 description 50
- 230000000875 corresponding effect Effects 0.000 description 48
- 238000004422 calculation algorithm Methods 0.000 description 34
- 210000004247 hand Anatomy 0.000 description 31
- 210000003128 head Anatomy 0.000 description 31
- 238000012790 confirmation Methods 0.000 description 25
- 230000008859 change Effects 0.000 description 24
- 238000001514 detection method Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 20
- 239000013598 vector Substances 0.000 description 16
- 230000003993 interaction Effects 0.000 description 15
- 238000010295 mobile communication Methods 0.000 description 14
- 230000001755 vocal effect Effects 0.000 description 14
- 238000005259 measurement Methods 0.000 description 12
- 238000004873 anchoring Methods 0.000 description 11
- 230000001413 cellular effect Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000007667 floating Methods 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000002604 ultrasonography Methods 0.000 description 5
- 240000007643 Phytolacca americana Species 0.000 description 4
- 210000003414 extremity Anatomy 0.000 description 4
- 210000001503 joint Anatomy 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 210000003813 thumb Anatomy 0.000 description 4
- 238000012876 topography Methods 0.000 description 4
- 210000000617 arm Anatomy 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 235000017060 Arachis glabrata Nutrition 0.000 description 2
- 235000010777 Arachis hypogaea Nutrition 0.000 description 2
- 244000105624 Arachis hypogaea Species 0.000 description 2
- 235000018262 Arachis monticola Nutrition 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 235000020232 peanut Nutrition 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007340 echolocation Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Studio Devices (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Position Input By Displaying (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Image Processing (AREA)
Abstract
ヘッドマウントデバイスは、複数のユーザの間でデータを見て、共同作業を可能にするための、没入型仮想または拡張現実体験を提供する。画像を仮想または拡張現実システムにおいてレンダリングすることは、仮想オブジェクトが表示されるべきであるシーンの画像をキャプチャするための動作と、キャプチャされた画像中に存在する身体部分を認識するための動作と、仮想オブジェクトの表示を、認識された身体部分に基づいて調整するための動作を実行することを含み得る。レンダリング動作はまた、ボディマウントカメラを用いて、画像をキャプチャすること、ボディマウントセンサアレイを用いて、空間データをキャプチャすること、キャプチャされた画像内でオブジェクトを認識すること、キャプチャされた画像内で認識されたオブジェクトまでの距離を決定すること、および、仮想オブジェクトをヘッドマウントディスプレイ上で表示することをも含み得る。
Description
関連特許出願の相互参照
本特許出願は、その内容全体がすべての目的のために参照により本明細書に組み込まれている、2011年3月29日に出願した「Systems and Methods for Gesture Driven Interaction for Digitally Augmented Physical Spaces」という名称の米国仮特許出願第61/468,937号の優先権の利益を主張する。
本特許出願は、その内容全体がすべての目的のために参照により本明細書に組み込まれている、2011年3月29日に出願した「Systems and Methods for Gesture Driven Interaction for Digitally Augmented Physical Spaces」という名称の米国仮特許出願第61/468,937号の優先権の利益を主張する。
本出願は、仮想オブジェクトまたはインターフェースを選択された物理的表面上に配置し、単一のユーザまたは複数のユーザが共同作業して物理的表面上の仮想オブジェクトを見て、仮想オブジェクトと対話できるようにすることができる、ヘッドマウントディスプレイを使用した拡張もしくは仮想現実システム、または、スマートフォンもしくはタブレットなど、他のモバイルデバイスに関する。
ますます、人々は、プレゼンテーション、文書、ビデオ、グラフ、および写真を含む様々なメディア上で、世界中で共同作業している。一般に、会議室における大型のフラットパネルディスプレイは、マイクロソフト(登録商標)PowerPoint(登録商標)プレゼンテーションを含むメディアを見るための優れたソースである。加えて、いくつかの家具は、ユーザがテーブルトップの表面上で直接ビデオを見ることができるように、タッチスクリーン入力デバイスを含むことがある。しばしば、そのような大型の部材は極めて高価であり、リモートロケーションにいるユーザ間の共同作業のために制限されたサポートを提供する。個人は、これらの制限から抜け出し、同じロケーションにいるユーザとリモートユーザとの両方の間で共有される大型画面の仮想または拡張現実体験を得ることができることから、恩恵を受けるようになる。
様々な実施形態は、仮想オブジェクトが表示されるべきであるシーンの画像をキャプチャするステップと、キャプチャされた画像中に存在する身体部分を認識するステップと、仮想オブジェクトの表示を、認識された身体部分に基づいて調整するステップとを含む、画像を拡張現実システムにおいてレンダリングする方法を含む。一実施形態では、仮想オブジェクトの表示を調整するステップが、認識された身体部分に重なる仮想オブジェクトの一部分を識別するステップと、認識された身体部分が、仮想オブジェクトの識別された部分をふさぐように見えるように、識別された部分を抑制するステップとを含み得る。さらなる実施形態では、仮想オブジェクトの表示を調整するステップが、認識された身体部分に重なる仮想オブジェクトの一部分を識別するステップと、仮想オブジェクトの識別された部分が、認識された身体部分をふさぐように見えるように、仮想オブジェクトを認識された身体部分上に重ね合わせるステップとを含み得る。さらなる実施形態では、表示された仮想オブジェクトを調整するステップが、仮想オブジェクトが認識された身体部分を通して可視であるように、および、認識された身体部分が半透明に見えるように、認識された身体部分に重なる仮想オブジェクトの表示された部分を調整するステップを含み得る。
さらなる実施形態では、この方法は、ボディマウント半透明ディスプレイを装着している個人が、ディスプレイを通してシーンを見ることができるように構成された、ボディマウント半透明ディスプレイ上に、仮想オブジェクトを表示するステップを含み得る。さらなる実施形態では、仮想オブジェクトが表示されるべきであるシーンの画像をキャプチャするステップが、第1の個人によって装着されたボディマウントカメラを用いて、画像をキャプチャするステップを含んでもよく、この方法は、第1の個人によって装着されたボディマウントセンサアレイを用いて、空間データをキャプチャするステップと、キャプチャされた画像内でオブジェクトを認識するステップと、キャプチャされた画像内で認識されたオブジェクトまでの距離を決定するステップとをさらに含む。
さらなる実施形態では、この方法は、ボディマウント半透明ディスプレイを装着している個人にとって、シーンが可視であるように、仮想オブジェクトおよびキャプチャされた画像をヘッドマウントディスプレイ上に表示するステップを含み得る。さらなる実施形態では、キャプチャされた画像中に存在する身体部分を認識するステップが、解剖学的解析をキャプチャされた画像に適用するステップを含み得る。さらなる実施形態では、解剖学的解析を画像に適用するステップが、キャプチャされた画像内でオブジェクトを認識するステップと、認識されたオブジェクトを、メモリに記憶された骨格モデルと比較するステップであり、記憶された骨格モデルが、人間の骨格の主要な関節、骨、および肢についての相対位置情報を含むステップと、認識されたオブジェクトを骨格モデルと比較することに応答して、認識されたオブジェクトのいずれかが骨格モデルの一部分に適合するかどうかを判定するステップとを含み得る。
さらなる実施形態では、この方法は、キャプチャされた画像中に存在する身体部分を認識することに応答して、身体部分が第1の個人に属するか、第2の個人に属するかを判定するステップと、仮想オブジェクトのロケーションおよび包含されたエリアを決定するステップと、認識された身体部分が、仮想オブジェクトによって包含されたエリアの少なくとも一部分に重なるかどうかを判定するステップとを含み得る。さらなる実施形態では、身体部分が第1の個人に属するか、第2の個人に属するかを判定するステップが、認識された身体部分の向きに基づいて、身体部分が第1の個人に属するか、第2の個人に属するかを判定するステップを含み得る。さらなる実施形態では、身体部分が第1の個人に属するか、第2の個人に属するかを判定するステップが、ボディマウントカメラからの認識された身体部分の距離に基づいて、身体部分が第1の個人または第2の個人に属すると判定するステップを含み得る。
さらなる実施形態では、身体部分が第1の個人に属するか、第2の個人に属するかを判定するステップが、キャプチャされた画像内であると判定される身体部分の数に基づいて、身体部分が第1の個人または第2の個人に属すると判定するステップを含み得る。さらなる実施形態では、仮想オブジェクトの表示を調整するステップが、身体部分が第2の個人に属すると判定されるとき、第2の個人の認識された身体部分上に重ね合わせられた仮想オブジェクトを表示するステップと、身体部分が第1の個人に属すると判定されるとき、仮想オブジェクトが認識された身体部分の下に位置するように見えるように、仮想オブジェクトを表示するステップとを含み得る。さらなる実施形態では、仮想オブジェクトが認識された身体部分の下に位置するように見えるように、仮想オブジェクトを表示するステップが、認識された身体部分に重なる仮想オブジェクトの部分をレンダリングしないステップを含み得る。さらなる実施形態では、この方法は、仮想オブジェクトによって包含されたディスプレイエリアに重なる、第2の個人の認識された身体部分の部分のアウトラインを、アウトラインがディスプレイ内で仮想オブジェクトの上で可視であるように表示するステップを含み得る。
さらなる実施形態は、第1のヘッドまたはボディマウントカメラと、第1のヘッドまたはボディマウントディスプレイと、第1の送受信機と、第1のカメラ、第1のディスプレイ、および第1の送受信機に結合された第1のヘッドまたはボディマウントデバイスプロセッサとを含み得る、第1のヘッドまたはボディマウントデバイス、ならびに、第2のヘッドまたはボディマウントカメラと、第2のヘッドまたはボディマウントディスプレイと、第2の送受信機と、第2のカメラ、第2のディスプレイ、および第2の送受信機に結合された第2のヘッドまたはボディマウントデバイスプロセッサとを含む、第2のヘッドまたはボディマウントデバイスを含み得る、システムを含む。さらなる実施形態では、第1および第2のヘッドまたはボディマウントデバイスは、上記で説明した方法動作に対応する様々な動作を実行するためのプロセッサ実行可能命令で構成され得る。なおさらなる実施形態は、メモリと、メモリに結合されたサーバプロセッサとを含み得る、サーバを含んでもよく、サーバプロセッサが、上記で説明した様々な方法に対応する動作を実行するため、および/または、情報を第1または第2のヘッドまたはボディマウントデバイスへ、ネットワークを介して送信するための、サーバ実行可能命令で構成される。
さらなる実施形態は、上記で説明した方法に対応する様々な動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを含み得る、コンピューティングデバイスを含む。さらなる実施形態は、上記で説明した方法動作に対応する機能を実行するための様々な手段を含み得る、コンピューティングデバイスを含む。
さらなる実施形態は、上記で説明した方法に対応する様々な動作をプロセッサに実行させるように構成されたプロセッサ実行可能命令を記憶した、非一時的プロセッサ可読記憶媒体を含む。
本明細書に組み込まれ、本明細書の一部を成す、添付の図面は、本発明の例示的実施形態を説明し、上記の全般的な説明および下記の詳細な説明とともに、本発明の特徴を説明する役割を果たす。
様々な実施形態が、添付の図面を参照して詳細に説明される。可能な場合には必ず、同じ参照番号は、図面全体にわたって同じまたは同様の部分を指すために使用されることになる。特定の例および実装形態に行われる参照は、説明を目的とし、本発明の範囲または本特許請求の範囲を限定することは意図されない。
「例示的な」という言葉は、「例、実例、または例示として機能すること」を意味するために本明細書で使用される。本明細書に「例示的」と記載されるいかなる実装形態も、必ずしも他の実装形態よりも好ましいまたは有利であると解釈されるべきではない。
本明細書で使用する「モバイルデバイス」および「ハンドヘルドデバイス」という用語は、セルラー電話、スマートフォン、タブレットコンピュータ、携帯情報端末(PDA)、ワイヤレス電子メール受信機、マルチメディアインターネット対応セルラー電話、全地球測位システム(GPS)受信機、ワイヤレスゲームコントローラ、ネットブック、ならびに、プログラマブルプロセッサおよびメモリを含み、ワイヤレス通信ネットワークと通信し、ウェブブラウザを有するように構成される同様の個人電子デバイスのうちの、いずれか1つを指す。
本明細書で使用する「コンピュータ」、「パーソナルコンピュータ」、および「コンピューティングデバイス」という用語は、既知の、または今後開発される任意のプログラマブルコンピュータシステムを指す。好ましい実施形態では、コンピュータは、本明細書で説明されるようなネットワークに結合される。コンピュータシステムは、本明細書で説明されるプロセスを実行するためのプロセッサ実行可能ソフトウェア命令で構成され得る。
本明細書で使用する「構成要素」、「モジュール」、および「システム」という用語は、ハードウェア、ハードウェアとソフトウェアとの組合せ、ソフトウェア、または実行中のソフトウェアのいずれかである、コンピュータ関連のエンティティを指すことが意図されている。たとえば、構成要素は、限定されないが、プロセッサ上で動作しているプロセス、プロセッサ、オブジェクト、実行ファイル、実行スレッド、プログラムおよび/またはコンピュータであってよい。例として、サーバ上で動作しているアプリケーションとそのサーバの両方が、構成要素であり得る。1つまたは複数の構成要素は、プロセスおよび/または実行スレッド内に存在してよく、1つの構成要素を1つのコンピュータに局在化すること、および/または2つ以上のコンピュータ間に分散することが可能である。
本明細書で使用する「ヘッドマウントデバイス」(HMD)という用語は、距離センサデータをキャプチャし、モバイルプロセッサにリンクされたディスプレイ能力を有するデバイスを指し、モバイルプロセッサは、ヘッドマウントデバイスに対して別個のデバイスであってもよく、図16に示すようなものであってもよい。一実施形態では、ヘッドマウントデバイス10は、モバイルデバイスCPU(たとえば、セル電話、タブレットコンピュータ、スマートフォンなどのプロセッサ)のためのアクセサリーであってもよく、ヘッドマウントデバイス制御システム1610(図では「VIRT制御システム」)の主要な処理は、モバイルデバイス1605のプロセッサ上で実行される。別の実施形態では、ヘッドマウントデバイスは、プロセッサと、メモリと、ディスプレイと、カメラとを備え得る。一実施形態では、ヘッドマウントデバイス10は、環境(たとえば、部屋など)から情報を走査または収集するための1つまたは複数のセンサ(たとえば、深度センサ、カメラなど)と、収集された情報を別のデバイス(たとえば、サーバ、第2のモバイルデバイスなど)へ送信するための回路とを含む、モバイルデバイス(たとえば、スマートフォンなど)であり得る。
別の実施形態では、ヘッドマウントデバイスは、インターネット、ローカルワイヤレスネットワーク、または別のコンピューティングデバイスと接続するための、ワイヤレスインターフェースを含み得る。別の実施形態では、ピコプロジェクタがヘッドマウントデバイス内で関連付けられて、表面上への画像の投影が可能にされ得る。ヘッドマウントデバイスは、好ましくは軽量であり、デバイスの装着を不快に感じさせ得る重い構成要素の使用を回避するように構築される。ヘッドマウントデバイスはまた、音声/ジェスチャー入力をユーザから受信するようにも動作可能であり得る。そのようなジェスチャー入力または音声入力は、口頭のボイスコマンドまたは認識されたユーザジェスチャーであってもよく、コンピューティングデバイスによって認識されるとき、対応するコマンドをそのデバイスに実行させることができる。
「ピアツーピアネットワーク」という用語は、いかなる形態の知られているピアツーピアネットワーク技術、または将来開発され得るピアツーピアネットワーク技術をも包含するように意図される。いくつかの実施形態は、ハイパーテキスト転送プロトコル(HTTP)メッセージングを利用するピアツーピアネットワークに言及するが、そのような言及は、単に例として機能するように意図され、特許請求の範囲を任意の特定のネットワーキング技術に限定するように意図されない。
言及しやすいように、様々な実施形態の機能を示す例は、ネットワークを、第1および第2のネットワークもしくはユーザと呼び、または、ネットワークおよびユーザAおよびBと呼ぶことがある。たとえば、第1のユーザは「ユーザA」と呼ばれることがあり、第2のユーザは「ユーザB」と呼ばれることがある。図面および説明におけるそのような言及は、任意であり、ネットワークおよびユーザの言及を簡略化するために使用され、したがって、特許請求の範囲を2つのネットワークのみもしくは2人のユーザのみに限定するように意図されず、または、特定のユーザを特定のネットワークに限定するように意図されず、その理由は、様々な実施形態が任意の数のネットワークおよびユーザをサポートするからである。
いくつかの構成要素およびモジュールを含み得るシステムに関して、様々な実施形態を提示する。様々なシステムが、追加の構成要素、モジュールなどを含んでもよく、かつ、各図に関連して論じられる構成要素、モジュールなどのすべてを含むとは限らないことを理解し、諒解されたい。これらの手法の組合せも使用され得る。
図1を参照すると、様々な実施形態は、コンピューティングデバイスとの対話および他のユーザとの共同作業を容易にすることができる拡張現実体験を提供するために、ヘッドマウントデバイス10が、アンカーされる表面16上に表示された仮想オブジェクト14をレンダリングすることを可能にする。様々な実施形態は、ヘッドマウントまたはボディマウント(たとえば、ユーザの首、肩、もしくは腕に、またはハンドヘルド)であるカメラを用いて、画像をキャプチャすることを含み得る。参照しやすいように、本明細書および特許請求の範囲で使用する「ボディマウント」という用語は、ヘッドマウントを包含する。一実施形態では、このカメラは、ヘッドマウントまたはボディマウントのステレオカメラであってもよく、プロセッサがステレオ画像の三角法による解析を通して画像内のオブジェクトまでの距離を推定するように解析することができる画像データを生成することができる。代替的にまたは追加として、ヘッドマウントデバイスは、画像内の様々な表面までの距離を測定することができる、1つまたは複数の距離測定センサ(たとえば、レーザーまたは音波距離計)を含み得る。以下でより詳細に説明するように、様々な実施形態では、多種多様なタイプの距離測定センサおよびアルゴリズムが、ユーザによって見られるシーン内のオブジェクトまでの距離を測定するために、測定すべき撮像されたシーンにおいて使用され得る。また、2つ以上のセンサおよび2つ以上のタイプのセンサが、ヘッドマウントデバイスにおいて使用され得る。したがって、説明しやすいように、および一貫性のために、ヘッドマウントデバイス上に含まれ得る様々な組合せおよびタイプの距離測定センサを、本明細書では総称して、または個々に「距離センサ」と呼ぶ。
さらに、ヘッドマウントデバイス10は、加速度計、ジャイロスコープ、磁気センサ、光学センサ、機械的もしくは電子的レベルセンサ、および慣性センサなど、向きセンサを含んでもよく、これらのセンサは、単体または組合せで、(たとえば、重力の向きを検知することによって)デバイスの上/下/レベルの向きに関して、および、したがって、ユーザの頭の(および、その閲覧パースペクティブからの)位置/向きに関して、データをデバイスのプロセッサに供給することができる。さらに、ヘッドマウントデバイスは、左/右の向きおよび動きに関して、データをデバイスのプロセッサに供給することができる、電子コンパスおよび加速度計などの回転向きセンサを含み得る。総称して、ヘッドマウントデバイス(および、したがって、ユーザの閲覧パースペクティブ)の上/下および回転の向きに関するデータを供給するように構成されたセンサ(加速度計、ジャイロスコープ、磁気センサ、光学センサ、機械的もしくは電子的レベルセンサ、慣性センサ、および電子コンパスを含む)を、本明細書では「向きセンサ」と呼ぶ。
システムは、カメラによって撮像され得るジェスチャーを通して行われ得る、ユーザ入力を認識し、撮像されたシーン内で仮想オブジェクトを位置決めするための表面またはロケーションを識別するように構成され得る。画像内の認識されたオブジェクトまでの距離は、ステレオ画像および/または距離センサから収集されたデータから決定され得る。ヘッドマウントデバイス10は、図16を参照して以下でより詳細に説明するように、スマートフォンまたは他のモバイルデバイスにおけるものなど、ヘッドマウントデバイスとは別個であり得るモバイルプロセッサに画像および距離センサデータを供給し、モバイルプロセッサからディスプレイ情報を受信することができる。ヘッドマウントデバイスの向きを周囲に対して設定し、様々な表面までの距離および様々な表面の向きを決定するこのプロセスを、数人のユーザによって装着されている各デバイスによって、表示された仮想オブジェクトが各ユーザにとって適切なパースペクティブから各ユーザによって見られるように、達成することができる。さらに、走査された3次元(3D)環境のトポグラフィにおける変化を常に参照し、したがって、同時位置特定およびマップ作成(SLAM:Simultaneous Location and Mapping)動作を実行することによって、各ヘッドマウントデバイスが空間内で動くとき、それ自体の位置および画角を三角測量することができるように、このプロセスを連続的に達成することができる。
一実施形態では、ヘッドマウントデバイス10は、キャプチャされた画像内で第1のアンカー表面16を示す第1のユーザ入力を受信することができる。この入力は、ボタン押下、ヘッドマウントカメラの視野内で実行された認識可能なジェスチャー、所定の時間期間にわたって比較的動きのないままである画像として認識されたユーザによる集中的な凝視、または他の認識可能な入力の形態など、様々なユーザ入力のうちの任意のものであり得る。第1のアンカー表面16は、ヘッドマウントデバイス10のカメラによって取得された画像中にある第1の表面に対応し得る。ヘッドマウントデバイス10に結合されたか、またはヘッドマウントデバイス10内のプロセッサは、仮想オブジェクト14を生成し、仮想オブジェクト14のディスプレイロケーションに対応する、ヘッドマウントまたはボディマウントカメラに対する距離および向きを含む、ディスプレイに関連のあるパラメータを計算することができる。ユーザが、指定されたアンカー表面にアンカーされた仮想オブジェクト14を表示することを選択するとき、ヘッドマウントデバイス10に結合されたか、またはヘッドマウントデバイス10内のプロセッサは、仮想オブジェクト14をディスプレイ上に(または、プロジェクタを通して)レンダリングして、仮想オブジェクトがディスプレイを通して見られるとき、第1のアンカー表面16上にあるように見えるようにすることができる。仮想オブジェクト14は、たとえば、テキスト、グラフィックス、画像、および3D形状を含む、任意の仮想オブジェクト14であり得る。このようにして提示されるとき、周囲の環境内の指定されたロケーションに/上に位置する仮想オブジェクトの投影は、仮想現実の体験を作り出し、仮想オブジェクトとのユーザ対話を可能にすることができる。様々な実施形態は、仮想オブジェクトおよびデジタルアセット(文書、ピクチャ、ビデオなど)との自然な対話を可能にする。仮想オブジェクトおよびデジタルアセットとのそのような自然な対話には、ジェスチャー制御、タッチ操作、仮想オブジェクトのタッチされた部分を強調することなどが含まれ得る。認識可能なジェスチャーは、ヘッドマウントデバイスによってアクセス可能なジェスチャー辞書の形態で記憶または編成され得る。そのようなジェスチャー辞書は、突くこと、軽くたたくこと、タップ、押すこと、案内、フリック、ターン、回転、つかんで引くこと、画像をパンするために両手のひらを開くこと、描画(たとえば、フィンガーペインティング)、指で形状を作ること(たとえば、「OK」サイン)、およびスワイプを含み得る、ジェスチャーを認識するための動きデータまたはパターンを記憶することができ、それらのジェスチャーのすべては、生成された表示内の仮想オブジェクトの見かけのロケーションで、見かけのロケーションにごく接近して、または、見かけのロケーションの(ユーザに関する)方向をアドレス指定して達成され得る。このようにして、様々な実施形態は、ジェスチャー制御または他の好適な制御入力方法を含み得る、仮想オブジェクトとの自然な対話を可能にする。
様々な実施形態は、異なるタイプのヘッドマウントディスプレイを使用して実施され得る。いくつかのヘッドマウントディスプレイは、ユーザがディスプレイを超えてシーンを見ることを可能にする、半透明であってもよく、投影画像は、背景シーン上に重ね合わせられるように見える。他の実施形態では、ヘッドマウントディスプレイは、部屋のユーザの視野を完全にブロックする。この実施形態では、ヘッドマウントディスプレイは、仮想または拡張現実体験を提供する。室内のオブジェクトを見るために、ユーザによって装着された1つまたは複数のカメラによって取得された画像を使用して、部屋のビューをヘッドマウントディスプレイ上に投影することができる。この実施形態では、仮想オブジェクトが、ヘッドマウントディスプレイ上に投影された画像に追加され、それによって、カメラによって取得された実際の画像と同じくらい現実のように見え得る。
ヘッドマウントディスプレイが不透明である(すなわち、完全にふさがれる)実施形態では、ヘッドマウントデバイス10は、ユーザの前のシーンの画像を、ディスプレイ内に含まれた14における仮想オブジェクトとともに、選択されたアンカー表面16にアンカーされるように見えるように表示することができる。この実施形態では、イメージングセンサおよびヘッドマウントデバイスは、不透明なディスプレイ上に、ユーザの前のシーンの画像を投影する。ユーザがそのシーンにナビゲートするために、ユーザは、ヘッドマウントカメラから取得された画像をヘッドマウントディスプレイ上で見る。このことは、特に、ユーザが自分の両手を制御ジェスチャーの一部として動かしているとき、ユーザの両手のディスプレイ画像にレンダリングすることを含み得る。仮想オブジェクト14が特定の表面にアンカーされる場合、仮想オブジェクトは、ユーザがアンカー表面から目をそらしているとき、ディスプレイ内で見えなくなる。ヘッドマウントディスプレイは、ボディマウントカメラから取得された画像を含む、ヘッドマウントデバイスによって生成された画像を提示するので、システムは、仮想オブジェクトが背景の前に現れるように、シーンの部分を表示することができる。したがって、この実装形態では、仮想画像がユーザの両手の前でヘッドマウントディスプレイ上に提示される場合、ユーザの両手はユーザにとって可視でなくなる。結果として、仮想オブジェクトは、立体および不透明であるように見え得る。この実施形態は、同じディスプレイ上に提示された仮想オブジェクトと組み合わされた、ユーザにより装着されたカメラによって取得された実際の画像を表示すること含む、仮想または拡張現実体験を提供する。
ヘッドマウントディスプレイが半透明である(すなわち、ユーザがディスプレイを通して背景シーンを見ることができる)実施形態では、ヘッドマウントデバイス10は、生成された仮想オブジェクトが、ユーザによってディスプレイを通して見られるとき、第1のアンカー表面16にアンカーされるように見えるように、それらの仮想オブジェクトを表示することができる。このようにして、ユーザは、部分透明ヘッドマウントディスプレイを用いてシーンを見ることができ、そこで、デスク、テーブル、および壁のような実世界のオブジェクトが、同じく可視のシーン内に仮想オブジェクトを配置するヘッドマウントディスプレイを通して部分的に可視である。可視の仮想オブジェクト14は、実世界オブジェクト16にアンカーまたは接続され得る。この実施形態は、ディスプレイがシースルーまたはビデオシースルーであり、仮想オブジェクトが実際のロケーション内または実際の表面上に固定されるように見えるディスプレイを通して、ユーザが実世界を見ることを可能にする、拡張現実体験を提供する。
たとえば、仮想オブジェクト14は、薄型テレビに似ていてもよく、図1に示すように、実世界オブジェクトまたは実世界の壁16に接続され、または「アンカー」してもよい。ユーザが自分の頭を動かすとき、仮想オブジェクト14は、通常、ユーザの視野とともにディスプレイ10上で動くようになる。しかしながら、この実施形態では、ユーザが自分の頭を回した場合、実世界のフラットパネルディスプレイが表面上にとどまるようになる状態と同様に、仮想オブジェクト14は、アンカー表面16上にとどまるように見える。
一実施形態では、ユーザは、ユーザが第1のアンカー表面を選択した方法と同様の方法で、アンカー表面16を移動させることができる。ユーザは、あるタスクでは、異なるアンカー表面が好ましくなることを発見することがある。ヘッドマウントデバイス10は、第1のアンカー表面16とは異なる、画像内の新しいまたは第2のアンカー表面16を示す、第2の入力(入力デバイスからのジェスチャー、音声など)を受信することができる。第2のアンカー表面16は、画像中にある第2の異なる表面に対応し得る。さらに、第1および第2のアンカー表面は、隣接していなくてもよく、第1の表面は、第2の/代替的表面が指定されるとき、ヘッドマウントデバイスカメラの視野内になくてもよい。たとえば、1つの表面は、図2に示すように、デスクトップ16であり得るが、別の表面は、図1に示すように、水平の壁16または天井であり得る。たとえば、第1のユーザは、第1のアンカー表面16を個人使用のために選択し、次いで、異なる地理的ロケーションにおける第2のユーザのために、第2のアンカー表面16を選択することができる。一実施形態では、ユーザ入力は、音声入力、有形の入力デバイス(キーボードもしくはマウス)を使用して与えられた入力、検出されたジェスチャーであってもよく、または、異なるユーザによって与えられてもよい。ヘッドマウントデバイス10内の、またはヘッドマウントデバイス10に結合されたプロセッサは、第2のアンカー表面16に対応する、ヘッドマウントまたはボディマウントカメラに対する距離および向きを含む、パラメータを計算することができる。ヘッドマウントデバイス10内の、またはヘッドマウントデバイス10に結合されたプロセッサは、次いで、生成された仮想オブジェクト14を表示して、仮想オブジェクトがユーザにとって、選択された第2のアンカー表面16にアンカーされるように見えるようにすることができる。別の実施形態では、ヘッドマウントデバイス10の代わりに、またはそれに加えて、ピコプロジェクタを使用して、仮想オブジェクト14を選択されたアンカー表面16上に投影することができる。ピコプロジェクタは、別個のモジュール式のデバイスであってもよく、または、ヘッドマウントデバイス10内に含まれてもよい。
図1は、ヘッドマウントデバイス10を使用するユーザを示す。ヘッドマウントデバイス10は、ユーザが、壁12など、近くの表面を仮想の「フラットパネル画面」16として指定できるようにすることができる。ユーザは、入力コマンドを使用して、近くの表面16を識別することができる。複数のユーザが、共通のネットワークまたはデータベースに接続されたヘッドマウントデバイス10を装備しているとき、それらのユーザの一部または全部は、同じ仮想オブジェクト14を同時に見ることができ、それによって、仮想オブジェクトが実世界オブジェクトであるかのように、仮想オブジェクトに関する共同作業およびグループの議論が可能になる。
ヘッドマウントデバイス10のディスプレイを駆動するプロセッサは、生成された仮想オブジェクト14の表示画像を連続的に更新し、ユーザが自分の頭を回し、選択されたアンカー表面16に対して動くとき、仮想オブジェクト14がアンカー表面16にアンカーされるように見えるようにすることができる。したがって、ユーザが室内で動き、歩き回るとき、仮想オブジェクト14は、物理的表面16上で固定されたままであるように見え得る。この印象を維持することの一部として、プロセッサは、仮想オブジェクト14の外観を修正し、その形状、サイズ、および向きがアンカー表面のユーザの閲覧パースペクティブに適合するようにすることができる。仮想オブジェクトの形状、サイズ、および向きを調整することは、没入型の仮想または拡張現実体験の提供を助けることができる。ユーザが、仮想オブジェクト14を別のアンカー表面へ移動させるためにあらかじめ定義された特定の入力を入力するのでない限り、仮想オブジェクト14は、静的で、一見するとアンカー表面に付着されたままであり得る。このことは、ユーザのグループの中の共同作業にとって有益であることがあり、その理由は、仮想オブジェクト14が、各ユーザのロケーションおよび閲覧パースペクティブにかかわらず、会話のための共同作業的な焦点であり得るからである。たとえば、第1のユーザは、アンカー表面上でメディアを読み、または、第2のユーザによって与えられたプレゼンテーションを見ることができる。このことは、第1のユーザが、混乱することなく、アンカー表面16を室内の異なる表面またはオブジェクトに変更できることを除いて、フラットパネル画面と同様に、仮想オブジェクト14が実世界または物理的なオブジェクトであるという外観を第1のユーザに与えるようになる。
非限定的な例では、仮想オブジェクト14は、共同作業向けのソフトウェアアプリケーションのディスプレイ出力であり得る。たとえば、仮想オブジェクト14は、テキスト、メディア、テレビジョンチャネル、映画、文書ワードプロセシングアプリケーション、電子メール、ビデオ、電話通話、ソーシャルネットワーク投稿、RSSフィードなどを含み得る。そのようなオブジェクトは、いかなる表面もディスプレイとして機能することができることを除いて、それらのオブジェクトが従来のフラットパネルディスプレイ上に現れ得る方法と同様に、アンカー表面に、またはアンカー表面上に固定されるように見えるように、ディスプレイ上に提示され得る。加えて、選択された表面にアンカーされた仮想オブジェクトのサイズをユーザによって制御して、表示されたオブジェクトをより大きく、またはより小さくすることができる。別の実施形態では、仮想オブジェクト14は、非平面および非矩形表面上にレンダリングされるか、または、球形もしくは一見すると3次元の形状を用いてレンダリングされるなど、異なる外観を有してもよい。ヘッドマウントディスプレイ上の仮想オブジェクト14の提示は、ユーザが、オブジェクトが物理的環境の一部であるかのように、オブジェクトを見て、オブジェクトと対話することを可能にする。一実施形態では、仮想オブジェクト14は、各ユーザにとって異なって見え得る。
一実施形態では、仮想オブジェクト14は、物理的表面16にアンカーされていない3次元モデルであってもよい。この実施形態では、仮想オブジェクト14は、空間内に浮いているように見える3次元モデルであってもよい。この実施形態では、ユーザは、自由空間内で表示された仮想オブジェクト14を見ることができ、仮想オブジェクト14は、壁、床、家具などに対するものであり得る、自由空間内で選択された3次元位置にアンカーされる。この実施形態では、仮想オブジェクト14が空間内の特定のロケーションにアンカーされるとき、ユーザが自分の頭を動かし、アンカーロケーションの周囲、および、したがって仮想オブジェクトの周囲を動くとき、そのオブジェクトが動くように見えないようになる。たとえば、仮想オブジェクト14は、自由空間内で所定の3-D座標にアンカーされるように見えるように、部分透明ディスプレイ上に提示され得る。この実施形態では、ディスプレイは、システムが仮想オブジェクト14を自由に浮くものとして表示するべきである場所または座標をユーザが入力するための、プロンプトを表示することができる。プロセッサは、検出されたジェスチャー(たとえば、指で空間内の点を指す)を介して入力コマンドを認識することができ、または、仮想オブジェクト14を自由空間内で自由に浮くものとして配置するための音声コマンドを認識することができる。プロセッサは、指示された空間点にアンカーされた仮想オブジェクト14を表示することができ、または、仮想オブジェクト14をヘッドマウントディスプレイのある位置に接続して、仮想オブジェクト14が空間内で浮いている錯覚を有するようにすることができる。ユーザが、自由空間内で仮想オブジェクト14に対して動くとき、仮想オブジェクト14のパースペクティブ、サイズ、および向きもまた、それに応じて変化し得る。たとえば、仮想オブジェクト14は、壁に隣接して、または地面より上で浮いている外部、および窓の外側に位置する空き空間にアンカーされ得る。このようにして、ユーザは、室内で自由に浮いている仮想オブジェクト14の周囲を歩くことによって、仮想オブジェクト14のすべての側面を検査することができる。
様々な実施形態では、仮想オブジェクト14を空間内で選択されたアンカー表面または点にアンカーするための入力は、いくつかの異なる方法で与えられ得る。たとえば、ヘッドマウントデバイス10に関連付けられたカメラ、または、ヘッドマウントデバイス10に動作可能に接続された第2のカメラはまた、ユーザの動きを追跡することもできる。プロセッサは、画像を受信することができ、検出アルゴリズムを追跡された動きに適用して、ユーザによって行われた所定のジェスチャーを検出することができる。たとえば、ユーザは表面を指すことができ、そのことを、システムはプロセッサへの特定の入力として解釈することができる。
たとえば、ユーザは、ジェスチャーを用いて、室内の特定の実世界の表面がアンカー表面となるように意図されることを示すことができる。プロセッサは、所定のジェスチャーが検出されるとき、所定のジェスチャーに対応するコマンドを実行することができる。たとえば、プロセッサは、ユーザが特定の表面を指していることを検出することができる。プロセッサは、表面を検出し、ユーザの視線に対する表面の角度を決定し、仮想オブジェクト14を、決定された表面の角度に整合する向きおよびパースペクティブで、ユーザが指した特定の表面上にアンカーすることができる。
たとえば、ユーザは、デスクトップ表面を指すことがある。プロセッサは、ユーザの動きを追跡中であってもよく、検出アルゴリズムを追跡された画像に適用することができる。システムが、人差し指が指しており、残りの指が握りこぶしを作っている、伸ばされたユーザの腕を撮像するとき、プロセッサは、そのような画像をユーザジェスチャーとして認識し、対応するコマンドを適用して、仮想オブジェクト14を、ユーザが指しているデスクトップ上にアンカーすることができる。たとえば、ユーザの指の端部がある表面に接触して、その表面をアンカー表面として識別する場合、ヘッドマウントデバイスは、仮想オブジェクト14を、その表面にアンカーされるように表示することができる。
別の例では、ユーザは、仮想オブジェクト14を移動させて、異なるアンカー表面16上に「配置」することを希望することがある。このことを達成するために、ユーザは、ヘッドマウントデバイス10に結合されたプロセッサが認識できる、第2の所定のジェスチャーを提供または実行することができる。第2の所定のジェスチャーは、キャプチャされた画像内である表面をアンカー表面16として指定するための一般的なコマンドなど、第1のアンカー表面を指定するために使用されたものと同じであってもよく、または、異なるジェスチャーであってもよい。多数の異なるジェスチャーが行われてもよく、本開示の範囲内である。たとえば、検出される所定のジェスチャーは、「OK」サイン、握りこぶし、開いた手、1本の指で指すこと、2本の指で指すこと、3本もしくは4本の指で指すこと、差し伸ばした手、手の回転、手を振ること、1本もしくは複数の指の動き、身体部分の動き(たとえば、足の動き)、または他の任意の動きであってもよい。
また、アンカー表面16の指定、および他の入力またはコマンドは、ヘッドマウントデバイス10上の、もしくはヘッドマウントデバイス10に結合された、または、次にはヘッドマウントデバイスに結合されたプロセッサに結合された、マイクロフォンによって受信された入力を用いて、口頭で与えられ得る。ヘッドマウントデバイス内の、またはヘッドマウントデバイスに結合されたプロセッサは、音声信号をマイクロフォンから受信することができ、音声認識プロセスを使用して、そのような信号を処理することができる。プロセッサは、口頭のコマンドを認識するために、受信された音声信号を、メモリに記憶された1つまたは複数のコマンドの音声パターンと比較することができる。たとえば、プロセッサは、数個の所定のコマンドワードを求めて、音声入力を監視することができる。このようにして、ユーザは、コマンドキーワードを言うことなく、仮想オブジェクトについて議論するためになど、同僚および他のネットワークユーザと話すことができる。プロセッサは、検出アルゴリズムを受信された音声に適用し、特定のあらかじめ定義された音声コマンド、または、あらかじめ定義された注意コマンド(たとえば、「コンピュータ」または「実行する」など)によって続けられたコマンドのみに応答するようにすることができる。たとえば、ユーザは、「画像をデスクの上にアンカーする」と言い、仮想オブジェクトをヘッドマウントデバイスカメラの視界内のデスクにアンカーすることを、プロセッサに行わせることができる。ヘッドマウントデバイス10内の、またはヘッドマウントデバイス10に結合されたプロセッサは、これらの口頭の言葉をコマンド入力として認識し、対応するアクションを実施して、仮想オブジェクト14をデスクまたはアンカー表面16「上」にアンカーすることができる。
別の実施形態では、プロセッサは、コマンド入力を検出するが、次いで、いかなるコマンドを実施するよりも前に、確認を待機するようにプログラムされてもよい。この確認は、意図的でないジェスチャーによって、または、オブジェクトに関するグループ共同作業中の不注意の音声コマンドによって、仮想オブジェクト14を不注意に移動させることを回避するために有利であり得る。この実施形態では、仮想オブジェクト14は、確認または確認コマンドが受信されるのでない限り、コマンドに応答して配置、移動、または表面にアンカーされるようにならない。たとえば、プロセッサは、カメラからの画像を処理して、ジェスチャーコマンドを識別すること、および/または、マイクロフォンから受信された音声信号を処理して、単一の言葉もしくは文などの口頭のコマンドを識別することができる。ジェスチャーまたは口語のコマンドが認識されるとき、プロセッサは、コマンドを確認するようにユーザに促し、確認入力を待機することができ、確認入力は、ボタン押下、口頭の言葉、物理的ジェスチャー、またはそれらの組合せの形態であり得る。プロセッサが、適切な確認または確認コマンドを認識するとき、第1の認識されたジェスチャーに関連付けられたコマンドまたは可聴コマンドを実行することができる。確認コマンドが受信されない場合、プロセッサは、検出されたジェスチャーまたは可聴コマンドを無視することができる。
別の実施形態では、カメラ付きのスマートフォンなど、モバイルコンピューティングデバイスは、ヘッドマウントディスプレイを装着していないユーザのための「マジックレンズ」として動作することができる。この実施形態では、ワイヤレスデータリンクを介してシステムに接続されたコンピューティングデバイスをもつユーザは、仮想オブジェクトをデバイスのディスプレイ上で見ることができる。このことは、ヘッドマウントデバイスのないそれらのユーザが、ヘッドマウントディスプレイ上での見え方と同様に、アンカー表面など、画像内の仮想オブジェクトおよび構造を見ることを可能にする。たとえば、第1のユーザは、ヘッドマウントディスプレイ上で壁に接続された仮想オブジェクト14を見ることができ、ヘッドマウントディスプレイは、画像データを第2のユーザのスマートフォンまたはPDAディスプレイに通信し、第2のユーザが仮想オブジェクト14を、壁または他の表面上にアンカーされているように見えるように見ることができるようにする。別の実施形態では、モジュール式のピコプロジェクタが、モバイルデバイスにリンクされ、仮想オブジェクトの画像を投影するために使用されてもよい。
様々な実施形態では、ヘッドマウントデバイス10は、2つ以上のデバイス間のデータの交換を可能にするワイヤレス通信機能を含んで、2人以上のユーザが文書、ファイル、および仮想オブジェクトと対話し、それらについて共同作業することを可能にする。このようにして、ヘッドマウントデバイス10は、ユーザが様々なパースペクティブから3次元仮想オブジェクトと対話し、それらを見ることを可能にする、仮想または拡張現実体験を提供するなどして、仮想オブジェクト上での複数のユーザによる共同作業を容易にすることができる。そのような共同作業体験を可能にするために、ヘッドマウントデバイス10は、3次元仮想オブジェクトモデルおよび/またはデータセットを、それらのそれぞれのディスプレイ上でレンダリングするために、互いに送信することができる。ヘッドマウントデバイス10はまた、座標マップ、ならびに、3次元仮想オブジェクトモデルおよび/またはデータセットなどのデータファイルを、ネットワークサーバなどの他のコンピューティングデバイスから受信することもできる。また、共同作業に関わるヘッドマウントデバイスのうちの1つまたは複数によって生成された画像データが、非参加者によって使用されるヘッドマウントデバイス、または、スマートフォンもしくはタブレットコンピュータなど、他のモバイルデバイスへ送信され、そこで表示されてもよく、他者が仮想または拡張現実体験において共同作業を見ることが可能にされ得る。ヘッドマウントデバイスを装着し、または、スマートフォンもしくはタブレットなど、別のモバイルデバイスを使用して、共同作業セッションを見る他者は、仮想オブジェクトおよびそれらとのユーザ対話を見るだけでなく、ヘッドマウントデバイスユーザのうちの1人によって見られる仮想拡張を用いた、制限された対話機能を有することができる。この制限された対話は、拡張に接触して効果を引き起こすこと、対話型エリアまたはアンカーポイントを物理的表面上で定義すること(新しい拡張を共有された体験に効果的に追加すること)、ならびに、ジェスチャーおよび/または音声入力を介して、共有された複合現実シーンと対話することを含み得る。仮想体験におけるそのような変更のいずれも、他のユーザによって装着されたヘッドマウントディスプレイに反映され得る。
図2は、第1のヘッドマウントデバイス10aおよび第2のヘッドマウントデバイス10bを使用して、デスクテーブルトップ16など、表面にアンカーされた仮想オブジェクトを見ている、2人のユーザを示す。図示の例では、アンカー表面16は、デスクトップ表面16に対応し、デスクトップ表面16は、第1のヘッドマウントデバイス10aによって表示された画像内に位置する。ヘッドマウントデバイス10aは、この図では仮想画面として示される仮想オブジェクト14aを生成し、仮想オブジェクト14aを、デスクトップ表面16に接続されたかのように表示することができる。第1のユーザが左側、右側、または後方を見る場合、仮想オブジェクト14aは、ヘッドマウントデバイス10aの視界内で移動しないようになり、代わりに、所定の場所にアンカーされたデスクトップ表面16上に表示されたままになる。たとえば、仮想オブジェクト14aは、第1のユーザがアンカー表面16から目をそらす場合、ヘッドマウントデバイス画面内にもはや現れないようになる。また、仮想オブジェクト14aは、アンカー表面16がフラットパネルディスプレイだった場合に現れるであろうような向き、形状、およびサイズで第1のユーザに提示され得る。したがって、仮想オブジェクト14aは、オブジェクトの形状をユーザのパースペクティブからアンカー表面上に投影することから生じる形状およびサイズで表示され得る。このことを達成するため、ヘッドマウントデバイス10a内の、またはヘッドマウントデバイス10aに結合されたプロセッサは、仮想オブジェクト画像をアンカー表面に、またはその上に生成するために、ヘッドマウントまたはボディマウントカメラ10aおよび距離センサに対する距離および向きを含む、形状パラメータを計算することができる。そのような計算は、よく知られているベクトル投影アルゴリズムを実施して、ヘッドマウントディスプレイに提示される画像を生じることができる。通常の体験(たとえば、通常のユークリッド幾何学的な投影)に整合する画像のベクトル処理を適用し、生じた仮想オブジェクト14bを、同じくユーザがディスプレイを越えてオブジェクトを見ることを可能にする半透明ディスプレイ上に提示することによって、その結果は、仮想オブジェクトが実際のオブジェクトとして振る舞うように見えるように、ユーザの感覚をだ
ますことができる。
ますことができる。
共同作業の目的のために、第2のユーザは、第2のヘッドマウントデバイス10bを装着して、同じ物理的空間内で同じ仮想オブジェクトを見ることができる。第2のヘッドマウントデバイス10b内の、または第2のヘッドマウントデバイス10bに結合されたプロセッサは、仮想オブジェクトをユーザにより選択されたアンカー表面16上にレンダリングすることができる。第2のヘッドマウントデバイス10bは、仮想オブジェクト14bを、第1のヘッドマウントデバイス10a用に指定されたものと同じアンカー表面または位置上に表示することができる。第2のユーザはまた、第2のヘッドマウントデバイス10bを通して見られるように、仮想オブジェクト14bをレンダリングするための、異なる位置またはアンカー表面を指定することもできる。第2のヘッドマウントデバイス10bが、仮想オブジェクト14bを第2のユーザのパースペクティブからアンカー表面上に適切にレンダリングできるようにするために、第1のヘッドマウントデバイスから第2のヘッドマウントデバイスへ送信されるデータは、形状またはオブジェクトデータを含み得る。このデータは、第2のヘッドマウントデバイスプロセッサが、第2のユーザの閲覧パースペクティブに対応する仮想オブジェクトの表示画像をレンダリングできるようにすることができる。仮想オブジェクトデータは、幾何モデル、座標、およびフィルデータ、または、第2のヘッドマウントデバイス10b内のプロセッサにおいて実装された3次元オブジェクトレンダリングモジュール内で使用され得る同様のレンダリングデータの形態であり得る。
いくつかの実装形態または状況では、第2のヘッドマウントデバイス10bは、アンカー表面16にアンカーされた仮想オブジェクトを示す、第1のヘッドマウントデバイス10aからの画像データを受信することができる。そのような場合、第2のヘッドマウントデバイス10b内の、または第2のヘッドマウントデバイス10bに結合されたプロセッサは、ワイヤレスデータリンクを介して第1のヘッドマウントデバイス10aによって生成されたビデオデータを受信し、受信されたビデオデータを出力ビデオ画像として単に表示することができる。この適用例では、第2のユーザは、第1のユーザのパースペクティブから、第2のヘッドマウントディスプレイ上のシーンおよびアンカーされた仮想オブジェクト14aを見る。したがって、この実装形態では、第2のユーザは、映画またはTVビデオのように、第1のユーザの閲覧体験を体験することができる。この第1のユーザパースペクティブは、第1のユーザが第2のユーザに、トレーニングのために何かを行う方法を示しているか、または、第2のユーザが第1のユーザのアクティビティを監督中であるときなど、いくつかの状況では極めて有用であり得る。この状況では、データリンクを介して送られるデータは、単純なビデオおよび音声ストリームであってもよく、第2のヘッドマウントデバイスは、仮想オブジェクトのさらなる処理またはレンダリングを用いて、受信された画像をヘッドマウントディスプレイ上に単に投影することができる。以下で説明するように、第1のヘッドマウントデバイスからのビデオおよび画像データはまた、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、または大型ビデオディスプレイなど、他のコンピューティングデバイスにも(たとえば、ネットワーク、サーバ、またはピアツーピアワイヤレスデータリンクを介して)送信されて、他者が第1のユーザの仮想/拡張現実体験を見て、共有することが可能にされ得る。
第2のヘッドマウントデバイス10bは、仮想オブジェクト14bをデスクトップ表面16上に表示することができる。代替として、第2のユーザは、仮想オブジェクト14が表示されるべき別のアンカー表面を指定することができる。仮想オブジェクト14aが第1のアンカー表面16上に表示されるとき、第2のヘッドマウントデバイス10bは、オブジェクトのサイズおよび形状を、第2のユーザのパースペクティブに適するように見えるように修正することができる。たとえば、2人のユーザがテーブルまたはデスクの両側で同じオブジェクトを見ている場合、そのオブジェクトは、まさに実際のオブジェクトであるかのように、ユーザの一方にとって逆さまに見え得る。代替として、両方のユーザが、同じオブジェクトを同様に見ることができるので、両方ともが、正しい側が上になっているそのオブジェクトを見るようになる。
たとえば、第2のユーザ10bがデスクトップアンカー表面16に近づく場合、仮想オブジェクト14bはより大きくなり得る。第2のユーザ10bがデスクトップアンカー表面16から離れる場合、仮想オブジェクト14bはより小さくなり得る。さらに、第2のユーザ10bがディスプレイを水平方向に対して回転させる場合、仮想オブジェクト14bは、同様に回転を補償して、デスクトップアンカー表面16にアンカーされるように見え得る。さらなる例として、ユーザは、オブジェクト14bを閉じるか、またはディスプレイから除去するために、仮想オブジェクトをわきに払いのけるかのように腕をさっと払う、仮想オブジェクトの周囲で指を閉じる、または、仮想オブジェクト14bをパンチするなど、自分の腕および手を用いて、オブジェクト14bと対話するように見える方法で動くことができる。さらなる例として、第2のユーザ10bは、仮想オブジェクト14bを引っ張るか、または押すように試みるジェスチャーを実行することができ、この引っ張るか、または押すことは、入力コマンドとして解釈され得る。上述のように、認識可能なジェスチャーは、ジェスチャー辞書に記憶されてもよく、ジェスチャー辞書は、突くこと、軽くたたくこと、タップ、押すこと、案内、フリック、ターン、回転、つかんで引くこと、画像をパンするために両手のひらを開くこと、描画(たとえば、フィンガーペインティング)、指で形状を作ること(たとえば、「OK」サイン)、およびスワイプを含み得る、ジェスチャーを認識するための動きデータまたはパターンを記憶することができ、それらのジェスチャーのすべては、生成された表示内の仮想オブジェクトの見かけのロケーションで、または見かけのロケーションにごく接近して達成され得る。このようにして、ユーザは、実世界オブジェクトに好適となるジェスチャーを使用して、表面16にアンカーされた仮想オブジェクト14bと対話し、それによって、仮想オブジェクトとの対話を直観的にし、学習しやすくすることができる。
以下でより詳細に説明する一実施形態では、ヘッドマウントディスプレイをプロジェクタで置き換えて、画像が表面上に投影されるようにすることができる。そのような実施形態では、ユーザの操作および体験は、上記で説明したようにヘッドマウントディスプレイを使用することと同様であり得る。また、新しい画像提示技術が開発されるにつれて、実世界のアンカー表面とともに、ユーザによってユーザのパースペクティブから見られた仮想オブジェクトをレンダリングするために、そのような技術が様々な実施形態とともに実施され得る。
図3は、ヘッドマウントデバイス10a、10bを装着している2人のユーザが互いに向かい合っているにもかかわらず、仮想オブジェクト14aが各ユーザにとって上側が上に見える(すなわち、逆さまではない)ように、2人のユーザに提示された仮想オブジェクトを示す。この仮想オブジェクトの自動向き設定(self-orientation)は、両方のユーザがオブジェクトデータ(たとえば、棒グラフ)を正しく見ることを可能にする。
上述のように、仮想オブジェクト14a、14bのこの提示は、ヘッドマウントデバイス10aがヘッドマウントまたはボディマウントカメラを利用して、テーブル16の画像をキャプチャすることによって、達成され得る。画像は、ヘッドマウントディスプレイ10aで表示され得るか、または、テーブルは、半透明ディスプレイを通して見られ得る。第1のユーザのための仮想オブジェクト14aは、ヘッドマウントデバイス10a上で表示され得る。第1のユーザは、第1のヘッドマウントデバイス10aを使用して、第2の仮想オブジェクト14bが第2のユーザのために生成されるべきであることを示す、信号を構築することができる。第1のユーザはまた、キャプチャされた画像内でアンカー表面16を示す入力を供給することもできる。ヘッドマウントデバイス10a内の、またはヘッドマウントデバイス10aに結合されたプロセッサは、第1のユーザによって選択されたアンカーデスクトップ表面16に対応する、ヘッドマウントまたはボディマウントカメラ10aに対する距離および向きを含む、パラメータを計算することができる。ヘッドマウントデバイス10aは、生成された仮想オブジェクト14aがアンカー表面16にアンカーされ、第1の向きを含むように、仮想オブジェクト14aを表示する。第1の仮想オブジェクト14aは、次いで、第1のアンカー表面16aに接続されるかのように、第1のヘッドマウントディスプレイ10a上のディスプレイによって表示され得る。
図3では、第2のヘッドマウントデバイス10bを装着する第2のユーザが、第1のユーザに向かい合って座っている。第2のヘッドマウントデバイス10bは、アンカー表面16となるべきデスクトップを選択するための入力を受信することができ、または、第1のヘッドマウントデバイス10aから、選択されたアンカー表面16を識別するデータを受信することができる。この情報を使用して、第2のヘッドマウントデバイス10bは、正しい側が上になるように見えるように、および、第2のユーザにとって適切なパースペクティブで向きが再設定された仮想オブジェクト14bの表示を生成することができる。この表示を生成するために、第2のヘッドマウントデバイス10bは、そのコンテンツならびにその全体的な形状および向きに関するデータなど、レンダリングされるべき仮想オブジェクトに関するデータを受信することができる。第2のヘッドマウントデバイス10bは、第1のユーザによって選択されたアンカー表面(または、第2のユーザによって選択された別のアンカー表面)を使用して、仮想オブジェクトを表示するためのロケーション、向き、およびパースペクティブを決定することができる。このことは、オブジェクトの適切な上部と、レンダリングされたオブジェクトの適切なパースペクティブを生じるアンカー表面に適合するためのオブジェクトの投影の角度とを決定することを含み得る。したがって、図3に示すように、第2のユーザは、デスクトップ表面16にアンカーされているが、第2のユーザのパースペクティブからは正しい側が上である、同じ仮想オブジェクト14bを見る。
代替実施形態では、第1のヘッドマウントデバイス10a、または、両方のヘッドマウントデバイスと通信している別のコンピューティングデバイスは、第2のヘッドマウントデバイス10bのための仮想オブジェクト14bの適切な向きおよびパースペクティブを決定することができる。この場合、第1のヘッドマウントデバイス10aは、デバイスが第2のユーザの、または第2のヘッドマウントデバイス10bの向きを決定できるようにするために十分な情報を受信することができる。たとえば、第2のユーザの画像が、第1のヘッドマウントデバイス上のカメラによってキャプチャされ、解剖学的モデルを使用して処理されて、第2のユーザの位置および閲覧パースペクティブが決定され得る。第1のヘッドマウントデバイス10aは、次いで、決定されたユーザの向きに基づいて、第2のユーザ10bのために仮想オブジェクト14bの向きを正しく設定する方法で、仮想オブジェクトデータを第2のヘッドマウントデバイスへ送信することができる。
様々な実施形態では、第2のユーザは、第2のヘッドマウントデバイス10bに入力を供給して、仮想オブジェクト14bの向き、サイズ、および形状(たとえば、パースペクティブ)を制御または変更することができる。たとえば、検出されたジェスチャー入力コマンドを利用する第2のユーザは、仮想オブジェクト14bの角をドラッグして、仮想オブジェクト14bをより大きく、またはより小さくすることができる。別の例として、第2のユーザは、仮想オブジェクト14bを最小化し、新しいアプリケーションまたは仮想オブジェクトを開くことができる。
図4に示すように、同じ仮想オブジェクトを見る2人のユーザは、同じ室内にいる必要はない。たとえば、第1のロケーション、たとえば、英国のケンブリッジで第1のヘッドマウントデバイス10aを装着する第1のユーザは、第1のアンカー表面16a(たとえば、壁)上にアンカーされた仮想オブジェクト14a(たとえば、プレゼンテーションまたはグラフ)を見て、第2のロケーション、たとえば、カリフォルニア州サンディエゴで第2のヘッドマウントデバイス10bを装着する第2のユーザとともに、仮想オブジェクトに関して共同作業することができ、第2のユーザは、テーブルトップなど、極めて異なるアンカー表面16bにアンカーされた仮想オブジェクト14bを見ることができる。ヘッドマウントデバイス10aは、デバイス10aおよび10bを相互接続し、ワイヤードまたはワイヤレス通信リンクによってユーザがリソースを共有できるようにする、当技術分野で知られているいずれかのコンピュータネットワークを介して、第2のヘッドマウントデバイス10bと通信することができる。
たとえば、第1のヘッドマウントデバイス10aは、通信ネットワークを介して、第2のヘッドマウントデバイス10bのための第2の仮想オブジェクト14bの向きを正しく設定する信号と、第2のユーザ10bのために向きが設定された第2の仮想オブジェクト14bを生成する信号とを送信することができる。第2のヘッドマウントデバイス10bは、通信ネットワークから信号を受信することができ、第2のユーザ10bのための第2の仮想オブジェクト14bを生成することができる。
別の実施形態では、第1のユーザおよび/または第2のユーザの画像を、ヘッドマウントまたはボディマウントカメラによって経時的にキャプチャして、仮想オブジェクトの適切な向きを決定するために使用することができる。解剖学的解析をキャプチャされた画像に適用して、指定されたアンカー表面に対してなど、ユーザの現在の姿勢および向きを決定することができる。たとえば、画像を、メモリに記憶された解剖学的データと比較して、画像内の身体部分を検出し、ユーザの向きを決定することができる。第2のヘッドマウントデバイス10bのための第2の仮想オブジェクト14bは、第1のユーザ(すなわち、第1のユーザにとって見える方法で第2のユーザに画像を提示するために)、または第2のユーザ(すなわち、第2のユーザの姿勢に好適な方法で画像を提示するために)のいずれかの画像内で検出された身体部分に基づいて、正しく向きが設定され得る。たとえば、第2のユーザの画像が、キャプチャされ、追跡され、メモリに記憶された解剖学的データと比較され得、そこで、第2のユーザの頭、肩、腕、胴、脚、または、いずれかの他の身体部分もしくはその一部分が検出され得る。第2のヘッドマウントデバイス10bは、検出された身体部分に基づいて、仮想オブジェクトの向きを設定することができる。第2の仮想オブジェクト14bは、第1の向きで向きが設定され、表示され得る。
ある時間期間の後で、第2のユーザが動くことがあり、第1の向きが、異なる向きおよびそのユーザの新しいロケーションに基づいて、適切でないことがある。たとえば、画像中にある認識されたオブジェクトをもつ第2のアンカー表面16bに対応する、第2のヘッドマウントまたはボディマウントカメラ10bに対する距離および向きを含む、パラメータが計算され得る。そのような動きの後、第2の仮想オブジェクト14bのための決定された向きに対応する、画像サイズおよび向きが決定され得る。第2のヘッドマウントデバイス10bは、次いで、第2の仮想オブジェクト14bが第2のアンカー表面16bにアンカーおよび接続されるように見えるように、生成された第2の仮想オブジェクト14bを表示することができる。たとえば、検出された身体部分が利用されて、どこで第2のユーザが見ているかが決定されてもよく、第2の仮想オブジェクト14bは、どこで第2のユーザが見ているかに基づいて、正しく向きが設定され得る。
別の実施形態では、検出された身体部分が利用されて、第2のユーザが座っているか、立っているかが判定され得る。その判定に基づいて、第2の仮想オブジェクト14bが、第2のユーザに隣接する平坦面にアンカーされ、その上で向きが設定されるように、生成され得る。検出された身体部分に基づいて、第2のユーザが立っていると判定される場合、第2の仮想オブジェクト14bは、第2のユーザに隣接する垂直面上に生成され得る。
図4の例示では、アンカー表面16aは、ヘッドマウントデバイス10aによって表示された画像内に位置する壁である。第1のユーザでは、ヘッドマウントデバイス10aは、仮想オブジェクト14aを生成し、壁表面16に固定または接続され、第1のユーザにとって正しい側が上になるように向きが設定されるかのように、仮想オブジェクト14aを表示することができる。ヘッドマウントデバイス10aのプロセッサは、ヘッドマウントデバイス10aから、第1のユーザによってアンカー表面として選択された壁16までの距離および向きを含む、仮想オブジェクトをレンダリングするためのパラメータを計算することができる。ヘッドマウントデバイス10aは、インターネットなどのネットワークを介して第2のヘッドマウントデバイス10bにデータを通信するためにルータと通信するように構成された送受信機に結合される、モバイルCPUを含んでもよく、またはモバイルCPUに結合され得る。同様に、第2のヘッドマウントデバイス10bもまた、インターネット、イントラネット、ワイヤレスネットワーク、または、任意の他の適切な遠隔通信ネットワークなど、ネットワークを介してデータを送信/受信するためにネットワークと通信するための送受信機を含み得る。
第1のヘッドマウントデバイス10aおよび第2のヘッドマウントデバイス10bのいずれかは、共同作業セッションを開始し、インターネットなどのネットワークを介して、他のヘッドマウントデバイスに関連付けられたIPアドレスにメッセージを送ることによってなど、そのようなセッションを求める要求を他のものに送ることができる。別の実施形態では、ヘッドマウントデバイス10aは、2つのデバイス10aと10bとの間でリソースを共有するためのサービスを実行するためのプログラム命令を含むサーバを介して、第2のヘッドマウントデバイス10bと通信することができる。
一例として、ともにヘッドマウントデバイスを装備した第1のユーザと第2のユーザとの間の共同作業セッションは、次のように進み得る。アセットまたは仮想オブジェクトが一方のユーザによって表面に追加またはアンカーされるとき、そのユーザのヘッドマウントデバイスは、他方のユーザのヘッドマウントデバイスへ、以前に選択されたアンカー表面上にすでに表示された既存のアセットまたは仮想オブジェクトに対する方法で、新しいアセットまたはオブジェクトの好ましい配置を示すメッセージを、送信することができる。元のアンカー表面上に両方のオブジェクトのための不十分な空間がある場合、この新しいアセットまたはオブジェクトの好ましい配置が次いで、システムによって自動的に、または、ユーザ入力(たとえば、認識された動きジェスチャー)を通してユーザによって上書きされ得る。同じくまたは代替的に、ユーザの一方または両方は、新しいアセットまたは仮想オブジェクトを自分の好みの位置または表面に手動で再位置決めするために、入力またはジェスチャーを実行することができる。
別の実施形態では、第1のヘッドマウントデバイス10aは、第2のヘッドマウントデバイス10bへ、仮想オブジェクト14bの好ましいまたは提案された配置を指示する、メッセージを送出することができる。たとえば、第1のユーザは、仮想オブジェクト14bの好ましい配置がデスク16b上または壁上で行われるべきであることを示すことができる。たとえば、第1のヘッドマウントデバイス10aから、「壁表面が好ましい」または「デスクトップ表面が好ましい」を示すメッセージが、第2のヘッドマウントデバイス10bへ送られ得る。第2のヘッドマウントデバイス10bは、第2の仮想オブジェクト14bをディスプレイ上で生成することができる。このメッセージはまた、第2のユーザのために仮想オブジェクト14の向きを正しく設定するための、1つまたは複数のプログラム命令をも含み得る。第2のヘッドマウントデバイス10bは、デスクトップをアンカー表面16bとして選択するための入力を受信することができ、または、第1ヘッドマウントデバイス10aから、アンカー表面16が壁として選択されるというデータを受信することができる。後者の代替形態の場合、第2のヘッドマウントデバイス10b内の、または第2のヘッドマウントデバイス10bに結合されたプロセッサは、デバイス上のカメラによって取得された画像内で、同等の壁を検出することができる。プログラム命令はまた、ユーザが別のユーザから提案されたアンカー表面を受け入れまたは拒否するために、プロセッサにも通信され得る。ヘッドマウントディスプレイ10bは、提案されたアンカー表面を受け入れるため、または拒否するための、口頭の音声信号の形態の入力コマンドを、第2のユーザから受信することができる。第2のヘッドマウントデバイス10bは、第2の仮想オブジェクト14bの好ましい配置を示すメッセージを受信することができ、第2のユーザは、第2の仮想オブジェクト14bの好ましい配置を確認または拒否する入力を、第2のヘッドマウントデバイス10bに供給することができる。たとえば、第2のユーザは、第2の仮想オブジェクト14bを回転させて向きを再設定したいという希望を示す入力を供給することができる。プロセッサは、距離および向きを、第2の仮想オブジェクト14bについての入力に基づいて決定することができ、第2の仮想オブジェクト1
4bを、所望の向きで生成することができる。
4bを、所望の向きで生成することができる。
第2のヘッドマウントデバイス10bは、仮想オブジェクト14bを、第2のロケーションにおけるデスクトップ表面16b上で表示することができる。第2のユーザは、アンカー表面16bに適合させるために仮想オブジェクト14bの向き、サイズ、および形状を変更するための入力をさらに供給することができる。仮想オブジェクト14bは、同じ仮想オブジェクト14aのように見え、共同作業が両方のユーザ間で行われ得る。一方のユーザによって一方のロケーションで行われた変更は、第1のロケーションと第2のロケーションの両方を更新することができ、両方で表示され得、すなわち、一方のロケーションにおける仮想オブジェクト14aへの変更は、他方のロケーションに表示された仮想オブジェクト14bに反映されるようになる。たとえば、第2のユーザは、仮想オブジェクト14b上で棒グラフを削除することができ、仮想オブジェクト14a上の同じ棒グラフもまた、第1のロケーションで削除され得る。
さらに別の実施形態では、第3のヘッドマウントデバイスを装着する第3のユーザが、共同作業に加入し、第3のユーザによって選択されたか、または、第1のユーザもしくは第2のユーザのいずれかによって提案された表面上で、表示された仮想オブジェクトをアンカーすることができる。また、前述のように、共同作業に関わるヘッドマウントデバイスのうちの1つまたは複数によって生成された画像データが、非参加者によって使用される他のヘッドマウントデバイス、または、スマートフォンもしくはタブレットなど、他のコンピューティングデバイスへ送信され、そこで表示され得る。この実施形態は、他者が仮想または拡張現実体験において共同作業を見ることを可能にする。ヘッドマウントデバイスを装着し、または、スマートフォンもしくはタブレットコンピュータなど、別のモバイルデバイスを使用して、共同作業セッションを見る他者は、仮想オブジェクトおよびそれらとのユーザ対話を見るだけでなく、ヘッドマウントデバイスユーザのうちの1人によって見られる仮想拡張を用いた、制限された対話機能を有することができる。この制限された対話は、拡張に接触して効果を引き起こすこと、対話型エリアまたはアンカーポイントを物理的表面上で定義すること(新しい拡張を共有された体験に効果的に追加すること)、ならびに、ジェスチャーおよび/または音声入力を介して、共有された複合現実シーンと対話することを含み得る。仮想体験におけるそのような変更のいずれも、他のユーザによって装着されたヘッドマウントディスプレイに反映され得る。
一実施形態では、第2のヘッドマウントデバイス10bを装着する第2のユーザは、新しい仮想オブジェクトを個人データ空間(たとえば、クラウドまたはモバイルデバイス)から呼び出すための入力を供給し、新しい仮想オブジェクトを共有ディスプレイに追加して、第1のユーザもまた新しい仮想オブジェクトを第1のヘッドマウントデバイス10aで見るようにすることができる。一実施形態では、第1のヘッドマウントデバイス10aは、第3の仮想オブジェクトが存在することをユーザに通知し、第3の仮想オブジェクトを受け入れて表示するためのユーザ入力またはコマンドを要求する、プロンプトを受信することができる。ユーザは、新しい仮想オブジェクトをアンカーするための新しい物理的表面を選択することができ、または、第2のユーザによって選択されたアンカー表面を受け入れることができる。
一実施形態では、ヘッドマウントデバイス10a内の、またはヘッドマウントデバイス10aに結合されたプロセッサは、仮想オブジェクト14のためのスタンバイロケーションを示す入力を受信することができる。スタンバイロケーションは、仮想オブジェクト14の初期状態が実世界表面にアンカーまたは固定されないものとして表示され得る、ロケーションであってもよい。スタンバイロケーションは、実世界オブジェクトに接続されていないディスプレイ上で仮想オブジェクト14が「自由に浮いている」、ロケーションであってもよい。代替として、スタンバイロケーションは、画像中にある異なるアンカー表面16、たとえば、天井、または、ユーザにとって繰り返され、なじみのあるロケーションであり得る。スタンバイロケーションは、ユーザが仮想オブジェクト14をアンカー表面にアンカーするためにさらなるアクションを取るまで、オブジェクトが「記憶」され得る、場所または表面であってもよい。ヘッドマウントデバイス10a内の、またはヘッドマウントデバイス10aに結合されたプロセッサは、スタンバイロケーションに対応する、ヘッドマウントまたはボディマウントカメラに対する距離および向きを含む、パラメータを計算することができ、プロセッサは、スタンバイロケーションのために適切なパースペクティブで仮想オブジェクト14を表示することができる。スタンバイロケーションは、自由に浮くように表示されてもよく、ユーザが自分の頭を回し、室内を動き回るとき、可動となり、画像内の表面に接続されていないように見えてもよい。
一実施形態では、ヘッドマウントデバイス10a内の、またはヘッドマウントデバイス10aに結合されたプロセッサは、フルカラービデオカメラであり得る1つまたは複数のヘッドマウントまたはボディマウントカメラを用いて、画像をキャプチャすることができる。撮像されたシーン内のオブジェクトまでの距離は、ステレオカメラアセンブリを介して取得された2つ(以上)の画像の三角法による処理を介して、決定され得る。代替的にまたは追加として、ヘッドマウントデバイスは、デバイスから画像内のオブジェクトおよび表面までの距離を測定する距離センサを使用して、空間データ(すなわち、画像内のオブジェクトまでの距離)を取得することができる。一実施形態では、距離センサは、赤外光放出器(たとえば、レーザーまたはダイオード)および赤外線センサであってもよい。この実施形態では、ヘッドマウントデバイスは、赤外光を、デバイスのカメラの視界内のオブジェクトから反射するパルスまたは構造化光パターンとして投影することができる。反射された赤外線レーザー光が、センサで受信され得、空間データが、放出された光と受信された光との間で測定された時間または位相シフトに基づいて計算され得る。別の実施形態では、距離センサは、超音波放出器および受信機であってもよい。この実施形態では、ヘッドマウントデバイスは、超音波パルスを放出することができ、超音波パルスは、デバイスのカメラの視界内のオブジェクトから反射する。超音波受信機は、反射された超音波を検知し、音響放射と、受信された、反射された超音波との間で測定された時間に基づいて、空間データを計算する。第3の実施形態では、オブジェクトまでの距離は、ビデオストリーム内の後続の画像内の角度の変化をユーザの頭の動きとして測定すること、および、三角法による解析を画像のシーケンスに適用することによって、推定され得る。動きおよび/または相対位置センサをヘッドマウントデバイスに含めることによって、視角の変化をカメラ位置の変化と相関させることができ、そこから、三角法によるアルゴリズムを使用して、オブジェクト/表面距離およびロケーションが計算され得る。これらの距離測定方法のいかなる組合せも、ヘッドマウントデバイスによって取得される距離測定値をさらに改善するために組み合わせることができる。
一実施形態では、ヘッドマウントデバイス10内の、またはヘッドマウントデバイス10に結合されたプロセッサは、空間データをメモリに記憶することができ、キャプチャされたビデオと測定または計算された空間データとに基づいて、デバイスの近傍内のオブジェクトおよび表面の3次元マップを構築することができる。この3次元マップは、近傍内の、もしくはネットワークを介して接続された他のヘッドマウントデバイスと共有され、および/またはサーバにアップロードされ得る。そのような3次元マップデータを共有することは、他のヘッドマウントデバイス10b(または、より詳細には、他のヘッドマウントデバイス内の、もしくは他のヘッドマウントデバイスに結合されたプロセッサ)が、部屋を撮像および処理する必要なしに、指定されたアンカー表面にアンカーされた仮想オブジェクトをレンダリングすることを、支援することができる。そのような3次元マップデータの共有はまた、複数のヘッドマウントデバイスが複数のユーザの近傍のマップ全体を共同作業的に作成し、同じ環境を複数回走査する必要を回避する(すなわち、3次元マップは一度生成されるだけでよい)ことによって、いずれか1つのヘッドマウントデバイスに課せられる作業負荷を低減することを、可能にすることもできる。さらなる適用例では、第1のユーザの近傍のオブジェクトの3次元マップなど、画像および空間データの共有は、他のユーザが遠く離れて位置するときでも、第1のユーザと同じ画像を見ることを可能にすることができる。たとえば、第2のデバイスは、キャプチャされた空間データに対応するデータが送信され得るマップを利用して、第2のヘッドマウントデバイスを装着する別のユーザが第1のユーザと同じ方法で仮想オブジェクト14を表示できるようにすることができる。
上記で説明したように、ヘッドマウントデバイス10aまたは10bに関連付けられたディスプレイは、部分透明であってもよく、または、ユーザの視野の全部または一部分を実質的にふさいでもよい。別の実施形態では、ヘッドマウントデバイス10aのディスプレイは、ユーザの片目が妨害されずに部屋を見ることができるように、単眼ディスプレイの形態などで、ユーザの視覚の一部分のみをふさぐように、片目のみの上に位置決めされてもよい。別の実施形態では、ヘッドマウントデバイス10aまたは10bは、仮想オブジェクト14aまたは14bのコンテンツをコンピューティングデバイスディスプレイに出力して、ヘッドマウントまたはボディマウントカメラによって取得された画像および任意の仮想オブジェクトが従来のコンピュータディスプレイ上で一緒に見られるようにすることができる。
上述のように、ヘッドマウントディスプレイは、画像を表面上に投影するプロジェクタで、または、開発され得る他の画像生成技術で置き換えられてもよい。そのような実施形態では、ユーザの操作および体験は、上記で説明したようにヘッドマウントディスプレイを使用したものと同様であり得る。
図5Aは、ヘッドマウントデバイス10の実施形態に含まれ得る構成要素を示す。図5Bは、ヘッドマウントデバイス10がシステムの一部として動作することができる方法を示し、このシステムでは、センサアレイ500がモバイルプロセッサ507にデータを供給することができ、モバイルプロセッサ507は、本明細書で説明する様々な実施形態の動作を実行し、データをサーバ564に通信し、データをサーバ564から受信する。ヘッドマウントデバイス10のプロセッサ507は、2つ以上のプロセッサ(もしくは、マルチコアプロセッサ)を含んでもよく、コアプロセッサは、全体的な制御機能を実行することができるが、コプロセッサは、アプリケーションを実行し、アプリケーションプロセッサと呼ばれることがあることに留意されたい。コアプロセッサおよびアプリケーションプロセッサは、マルチコアプロセッサなど、同じマイクロチップパッケージ内、または別個のチップ内に構成されてもよい。また、プロセッサ507は、ワイヤレス通信(すなわち、モデムプロセッサ)、ナビゲーション(たとえば、GPS受信機内のプロセッサ)、およびグラフィックス処理(たとえば、グラフィックスプロセッシングユニット、すなわち「GPU」)など、他の機能に関連付けられたプロセッサとともに、同じマイクロチップパッケージ内パッケージ化されてもよい。
ヘッドマウントデバイス10は、インターネットへのアクセスをもつパーソナルコンピュータおよびモバイルデバイスなど、他のコンピューティングデバイスを含み得る、通信システムまたはネットワークと通信することができる。そのようなパーソナルコンピュータおよびモバイルデバイスは、アンテナ551と、送信機/受信機または送受信機552と、プロセッサがワイヤレス通信ネットワークを介してデータを送り、受信することを可能にするために、プロセッサ507に結合されたアナログデジタル変換器553とを含み得る。たとえば、セルラー電話などのモバイルデバイスは、ワイヤレス通信ネットワーク(たとえば、Wi-Fiまたはセルラー電話データ通信ネットワーク)を介して、インターネットにアクセスすることができる。そのようなワイヤレス通信ネットワークは、インターネットに結合されたゲートウェイまたはインターネットアクセスサーバに結合された、複数の基地局を含み得る。パーソナルコンピュータは、インターネットゲートウェイ(図示せず)を介したワイヤード接続によって、または、ワイヤレス通信ネットワークによってなど、いずれかの従来の方法でインターネットに結合され得る。
図5Aを参照すると、ヘッドマウントデバイス10は、いくつかのソフトウェアモジュール510〜550で構成され得る制御システムプロセッサ507に結合された、シーンセンサ500と音声センサ505とを含み得る。一実施形態では、プロセッサ507またはシーンセンサ500は、解剖学的特徴認識アルゴリズムを画像に適用して、1つまたは複数の解剖学的特徴を検出することができる。制御システムに関連付けられたプロセッサ507は、1つまたは複数のジェスチャーを認識し、認識されたジェスチャーを入力コマンドとして処理するために、検出された解剖学的特徴をレビューすることができる。たとえば、以下でより詳細に説明するように、ユーザは、仮想オブジェクトを閉じるために、仮想オブジェクトを指さすなど、入力コマンドに対応する動きジェスチャーを実行することができる。この例示的なジェスチャーを認識することに応答して、プロセッサ507は、仮想オブジェクトをディスプレイから除去することができる。別の例として、ユーザは、ディスプレイ上に提示された命令またはオプションを確認するために、片手で人差し指を親指に触れるようにして、「OK」サインを作ることができる。
ステレオカメラと、向きセンサ(たとえば、加速度計および電子コンパス)と、距離センサとを含み得るシーンセンサ500は、3次元シーン情報を解釈するように構成され得る、プロセッサ507内に実装されたシーンマネージャ510に、シーンに関係するデータ(たとえば、画像)を供給することができる。様々な実施形態では、シーンセンサ500は、(後述のような)ステレオカメラと、距離センサとを含んでもよく、距離センサは、赤外線カメラのためにシーンを明るくするための赤外光放出器を含み得る。たとえば、図5Aに示す一実施形態では、シーンセンサ500は、ステレオ画像を収集するためのステレオred-green-blue(RGB)カメラ503aと、構造化赤外光放出器503cによって供給され得る赤外光においてシーンを撮像するように構成された赤外線カメラ503bとを含み得る。以下で説明するように、構造化赤外光放出器は、赤外線カメラ503bによって撮像され得る赤外光のパルスを放出するように構成されてもよく、受信されたピクセルの時間が記録され、飛行時間型計算を使用して画像要素までの距離を決定するために使用される。総称して、ステレオRGBカメラ503a、赤外線カメラ503b、および赤外線放出器503cは、RGB-D(Dは距離を表す)カメラ503と呼ばれることがある。
シーンマネージャモジュール510は、ステレオカメラからの距離と、表面向き情報とを含む、画像内のオブジェクトの3次元再構成を生じるために、シーンセンサ500によって供給された距離測定値および画像を走査することができる。一実施形態では、シーンセンサ500、および、より詳細にはRGB-Dカメラ503は、ユーザおよびヘッドマウントデバイス10の視界に整合された方向を指すことができる。シーンセンサ500は、全身3次元モーションキャプチャおよびジェスチャー認識を実現することができる。シーンセンサ500は、単色CMOSセンサなど、赤外線カメラ503bと組み合わされた赤外光放出器503cを有し得る。シーンセンサ500は、3次元ビデオデータをキャプチャするステレオカメラ503aをさらに含み得る。シーンセンサ500は、周囲光、日光、または完全な暗闇で動作することができ、本明細書で説明するRGB-Dカメラを含み得る。シーンセンサ500は、近赤外(NIR)パルス照明構成要素、ならびに、高速ゲーティング機構をもつ画像センサを含み得る。パルス信号は、ピクセルごとに収集され、そこからパルスが反射されたロケーションに対応し得るものであり、キャプチャされた被写体上の対応する点までの距離を計算するために使用され得る。
別の実施形態では、シーンセンサ500は、他の距離測定技術(すなわち、異なるタイプの距離センサ)を使用して、画像内のオブジェクトの距離をキャプチャすることができ、たとえば、超音波エコーロケーション、レーダー、立体画像の三角測量などである。上記で説明したように、一実施形態では、シーンセンサ500は、測距カメラ、フラッシュLIDARカメラ、飛行時間型(ToF)カメラ、および/またはRGB-Dカメラ503を含んでもよく、これらのカメラは、レンジゲートToF検知、RF変調ToF検知、パルス光ToF検知、および投影光ステレオ検知のうちの少なくとも1つを使用して、オブジェクトまでの距離を決定することができる。別の実施形態では、シーンセンサ500は、ステレオカメラ503aを使用して、シーンのステレオ画像をキャプチャし、画像内に含まれているキャプチャされたピクセルの輝度に基づいて、距離を決定することができる。上述のように、一貫性のために、これらのタイプの距離測定センサおよび技法のいずれか1つまたはすべてを、本明細書では概して「距離センサ」と呼ぶ。異なる能力および分解能の複数のシーンセンサが、物理的環境のマップ作成、および、環境内のユーザの位置の正確な追跡を助けるために存在してもよい。
ヘッドマウントデバイス10はまた、マイクロフォンまたはマイクロフォンアレイなど、音声センサ505をも含み得る。音声センサ505は、ヘッドマウントデバイス10が音声を記録し、音響源の位置特定および周囲雑音抑圧を実施することを可能にする。音声センサ505は、音声をキャプチャし、音声信号を音声デジタルデータに変換することができる。制御システムに関連付けられたプロセッサは、音声デジタルデータをレビューし、音声認識アルゴリズムを適用して、そのデータを検索可能なテキストデータに変換することができる。プロセッサはまた、ある認識されたコマンドまたはキーワードについて生成されたテキストデータをレビューし、認識されたコマンドまたはキーワードを入力コマンドとして使用して、1つまたは複数のタスクを実行することもできる。たとえば、ユーザは、「仮想オブジェクトをアンカーする」などのコマンドを話して、表示された仮想オブジェクトを選択された表面上にアンカーすることができる。たとえば、ユーザは、「アプリケーションを閉じる」と話して、ディスプレイ上に表示されたアプリケーションを閉じることができる。
ヘッドマウントデバイス10はまた、ディスプレイ540をも含み得る。ディスプレイ540は、シーンセンサ500内のカメラによって取得されたか、または、ヘッドマウントデバイス10内の、もしくはヘッドマウントデバイス10に結合されたプロセッサによって生成された画像を表示することができる。一実施形態では、ディスプレイ540は、マイクロディスプレイであってもよい。ディスプレイ540は、完全にふさがれたディスプレイであってもよい。別の実施形態では、ディスプレイ540は、ユーザがそれを見通して周囲の部屋を見ることができる画面上に画像を表示することができる、半透明のディスプレイであってもよい。ディスプレイ540は、単眼またはステレオ(すなわち、双眼)構成で構成され得る。代替として、ヘッドマウントデバイス10は、頭に装着されたヘルメットマウントディスプレイデバイス、またはヘルメットの一部であってもよく、片目の前(単眼)または両目の前(すなわち、双眼もしくはステレオディスプレイ)に小型ディスプレイ540光学素子を有してもよい。代替として、ヘッドマウントデバイス10はまた、2つのディスプレイユニット540を含んでもよく、ディスプレイユニット540は、小型であり、陰極線管(CRT)ディスプレイ、液晶ディスプレイ(LCD)、液晶オンシリコン(LCos)ディスプレイ、有機発光ダイオード(OLED)ディスプレイ、単純な微小電気機械システム(MEMS)デバイスである干渉変調器(IMOD)素子に基づいたミラソルディスプレイ、導光ディスプレイおよび導波ディスプレイ、ならびに、存在している他のディスプレイ技術および開発され得る他のディスプレイ技術のうちのいずれか1つまたは複数であってもよい。別の実施形態では、ディスプレイ540は、全体の総合分解能を高め、視界を拡大するために、複数のマイクロディスプレイ540を備え得る。
ヘッドマウントデバイス10はまた、音声出力デバイス550を含んでもよく、音声出力デバイス550は、音声を出力するための、まとめて参照番号550として示されるヘッドフォンおよび/またはスピーカーであってもよい。ヘッドマウントデバイス10はまた、制御機能をヘッドマウントデバイス10に提供し、ならびに、仮想オブジェクト14などの画像を生成することができる、1つまたは複数のプロセッサをも含み得る。たとえば、デバイス10は、コアプロセッサ、アプリケーションプロセッサ、グラフィックスプロセッサ、およびナビゲーションプロセッサを含み得る。代替として、ヘッドマウントデバイス10は、スマートフォンまたは他のモバイルコンピューティングデバイスにおけるプロセッサなど、別個のプロセッサに結合され得る。ビデオ/音声出力は、プロセッサによって、または、ヘッドマウントデバイス10に(ワイヤもしくはワイヤレスネットワークを介して)接続されるモバイルCPUによって処理され得る。ヘッドマウントデバイス10はまた、シーンマネージャブロック510と、ユーザ制御ブロック515と、表面マネージャブロック520と、音声マネージャブロック525と、情報アクセスブロック530とを含んでもよく、これらのブロックは、個別の回路モジュールであってもよく、または、プロセッサ内でソフトウェアモジュールとして実装されてもよい。ヘッドマウントデバイス10は、ローカルメモリと、リモートメモリ555からデジタルデータを受信するために、他のデバイスまたはローカルのワイヤレスもしくはワイヤードネットワークと通信するための、ワイヤレスまたはワイヤードインターフェースとをさらに含み得る。システム内でリモートメモリ555を使用することで、デバイス内のメモリチップおよび回路基板を減らすことによって、ヘッドマウントデバイス10がより軽量になり得るようにすることができる。
コントローラのシーンマネージャブロック510は、シーンセンサ500からデータを受信し、物理的環境の仮想表現を構築することができる。たとえば、レーザーを使用して、室内のオブジェクトから反射され、カメラにおいてキャプチャされるレーザー光を放出することができ、光の往復時間が、室内の様々なオブジェクトおよび表面までの距離を計算するために使用される。そのような距離測定値を使用して、室内のオブジェクトのロケーション、サイズ、および形状を決定し、シーンのマップを生成することができる。マップが編成されると、シーンマネージャブロック510は、そのマップを他の生成されたマップにリンクして、所定のエリアのより大きいマップを形成することができる。一実施形態では、シーンおよび距離データが、サーバまたは他のコンピューティングデバイスに送信されてもよく、サーバまたは他のコンピューティングデバイスは、いくつかのヘッドマウントデバイスから(および、ユーザがシーン内で動き回った時間とともに)受信された画像、距離、およびマップデータに基づいて、融合または統合されたマップを生成することができる。そのような統合マップデータは、ヘッドマウントデバイスプロセッサへのワイヤレスデータリンクを介して利用可能にされる。他のマップは、インスタントデバイスによって、もしくは他のヘッドマウントデバイスによって走査されたマップであってもよく、または、クラウドサービスから受信されてもよい。シーンマネージャ510は、シーンセンサ500からのデータに基づいて、表面を識別し、ユーザの現在位置を追跡することができる。ユーザ制御ブロック515は、システムへのユーザ制御入力を収集することができ、たとえば、音声コマンド、ジェスチャー、および入力デバイス(たとえば、キーボード、マウス)である。一実施形態では、ユーザ制御ブロック515は、シーンマネージャ510によって識別されたユーザ身体部分の動きを解釈するために、ジェスチャー辞書を含み、またはジェスチャー辞書にアクセスするように構成され得る。上述のように、ジェスチャー辞書は、突くこと、軽くたたくこと、タップ、押すこと、案内、フリック、ターン、回転、つかんで引くこと、画像をパンするために両手のひらを開くこと、描画(たとえば、フィンガーペインティング)、指で形状を作ること(たとえば、「OK」サイン)、およびスワイプを含み得る、ジェスチャーを認識するための動きデータまたはパターンを記憶することができ、それらのジェスチャーのすべては、生成された表示内の仮想オブジェクトの見かけのロケーションで、または見かけのロケーションにごく接近して達成され得る。ユーザ制御ブロック515はまた、複合コマンドを認識することもできる。これには、2つ以上のコマンドが含まれ得る。たとえば、ジェスチャーおよびサウンド(たとえば、拍手)またはボイス制御コマンド(たとえば、行われ、ボイスコマンドまたは口頭の言葉と組み合わされた、検出された手のジェスチャーを「OK」して、操作を確認する)である。ユーザ制御515が識別されるとき、コントローラは、デバイス10の別の下位構成要素に要求を与えることができる。
ヘッドマウントデバイス10はまた、表面マネージャブロック520をも含み得る。表面マネージャブロック520は、(シーンマネージャブロック510によって管理されるような)キャプチャされた画像と、距離センサからの測定値とに基づいて、シーン内の表面の位置を連続的に追跡することができる。表面マネージャブロック520はまた、キャプチャされた画像内の表面上にアンカーされる仮想オブジェクトの位置を連続的に更新することもできる。表面マネージャブロック520は、アクティブな表面およびウィンドウを担当することができる。音声マネージャブロック525は、音声入力および音声出力のための制御命令を与えることができる。音声マネージャブロック525は、ヘッドフォンおよびスピーカー550に送出される音声ストリームを構築することができる。
情報アクセスブロック530は、デジタル情報へのアクセスを仲介するための制御命令を与えることができる。データは、ヘッドマウントデバイス10上のローカルメモリ記憶媒体上に記憶され得る。データはまた、アクセス可能なデジタルデバイス上のリモートデータ記憶媒体555上に記憶されてもよく、または、データは、ヘッドマウントデバイス10によってアクセス可能である分散クラウド記憶メモリ上に記憶されてもよい。情報アクセスブロック530は、データストア555と通信し、データストア555は、メモリ、ディスク、リモートメモリ、クラウドコンピューティングリソース、または内蔵メモリ555であってもよい。
図6は、ユーザ入力に基づいて、アンカーされる表面上に仮想オブジェクトをレンダリングするための、一実施形態の方法600を示す。方法600は、方法600の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。方法600において、ブロック601で、プロセッサは、ヘッドマウントデバイスの向きに関して、ヘッドマウントデバイスセンサからデータを受信すると、開始することができる。ブロック602で、プロセッサは、ヘッドマウントデバイス上、または、ユーザの肩もしくは身体上のステレオカメラから、データを受信することができる。ブロック603で、プロセッサは、受信されたステレオ画像内のオブジェクトの距離および向きデータを計算することができる。ブロック604で、プロセッサは、距離および向きセンサ、ならびにカメラからのデータを使用して、表示のためのコンテンツを処理することができる。
判定ブロック605で、プロセッサは、ユーザ入力またはジェスチャーコマンドをレビューして、仮想オブジェクトを画像内でアンカーするかどうかを判定することができる。たとえば、キーパッドまたはタッチスクリーン入力など、ユーザ入力が入力デバイスから受信され得る。別の例として、ユーザ入力は、画像内に位置する、指示された表面上に、仮想オブジェクトをアンカーしたいという希望を示すジェスチャーなど、画像のシーケンス中で認識された、検出されたジェスチャーの形態で受信され得る。ユーザ入力の第3の例は、ヘッドマウントデバイス上のマイクロフォンによって受信され得る音声コマンドであり得る。ユーザ入力は、仮想オブジェクトを特定のロケーションにアンカーするための入力が、第2のユーザのヘッドマウントデバイスから受信されるべきであることを示す、コマンドであり得る。たとえば、入力は、共同作業セッション中に、第2のヘッドマウントデバイス10bから受信され得る。
プロセッサが、仮想オブジェクトを特定のロケーション(たとえば、アンカー表面16)にアンカーするための入力を受信していると判定する場合(すなわち、判定ブロック605=「Yes」)、ブロック606で、プロセッサは、ユーザの位置からの、アンカー表面に対する仮想オブジェクトの距離および向きを決定することができる。たとえば、ヘッドマウントデバイス10は、アンカー表面16が輪郭とユーザからのある距離とを含むと決定することができる。一般に、仮想オブジェクト14は、プロセッサがオブジェクトの画像を生成するために使用することができる、3次元数学的モデル(たとえば、球、円錐、円柱など)、3次元データセット(たとえば、頂点、次元、ならびに、他の座標および材料データを定義するデータテーブル)、または両方の組合せの形態などの、3次元仮想オブジェクトであり得る。プロセッサが、アンカー表面16上に接続された仮想オブジェクト14を表示できるようにするために、仮想オブジェクト14は、仮想オブジェクトをアンカー表面16上に重ね合わせるためのサイズ、閲覧パースペクティブ、および向きに調整され得る。たとえば、3次元仮想オブジェクトは、従来のディスプレイ上に提示されるために2次元画像として、または、ヘッドマウントデバイス上の3Dディスプレイ上に提示されるために2つのわずかに異なる2次元画像として、レンダリングされることが必要となる。
ブロック607で、プロセッサは、仮想オブジェクトを仮想空間に、アンカーされる表面に接続されるように見えるようにするパースペクティブ、向き、およびサイズで配置するために、仮想オブジェクトを処理することができる。ブロック608で、プロセッサは、仮想オブジェクトをヘッドマウントデバイスディスプレイ上にレンダリングすることができる。
たとえば、ディスプレイは、画像のある特徴がディスプレイを通して可視である、半透明ディスプレイであり得る。仮想オブジェクト14は、ディスプレイ上の画像の特徴に重ね合わせられ、または追加され、ユーザが動くとき、仮想オブジェクト14が所望のアンカーされる表面にアンカーまたは固定されたままであるようにすることができる。代替として、仮想オブジェクト14aは、自由空間にアンカーされ得る。たとえば、仮想オブジェクト14aは、窓の外側に位置してもよく、または、仮想オブジェクト14aは、空中もしくは地上のある距離で浮遊させられてもよい。
プロセッサが、仮想オブジェクトをアンカーするための入力を受信していないと判定する場合(すなわち、判定ブロック605=「No」)、ユーザの準備ができてないか、または、ユーザが仮想オブジェクトをアンカー表面にアンカーすることを望まないことを示すことがあり、プロセッサは、仮想オブジェクトをスタンバイロケーションにレンダリングすることができる。代替として、ブロック609で、ユーザは、仮想オブジェクト14をレンダリングしないように選択することができる。
仮想オブジェクトを、アンカー表面上など、シーン内にレンダリングするプロセスを連続的に実行して、ユーザが自分の頭を回し、動き回るときでも、仮想オブジェクトが静止して見えるようにすることができる。上述のように、ヘッドマウントデバイスの向きを周囲に対して設定し、様々な表面までの距離、および、様々な表面の相対的な向きを決定するプロセスは、向きセンサ(たとえば、加速度計およびジャイロスコープ)を監視すること、ならびに、走査された3次元(3D)環境のトポグラフィにおける変化を常に参照し、したがって、同時位置特定およびマップ作成(SLAM)動作を実行することによって、デバイスが空間内で動くとき、それ自体の位置および画角を三角測量することによって、連続的に達成することができる。
図7Aは、アンカーされた仮想オブジェクトとともに画像をレンダリングするための、一実施形態の方法700を示す。方法700は、方法700の動作を実行するためのプロセッサ実行可能命令をもつプロセッサを有する、コンピューティングデバイス内で実施され得る。方法700において、仮想オブジェクト14は、ユーザの位置が部屋などのエリアを通って動くとき、アンカーされ得る。たとえば、ユーザは、室内で歩き回り、動き回ることがあるが、室内の表面上の仮想オブジェクトの表示されたロケーションは、固定されたままであり得る。方法700において、ブロック701で、プロセッサは、ユーザのロケーションの座標、室内のユーザの位置(たとえば、様々な表面からの距離)に関係する情報、およびユーザの頭の向きに関係する情報など、ユーザ位置データを受信することによって、動作を開始することができる。ブロック701で受信された位置データは、距離センサ(たとえば、高速ゲーティング機構を用いて、ユーザの閲覧パースペクティブ内で表面に当たって跳ね返る、放出された赤外線信号の往復時間を計算するように構成された、赤外線放出器/受信機)を含む、様々な範囲のセンサデータから計算され得る。代替または追加として、位置データは、GPS受信機ユニット(地理的座標を返すことができる)、既知のロケーション(たとえば、セルラー電話塔)における送信機からのRF信号の三角測量、第2のヘッドマウントデバイスから受信された入力(たとえば、2人のユーザの相対位置に関する分離距離および/または情報を提供する)などによって供給され得る。位置データはまた、シーン画像および距離センサデータに基づいて計算され、または、クラウドコンピューティング構成におけるサーバからダウンロードされ得る。代替的にまたは追加として、ユーザは、物理的な住所および/もしくは部屋番号を入力すること、または、マップディスプレイ上に触れるか、もしくはクリックして、ユーザの位置をマップ上で示すことによってなど、ユーザのロケーションの座標を入力することができる。ブロック702で、プロセッサは、受信されたカメラ画像内のオブジェクトの距離および向きデータを計算することができる。ブロック703で、プロセッサは、アンカーされた仮想オブジェクトに対するユーザの位置を計算することができる。
図5Aのシーンセンサ500は、近赤外(NIR)パルス照明構成要素を採用することができる。シーンセンサ500はまた、高速ゲーティング機構をもつ画像センサを有してもよい。他の画像センサもまた、本明細書で説明するシーンセンサ500内で実装され得る。赤外パルスの既知の速度、座標、センサ500のゲーティングを用いた照明器からの赤外パルス波放出のタイミングに基づいて、所望の距離範囲内から反射された信号がキャプチャされる。この実施形態では、赤外パルスの到着時間が、ピクセルごとに収集され、センサから画像内の各点までの距離を計算するために使用され得る。そのような画像の処理は、コンピュータネットワークを介してシーンセンサ500に接続される、リモートプロセッサを使用して実行され得る。方法700は、ヘッドマウントディスプレイ上で実施されることに限定されず、ヘッドマウントディスプレイまたはボディマウントセンサと通信している、モバイル通信デバイス(たとえば、スマートフォン)または固定されたコンピューティングデバイス(たとえば、パーソナルコンピュータもしくはサーバ)など、別のコンピューティングデバイスとともに使用され得る。
判定ブロック704で、プロセッサは、ユーザまたはアンカー表面の位置が変化しているかどうかを判定することができる。たとえば、ユーザは、壁などの表面上、または自由空間内で画像をアンカーすることがあり、ユーザは、別のユーザとの共同作業中に壁から離れるように歩き、したがって、位置を変更することがある。位置が変化している場合(すなわち、判定ブロック704=「Yes」)、ユーザがアンカーされた仮想オブジェクトから離れるように動いているか、またはアンカー表面が動いていることを示し、ブロック705で、プロセッサは、新しい位置に基づいて、アンカーされた仮想オブジェクトの変化を決定および計算することができる。ブロック706で、プロセッサは、画像を、アンカーされた仮想オブジェクトとともにヘッドマウントディスプレイ上にレンダリングすることができる。プロセッサが、仮想オブジェクトが動いていないと判定する場合(すなわち、判定ブロック704=「No」)、アンカーされた仮想オブジェクトはそのままレンダリングされ得る。ブロック706で、プロセッサは、ヘッドマウントディスプレイ上の現在位置について、画像内で仮想オブジェクトをレンダリングすることができる。
図7Bは、仮想オブジェクトをアンカー表面間で移動させるための一実施形態の方法720を示す。方法720は、方法720の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。仮想オブジェクトを第1のアンカー表面上にアンカーする、第1の入力が供給され得る。後で、プロセッサは、仮想オブジェクトを第2の異なるアンカー表面上にアンカーするための第2の入力を受信することができる。方法720において、ブロック707で、プロセッサは、画像をキャプチャすることによって、動作を開始することができる。ブロック708で、プロセッサは、空間データをキャプチャし、画像内のオブジェクトを認識することができる。ブロック709で、プロセッサは、画像内のオブジェクトの距離パラメータを決定することができる。ブロック710で、プロセッサは、画像内のアンカー表面を示す入力を受信することができる。
たとえば、プロセッサは、入力デバイスから入力を受信することができ、または、ジェスチャー入力を検出することができ、または、画像内で仮想オブジェクト14をアンカーするためのボイスコマンドを受信することができる。ブロック711で、プロセッサは、オブジェクトモデルおよび/またはオブジェクト画像データセットを使用することによってなど、表示される仮想オブジェクト14を生成することができる。ブロック712で、プロセッサは、アンカー表面に対応する距離および向きを含む、パラメータを計算することができ、それらのパラメータに整合する仮想オブジェクトの画像を、閲覧者のパースペクティブと一致するように調整することができる。ブロック713で、プロセッサは、仮想オブジェクトがアンカー表面に接続されるように見えるように、仮想オブジェクトをヘッドマウントディスプレイ上に表示することができる。
ユーザは、他のユーザとの共同作業的なプロセスの選好またはニーズのために、アンカー表面を変更することを選択することがある。様々な実施形態は、各ユーザが、その上で仮想オブジェクト14を見るための同じまたは異なるアンカー表面を選択できるようにする。そのため、判定ブロック714で、プロセッサは、ユーザ入力(たとえば、ボタン、認識された動きジェスチャー、および/または口頭のコマンド)を監視し、仮想オブジェクト14のための第2の異なるアンカー表面を示す第2の入力が受信されるかどうかを判定することができる。第2の入力が受信されない場合(すなわち、判定ブロック714=「No」)、プロセッサは、ブロック711に戻り、第1のアンカー表面に接続された画像内の仮想オブジェクトの生成を継続することができる。
第2の入力が受信される場合(すなわち、判定ブロック714=「Yes」)、ブロック715で、プロセッサは、新しいアンカー表面を示す1つまたは複数の入力を検出することができる。新しいアンカー表面が示されるとき、プロセッサは、ブロック715で選択された新しいアンカー表面に対応する距離および向きを含むパラメータを計算することができ、ブロック716で、プロセッサは、仮想オブジェクト14が第1のアンカー表面から第2の新しいアンカー表面へ移動されるように見えるように、ヘッドマウントディスプレイ上に提示された画像を生成することができる。ブロック717で、プロセッサは、ユーザの位置、および、したがって閲覧パースペクティブの変化に対応するように、仮想オブジェクトの画像を修正することができる。たとえば、ユーザがより近くへ歩く場合、仮想オブジェクト画像サイズは増大し得る。ユーザが仮想オブジェクトからある距離だけ離れるように歩く場合、仮想オブジェクトの画像サイズは低減し得る。ブロック717で、ユーザの閲覧パースペクティブにおける変化に適合するように仮想オブジェクトの画像を修正し、ならびに、判定ブロック714でユーザ入力を監視するプロセスは、共同作業セッション全体を通して連続的なプロセスにおいて実行され続け得る。
図8Aは、たとえば、部屋などのエリア内で、2人のユーザのためのアンカーされた仮想オブジェクトとともに画像をレンダリングするための、一実施形態の方法800を示す。この実施形態では、表示された、アンカーされた仮想オブジェクト14は、選択されたアンカー表面にアンカーされたままである。方法800は、方法800の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。
方法800において、ブロック801で、プロセッサは、距離センサからのデータ、カメラデータ、および計算された距離データを使用して、画像を処理することによって、動作を開始することができる。ブロック802で、プロセッサは、パラメータを計算することができ、仮想オブジェクトをアンカー表面に固定し、ヘッドマウントディスプレイ上に提示される画像内で仮想オブジェクトを固定することができる。ブロック803で、プロセッサは、仮想オブジェクトとともに表示するために画像をレンダリングすることができる。ブロック804で、プロセッサは、画像および/または仮想オブジェクトデータを第2のヘッドマウントディスプレイへ送信するように、送信機/受信機または送受信機を制御することができる。ブロック804で、第1のヘッドマウントデバイスは、仮想オブジェクトを定義する3次元モデルおよび/または3次元データセットを、第2のヘッドマウントデバイスへ、第2のデバイスが同じ仮想オブジェクトの画像を生成できるようにするフォーマットで、送信することができる。また、ブロック804で、プロセッサは、位置座標情報を含むマップを第2のヘッドマウントデバイスへ送信することができる。ヘッドマウントデバイスは、部屋座標マップをサーバからアップロードおよび/もしくはダウンロードすることができ、または、第2のヘッドマウントデバイスへマップを直接送信することができる。ブロック805で、第2のプロセッサは、第2のヘッドマウントディスプレイ上で投影するために、仮想オブジェクトの画像をレンダリングすることができる。画像は、ブロック802で第1のユーザによって選択されたアンカー表面にアンカーまたは固定された仮想オブジェクトを含み得る。たとえば、第1のユーザは、仮想オブジェクトをデスクトップ表面上にアンカーすることができる。ブロック805で、プロセッサは、画像をレンダリングすることができる。レンダリングされた画像内で、仮想オブジェクトはデスクトップ表面上に現れるようになり、その理由は、デスクトップ表面がブロック802で入力によって、第1のユーザによって選択されたからである。
様々な実施形態では、第2のヘッドマウントデバイスは、第1のヘッドマウントデバイスのユーザによって指定されたものと同じアンカー表面、または、第2のユーザによって識別された異なるアンカー表面のいずれかにアンカーされた、仮想オブジェクトの画像を表示することができる。ブロック806で、第2のヘッドマウントデバイスでは、第2のプロセッサは、表示画像内のどこに、アンカーされた仮想オブジェクトがレンダリングされるべきであるかを決定するために、第2のユーザが見ているロケーションおよび向き(ヘッドマウントデバイスの向きに関係する)を決定することができる。たとえば、第2のユーザが、第1のユーザによって指定されたアンカー表面を見ている場合、第2のヘッドマウントデバイスは、ヘッドマウントディスプレイ内で仮想オブジェクトの画像をレンダリングすることができる。しかしながら、第2のユーザが、そのアンカー表面から目をそらしている場合、第2のヘッドマウントデバイスは、仮想オブジェクトの画像をレンダリングしないようになり、その理由は、そのアンカー表面が、ヘッドマウントディスプレイ上で提示されたユーザの視界の外側になるからである。
ユーザの頭およびヘッドマウントデバイスの向きを決定することは、第2のユーザによって装着されたカメラによる画像、および、第2のユーザのヘッドマウントデバイスの向きセンサ(たとえば、傾斜計、ジャイロスコープ、および/または加速度計)からのデータをキャプチャすること、ならびに、この情報を処理して、第2のユーザの視角およびパースペクティブを推論することによって達成され得る。上記で説明したように、走査された3次元(3D)環境のトポグラフィにおける変化を常に参照し、したがって、同時位置特定およびマップ作成(SLAM)動作を実行することによって、各ヘッドマウントデバイスが空間内で動くとき、それ自体の位置および画角を三角測量することができるように、このプロセスを連続的に達成することができる。また、第2のユーザの解剖学的構造の一部分が、第2のユーザのヘッドマウントまたはボディマウントカメラからの画像内でキャプチャされる場合、このことはまた、検出アルゴリズムをキャプチャされた画像に適用して、身体部分を認識し、その認識から、身体部分の視界がどこに位置するかを推論することをも含み得る。
ブロック807では、プロセッサは、仮想オブジェクトデータを処理して、オブジェクトの画像をレンダリングする際に使用するための画像データを生成することができる。この動作において、プロセッサは、仮想オブジェクトを第2のユーザのパースペクティブから適切にレンダリングすることができ、そのため、第2のユーザは、快適にコンテンツを読み、仮想オブジェクトを見ることができる。ブロック808で、プロセッサは、ユーザに対するアンカー表面のロケーションおよび向きに基づいて、第2のヘッドマウントディスプレイ内で画像を生成することができる。
判定ブロック809で、プロセッサは、第2のユーザが新しいアンカー表面を決定したいかどうかを判定することができる。この判定は、仮想オブジェクト14を画像内でアンカーしたいという希望を示す入力信号を受信することから行われ得る。たとえば、第2のユーザは、現在のアンカー表面よりも、異なる表面上に画像をアンカーすることを望むことがある。たとえば、画像は、複数のユーザとの共同作業的プロセス中に壁に固定され、次いでデスクトップへ移動させられることがある。
上述のように、第2のヘッドマウントデバイスのユーザは、アンカー表面を変更することを選択し、したがって、仮想オブジェクトの画像を、第2のユーザによって指定された別の表面へ移動させることができる。ヘッドマウントデバイスプロセッサが、仮想オブジェクトを新しい表面上にアンカーしたいという希望を示すユーザ入力を受信する場合(すなわち、判定ブロック809=「Yes」)、第2のユーザが仮想オブジェクト14のための新しいアンカーを決定することを希望することを示し、ブロック810で、プロセッサは、第2の所定の表面上の仮想オブジェクトの新しいアンカーの距離および向きパラメータを決定することができる。ブロック811で、プロセッサは、仮想オブジェクトを新しいアンカー表面のパラメータに変更または修正することができる。ブロック812で、プロセッサは、距離および向きに基づいて、仮想オブジェクト14を処理することができる。ブロック813で、第2のプロセッサは、第2のアンカー表面上に固定された、アンカーされた仮想オブジェクトとともに、画像をヘッドマウントディスプレイ上にレンダリングすることができる。
プロセッサが、仮想オブジェクトを新しい表面上にアンカーしたいという希望を示すユーザ入力を受信しない場合(すなわち、判定ブロック809=「No」)、ブロック807で、プロセッサは、アンカー位置に変更はないが、第2のユーザのパースペクティブのためにレンダリングされるように、仮想オブジェクトをレンダリングのために処理することができる。同様の方法で、第1のユーザまたは第2のユーザは、別の仮想オブジェクトを追加し、追加の仮想オブジェクトを第3のアンカー表面上にアンカーすることができる。
図8Bは、第1のユーザの視点から第1のユーザのディスプレイ上に、および、第2のユーザの視点のために別のディスプレイ上に出力される画像内で、アンカーされた仮想オブジェクトの向きを正しく設定するための、一実施形態の方法815を示す。方法815は、この方法の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。方法815において、ブロック820で、プロセッサは、ユーザが部屋を走査するとき、画像データを受信し、その画像データを処理して、仮想オブジェクトのためのアンカーとして機能するために好適な表面を含む、表面を識別/認識することができる。たとえば、プロセッサは、ヘッドマウントまたはボディマウントデバイスから画像をキャプチャすることができる。そのようなヘッドまたはボディマウントデバイスのプロセッサはまた、距離センサなど、他のタイプのセンサから、室内のオブジェクトの距離および向きに関する情報を受信することもできる。ブロック822で、プロセッサは、レンダリングのために仮想オブジェクトを生成中である別のコンピュータからなど、ヘッドマウントディスプレイ上に表示するための仮想オブジェクトを選択することができる。ブロック824で、プロセッサは、その上で仮想オブジェクトをアンカーするための表面を示す入力を、ユーザから受信することができる。ブロック826で、プロセッサは、仮想オブジェクトを第1のアンカー表面にアンカーするために、仮想オブジェクトの向きを設定し、ブロック828で、仮想オブジェクトの画像を第1のヘッドマウントディスプレイ上に生成することができる。ブロック830で、プロセッサはまた、ユーザの頭の動きを補償し、または適応させるためなど、ユーザの動きを補償するために、仮想オブジェクトのロケーションおよび向きを更新することもできる。
判定ブロック832で、第1のヘッドマウントデバイスのプロセッサは、第1のヘッドマウントデバイスによって選択またはレンダリングされたコンテンツが、第2のデバイスへ送信されるようになるかどうかを判定することができる。そうでない場合(すなわち、判定ブロック832=「No」)、プロセッサは、ブロック820へ戻り、ユーザが動くか、または自分の頭を回すときでも、仮想オブジェクトが同じ表面にアンカーされたままであるように見える連続的な表示を生成するために、プロセスを繰り返すことができる。
プロセッサが、第1のヘッドマウントデバイスによって生成された、選択されたコンテンツが、第2のヘッドマウントデバイスと共有されるべきであると判定する場合(すなわち、判定ブロック832=「Yes」)、任意のブロック834で、第1のヘッドマウントデバイスのプロセッサは、第2のアンカー表面を示す第2の入力を第2のユーザから受信することができる。任意のブロック836で、プロセッサは、場合によっては、仮想オブジェクトを識別された第2のアンカー表面にアンカーするために、ディスプレイ位置および向きを決定するための計算を実行することができる。任意のブロック838で、第1のヘッドマウントデバイスまたは第2のヘッドマウントデバイスのプロセッサは、センサデータおよび取得された画像に基づいて、本明細書で説明する方法を使用することによってなど、第2のユーザの視覚的な向きを決定することができる。上述のように、ヘッドマウントデバイスの向きを周囲に対して設定し、様々な表面までの距離、および、様々な表面の相対的な向きを決定するプロセスは、向きセンサ(たとえば、加速度計およびジャイロスコープ)を監視すること、ならびに、走査された3次元(3D)環境のトポグラフィにおける変化を常に参照し、したがって、同時位置特定およびマップ作成(SLAM)動作を実行することによって、デバイスが空間内で動くとき、それ自体の位置および画角を三角測量することによって、連続的に達成することができる。
さらなる実施形態では、第1のヘッドマウントデバイス内のプロセッサは、それ自体のステレオカメラによって取得された第2のユーザの画像に基づいて、および、解剖学的モデルを使用して、第2のユーザの向きを決定することができる。任意のブロック840で、第1のヘッドマウントデバイスは、ブロック838で決定された第2のユーザの向きに基づく向きにおいて、仮想オブジェクトに関するデータを第2のヘッドマウントデバイスへ送信することができる。第2のヘッドマウントデバイスは、次いで、本明細書で説明したように、仮想オブジェクトの画像を第2のヘッドマウントディスプレイ上にレンダリングすることができる。ユーザの向きを決定し、表示を生成するこのプロセスは、ループにおいて継続し、第1のユーザおよび第2のユーザが動き、自分の頭を回す間、画像が選択された表面にアンカーされるように見え続けるようにすることができる。
様々な実施形態では、いずれかのヘッドマウントデバイスが、第2のユーザのための適切なパースペクティブで仮想オブジェクトをレンダリングすることを可能にする計算を実行することができる。たとえば、第1のヘッドマウントデバイスのプロセッサは、第2のユーザのための第2の仮想オブジェクトの向きを正しく設定する方法で、仮想オブジェクトデータを供給するデータを、第2のヘッドマウントデバイスへ送信することができる。第1のヘッドマウントデバイスによって仮想オブジェクトの向きを設定するプロセスは、第2のヘッドマウントデバイスから第1のヘッドマウントデバイスへ送信される、決定された第2のユーザの向きに基づいてもよい。言い換えれば、第2のヘッドマウントデバイスは、その位置および向きについて、第1のヘッドマウントデバイスに通知することができ、第1のヘッドマウントデバイスは、この情報を使用して、仮想オブジェクトデータの向きを設定することができる。代替として、第1のヘッドマウントデバイスは、第2のユーザの画像に基づいて、第2のヘッドマウントデバイスの向きを決定し、この決定を使用して、仮想オブジェクトデータの向きを設定することができる。たとえば、プロセッサは、第2のユーザの画像を経時的にキャプチャすること、および、解剖学的解析をそれらの画像に適用して、画像内の身体部分を検出することによって、仮想オブジェクトのための適切な向きを決定することができる。この情報を使用して、第1のヘッドマウントデバイスのプロセッサは、仮想オブジェクトに関するデータを第2のヘッドマウントデバイスへ送信して、そのプロセッサが、第2のユーザのパースペクティブに整合する第2のアンカー表面に位置決めされた仮想オブジェクトの画像をレンダリングできるようにすることができる。
プロセッサはまた、視野内の検出された身体部分および構造に基づいて、第2の仮想オブジェクトの向きを設定することもできる。たとえば、第2のユーザの頭、首、および胴が、第1のヘッドマウントデバイスによってキャプチャされた画像内で検出されることがあり、第1のヘッドマウントデバイスのプロセッサは、第2のユーザによってアンカー表面として選択されるか、またはすでに選択されている、第2のユーザのすぐ近くの水平の壁または垂直のテーブルがあると決定することができる。別の例として、第1のヘッドマウントデバイスのプロセッサは、第2のユーザの頭、首、および胴を取得された画像内で認識し、それらの身体部分の位置から、第2のユーザが仮想オブジェクトに関連付けられたテキストを読むことができるように、仮想オブジェクトの向きがどのように設定されるべきであるかを決定することができる。たとえば、第2のユーザの頭および胴の画像を解析して、水平(たとえば、肩から肩へ)および垂直(たとえば、胴から頭へ)の座標軸を定義することができ、その座標軸を次いで使用して、仮想オブジェクトをレンダリングするために適切な向きを決定することができる。加えて、ヘッドマウントディスプレイ上に提示される仮想オブジェクトの各ピクセルの第2のユーザの頭および胴からの距離に関してなど、仮想オブジェクト画像の視角が決定され得る。この処理は、第2のユーザのパースペクティブからの仮想オブジェクト上の様々な表面の視野角に整合する、オブジェクト輝度を変化させることを含み得る。
別の実施形態では、プロセッサは、第2のユーザの画像を経時的にキャプチャすることができ、解剖学的解析をそれらの画像に適用して、画像内の身体部分を検出することができる。たとえば、第2のユーザの両目(または、ヘッドマウントデバイス)と鼻とが検出され得る。プロセッサは、身体部分を利用し、第2のユーザが見ているロケーションを決定し、第2のユーザがどこを見ているかに基づいて、第2の仮想オブジェクトの向きを設定することができる。さらに別の実施形態では、プロセッサは、キャプチャされた画像から、第2のユーザが座っているか、立っているかを判定することができる。プロセッサは、立っている場合、第2のユーザに隣接した平坦面にアンカーされるように、第2の仮想オブジェクトを生成することができる。座っている場合、プロセッサは、第2のユーザに隣接した近くの表面にアンカーされるように見えるように、第2の仮想オブジェクトを生成することができる。
ブロック832で、プロセッサが、第1のユーザから第2のユーザへコンテンツを送出しないように判定する場合(すなわち、判定ブロック832=「No」)、プロセッサは、ブロック828で、第1のユーザのために仮想オブジェクトを表示することができ、ブロック830で、第1のユーザの動きについて、仮想オブジェクトを更新することができる。
一実施形態では、プロセッサは、第2のユーザのための第2の仮想オブジェクトの向きを正しく設定する信号を通信することができる。プロセッサはまた、第2のユーザのための向きが設定された第2の仮想オブジェクトを生成する信号を通信することもできる。これらは、通信ネットワークへ通信され得る。通信ネットワークは、その信号を受信することができ、第2の仮想オブジェクトが、第1のユーザからある距離だけ離れた第2のユーザのために生成され得る。たとえば、第1のユーザおよび第2のユーザは、同じ室内または異なる都市に位置することがある。さらに別の実施形態では、第2のユーザは、仮想オブジェクトを移動させるか、または向きを再設定するための、検出されたジェスチャーまたは音声コマンドによって、追加の入力を供給することができる。プロセッサはまた、第2の仮想オブジェクトの好ましい配置を確認するか、拒否するかを示す入力を、第2のユーザから受信することもできる。第2のユーザはまた、必要に応じて、仮想オブジェクトを回転させて向きを再設定するための入力を、供給することもできる。
ヘッドマウントデバイスを装着する2人以上のユーザ間で共有された体験を可能にすることに加えて、共同作業に関わるヘッドマウントデバイスのうちの1つまたは複数によって生成された画像データが、非参加者によって使用されるヘッドマウントデバイス、または、スマートフォンもしくはタブレットコンピュータなど、他のモバイルデバイスへ送信され、そこで表示されてもよく、他者が仮想または拡張現実体験において共同作業を見ることが可能にされ得る。上記で説明したように、ヘッドマウントデバイスを装着し、または、スマートフォンもしくはタブレットなど、別のモバイルデバイスを使用して、共同作業セッションを見る他者は、仮想オブジェクトおよびそれらとのユーザ対話を見るだけでなく、ヘッドマウントデバイスユーザのうちの1人によって見られる仮想拡張を用いた、制限された対話機能を有することができる。この制限された対話は、拡張に接触して効果を引き起こすこと、対話型エリアまたはアンカーポイントを物理的表面上で定義すること(新しい拡張を共有された体験に効果的に追加すること)、ならびに、ジェスチャーおよび/または音声入力を介して、共有された複合現実シーンと対話することを含み得る。仮想体験におけるいかなるそのような変更も、他のユーザによって装着されたヘッドマウントディスプレイに反映され得る。
図9Aは、大きく離れたロケーションにおける2人のユーザのために、アンカーされた仮想オブジェクトの画像をレンダリングするための、一実施形態の方法900を示す。たとえば、一方のユーザは、カリフォルニア州サンディエゴに位置することがあり、第2のユーザは、たとえば、英国のケンブリッジなど、第2のロケーションに位置することがある。しかしながら、両方のロケーションにおいて、表示された、アンカーされた仮想オブジェクト14は、画像の所定のエリアに固定された各ロケーションにおけるアンカー表面にアンカーされたままである。いくつかの実施形態では、あるユーザが、複数の他のユーザのための仮想オブジェクトのためのアンカー表面を選択することができる。図9Aに示す方法900は、方法900の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。方法900のブロック901で、プロセッサは、距離センサからのデータ、カメラデータ、および計算された距離データを使用して、画像を処理することによって、動作を開始することができる。
図5Aを参照して上記で説明したシーンセンサ500は、近赤外(NIR)パルス放出器503cと、反射された赤外パルスについての飛行時間情報を決定することが可能な高速ゲーティング機構をもつ赤外線カメラ503bとを含み得る。放出器503cからの赤外線放出パルスの光速およびタイミングと、赤外線カメラ503bのゲーティングとに基づいて、キャプチャされた画像内のオブジェクトまでの距離が、受信されたパルスのタイミングに基づいて決定され得る。パルス信号を、画像内のピクセルごとに、またはピクセルのグループについて収集し、距離センサからシーン内のオブジェクトまでの距離を決定するために使用することができ、その距離は、記憶媒体に記録および記憶され得る。
ブロック902で、プロセッサは、画像内のアンカーされた仮想オブジェクトを表示するためのパラメータを計算することができる。仮想オブジェクトは、入力がプロセッサによって受信された後、所定の表面に固定されるように意図されてもよく、計算されたパラメータは、所望の表面に関係し得る。ブロック903で、プロセッサは、画像を、仮想オブジェクトとともに表示するためにレンダリングすることができる。ブロック904で、プロセッサは、部屋座標マップをサーバへアップロードおよび/またはダウンロードするように、送信機/受信機または送受信機を制御することができる。そのような座標マップは、ヘッドマウントデバイスが好都合な座標系内で室内の構造のロケーションを決定できるようにする、いずれかの形態の位置定義情報であり得る。たとえば、正方形の部屋を、そのような部屋座標マップのためにデカルト座標で定義することができ、X寸法およびY寸法は、床の主軸に対応し、Z座標は、垂直寸法(すなわち、床から天井)に対応する。ヘッドマウントデバイス内のカメラおよび他のセンサ(ならびに/または、ボディマウントカメラ)は、壁、床、および天井など、部屋の主要な構造寸法を位置特定することができるので、部屋座標の向きは、部屋の壁および床に容易に整合され得る。このようにして、システムは、(たとえば、GPSセンサからの)地理的座標、またはコンパス座標に関係する必要がない。一方、ユーザが外部、または、好都合なデカルト基準系のない空間内にいるとき、デカルト座標は、GPS座標およびコンパス座標に整合され得る。
識別された座標基準系を用いて、ユーザから(たとえば、距離センサおよび/またはステレオ画像の処理から)様々な座標定義表面(たとえば、壁、床、および天井)まで、ならびに、ヘッドマウントディスプレイの視野内の様々なオブジェクトおよび表面までの距離測定値を使用することによって、ユーザの視野内の構造および表面が識別され、または座標系にリンクされ得る。簡単な幾何学的座標変換アルゴリズムを次いで使用して、オブジェクトおよび表面のユーザ相対座標を、全体的な部屋座標マップに変換することができる。したがって、この処理の結果は、全体的な基準系内で室内のオブジェクトまたは表面ごとに、座標ベクトル(たとえば、3つの座標距離)のデータセットを生成することであり得る。ヘッドマウントデバイスは、この座標データベースを使用して、室内のそれ自体のロケーションを決定することができる。次いで、部屋についての座標データベース内のそれ自体のロケーションを知り、プロセッサは、簡単なデカルト座標変換アルゴリズムを使用して、ヘッドマウントデバイスから室内のすべてのオブジェクトおよび表面までの距離および方向を計算することができる。ユーザが屋外にいる状況では、全体的な基準系は、地理的座標に基づいてもよく、地理的座標は、任意に選択され、GPSシステム測定値に結び付けられるか、または、GPSシステム測定値から決定され得る。
別の実施形態では、部屋座標マップは、デバイスのプロセッサに結合されたメモリなど、ヘッドマウントデバイスにとってアクセス可能なローカルメモリに、または、ヘッドマウントデバイスにワイヤレス結合されたモバイルコンピューティングデバイス(たとえば、スマートフォン)に記憶され得る。ブロック916で、仮想オブジェクトは、ディスプレイ上で第1のアンカーされる表面上にレンダリングされてもよく、プロセッサは、ユーザがヘッドマウントディスプレイを移動および回転させるとき、仮想オブジェクトを第1のアンカーされる表面上にレンダリングし続けることができる。ブロック917で、通信および共同作業のために、音声リンクが、第1のヘッドマウント音声デバイスと第2のヘッドマウント音声デバイスとの間で確立され得る。
図9Bを参照すると、ブロック905で、第1のユーザからある地理的距離だけ離れて位置することがある、第2のヘッドマウントデバイス内のプロセッサは、第2のユーザのロケーションおよび閲覧の向きを決定することができる。このことは、座標ロケーションデータ、コンパスデータ、および加速度計データを取得して、ヘッドマウントデバイスのロケーションおよび視角を決定することを含む、本明細書で説明する位置特定方法のいずれかを使用して達成され得る。場合によっては、第2のヘッドマウントデバイスは、画像内に存在するユーザの身体の一部分を認識することによって、その視角を決定し、その決定から、解剖学的モデルを使用して、可能性のある閲覧パースペクティブを推論することができる。別の実施形態では、第2のユーザは、その上で仮想オブジェクトをレンダリングするための表面を指定するため、および、ユーザの閲覧パースペクティブを示すための入力を供給することができる。ブロック906で、プロセッサは、第2のユーザのパースペクティブからの表示のために適切に仮想オブジェクトをレンダリングするために、仮想オブジェクトを処理することができる。ブロック907で、プロセッサは、第2のユーザのロケーションおよび向きに基づいて、第2のヘッドマウントディスプレイ内で画像を生成することができる。
判定ブロック908で、第2のヘッドマウントデバイスのプロセッサは、第2のユーザが表示画像内で仮想オブジェクトをアンカーするために新しいアンカー表面を選択したいかどうかを、判定することができる。たとえば、第2のユーザは、物理的デスクトップなど、共同作業中に好都合であり得る、表示画像内の表面上に、画像をアンカーすることを望むことがある。一実施形態では、仮想オブジェクトは、たとえば、レンダリングされた画像内で現れ得る仮想テーブルなど、仮想の物理的表面上にアンカーされ得る。
プロセッサが、第2のユーザが(たとえば、入力を介して)仮想オブジェクトのためのアンカー表面を変更することを希望すると判定する場合(すなわち、判定ブロック908=「Yes」)、ブロック909で、プロセッサは、新たに指定されたアンカー表面の距離および向きパラメータを決定することができる。ブロック910で、プロセッサは、アンカー表面(デスクトップ)のパラメータに基づいて、仮想オブジェクトのレンダリングを変更し、ブロック911で、第2の所定の表面のアンカー表面の距離および向きに基づいて、仮想オブジェクトを処理することができる。ブロック912で、第2のプロセッサは、画像を、第2のヘッドマウントデバイスのディスプレイ内でアンカー表面上に、アンカーされた仮想オブジェクトとともにレンダリングすることができる。
ブロック913で、第2のヘッドマウントディスプレイを装着するユーザから受信された仮想オブジェクトの更新が、レンダリングのために、第1のヘッドマウントディスプレイへ送信され得る。このようにして、2つのヘッドマウントディスプレイのユーザは、共同作業セッション中に、仮想オブジェクトと共同作業的に対話することができる。これらの更新は、2つのヘッドマウントデバイス間で送信され、各デバイスが、いずれのユーザによって行われたすべての変更も反映する、更新された仮想画像を表示するようにすることができる。たとえば、ワードプロセシングアプリケーションでは、仮想オブジェクトは、共同作業的な方法で両方のユーザからの変更を反映することができる。ブロック914で、音声リンクが、第2のヘッドマウントデバイスと第1のヘッドマウントデバイスとの間で確立され得る。これらのユーザは、音声リンクを利用して、互いと、ならびに他のユーザと、音声会議フォーマットで話すことができる。この会議は、2つの異なる地理的ロケーションにおけるディスプレイ上で仮想オブジェクトを見ているとき、同時に行われ得る。一実施形態では、ヘッドマウントデバイスは、ビデオおよび音声会議ソフトウェアを使用することができる。
プロセッサが、第2のユーザが仮想オブジェクトを新しいロケーションにアンカーすることを望まないと判定する場合(すなわち、判定ブロック908=「No」)、ブロック915で、プロセッサは、仮想オブジェクトをレンダリングすることができる。たとえば、第2のユーザは、単に、仮想オブジェクトを元のアンカー表面上に、または、ヘッドマウントディスプレイ上で自由に浮く配置で表示することを選択することができる。たとえば、ブロック915で、プロセッサは、仮想オブジェクトを「スタンバイモード」で表示することができる。
図10は、第1のヘッドマウントデバイスと第2のヘッドマウントデバイスとの間でピアツーピア発見を開始するための、一実施形態の方法1000を示す。方法1000は、方法1000の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。2つのヘッドマウントデバイスがピアツーピア通信リンクを通してリンクされると、2つのヘッドマウントデバイスは、リソースを共有することができ、それらのデバイス間でデータを共有および交換することができる。方法1000は、ヘッドマウントデバイスを互いにリンクさせることに限定されず、1つまたは複数のヘッドマウントデバイスとリンクすることができる他のコンピューティングデバイスに適用可能であり得る。一実施形態では、ヘッドマウントデバイス10は、CPUを有するモバイルデバイス(たとえば、電話、タブレットなど)のアクセサリーとして動作可能であってもよく、方法1000における動作の一部分は、モバイルデバイスのCPUによって実行され得るが、ヘッドマウントデバイスは、「端末」として機能して、より少ない動作を実行することができ、ワイヤレスインターフェースを介してモバイルデバイスからの出力を受信することができる。たとえば、処理が第1のモバイルデバイス上で実行されてもよく、ディスプレイ出力が、アンカーされた仮想オブジェクトの可視画像を生成するヘッドマウントディスプレイに送出され得る。
方法1000のブロック1002で、プロセッサは、全地球測位ユニット(GPS)もしくは任意の他の宇宙ベースの全地球航法衛星システム(GNSS)受信機など、ヘッドマウントデバイスに関連付けられた位置特定デバイス、または、ヘッドマウントデバイスに関連付けられたナビゲーションデバイスから、位置データを受信することができる。たとえば、位置特定デバイスは、無線ネットワーク基地局からロケーションを決定するデバイスであり得る。別の実施形態では、ヘッドマウントデバイスは、クラウドサーバなどのローカルデバイスから、または、ワイヤレス通信ネットワーク基地局から、ローカル位置データを受信することができる。さらなる実施形態では、ユーザは、ヘッドマウントデバイスが新しいロケーションに入りつつあること、および/または、新しい共同作業セッションを開始中であることを示す入力(たとえば、ボイスコマンドまたはボタン押下)を供給することができる。さらなる実施形態では、ヘッドマウントデバイスは、他のデバイスからピアネットワーク広告を受信し、新しい広告から、デバイスが新しいロケーションに入っていると決定することができる。
判定ブロック1004で、プロセッサは、第1のヘッドマウントデバイスが新しいロケーションに入っているかどうかを、位置データまたは他の指示に基づいて判定することができる。そうである場合(すなわち、判定ブロック1004=「Yes」)、ブロック1006で、ヘッドマウントデバイスは、他のコンピューティングデバイスまたはヘッドマウントデバイスが近傍にあり、ワイヤレスデータ接続によってリンクされ得るかどうかを判定するために、ピアツーピア発見を開始することができる。ブロック1006でピアツーピア発見を開始するプロセスは、リンクされ得るデバイスから応答が受信されるまで(すなわち、判定ブロック1008=「No」である限り)、継続することができる。ピアツーピア通信リンクを確立することが可能なデバイスが識別されるとき(すなわち、判定ブロック1008=「Yes」)、ブロック1010で、ピアツーピア通信リンクがネゴシエートされてもよく、ブロック1012で、双方向通信が2つのデバイス間で確立され得る。
ブロック1014で、ヘッドマウントデバイスは、ともに通信リンクを確立しているコンピューティングデバイスから、マップデータを受信することができる。この動作において、ヘッドマウントデバイスは、他のコンピューティングデバイス(たとえば、別のヘッドマウントデバイス、別のコンピューティングデバイスまたは遠くのサーバなど)上に記憶されているいずれかのマップデータをダウンロードし、ヘッドマウントデバイスが新しいロケーション内で直ちにデバイス自体の向きを設定できるようにすることができる。たとえば、ヘッドマウントデバイスがともに通信リンクを確立しているコンピューティングデバイスが、ネットワークまたはインターネットへのアクセスを有する場合、マップデータがリモートサーバから(たとえば、「クラウド」から)ダウンロードされ得る。ヘッドマウントデバイスはまた、それ自体の内部メモリを走査して、新しいロケーションについてのマップデータがすでにメモリに記憶されているかどうかを判定することもできる。マップデータがメモリに記憶されている場合、ブロック1014における動作の一部として、ヘッドマウントデバイスは、そのマップデータの一部を、ともに通信リンクが確立されているコンピューティングデバイスと共有することができる。また、マップデータを交換する前に、通信するヘッドマウントデバイスは、互いに近いかどうかを判定し、マップデータを共有することが一方または両方のデバイスプロセッサの処理負荷を低減するようになるように互いに十分近い場合にのみ、マップ、距離、および向きデータを交換することができる。したがって、ヘッドマウントデバイスおよびリンクされたコンピューティングデバイスが同じ室内にない場合、他方のデバイスに無関係となるロケーション、マップ、または向きデータを共有することは、意味をなさないことがある。
ブロック1016で、プロセッサは、ヘッドマウントまたはボディマウントステレオカメラからのデータ、ならびに、距離センサによって取得され得る距離測定値を受信することができる。ブロック1018で、プロセッサは、マップおよびシーン内でデバイスの向きを設定するために、ブロック1014で受信された任意のマップデータを、カメラ画像および任意の距離測定値とともに使用することができる。場合によっては、ブロック1018で、プロセッサは、受信されたマップデータ内に現れない、画像内で見られる任意のアイテムまたは構造についての3次元マップデータを、生成または更新することができる。マップデータが別のコンピューティングデバイスから受信されず、デバイスがメモリ内にそのロケーションについてのマップを有していなかった場合、ブロック1018で、プロセッサは、新しいマップを生成することができる。
ブロック1020で、ヘッドマウントデバイスプロセッサは、カメラによって取得された画像を、距離センサおよび向きセンサを含む様々なセンサからのデータを使用して、処理することができる。この処理は、デバイスがマップデータ内の座標またはロケーション内でそれ自体の位置を特定できるようにすることができる。この処理はまた、仮想オブジェクトをレンダリングする際に使用するための、アンカー表面までの距離およびアンカー表面の向きを決定することをも含み得る。
ブロック1022で、ヘッドマウントデバイスプロセッサは、リンクされたコンピューティングデバイスが共同作業において使用され得る表示を生成できるようにするために、ディスプレイおよび仮想オブジェクトデータをそれらのデバイスと交換することができる。ブロック1024で、ヘッドマウントデバイスは、様々な実施形態に関して本明細書で説明したように、仮想オブジェクトをアンカー表面上に表示すること、ユーザコマンドジェスチャーを検出し、それに応答すること、ならびに、変更および入力を他の結合されたコンピューティングデバイスに通信することによってなど、ユーザの共同作業のサポートを開始することができる。
図11は、認識されたジェスチャーおよび検出された音声を入力コマンドとして処理するための、一実施形態の方法1100を示す。ジェスチャーおよび検出された音声は、ヘッドマウントディスプレイ上でタスクおよび命令を実行することができる。方法1100は、方法1100の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。
この実施形態の方法では、認識されたユーザジェスチャーなど、ある形態で受信されたユーザ入力コマンドが、マイクロフォンによって受信されたバーバルコマンドなど、別の形態のユーザ入力によって確認され得る。たとえば、ヘッドマウントデバイスのプロセッサが、画像データを処理してジェスチャーを認識することによってなど、第1のコマンドを認識する場合、プロセッサは、短い時間期間にわたって、認識された第1のコマンドを確認する第2のコマンドを求めて、他のユーザ入力を監視することができる。この実施形態では、プロセッサは、第1の認識されたユーザ入力に対応するアクションを実施し、またはタスク実行することを、そのアクションまたはタスクが第2のユーザ入力によって確認されるのでない限り、行わないことがある。第2のユーザ入力は、マイクロフォンによって受信されたボイスコマンド、または、ボディマウントカメラによって収集された画像内で認識される第2のジェスチャーであってもよい。いくつかの通常のユーザの動きがコマンドジェスチャーとして誤って解釈され、ジェスチャーコマンドが実行される前にユーザがそれらを確認すること、および、意図しないコマンドが実行されることを防ぐことが必要となることがあるので、この実施形態は有用であり得る。確認ユーザ入力を待機するプロセスは、ユーザによって行われたジェスチャーが画像内で認識されるか、または、プロセッサがバーバルコマンドを受信していると考えるとき、呼び出され得る。一般に、この2コマンド確認プロセスは、偶然生じるジェスチャーまたは不注意に話されたコマンドが、ヘッドマウントデバイスによって意図的でなく作用され得るという状況を、回避することができる。代わりに、ヘッドマウントデバイスは、アクションを取る前に、第2のコマンドを待つようになる。この2コマンドプロセスはまた、認識されたコマンドに関連付けられたアクションが、1つのコンテンツを削除するような、望ましくないまたは非可逆的であり得る動作を含むときなど、認識されるコマンドのタイプに基づいて実施されてもよい。
方法1100のブロック1101で、プロセッサは、ヘッドマウントデバイスの向きに関するセンサデータを受信することによって、動作を開始することができる。ブロック1102で、プロセッサは、キャプチャされた画像に関して、カメラからのデータを受信することができる。ブロック1103で、プロセッサは、画像内のオブジェクトの距離および向きを計算することができる。ブロック1104で、プロセッサは、センサデータ、カメラデータ、および距離センサデータを使用して、画像を処理することができる。ブロック1105で、プロセッサは、画像中に含まれている仮想オブジェクトとともに、画像をディスプレイ上にレンダリングすることができる。
ブロック1106で、いずれかの解剖学的特徴がカメラの視野内に含まれているかどうかを判定するために、カメラデータが処理され得る。一般に、いずれかの特徴が人間の部分であるとして認識されるかどうかを判定するために、解剖学的特徴検出アルゴリズムが、キャプチャされたカメラ画像データに適用され得る。たとえば、解剖学的認識アルゴリズムは、ボディマウントカメラから受信された画像を走査して、5本の指をもつ手、および腕など、解剖学的特徴が認識されるかどうかを判定することができる。解剖学的特徴を認識するプロセスはまた、キャプチャされた画像内のユーザの腕の角度など、それらの向きを決定することもできる。認識された解剖学的特徴の位置および向きが、ある時間期間にわたって画像内で追跡され、ユーザジェスチャーのデータベースまたは辞書と比較されて、追跡された解剖学的特徴の動きが、認識されたジェスチャーに対応すると決定され得る。ユーザジェスチャーが認識される場合、プロセッサは、検出されたジェスチャーに応答して、コマンドを出力することができる。たとえば、コマンドは、ソフトウェアアプリケーションを開くことができ、または、ソフトウェアアプリケーションに信号もしくは入力を供給することができる。
ユーザジェスチャーを認識するプロセスは、判定ブロック1107で、認識された解剖学的特徴の動きを、ジェスチャー辞書に維持され得るものなど、あらかじめ定義された解剖学的動きのデータベースと比較することによって、達成され得る。たとえば、手などの身体部分が、キャプチャされた画像内で認識されることがあり、その動きが所定の時間間隔にわたって追跡され得る。たとえば、プロセッサが、解剖学的モデルを使用して、ユーザの手および指がボディマウントカメラの前に位置し、2本の指が伸ばされ、3本の指がユーザの手のひらに向けて下向きに閉じられていることを認識する場合、プロセッサは、ユーザの手および指のこの向きをジェスチャー辞書と比較することによって、プロセッサがアクションを取ることを希望することをユーザが表していると決定することができる。プロセッサは、画像パターンおよび動きを、ジェスチャー辞書に記憶された動きデータまたはパターンと比較することによって、身体部分ジェスチャーの構成を認識することができる。そのようなジェスチャー辞書は、突くこと、軽くたたくこと、タップ、押すこと、案内、フリック、ターン、回転、つかんで引くこと、画像をパンするために両手のひらを開くこと、描画(たとえば、フィンガーペインティング)、指で形状を作ること(たとえば、「OK」サイン)、およびスワイプを含み得る、動きについてのジェスチャーデータを記憶することができ、それらのジェスチャーのすべては、生成された表示内の仮想オブジェクトの見かけのロケーションで、または見かけのロケーションにごく接近して達成され得る。ヘッドマウントディスプレイが、カメラ画像データ内で、ジェスチャー辞書内のエントリに適合するジェスチャーを認識する場合(すなわち、判定ブロック1107=「Yes」)、ブロック1108で、プロセッサは、認識されたジェスチャーに対応する入力コマンドを処理することができる。ブロック1109で、入力コマンドは、プロセッサによって実行され得る。入力はまた、ソフトウェアアプリケーションもしくはコンピューティングデバイスに通信される任意の信号もしくはデータ、または、指示を与えるための信号であってもよい。
ここでも、上記で説明したように、認識されたジェスチャーに基づくコマンドの実行は、第2の確認ユーザ入力が受信されるまで、実施されないことがある。したがって、そのような実施形態では、コマンドを実行する代わりに、ブロック1109で、プロセッサは、ユーザが認識されたジェスチャーコマンドを確認するためのプロンプトを表示(または、トーンを発生)することができる。判定ブロック1110で、プロセッサは、ジェスチャーコマンドの認識の後にくる短い期間にわたって、いずれかの音声(または、他のユーザ入力)がマイクロフォンから受信されるかどうかを判定することができる。音声がその時間期間内に受信される場合、プロセッサは、音声を処理して、検出されたジェスチャーを確認するために確認コマンドが話されたかどうかを判定することができる。このことを達成するために、マイクロフォンから受信された音声入力がデジタル化されてもよく、得られたデータが、1つまたは複数の入力コマンドに対応する言葉を求めて、ボイスコマンド認識データベースと比較され得る。音声入力が、コマンド確認に対応するボイスコマンドパターンに適合すると、プロセッサが判定するとき(すなわち、判定ブロック1110=「Yes」)、ブロック1111で、プロセッサは、その音声に対応するアクションを生じる入力コマンドを処理することができる。ブロック1112で、プロセッサは、認識されたコマンドを実行することができ、ブロック1113で、指示または認識されたタスクがヘッドマウントディスプレイ上に表示され得る。
たとえば、ユーザは、指さすことによって、仮想オブジェクト14を物理的表面上にアンカーするためのジェスチャーを行うことができる。このジェスチャーを認識すると、プロセッサは、コマンドを確認するようにユーザに要求する、ヘッドマウントディスプレイに提示された可聴音またはメッセージなど、プロンプト生成することができる。そうするために、ユーザは、「オーケー」、「確認」、または「そうする」のような言葉を話して、ヘッドマウントデバイスによって認識されたジェスチャーコマンドが実行されるべきであることを確認することができる。したがって、プロセッサが確認または可聴コマンドを検出するとき、プロセッサは、ヘッドマウントディスプレイに、ユーザが指さしている物理的表面上にアンカーされた仮想オブジェクトを示す画像を提示することができる。
口頭の音声コマンドに対応するとして認識される音声が受信されない場合(すなわち、判定ブロック1110=「No」)、プロセッサは、検出されたジェスチャーが不注意によるものであったと決定することができ、プロセッサは、認識されたジェスチャーおよび入力コマンドを無視することができ、ブロック1106で、解剖学的ジェスチャーを探してカメラデータを処理し続けることができる。
判定ブロック1107に戻ると、プロセッサが、画像データ内でジェスチャーを認識しない場合(すなわち、判定ブロック1107=「No」)、ブロック1106で、プロセッサは、さらなる追加の時間間隔にわたって、解剖学的ジェスチャーを求めてカメラデータを処理し続けることができる。ブロック1113で、プロセッサは、ジェスチャーが認識されていないことを示すタスク識別子またはアイコンを、ヘッドマウントディスプレイ上に表示することができる。代替として、プロセッサは、ジェスチャーコマンドが受信されるとすぐに、タスク識別子またはアイコンを表示することができ、タスク識別子またはアイコンは、バーバルコマンドまたは「OK」ジェスチャーコマンドなど、確認コマンドをユーザが出すためのプロンプトとして機能することができる。
別の実施形態では、異なる第1のコマンドおよび第2のコマンドが使用され得る。別の実施形態では、プロセッサが、音声コマンドを最初に検出し、受信された画像内で確認ジェスチャーコマンドを探し、判定ブロック1107および1110で実行される動作を有効に交換するように構成され得る。さらなる実施形態では、ボタン押下などとの組合せでの可聴コマンドなど、2つ以上のタイプの確認入力が必要とされ得る。
図12は、認識されたジェスチャーを入力コマンドとして処理して、ヘッドマウントデバイス上でソフトウェアタスクを実行するための、一実施形態の方法1200を示す。方法1200は、方法1200の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。
方法1200において、ブロック1201で、プロセッサは、ヘッドマウントデバイス10の向きに関するセンサデータを受信することによって、動作を開始することができる。ブロック1202で、プロセッサは、ステレオカメラからのステレオ画像データ、ならびに、上記で説明したヘッドマウントデバイス10中に含まれるいずれかの距離センサからのデータを受信することができる。したがって、ブロック1202で、プロセッサは、カメラの視界内の画像および表面までの距離に関して、ヘッドマウントデバイスによって収集されたすべての情報を取得することができる。ブロック1203で、プロセッサは、キャプチャされた画像内のオブジェクトの距離および向きデータを計算することができる。これらの計算は、ステレオ画像がブロック1202で供給されるときに、よく知られている三角法、距離データを供給するために距離センサが使用されるときに、直接測定、および、センサから取得された距離情報とステレオ画像から計算された距離情報との組合せを使用することができる。ブロック1204で、プロセッサは、距離センサデータ、カメラデータ、ならびに、距離および向きデータを使用して、画像を処理することができる。ブロック1205で、プロセッサは、画像をヘッドマウントディスプレイ上で仮想オブジェクトとともにレンダリングすることができる。ブロック1206で、カメラデータが、プロセッサによって追跡され得る。キャプチャされた画像が処理されてもよく、プロセッサは、解剖学的特徴が、キャプチャされた画像内に含まれているかどうかを判定することができる。プロセッサは、解剖学的特徴検出アルゴリズムをキャプチャされた画像に適用して、いずれかの特徴または少なくとも1つの身体部分がデータ内に位置するかどうかを判定することができる。プロセッサは、ある時間間隔にわたってその身体部分を追跡して、所定のジェスチャーが認識されるかどうかを判定することができる。
判定ブロック1207で、プロセッサは、いずれかのジェスチャーが、キャプチャされた画像内で認識されるかどうかを判定することができる。そうである場合(すなわち、判定ブロック1207=「Yes」)、プロセッサがジェスチャーを画像内で認識していることを示し、ブロック1208で、プロセッサは、判定されたジェスチャーをメモリに記憶されている入力コマンドと実質的に適合させることができる。ブロック1209で、プロセッサは、検出されたジェスチャーに対応する入力コマンドを実行することができる。ブロック1210で、プロセッサは、入力コマンドに対応するタスクを実行することができる。プロセッサが、認識されたジェスチャーがないという判断に達する場合(すなわち、判定ブロック1207=「No」)、ブロック1211で、プロセッサは、キャプチャされた画像を追跡すること、および、検出アルゴリズムをキャプチャされた画像に適用することを継続して、入力を求めて追跡することができる。
図13は、オブジェクトを立体画像内で検出し、その検出と検出されたオブジェクトの解釈とに基づいて、興味深い視覚的仮想現実効果を提供するための、一実施形態の方法1300を示す。方法1300は、「見なされた本質的オブジェクト」をヘッドマウントディスプレイ上に表示することができるが、方法1300は、他の「非本質的オブジェクト」を透明としてヘッドマウントディスプレイ上にレンダリングすることができる。方法1300は、方法1300の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。方法1300において、ブロック1301で、プロセッサは、カメラおよびヘッドマウントデバイスの向きに関するセンサデータを受信することによって、動作を開始することができる。ブロック1302で、プロセッサは、画像をキャプチャし、カメラからのデータを受信することができる。ブロック1303で、プロセッサは、画像内のオブジェクトの距離および向きを計算することができる。ブロック1304で、プロセッサは、距離センサデータ、カメラデータ、向き、および距離データを使用して、画像を処理することができる。
ブロック1305で、プロセッサは、画像をディスプレイ上に仮想オブジェクト14とともにレンダリングすることができる。判定ブロック1306で、プロセッサは、いずれかのオブジェクトが画像内で認識されるかどうかを判定することができる。たとえば、解剖学的検出アルゴリズムが、検出された画像およびデータに適用されて、身体部分が画像内で検出されるかどうかが判定され得る。たとえば、解剖学的または骨格検出アルゴリズムが、キャプチャされた画像に適用されて、可視として、または透明としてレンダリングされ得る腕または手などの身体部分が検出され得る。プロセッサが、他のオブジェクトが検出されると判定する場合(すなわち、判定ブロック1306=「Yes」)、オブジェクトが検出されることを示し、プロセッサは、そのオブジェクトが画像から省略されているかのように見えるようにするために、仮想オブジェクトをそのオブジェクトの上に重ね合わせることによって、そのオブジェクトを透明にレンダリングするかどうかを判定することができる。
様々な実施形態では、仮想オブジェクトには、様々な透明度特性がもたらされ得る。いくつかの実施形態では、仮想オブジェクトは、実世界オブジェクト(腕、手、指、および顔)のアウトライン上に現れるように表示され得る。そのような実施形態では、仮想オブジェクトは、実世界オブジェクトに適合するか、または実世界オブジェクトの上を覆うように、形状が変更され得る。このようにして、実世界オブジェクトは、ヘッドマウントディスプレイ上に出力された画像内で「シースルー」であるように見える。一実施形態では、不要なオブジェクトが壁またはテーブルの前にある場合、その壁および/またはテーブルに似ている仮想オブジェクトを生成して、仮想の壁/テーブルを不要なオブジェクトの上に重ね合わせることができる。プロセッサが、他のオブジェクトが検出されないと判定する場合(すなわち、判定ブロック1306=「No」)、ブロック1310で、プロセッサは継続し、画像を仮想オブジェクトとともにレンダリングすることができる。
判定ブロック1307で、プロセッサは、画像内で認識されたいずれかのオブジェクトが必要であるかどうかを判定することができる。たとえば、見なされた「必要なオブジェクト」は表示され得るが、他の見なされた「不要なオブジェクト」は、画像からそのオブジェクトを省略するために、透明にレンダリングされ得る。たとえば、見なされた必要なオブジェクトは、画像内のユーザ自身の手であり得るが、不要であると見なされる別のオブジェクトは、仮想オブジェクトの上に位置する第2の個人の手であり得る。不要なオブジェクトは、アウトラインの形態で表示されてもよく、仮想オブジェクトが不要なオブジェクトの上に重ね合わせられる。「必要」および「不要」という用語は、ドロップダウンメニュー、または、凝視検出、ヘッドマウントもしくはボディマウントカメラによって認識され得る、手で指し示すジェスチャーなど、ユーザが選好を示すためのいずれかのサポートされたジェスチャーもしくは方法を利用して、ユーザによって任意にプログラムおよび選択され得る。ユーザは、「他のユーザの特徴」を透明として表示し、「自分の特徴を常に」表示するように、ヘッドマウントデバイスをプログラムすることができ、逆もまた同様である。プロセッサが、オブジェクトが必要であると判定する場合(すなわち、判定ブロック1307=「Yes」)、ブロック1310で、プロセッサは、必要なオブジェクトおよび仮想オブジェクトとともに、画像をレンダリングするためのプログラム命令を与えることができる。たとえば、ユーザ自身の手が、必要であると見なされ、画像内で表示され得る。「必要」および「不要」という用語は、任意のパラメータであり、ユーザによって決定され得る。たとえば、ユーザは、セットアップ動作手順において、必要であるオブジェクトと、不要であり、透明としてレンダリングされるべきであるオブジェクトとを示すことができる。たとえば、ユーザは、ドロップダウンメニューおよび入力デバイスを使用して、ユーザの手が必要であること、および、画像内の他のユーザの身体部分が必要ではないことを決定することができる。たとえば、多数の異なるユーザが画像中に存在し、アンカーされた仮想オブジェクト上で共同作業していることがある。シーンは、多数のユーザおよび多数の仮想オブジェクトで散らかされることがある。したがって、共同作業を向上させるために、散乱を緩和するように、一部のユーザが透明にレンダリングされてもよい。
プロセッサが、オブジェクトが不要であると判定する場合(すなわち、判定ブロック1307=「No」)、ブロック1308で、プロセッサは、画像を、透明としてのオブジェクトとともにレンダリングすることができる。ブロック1309で、プロセッサはまた、仮想オブジェクトを、透明としてレンダリングされた不要なオブジェクトとともに、または、不要なオブジェクトの上に表示された仮想オブジェクトとともに、表示することもできる。別の実施形態では、オブジェクトが仮想オブジェクト14をふさぐときにのみ、オブジェクトが部分透明にレンダリングされてもよく、オブジェクトが仮想オブジェクト14をふさがないとき、オブジェクトが立体にレンダリングされてもよい。
図14は、画像シーン内に現れ得る手、腕、および他の人間の特徴(たとえば、ユーザおよび別の個人のもの)を考慮して、画像をヘッドマウントディスプレイ上にレンダリングするための、一実施形態の方法1400を示す。この実施形態では、ヘッドマウントデバイスプロセッサは、仮想オブジェクトが表示されるべきシーンの画像をキャプチャすること、解剖学的モデルを使用して画像を処理することによってなど、キャプチャされた画像中に存在する身体部分を認識すること、および、認識された身体部分に基づいて、仮想オブジェクトの表示を調整することができる。表示の調整は、仮想オブジェクトを認識された身体部分の前に、後ろに、または認識された身体部分と混合されるようにレンダリングすることを含み得る。たとえば、プロセッサは、仮想オブジェクトを、ユーザの特徴(たとえば、手および腕)が仮想オブジェクトをふさぐ場所で部分透明として、ユーザの特徴が仮想オブジェクトをふさがないところで不透明としてレンダリングすることができる。このようにして、ユーザは、自分の手を、仮想オブジェクトの画像の近傍で見ることができるが、仮想オブジェクトの残りは、現実であるかのように立体に見える。代替として、プロセッサは、ユーザ自身の特徴が仮想オブジェクトの前またはその上に現れる(すなわち、立体)が、別の個人の手および腕(ならびに、他の身体部分)が透明にレンダリングされるように、仮想オブジェクトをレンダリングして、別の個人の手および腕が仮想オブジェクトの画像によって不可視にされる(すなわち、仮想オブジェクトが、他の人の手/腕の、ユーザの視野をブロックする)ように、または、仮想オブジェクトが他の人の手および腕を通して見られるようにすることができる。
たとえば、ヘッドマウントまたはボディマウントカメラは、ユーザおよび別の個人の手および腕を含むシーンの画像をキャプチャすることがある。デバイスのプロセッサは、解剖学的アルゴリズムをキャプチャされた画像データに適用して、キャプチャされた画像内の身体部分を認識することができる。たとえば、プロセッサは、画像形状を解剖学的モデルと比較することによって、ユーザの手および第2の個人の手をキャプチャされた画像内で検出することができる。
両者の両手が、仮想オブジェクトをふさぐことがある。たとえば、5本の指および手のサイズデータが、画像についてレビューされ得る。プロセッサは、キャプチャされた画像で上から下に向けられる手が、第2の個人の手であるが、キャプチャされた画像内で下から上に向けられる他の手が、ユーザの手であると推論することができる。追加として、プロセッサは、認識されたオブジェクトの距離データをキャプチャして、推論を編成することができる。たとえば、プロセッサが、解剖学的特徴(たとえば、腕および手)がユーザから少なくとも所定の距離(12フィート)離れていると決定するとき、プロセッサは、この情報から、それらの特徴が別の個人に属すると推論することができる。追加の感知パラメータもまた可能であり、本開示の範囲内である。たとえば、オブジェクトの高さ、オブジェクトの向き、およびオブジェクトのサイズがすべて利用され得る。
方法1400において、ブロック1401で、プロセッサは、カメラの向きに関するセンサデータを受信することによって、動作を開始することができる。ブロック1402で、プロセッサは、カメラからデータを受信することができる。ブロック1403で、プロセッサは、画像内のオブジェクトの距離および向きを計算することができる。ブロック1404で、プロセッサは、距離センサデータ、カメラデータ、画像の向き、および距離データを使用して、キャプチャされた画像を処理することができる。判定ブロック1405で、プロセッサは、画像内で、ユーザの特徴、たとえば、ユーザの手、腕、脚、胴などに対応するオブジェクトが認識されるかどうかを判定することができる。この判定は、キャプチャされた画像内でオブジェクトを認識することによって、解剖学的解析を画像に適用すること、認識されたオブジェクトを、メモリに記憶された骨格モデルと比較すること、および、認識されたオブジェクトを骨格モデルと比較することに応答して、認識されたオブジェクトのいずれかが骨格モデルの一部分に適合するかどうかを判定することを含み得る。骨格モデルは、人間の骨格の主要な関節、骨、および肢についての相対位置情報を含み得る。
ある人の特徴が画像内で認識される場合(すなわち、判定ブロック1405=「Yes」)、ブロック1409で、プロセッサは、画像を、仮想オブジェクトおよび画像内のユーザの特徴とともにレンダリングすることができる。ユーザの特徴が画像内で検出されない場合(すなわち、判定ブロック1405=「No」)、判定ブロック1406で、プロセッサは、その特徴が第2の個人の特徴であるかどうかを判定することができる。
判定ブロック1406で、プロセッサは、第2の個人の特徴が検出されるかどうかを判定することができる。この判定は、キャプチャされた画像中に存在する身体部分を認識することに応答して、その身体部分が第1の個人に属するか、第2の個人に属するかを判定すること、仮想オブジェクトのロケーションおよび包含されたエリアを決定すること、ならびに、認識された身体部分が、仮想オブジェクトによって包含されたエリアの少なくとも一部分に重なるかどうかを判定することを含み得る。これらの特徴は、プロセッサによって透明にレンダリングされ得る。プロセッサは、仮想オブジェクトを検出された特徴上に生成し、重ね合わせることによって、オブジェクトを省略することができる。たとえば、プロセッサは、仮想オブジェクトをディスプレイ上で第2の個人の手の上にレンダリングすることができる。そうである場合(すなわち、判定ブロック1406=「Yes」)、第2の個人の手が画像内で検出され、必要ではないことを示し、ブロック1407で、プロセッサは、仮想オブジェクトを画像内で、第2の個人の手の上に重ね合わせられるようにレンダリングすることができる。
プロセッサが、オブジェクトが第2の個人の手であるかどうかを判定できない場合(すなわち、判定ブロック1406=「No」)、ブロック1408で、プロセッサは、画像を仮想オブジェクトとともにレンダリングすることができる。プロセッサは、画像内で所望のオブジェクトに対応するいくつかのピクセルを決定し、次いで、所望のオブジェクトのアウトラインが表示されるように残すが、画像内でピクセルを仮想オブジェクト14で置き換えることができる。アウトラインサイズは変わることがあり、オブジェクト画像の長さの約1パーセントを含み得る。
図15は、ヘッドマウントデバイス10のディスプレイ出力の例示の、ハイレベルのトップダウン図を示す。ディスプレイ出力は、仮想オブジェクト14を示す。仮想オブジェクト14は、データを出力する仮想フラットパネル画面として示される。この実施形態では、仮想画面は、いくつかの棒グラフをもつグラフィカルテーブルを出力する。複数のユーザは、仮想現実設定において仮想オブジェクト上で共同作業することができ、その設定において、仮想オブジェクト14は、ディスプレイの出力においてのみ現れるが、閲覧者にとって有形の実際のオブジェクトであるように見える。
図示の例では、プロセッサは、ユーザの特徴または手1502を検出し、2人の他の個人の特徴または手1500および1501を、立体画像内で仮想オブジェクト14の上で検出する。図15に示すように、ユーザの手は、プロセッサによって、ディスプレイ内で本質的要素として表示されることが可能となる。ユーザの手は、仮想オブジェクト14上に現れるようになり、仮想オブジェクト14をふさぐようになる。加えて、2人の他の個人の特徴は、仮想オブジェクト14の部分上に一見すると透明にレンダリングされてもよく、その理由は、これらの要素が本質的でないと見なされ、ヘッドマウントデバイス10のユーザの視野を混乱させることがあり、または散らかすことがあるからである。仮想オブジェクト14は、プロセッサによって、手1500および1501の上に重ね合わせられ、合うように表示され、手1500および1501が、生成された仮想オブジェクト14をふさがないようにすることができる。
図示の例では、第2のユーザの手1501がプロセッサによって、「透明」として、および、仮想オブジェクト14の上にレンダリングされた第2の個人の手1501のアウトラインによって示されるように、レンダリングされる。通常はふさがれるべきである仮想オブジェクト14の部分は、第2の個人の手1501上に直接レンダリングされ得る。図示の例では、第2のユーザの手1501は、透明であるように見え、手1501のアウトラインのみが示される。他のユーザの手1502は、図示の例では「立体オブジェクト」としてレンダリングされ、それらの手1502が、仮想オブジェクト14の上にレンダリングされ、仮想オブジェクト14をふさいでいる。図示の例では、手1502は立体であるように見え、仮想オブジェクト14は下部で可視でないことがある。一実施形態では、他の個人の手が検出され、手1500および1501のアウトラインとともにレンダリングされ得る。手1500および1501の残りは、仮想オブジェクト14の下にレンダリングされるものとして示される。
ヘッドマウントまたはボディマウントカメラは、画像をキャプチャし、解剖学的モデルをキャプチャされた画像データに適用して、身体部分を認識することができる。たとえば、これは、仮想オブジェクト14の上の、ユーザの手1502、および第2の個人の手1500、および第3の個人の手1501であり得る。たとえば、5本の指、手のサイズデータ、腕の一部分、手の向き、指の向き、距離データ、および向きデータがレビューされ得る。プロセッサは、画像の上部から向けられ、画像の下部に向かって伸びている手が、第2の個人の手1500であると推論することができる。プロセッサはまた、画像の右側から向けられ、カメラ1501からある距離だけ離れている手が、他の個人の手1501であると推論することもできる。プロセッサはまた、画面の下部から上に伸びるように向けられている第3のセットの手1502が、解剖学的モデルに整合して、ヘッドマウントデバイス10の向きに対して、距離範囲内であり、画像内に位置する場合、ユーザの手であると推論することもできる。追加の感知パラメータもまた、身体部分を認識する際にプロセッサによって使用され得る。たとえば、ユーザの手または腕が追跡されているとき、プロセッサは、表示画像内のすべての他の手が他のユーザに属すると推論することができ、したがって、プロセッサは、ヘッドマウントディスプレイ上に提示された画像内で、それらの残りの手をアウトラインまたは透明としてレンダリングすることができる。
図16は、処理リソースを活用するために高速データリンク上でモバイルデバイス1605と通信する、ヘッドマウントデバイス1600の別の実施形態を示す。図16は、ヘッドマウントデバイス1600のいくつかの下位構成要素を示す。ヘッドマウントデバイス1600は、モバイルCPU(電話、タブレットなど)のアクセサリーとして動作可能であってもよく、主要な処理はモバイルCPU上で実行される。一般に、ヘッドマウントデバイス1600は、ユーザの頭の周囲に快適に装着されるために可能な限り軽量にされ得る。ヘッドマウントデバイス1600は、モバイルデバイス1605の処理およびデータ記憶リソースを活用することができ、VIRT制御システム1610は、モバイルデバイス1605上で実行しているソフトウェアアプリケーション内で実装され得る。モバイルデバイス1605は、処理をモバイルデバイス1605で実行することによって、ヘッドマウントデバイス1600の処理機能を提供し、メモリを増大し、バッテリー寿命を節約することができる。
ヘッドマウントデバイス1600は、プロセッサに接続されたシーンセンサ(RGB-Dカメラ)1615を備える。ヘッドマウントデバイス1600はまた、音声センサ(マイクロフォン)1620、および立体視ディスプレイ1625をも含み得る。ディスプレイ1625は、半透明OLEDビデオディスプレイ1625であってもよい。ヘッドマウントデバイス1600はまた、スピーカーを含むイヤバッドを含んでもよく、または、代替として、一対のヘッドフォン1630を含んでもよい。別の実施形態では、ヘッドマウントデバイス1600は、軽量になるように余分な装備をいっさい除いたデバイス1600を備えてもよい。デバイス1600は、ワイヤレスインターフェースと、シーンセンサ1615と、バッテリーと、ディスプレイ1625とを備え得る。ワイヤレスインターフェースは、VIRT制御システム1610を実行するように構成され得るモバイルデバイス1605内のプロセッサにデータを通信し、ヘッドマウント装置がユーザにとって軽量および快適のままであるようにすることができる。図41を参照して、以下でより詳細に説明するように、モバイルデバイス1605は、プロセッサとメモリとを含み、一実施形態では、プロセッサは、ヘッドマウントデバイス1600と相互動作するように構成され得るVIRT制御ソフトウェアモジュール1610とともに構成され得る。モバイルデバイス1605およびヘッドマウントデバイス1600は、ワイヤードまたはワイヤレスであり得る高速データリンク1612を使用して通信することができる。たとえば、高速データリンク1612は、Bluetooth(登録商標)、Wi-Fi(登録商標)、QualcommのPeanut(登録商標)、およびZigBee(登録商標)ワイヤレスプロトコルのうちのいずれか1つまたは複数から選択された、短距離ワイヤレスデータリンク1612であり得る。
たとえば、センサデータは、センサ1615、1620、および1630を利用してキャプチャされ、デジタルデータに変換され得る。デジタルデータは、ワイヤレスデバイスに通信されてもよく、デジタルデータは、リンクに沿って、モバイルデバイス1605上で動作可能な制御システム1610に通信され得る。制御システム1610は、検知されたデータを処理することができ、ディスプレイデータをレンダリングすることができる。たとえば、制御システム1610は、走査画像と、エリアの距離データとを受信し、仮想オブジェクトを室内の少なくとも1つの表面上に生成することができる。ディスプレイデータは、リンクに沿って通信され戻され、ヘッドマウントディスプレイ1625上に出力され得る。
図17は、モバイルデバイスとヘッドマウントデバイスとの間の高速リンクを使用して、モバイルデバイスへのセンサデータ処理のオフロードを可能にするための、一実施形態の方法1700を示す。方法1700は、方法1700の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。ブロック1701で、プロセッサは、ヘッドマウントデバイスおよびそのカメラの向きに関するセンサデータを受信することができる。ブロック1702で、プロセッサは、デバイスのカメラから画像データを受信することができる。判定ブロック1704で、プロセッサは、ヘッドマウントデバイスとワイヤレス通信し、処理およびメモリストレージを支援することが可能な、モバイルデバイスが存在するかどうかを判定することができる。Noの場合(すなわち、判定ブロック=「No」)、ブロック1710で、他の実施形態で説明したように、画像がヘッドマウントデバイスによって処理され得る。
ヘッドマウントデバイスとワイヤレス通信し、処理およびメモリストレージを支援することが可能な、モバイルデバイスが存在する場合(すなわち、判定ブロック=「Yes」)、ブロック1705で、ヘッドマウントデバイスは、モバイルデバイスプロセッサによって処理するために、センサデータをモバイルデバイスへ送ることができる。ブロック1706で、モバイルデバイスプロセッサは、受信されたデータに基づいて、画像内のオブジェクトについての距離および向きデータを計算することができる。ブロック1707で、モバイルデバイスプロセッサは、ヘッドマウントデバイスから受信されたセンサデータおよびカメラデータを使用して、画像データを処理することができる。ブロック1708で、モバイルデバイスプロセッサは、ヘッドマウントデバイスから受信されたセンサデータおよび画像データを使用して、仮想オブジェクトのためのディスプレイデータを生成し、生成されたディスプレイデータをヘッドマウントデバイスへ送信することができる。ブロック1709で、そのヘッドマウントデバイスは、モバイルデバイスから受信されたディスプレイデータを使用して、画像をヘッドマウントディスプレイ上にレンダリングすることができる。このプロセスは、ブロック1701へ戻ることによって継続することができるが、ヘッドマウントデバイスが、モバイルデバイスが存在すると判定すると(すなわち、判定ブロック=「Yes」)、判定は現在のセッションでは繰り返されないことがある。
図18は、データを共有ユーザメモリに通信して、第2のヘッドマウントデバイスが共有データにアクセスできるようにするための方法1800を示す。方法1800は、画像をレンダリングするための処理時間を軽減することができ、または、仮想オブジェクトを適切に向きが設定されたディスプレイ上に生成するための処理時間を軽減することができる。たとえば、プロセッサは、いくつかの実施形態では、画像データを処理することができ、また、画像データ、または、仮想オブジェクトをより高速にレンダリングするために記憶媒体からロケーションデータを受信することもできる。方法1800は、方法1800の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。
方法1800において、プロセッサは、カメラの向きに関するセンサデータを受信することによって、動作を開始することができる。ブロック1802で、映像がキャプチャされてもよく、プロセッサは、ステレオ画像データをカメラから受信することができる。ブロック1803で、プロセッサは、画像内のオブジェクトの距離および向きを計算することができる。ブロック1804で、プロセッサは、センサからの画像データを処理することができる。ブロック1805で、画像が仮想オブジェクトとともにレンダリングされ得る。ブロック1806で、データをリモート記憶媒体と共有し、別のヘッドマウントデバイスが共有データを受信し、共有データを利用できるようにするかどうかに関して、判定が行われ得る。たとえば、他のヘッドマウントデバイスは、位置データを取得することができ、または、共有データを使用して、画像および仮想オブジェクトをレンダリングすることができる。
プロセッサが、データをリモート記憶媒体と共有するように判定する場合(すなわち、判定1806=「Yes」)、ブロック1807で、データが共有メモリに通信され得る。プロセッサが、データをリモート記憶媒体と共有しないように判定する場合(すなわち、判定ブロック1812=「No」)、プロセッサはブロック1801へ継続して、データをキャプチャし続けることができる。第2のヘッドマウントデバイス10bは、ブロック1808で、記憶媒体からのデータにアクセスすることができ、ブロック1809で、データを受信することができる。ブロック1810で、距離データが計算されてもよく、ブロック1811で、画像が処理され得る。判定ブロック1812で、第2のヘッドマウントデバイス10bによってアグリゲートされるデータを共有するための判定に達し得る。たとえば、データは、走査されたセンサデータ、または、共同作業するための他のデータであってもよい。データは、プロセッサによって送信され、記憶媒体に記憶され得る。プロセッサが、第2のヘッドマウントデバイスによってアグリゲートされたデータを共有するように判断する場合(すなわち、判定ブロック1812=「Yes」)、ブロック1813で、データが共有メモリに通信され得る。プロセッサが、第2のヘッドマウントデバイスによってアグリゲートされたデータを共有しないように判断する場合(すなわち、判定ブロック1812=「No」)、プロセッサはブロック1809へ継続して、画像に関するデータを受信し続けることができる。
図19は、通信ネットワークを介してデータを共有するため、および、複数のデバイスによって使用するための、一実施形態の方法1900を示す。ヘッドマウントデバイス10は、リソースを第2のモバイル通信デバイス10bと共有することができる。方法1900は、方法1900の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。
方法1900において、プロセッサは、カメラの向きに関するセンサデータを受信することによって、動作を開始することができる。ブロック1902で、プロセッサは、カメラからステレオ画像データを受信することができる。ブロック1903で、プロセッサは、画像内のオブジェクトの距離および向きを計算することができる。プロセッサは、画像データと、位置および向きデータとを変換することができる。データは、第2のヘッドマウントデバイスが使用するために、位置データを用いてタグ付けされ得る。第2のヘッドマウントデバイスは、距離、画像、およびタグ付けされた位置データを受信することができる。第2のヘッドマウントデバイスは、最小の処理で画像を画像内の仮想オブジェクトとともにレンダリングするために、データを利用することができる。
ブロック1904で、プロセッサは、画像内のオブジェクトにタグ付けして、タグ付けされた情報を幾何学的3次元モデルにおいて記憶することができる。タグは、GPSデバイスから取得され得る地理的位置データを備え得る。一実施形態では、位置データは、室内のオブジェクトと、互いに対するオブジェクトの相対位置とを記述することができる。別の実施形態では、各オブジェクトに、オブジェクトの向きを含むGPS座標が割り当てられ得る。一実施形態では、タグは、少なくとも4つの分離された位置座標を備え得る。さらなる実施形態では、仮想オブジェクトに関連付けられたデータもまた、位置データを用いてタグ付けされ得る。ブロック1905で、プロセッサは、センサデータ、カメラデータ、画像の向き、および距離データを使用して、画像を処理することができる。ブロック1906で、プロセッサは、モデルにおける物理的環境をレンダリングすることができる。モデルは、プロセッサによって記憶媒体にアップロードおよび送信されてもよく、記憶媒体は、他のヘッドマウントデバイス、または他のヘッドマウントデバイスに接続された別個のプロセッサによってアクセス可能であり得る。本明細書で説明するように、ヘッドマウントデバイスは、外部のプロセッサおよび記憶媒体(たとえば、スマートフォン、パーソナルコンピュータ、または、ローカルワイヤレスネットワークを介してアクセス可能なサーバ)を活用することによって、軽量となるように構成され得る。第2のヘッドマウントデバイスは、その位置を決定することができ、現在位置に関係する走査データにアクセスするための記憶媒体への要求を形成することができる。記憶媒体は、この要求を受信することができる。記憶媒体は、位置に基づいて、データをヘッドマウントデバイスに通信することができる。
判定ブロック1907で、プロセッサは、データを共有するかどうかを判定することができる。そうである場合(すなわち、判定ブロック1907=「Yes」)、プロセッサは、データを共有し、データを、第2のユーザに関連付けられたモバイルデバイスに通信することができ(ブロック1908)、または、コンピューティングデバイスが記憶媒体からのデータを要求することができる場合、記憶媒体に通信することができる。たとえば、記憶媒体は、別のコンピューティングデバイス、サーバ、またはネットワーク分散コンピューティングデバイスを含み得る。プロセッサが、データを共有しないように判定する場合(すなわち、判定ブロック1907=「No」)、プロセッサはブロック1901へ継続して、ブロック1902で、カメラの向きに関してセンサからデータを受信すること、および、画像をキャプチャすることを継続することができる。ブロック1908で、第2のヘッドマウントデバイスは、共有データにアクセスすることができる。ブロック1909で、プロセッサは、仮想オブジェクトをレンダリングするための処理の量を減らしながら、共有データを利用して、仮想オブジェクトを表示することができる。
図20は、サーバを使用して、仮想オブジェクトをレンダリングするために少なくとも2つのヘッドマウントデバイス間で位置座標データおよび走査データを共有するための、一実施形態の方法2000を示す。たとえば、プロセッサは、複数のデバイスが共有データを取得することによって、画像データ、位置データ、向きデータ、距離データを処理し、画像内で仮想オブジェクトをより迅速にレンダリングできるように、それらのデバイスが使用するために通信ネットワーク上でデータを共有することができ、または、ソフトウェアアプリケーション間の共同作業のために有用な他のデータを共有することができる。たとえば、あるユーザは、メモリに記憶された別のユーザのファイルにアクセスすることが可能であり得る。方法2000は、プロセッサが他のデバイスと共同作業し、リソースを共有することを可能にする。方法2000は、方法2000の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。ブロック2001で、プロセッサは、第1のヘッドマウントデバイスに関連付けられたアプリケーションを実行することによって、動作を開始することができる。
ブロック2002で、プロセッサは、ヘッドマウントデバイスに関連付けられる入力/出力チャネルを開くことができる。プロセッサは、ブロック2003で、第2のヘッドマウントデバイスを用いてアプリケーションを実行し、ブロック2004で、チャネルを開いて、チャネルを介して通信することができる。ブロック2005で、プロセッサは、共有サーバ上でアプリケーションを実行することができる。ブロック2007で、プロセッサは、RFチャネルを使用して、サーバおよび両方のヘッドマウントデバイスへの接続を作成することができる。ブロック2008で、プロセッサは、第1および第2のヘッドマウントデバイスと、サーバとを使用して、共同作業することができる。ブロック2009で、プロセッサは、音声データを共有することができる。ブロック2010で、プロセッサは、サーバにおいてデータファイルを共有し、文書を同期させることができる。ブロック2011で、プロセッサは、新しいコマンドを求めて、モバイルデバイスにおいて音声ジェスチャーを検出することができる。
また、上記で説明したように、ヘッドマウントデバイスのうちの1つまたは複数によって生成された画像および音声データの、サーバとの共有は、他者が、サーバからの画像および音声データを受信するヘッドマウントデバイスを装着することによって、参加者と同じものを見聞きすることによって、仮想または拡張現実体験における共同作業を観察することを可能にすることができる。観察者のヘッドマウントデバイス間、および、サーバと参加者のヘッドマウントデバイスとの間の双方向通信を可能にすることによって、ヘッドマウントデバイスを装着する観察者はまた、ヘッドマウントディスプレイにおいて見られる仮想オブジェクトと対話する能力を有することもできる。仮想オブジェクトとの観察者の対話は、拡張に接触して効果を引き起こすこと、対話型エリアまたはアンカーポイントを物理的表面上で定義すること(新しい拡張を共有された体験に効果的に追加すること)、ならびに、ジェスチャーおよび/または音声入力を介して、共有された複合現実シーンと対話することを含み得る。観察者によって行われた仮想体験におけるそのような変更のいずれも、参加者および他の観察者によって装着されたヘッドマウントディスプレイに反映され得る。
図21は、サーバを使用して、識別可能ディレクトリを介して、少なくとも2つのデバイス間でデータを共有する、一実施形態の方法2100を示す。ディレクトリは、所定のエリア内で他の可能なデバイスおよびヘッドマウントデバイスを識別することができる。ヘッドマウントデバイスがあるエリアに入ると、ヘッドマウントデバイスは、アドレス情報をディレクトリ上に登録することができ、記憶することができ、ディレクトリは、他のヘッドマウントデバイスと共有され得る。代替実施形態では、または、実施形態の可能な実装形態では、走査機能が、スマートフォンなどの付属のプロセッサユニットによって実行され得る。別個のデバイスによるエリアの走査の使用は、軽量ヘッドマウントデバイスが使用されるとき、特に適切であり得る。このようにして、ヘッドマウントデバイスは、中央ロケーションから、他のヘッドマウントデバイスが共同作業のために、および走査リソースを共有するために利用可能であるかどうかを、迅速に判定することができる。方法2100は、方法2100の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。ディレクトリは、利用可能なデバイスについての情報を提供するコンピュータ可読データであり得る。これは、複数のデバイスによって使用するために、通信ネットワーク上でデータを共有することを容易にする。たとえば、ディレクトリは、その位置を知っているデバイス10が、仮想オブジェクト14をレンダリングするために、ディレクトリをチェックして、走査データを取得できるように、ディレクトリに関連付けられたジオタグをもつビル内の走査エリアについての情報を含み得る。たとえば、データは、仮想オブジェクト14についてのデータを含んでもよく、エリア内の1つまたは複数の表面についてのデータ、向きデータ、オブジェクト位置データ、または、迅速に取得され得る、いずれかの他の有用もしくはプロセッサ集約的なデータを含み得る。
実施形態の方法2100は、共同作業およびリソースの共有を可能にして、ヘッドマウントデバイス自体によって実行される処理の量を最小限に抑える。方法2100において、ブロック2101で、プロセッサは、アプリケーションを実行中であり得る第1のヘッドマウントデバイスから、共同作業するための入力要求を受信することによって、動作を開始することができる。ブロック2102で、プロセッサは、共同作業のために、近くのデバイスを求めてピアツーピア検索を開始することができる。判定ブロック2103で、プロセッサは、発見されたデバイスと共同作業するかどうかを判定することができる。そうである場合(すなわち、判定ブロック2103=「Yes」)、プロセッサは、デバイス間の接続を作成することができる。プロセッサは、双方向通信リンクを使用して共同作業することができる。ブロック2104で、通信リンクが、第1のヘッドマウントデバイス10aと第2のヘッドマウントデバイス10bと間に形成され得る。
プロセッサは、サーバ内のディレクトリにアクセスすることができる。ブロック2105で、ディレクトリをする利用するプロセッサは、ディレクトリを走査することによって、他のユーザが共同作業に応じられるかどうかを判定することができる。判定ブロック2106で、プロセッサは、新しいユーザを選択するかどうかを判定することができる。プロセッサは、入力に基づいて、または判断ルールエンジンに基づいて、1つまたは複数のあらかじめ定義された関係ルールに基づいて共同作業することができる新しいユーザを選択するかどうかを判定することができる。プロセッサが、新しいユーザを選択するように判定する場合(すなわち、判定ブロック2106=「Yes」)、プロセッサは、判定ブロック2107に進んで、共同作業するために新しいユーザへの接続を作成するかどうかを判定することができる。判定ブロック2107で、プロセッサは、新しいユーザと共同作業するかどうかを判定することができる。プロセッサが、新しいユーザと共同作業するように判定する場合(すなわち、判定ブロック2107=「Yes」)、ブロック2108で、プロセッサは、関連のあるデバイスへの接続を作成することができ、第1のヘッドマウントデバイスおよび第2のヘッドマウントデバイスを使用して共同作業することができる。
プロセッサが新しいユーザと共同作業しないように判定する場合(すなわち、判定ブロック2107=「No」)、ブロック2109で、プロセッサは、さらなるユーザが予想されないという内容、および既存の参加者とともに共同作業を開始するための、メッセージをユーザに出力するようになる。プロセッサが新しいユーザを選択しないように判定する場合(すなわち、判定ブロック2106=「No」)、プロセッサは、共同作業が拒絶されると仮定するようになる。ブロック2109で、プロセッサは、さらなるユーザが予想されないという内容、および既存の参加者とともに共同作業を開始するための、メッセージを出力することができる。
図22は、2つの異なる地理的ロケーションに位置する、第1のヘッドマウントデバイス2205および第2のヘッドマウントデバイス2210のハイレベル図を示す。図22は、第1のヘッドマウントデバイス2205および第2のヘッドマウントデバイス2210のいくつかの構成要素、および、ヘッドマウントデバイス2205とヘッドマウントデバイス2210との間でデータ交換機能を提供することができるVIRTサービス構成要素2265をも示す。第1のヘッドマウントデバイス2205および第2のヘッドマウントデバイス2210は、走査エリアの3次元マップを含むデジタルアセットを共有して、新しいロケーションに入る新しいヘッドマウントデバイスにおける処理を減らすことができる。この共有はバッテリー寿命を延ばすことができ、迅速な方法で画像のレンダリングを支援することができる。別の実施形態では、あるユーザの走査された3次元マップは、第2のユーザのマップを補うことができる。別の実施形態では、あるユーザのマップは、第2のユーザのマップと入れ替わることができる。さらなる実施形態では、あるユーザのマップを参照および使用して、別のものの走査データをチェックすることができる。たとえば、この参照は、所定の時間フレーム内で行われ得る。
時間フレームの満了時、または、処理制約が負担になる場合、第2のユーザは、第1のユーザのマップを利用することができる。別の実施形態では、第1のヘッドマウントデバイス2205および第2のヘッドマウントデバイス2210は、互いに対して2つの遠い地理的ロケーションに位置することがあり、同様のエリアを走査しないことがある。したがって、デジタルアセットおよび仮想オブジェクトがヘッドマウントデバイス2205とヘッドマウントデバイス2210との間で共有されるようになる間、マップデータを共有する必要がないことがあり、その理由は、そのような情報が共同作業に関連のあるようにならないからである。代わりに、3次元マップの共有は、ヘッドマウントデバイス2205およびヘッドマウントデバイス2210がエリアを走査することが必要とされる、すぐ近くに、または同じビル内に位置するユーザにとって、最も有用であり得る。
第1のユーザは、ディスプレイ2215と、スピーカー2220と、画像シーンセンサ2225と、音声センサ2230とを有し得る、第1のヘッドマウントディスプレイデバイス2205を操作する。第1のヘッドマウントデバイス2205はまた、ワイヤレスまたはワイヤードインターフェース2260と、いくつかの制御構成要素を含むコントローラとを含み得る。別の実施形態では、ヘッドマウントデバイスは、ディスプレイ2215と、ワイヤレスインターフェース2260と、バッテリー(図示せず)と、スピーカー2220と、マイクロフォン/音声センサ2230とを備え得る。構成要素には、シーンマネージャブロック2235と、ユーザ制御ブロック2240と、表面マネージャブロック2245と、音声マネージャブロック2250と、情報アクセスブロック2255とが含まれる。
第2のユーザもまた、同様の構成要素を含む、第2のヘッドマウントデバイス2210を操作する。第2のデバイス2210は、ディスプレイ2215aと、スピーカー2220aと、画像シーンセンサ2225aと、音声センサ2230aとを有し得る。第2のデバイス2210はまた、ワイヤレスまたはワイヤードインターフェース2260aと、コントローラとを含み得る。コントローラは、シーンマネージャ2235aと、ユーザ制御ブロック2240aと、表面マネージャブロック2245aと、音声マネージャブロック2250aと、情報アクセスブロック2255aとを含む、いくつかの制御構成要素を含む。
デバイス2205および2210の各々は、デバイス2205および2210の各々のためのサービス機能を提供することができる制御プロバイダ2265と通信する。制御プロバイダ2265は、2つのデバイス2205および2210を支援することができ、デバイス2205および2210が軽量のままであり、必ずしも計算集約的な処理をローカルで実行する必要があるとは限らないように、それらのデバイスに代わってサービスを提供することができる。いずれかの2つの、インターネットに接続されたデバイスと同様に、制御プロバイダ2265は、ファイアウォール2285および2285aを実装して、それらのデバイスをハッキング攻撃およびマルウェアから保護することが必要となり得る(たとえば、ローカルソフトウェア、インターネットサービスプロバイダ、および/または企業サービスプロバイダによって提供され得る)。ファイアウォール2285および2285aは、制御プロバイダ2265へのアクセスを制限する。別の実施形態では、ファイアウォール2285および2285aは、任意であり、不在である。
制御プロバイダ2265は、ディレクトリ2280を含んでもよく、ディレクトリ2280は、デバイス2205および2210への識別およびルーティング情報を含む、多数のデバイスに関係するデータを維持する。制御プロバイダ2265はまた、シーン記憶ブロック2270をも含み得る。シーン記憶ブロック2270は、走査画像の表面および輪郭情報に関係するデータを処理する。表面および輪郭データは、距離、形状、および向きデータを含み得る。シーン記憶ブロック2270は、第1のユーザが第1のエリアのマップを作成し、そのデータを第2のユーザのヘッドマウントデバイスの利益のために記憶して、より迅速にシーンをレンダリングし、または、走査されたデータパラメータを検証することを可能にすることができる。制御プロバイダ2265は、デジタルアセットの共有を可能にする。制御プロバイダ2265は、最適化され得る、ワイヤレスインターフェース2260と2260aとの間の通信リンクを提供することができる。制御プロバイダ2265はまた、異なるネットワークトポロジー、ファイアウォール、およびIPアドレス指定アーキテクチャによる接続性を可能にすることもできる。
各デバイス2205および2210は、ロケーションデータを、マップ作成および走査画像と走査表面とに関係して収集されたデータに埋め込むことができる。たとえば、第1のヘッドマウントデバイス2205は、室内のオブジェクトを含む部屋を走査することができる。この走査は、オブジェクトについての位置データと、オブジェクトの輪郭データと、オブジェクトからヘッドマウントデバイスまでの距離データと、ヘッドマウントデバイスおよびオブジェクトの向きデータとの、アグリゲーションおよび集合を生じ得る。この走査はデータを生じることができ、このデータがルータ2275に通信され得る。データとともに、第1のヘッドマウントデバイス2205のプロセッサは、ロケーションデータを走査データに埋め込むことができる。ロケーションデータは、経度、緯度、および高度の座標であり得る。第1のヘッドマウントデバイス2205は、ローカルの物理的環境内の各表面を指定する。プロセッサは、どの共有データが各表面上に配置され得るかを識別し、別のデバイスが迅速にデータを探して利用することが可能であり得るようにすることが可能であってもよい。
第1のヘッドマウントデバイス2205は、クラウドベースのサービス2265にデータを書き込むことができる。そのようなサービス2265は、ヘッドマウントデバイスのための計算、ソフトウェア、データアクセス、および記憶サービスを提供することができる。ヘッドマウントデバイスは、サービス2265の物理的ロケーションおよび構成のエンドユーザ知識を必要としない。クラウドベースのサービスに2265は、その上に記憶されたルックアップディレクトリ2280を有し得る。サービス2265は、サーバ上に存在する。サービス2265のリソースは、ヘッドマウントデバイス上で実行可能なウェブアプリケーション/ウェブサービスを介して、インターネット上で、きめの細かいセルフサービスに基づいて、ヘッドマウントデバイスに動的にプロビジョンされ得る。サービス2265は、オフサイトのサードパーティプロバイダ上に位置してもよい。ディレクトリ2280は、第1のデバイス2205を支援し、リモートユーザ2205と2210との間でルータ2275を介した接続性を可能にする。このようにして、第2のヘッドマウントデバイス2210は、ヘッドマウントデバイス2210が特定のロケーションにあると決定することができ、そのロケーションをルータ2275に通信することができる。サービス2265は、動的にスケーラブルなリソースのプロビジョニングを含み得る。プログラムがユーザ自身のヘッドマウントデバイス上にローカルでインストールされたかのように、ユーザがウェブブラウザを通してアクセスおよび使用することができる、ウェブベースのツールまたはアプリケーションが、ヘッドマウントデバイスにロードされ得る。サービス2265は、インターネットを介してアプリケーションを配信することができ、それらのアプリケーションは、ウェブブラウザからアクセスされるが、ソフトウェアおよびデータは、リモートロケーションにおけるサーバ上に記憶されている。サービス2265は、共有データセンターを通して送信され、ヘッドマウントデバイスにとって単一のアクセスポイントとして見え得る。応答して、第1のヘッドマウントデバイス2205から生成された、シーンストア2270からのデータが、シーンマネージャブロック2235aおよび表面マネージャブロック2245aへ送信されて、画像をレンダリングするための
追加の計算処理が回避され得る。第2のヘッドマウントデバイス2210は、シーンセンサブロック2225aによって生成されたデータを検証することができ、または、シーンストアブロック2270から送信されたデータを利用して、画像をディスプレイ2215a上にレンダリングして、画像をレンダリングするための追加の計算処理を回避することができる。
追加の計算処理が回避され得る。第2のヘッドマウントデバイス2210は、シーンセンサブロック2225aによって生成されたデータを検証することができ、または、シーンストアブロック2270から送信されたデータを利用して、画像をディスプレイ2215a上にレンダリングして、画像をレンダリングするための追加の計算処理を回避することができる。
図23は、第1のヘッドマウントデバイス2205のためのハイレベル図を示す。第1のヘッドマウントデバイス2205は、第2のヘッドマウントデバイス2210に極めて接近して位置してもよい。ヘッドマウントデバイス2205および2210は、1つまたは複数の高速ワイヤレスデータリンクを介して、データを交換することができる。第1のヘッドマウントディスプレイデバイス2205は、ディスプレイ2215と、スピーカー2220と、画像シーンセンサ2225と、音声センサ2230とを有し得る。第1のヘッドマウントデバイス2205はまた、ユーザデータストア2301へのワイヤードインターフェース接続を含んでもよく、そこでデータがアクセスのために書き込まれ得る。第1のデバイス2205はまた、共有データ記憶2302へのワイヤードまたはワイヤレス接続を含んでもよく、共有データ記憶2302は、第2のモバイル通信デバイスがアクセスすることができるメモリであり得る。第1のデバイス2205はまた、シーンマネージャ2235と、ユーザ制御ブロック2240と、表面マネージャブロック2245と、音声マネージャブロック2250と、情報アクセスブロック2255とを含む、いくつかの制御構成要素を含む、コントローラを有してもよい。
第2のユーザもまた、第1のヘッドマウントデバイス2205と同様の構成要素を含む、第2のヘッドマウントデバイス2210を操作する。第2のデバイス2210は、ディスプレイ2215aと、スピーカー2220aと、画像シーンセンサ2225aと、音声センサ2230aとを有し得る。第2のデバイス2210はまた、ワイヤレスまたはワイヤードインターフェースをも含み得る。第2のデバイス2210は、ユーザデータストアメモリ2303にデータを書き込み、ユーザデータストアメモリ2303からデータを読み取ることができる。第2のデバイス2210はまた、第1のデバイス2205によってアクセス可能な共有データストアメモリ2302へのデータを読み取り、書き込むこともできる。第2のデバイス2210はまた、いくつかの制御構成要素またはモジュールを含むコントローラをも有し得る。第2のデバイス2210は、シーンマネージャブロック2235aと、ユーザ制御ブロック2240aと、表面マネージャブロック2245aと、音声マネージャブロック2250aと、情報アクセスブロック2255aとを含み得る。
この点について、ユーザは、指定されている走査表面データのセットを共有することができる。ユーザは、仮想オブジェクトとして表面上に配置される仮想アセットと対話することができる。第1のデバイス2205および第2のデバイス2210は、ローカルの高速ワイヤレスデータキャリア(たとえば、Wi-Fi(登録商標)、Qualcomm(登録商標)Peanut(登録商標)短距離通信規格、およびQualcomm(登録商標)FlashLinQ(登録商標))上で通信することができる。追加のユーザが存在する場合、デバイス2205、2210は、ピアツーピア接続、またはブロードキャスト、ユニキャスト、もしくはマルチキャストを介して、さらに通信することができる。
図24は、サーバを使用して、ロケーション情報を用いてデータにタグ付けし、ディレクトリを介して、タグ付けされたデータを少なくとも2つのヘッドマウントデバイス間で共有する、一実施形態の方法2400を示す。方法2400は、方法2400の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。ディレクトリは、走査された3次元マップについての情報を提供することができる。たとえば、ヘッドマウントデバイスは、赤外光を放出し、高速ゲーティング機構を介して赤外光の飛行時間を計算することができ、ヘッドマウントデバイス10からのあるオブジェクトの距離を決定するために、この計算を記憶することができる。加えて、ヘッドマウントデバイス10は、エリアを走査して、オブジェクトの向きを決定し、表面、およびオブジェクトの構造情報、ならびに、高さ、幅、長さ、および距離情報を決定することができる。
方法2400のブロック2401で、プロセッサは、ヘッドマウントデバイスからデータを受信することによって、動作を開始することができる。ブロック2402で、プロセッサは、画像データを受信することができる。ブロック2403で、プロセッサは、距離および向きを計算することができる。ブロック2404で、プロセッサは、コンテンツを表示のために処理することができる。ブロック2405で、プロセッサは、画像を、表示画像内に含まれた仮想オブジェクトとともにレンダリングすることができる。判定ブロック2406で、プロセッサは、別のヘッドマウントデバイスが画像データを利用できるように、ロケーション情報を用いて画像にタグ付けするかどうかを判定することができる。
第2のデバイスは、画像データを計算することができ、第1のデバイス走査機能をリソースとして利用して、走査されたパラメータを参照として検証することができる、第2のプロセッサを含み得る。別の実施形態では、第2のデバイスは、走査データをインポートすることができる。インポートされたデータを使用して、第2のデバイスは、表示画像を、表示画像内の少なくとも1つの表面上にアンカーされた仮想オブジェクトとともに、レンダリングすることができる。このことは、第2のヘッドマウントデバイス10bがあるロケーションに入るとき、行われ得る。第2のヘッドマウントデバイス10bは、あるエリア、たとえば室内のそのロケーションを決定し、次いでロケーションデータを通信し、それによって、第1のヘッドマウントデバイス10の走査データを求める要求を形成することができる。
プロセッサが、ロケーション情報を用いて画像にタグ付けするように判断する場合(すなわち、判定ブロック2406=「Yes」)、ブロック2407で、プロセッサは、ディレクトリのためのロケーション情報を用いて走査データにタグ付けし、データをサーバ上に記憶して、別のヘッドマウントデバイス10bが走査データにアクセスできるようにすることができる。一代替では、データをサーバ上に記憶する代わりに、ブロック2407で、データが、共有ネットワークを介してアクセス可能なメモリなど、共有メモリに記憶され得る。プロセッサが、ロケーション情報を用いて画像にタグ付けしないように判断する場合(すなわち、判定ブロック2406=「No」)、ブロック2408で、プロセッサは、共有データを利用するために他のデバイスが利用可能でないと決定することができ、今のユーザのために仮想オブジェクトをレンダリングするために、エリアの走査を継続するようになる。
図25Aは、3つのモバイルデバイス2501、2502、および2503と、サーバ2504とをもつ、システム2500の一実施形態を示す。デバイス2501〜2503およびサーバ2504は、走査データおよびマップ情報を交換する。マップは、部屋の走査されたパラメータを含み得る。マップは、画像内のオブジェクトの形状およびサイズを含む、フラットスクリーンディスプレイ2530およびテーブル2532など、画像内の表面の識別を含み得る。マップはまた、オブジェクトがデバイスから位置する距離および角度、または、部屋もしくは任意の座標にリンクされた基準系内の座標位置をも含み得る。たとえば、マップは、部屋の特定の隅を定義する3つの軸(たとえば、長さ、幅、高さ)に沿ってなど、3つの直交する座標軸に沿って、原点からのメートル数で、オブジェクトのロケーションを識別することができる。マップは、オブジェクトがキャプチャされたデバイスの3次元位置およびロケーションに関係する、ヘッダを含み得る。マップデータは、デバイスが画像データを走査する各位置から、サーバ2504へアップロードされてもよく、サーバは、すべてのヘッドマウントデバイスから、およびすべてのロケーションからの、距離測定値および画像を使用して、部屋にリンクされた基準系に基づいて、マップを構築することができる。そうするために、サーバ2504は、すべての受信されたロケーションデータにおいて座標変換を実行して、オブジェクトを部屋の長さ、幅および高さ座標に対して位置特定するためになど、距離測定値を、ヘッドマウントデバイス中心の球座標(すなわち、ヘッドマウントデバイスから各オブジェクトまでの距離および角度)から、任意の直線座標系へ変換することができる。そのような座標変換を達成するための数学およびアルゴリズムは、当技術分野でよく知られている。
システム2500の実施形態は、ヘッドマウントデバイスに限定されないが、代わりに、異なるコンピューティングデバイスにさらに適用可能であり得る。代替として、ヘッドマウントデバイス10は、モバイルCPU(電話、タブレットなど)のアクセサリーであってもよく、主要な処理がモバイルCPU上で実行され、データがモバイル電話とヘッドマウントデバイス(図示せず)とによって、それらの間で交換される。図25Aは、中央データベースサーバ2504を使用して、迅速に画像を走査およびレンダリングするために、どのように共同作業が行われ得るかを示す。たとえば、デバイス2501、2502、および2503は、飛行時間計算によって、室内のオブジェクトおよび表面までの距離を測定するために、光または超音波を放出および検知するためのデバイスを含み得る。別の実施形態では、RGB-Dカメラが、画像データをキャプチャすることができる。デバイス2501、2502、および2503は、走査データを利用して、仮想オブジェクトを生成し、仮想オブジェクトを画像の少なくとも1つの表面上にアンカーし、仮想オブジェクトを、キャプチャされた画像とともにレンダリングして、仮想または拡張現実体験を提供することができる。
第1のデバイス2501は、部分的なマップを作成し、マップをサーバ2504にアップロードすることができる。部分的なマップは、ロケーション52.23.0.14の画像内の第1のオブジェクトおよび第2のオブジェクトに関係するデータを含み得る。マップは、ロケーションを識別するヘッダを含み得る。マップはまた、デバイス2501からの距離、オブジェクトの長さ、オブジェクトの幅、およびオブジェクトの高さ、オブジェクトの向き、ならびに、壁、天井、戸口などからのオブジェクトの距離を含む、走査画像についての実質的なデータをも含み得る。各オブジェクトの個々の座標および位置データもまた、マップに記録および記憶され得る。
第2のデバイス2502は、座標(52.23.0.14)によってそのロケーションをサーバ2504に報告することができ、この座標は、第1のデバイス2501によってすでに走査されていることがある、所定のロケーションに対応する。第2のデバイス2502は、ロケーションデータをサーバ2504にアップロードすることができる。サーバ2504は、ロケーションデータを受信することができる。第2のデバイス2502は、部分的なマップが利用可能であるというメッセージを受信することができる。第2のデバイス2502は、第1のデバイス2501によって形成された部分的なマップをダウンロードすることができる。実質的に同時に、第2のデバイス2502は、部屋の異なる部分を走査中であってもよい。たとえば、第2のデバイス2502は、第1のテーブルに隣接する部屋の一部分を走査することができる。第2のデバイス2502は、走査データを利用し、走査データをダウンロードされたマップとマージして、表示画像を仮想オブジェクトとともにレンダリングすることができる。第2のデバイス2502はまた、更新されたマップをサーバ2504にアップロードすることもできる。
第3のデバイス2503もまた、そのロケーションデータ52.23.0.14を、要求の形態で供給することができる。サーバ2504は、ロケーションデータ52.23.0.14および座標を受信し、適切なデータセットを選択し、走査データのデータセットをマップの形態で第3のデバイス2503へ送信することができる。第3のデバイス2503は、第1のデバイス2501の走査データと、第2のデバイス2502の走査データとを含む、マップデータをダウンロードすることができ、第2のデバイス2502の走査データは、第1のデバイス2501の走査データを補うことができる。別の実施形態では、このデータが補わないことがあり、代わりに、第2のデバイス2502は、第1のデータセットが正確であるかどうかを判定するために走査することができ、そのデータセットを検証することができる。別の実施形態では、そのデータが不正確である場合、第2のデバイス2502は、第1のデバイス2501の走査データを置き換えることができる。
第3のデバイス2503は、マップを利用して、表示画像を仮想オブジェクトとともにレンダリングすることができる。図示のように、第3のデバイス2503は、更新されたマップを利用して、薄型テレビ2530およびテーブル2532を含む、画像内のオブジェクトのロケーションを迅速に決定することができる。第3のデバイス2503は、画像データをさらにキャプチャすることができ、部屋の新しいエリアを走査することができ、また、マップの更新に対応するデータをサーバ2504にアップロードすることもできる。このようにして、デバイス2501、2502および2503の各々は、画像全体をローカルで処理する必要がなく、仮想オブジェクトおよび表示画像をより迅速にレンダリングするためのサービスを取得することができる。
デバイス2501、2502および2503の各々と、サーバ2504とは、迅速にマップを受信し、走査データおよびマップ構成要素をつなぎ合わせて、迅速にシーンをレンダリングするために、互いに最適化され得る。たとえば、デバイス2501が新しいロケーションにあり、記録された走査画像がなかった場合、デバイス2501は、エリア全体を走査することができる。たとえば、デバイス2501は、代替として、走査データが古く、しばらく前に記録されたと決定することができる。デバイス2501は、走査データが古いと決定し、エリア全体を走査するように判断することができる。
代替として、デバイス2501は、走査データが生じてからの時間をしきい値と比較することができ、エリア全体を走査するかどうかの判定を行うことができる。たとえば、デバイス2501は、部屋全体を走査するための時間を計算することができ、部屋全体を走査するための時間が、処理要件に基づく所定の限度を上回る場合、古いマップを受け入れるか、または拒否することができる。代替として、デバイス2501は、他のデバイス2502、2503のロケーションを監視し、監視されたロケーションに基づいて、走査画像を受信するための要求を形成することができる。たとえば、デバイス2501は、デバイス2502、2503が遠く離れて位置する異なる遠いエリアにあり、マップを求める要求が、無関係なデータ(有用でない)をレンダリングする可能性があり、要求を編成することが不要であると、決定することができる。さらに別の実施形態では、いくつかのデバイス2501、2502および2503が存在する場合、より迅速な方法で部屋を走査するために、各デバイスは、室内の異なるエリアを走査することができる。
図25Bは、ヘッドマウントディスプレイ上に仮想オブジェクトを生成するために利用されるデータのクラウド記憶および検索のための、一実施形態の方法2506を示す。方法2506は、方法2506の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。仮想オブジェクトを生成することは、仮想画像を室内の1つまたは複数の表面にアンカーするために、オブジェクトの距離、オブジェクトの形状、および、オブジェクトの向きを決定するために、室内の表面の集中的な走査を必要とすることがある。いくつかのヘッドマウントデバイスは、データをローカルで処理することを回避し、走査データを検証するために、それらのロケーションをクラウドにダウンロードし、仮想オブジェクトを表面上にレンダリングすることを支援するための正確なデータを即時に受信することができる。方法2506において、ブロック2508で、プロセッサは、ヘッドマウントまたはボディマウントカメラを用いて、ユーザの画像をキャプチャすることによって、動作を開始することができる。ブロック2510で、プロセッサは、部屋のエリアを走査するためのプログラム命令を与えて、センサアレイを用いて空間データをキャプチャすることができる。このことは、赤外光放出デバイスを用いて走査すること、および、表面から反射された赤外光の飛行時間を測定することによって達成され得る。
このデータはまた、部屋の3次元マップを生成することができるプロセッサにも供給され得る。ブロック2512で、プロセッサは、キャプチャされた画像内でオブジェクトを認識することができ、キャプチャされた画像内のオブジェクトの距離パラメータを決定することができ、また、画像内に含まれている表面の向きを決定することもできる。ブロック2514で、プロセッサは、仮想オブジェクトを生成することができる。一実施形態では、仮想オブジェクト14は、コンテンツを出す共同作業的フラットスクリーン3次元オブジェクト14に似ていてもよい。仮想オブジェクト14は、画像内の表面16にアンカーされてもよく、ユーザは、部屋を歩き回ることができるが、仮想オブジェクトが所望のアンカー表面にアンカーされたままになるように、仮想オブジェクト表示パラメータが変化する。プロセッサは、ブロック2516で、仮想オブジェクトを表示するための距離および向きを含むパラメータを計算することができ、ブロック2518で、計算されたパラメータにタグ付けし、計算されたパラメータをクラウドサーバにアップロードすることができる。プロセッサは、ジオタグであり得るロケーションタグを用いて、計算されたパラメータをタグ付けすることができる。別の実施形態では、ジオタグは、緯度座標、経度座標、高度座標、方位座標、距離座標、および精度データを含み得る。ジオタグは、地理的識別メタデータを、様々なアップロードされるパラメータに追加する。ジオタグは、ユーザが、走査エリアの3次元マップ内で幅広いロケーション固有の情報を発見する際に役立つことがある。
判定ブロック2520で、プロセッサは、第2のヘッドマウントデバイスが、特定のロケーションのためにより高速に仮想オブジェクトを生成するために、補足的な共有データを受信するためのロケーションに入っているかどうかを判定することができる。たとえば、第2のヘッドマウントデバイスは、同じ室内にあることがあり、信号を第1のヘッドマウントデバイスに発することができ、または、信号をクラウドサーバに発することができ、クラウドサーバは、第2のデバイスが特定のロケーションに入っていると決定する。画像を処理することは、いくつかのデバイスにとっては負担になり得る。また、部屋を走査することもまた、時間がかかり得る。第2のヘッドマウントデバイスは、したがって、第1のヘッドマウントデバイスがすでに行っている作業を利用し、オブジェクトおよび室内の表面に関係して計算されたパラメータを受信して、第2のユーザのための仮想オブジェクトをより高速に生成することができる。
プロセッサが、第2のヘッドマウントデバイスが新しい部屋に入っていると判定する場合(すなわち、判定ブロック2520=「Yes」)、ブロック2522で、第2のヘッドマウントデバイスは、ナビゲーションデバイスからそのロケーションデータを送信することができ、タグ付けされた計算されたパラメータをサーバからダウンロードすることができる。ブロック2524で、第2のヘッドマウントデバイスのプロセッサは、アクセスおよびタグ付けされた計算されたパラメータを使用して、仮想オブジェクトを生成することができる。プロセッサが、ロケーションを変更していないと判定する場合(すなわち、判定ブロック2520=「No」)、プロセッサは、別の第3のヘッドマウントデバイスがすでにエリアを走査し、アンカーされた仮想オブジェクト生成した場合、計算されたパラメータが正しいことを検証するための動作を実行することができる。ブロック2526で、第1のヘッドマウントデバイスは、ナビゲーションデバイスからそのロケーションを送信することができ、計算されたパラメータをサーバからダウンロードすることができる。ブロック2528で、プロセッサは、サーバからダウンロードされた計算されたパラメータを用いて、計算されたパラメータを検証することができる。
別の実施形態では、オブジェクトの距離および向きを含む、計算されたパラメータの代わりに、特定のエリアの3次元マップが形成され、クラウドサーバにアップロードされ得る。タグまたはロケーションデータが、ヘッダの形態で3次元マップメッセージに埋め込まれてもよく、3次元マップは、第2のヘッドマウントデバイスによるアクセスのためにクラウドサーバに送信および記憶され得る。たとえば、第2のヘッドマウントデバイスがあるエリアに入るとき、第2のヘッドマウントデバイスは、そのロケーション座標をアップロードすることができ、部屋または所定のエリアの3次元マップをダウンロードすることができる。第2のヘッドマウントデバイスは、画像内でオブジェクトを認識することができ、3次元マップを利用して、画像内のオブジェクトの距離パラメータを決定することができる。このことは、空間データの最小の処理と、第2のヘッドマウントコンピューティングデバイスにおいてキャプチャされた画像とを用いて行われ得る。別の実施形態では、メタデータがクラウドサーバに記憶され得る。メタデータは、異なるヘッドマウントデバイスによってアクセスされ得る、キャプチャされたオブジェクトの距離および向きを含み得る。メタデータはまた、室内のオブジェクトのロケーションに関係する屋内ロケーションデータと、そのデータが古いかどうかを判定するためにプロセッサが使用することができる指示とを含み得る。
図26は、解剖学的モデルを追跡された画像に適用および比較することによって、追跡された画像内で検出される、検出された身体部分上に重ね合わせられた仮想オブジェクトを表示するための、一実施形態の方法2600を示す。方法2600は、方法2600の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。方法2600のブロック2601で、プロセッサは、デバイスの向きに関するデータを供給するセンサ(たとえば、加速度計、ジャイロスコープ、電子コンパスなど)を含むヘッドマウントデバイスから、データを受信することによって、動作を開始することができる。ブロック2602で、プロセッサは、画像データを受信することができる。ブロック2603で、プロセッサは、距離および向きを計算し、ブロック2604で、距離センサデータ、カメラデータ、向きデータ、および距離データを利用して、コンテンツを表示のために処理することができる。ブロック2605で、プロセッサは、画像を仮想オブジェクトとともにレンダリングすることができる。
判定ブロック2606で、ヘッドマウントディスプレイの表示画像中に含まれている、検出された身体部分の表面上に、仮想オブジェクトを重ね合わせるかどうかに関する判断に達し得る。プロセッサが、検出された身体部分の表面上に、仮想オブジェクトを重ね合わせるように判断する場合(すなわち、判定ブロック2606=「Yes」)、ブロック2607で、プロセッサは、仮想オブジェクトを身体部分上に重ね合わせることができる。プロセッサが、検出された身体部分の表面上に、仮想オブジェクトを重ね合わせないように判断する場合(すなわち、判定ブロック2606=「No」)、ブロック2608で、プロセッサは、オブジェクトを身体部分上に重ね合わせないようにし、身体部分が仮想オブジェクトをふさぐことを可能にすることができ、または、仮想オブジェクトをディスプレイの異なるロケーションにレンダリングすることができる。たとえば、仮想オブジェクトは、プロセッサによって受信されたユーザによる入力に従って重ね合わせられてもよい。
図27は、画像を追跡すること、および、解剖学的モデルを追跡された画像に適用して、画像中に含まれている身体部分を検出することによって、ユーザの手が仮想オブジェクト上でふさがれ得る、一実施形態の方法2700を示す。方法2700のブロック2701で、プロセッサは、向きに関するデータを供給するセンサを含むヘッドマウントデバイスから、データを受信することによって、動作を開始することができる。ブロック2702で、プロセッサは、画像を追跡することができる。ブロック2703で、プロセッサは、解剖学的モデルを追跡された画像に適用することができる。ブロック2704で、プロセッサは、ユーザの手を識別し、ブロック2705で、画像をレンダリングすることができる。たとえば、プロセッサは、追跡された画像内で底部から上向きに生じる指、手、および腕を、ユーザの手として識別することができる。一方、同時に、解剖学的または骨格追跡アルゴリズムが適用されて、第2の身体部分が検出され得る。第2の身体部分もまた、指、手、および腕を含むことがある。プロセッサは、画像内で上部において生じ、下向きに伸びる第2の身体部分が、別のユーザの身体部分であり得ると推論することができる。加えて、プロセッサは、画像内のサイズおよび向きに基づいて、ユーザから遠く離れ過ぎた所定の距離である腕および手が、別のユーザの決定された身体部分であり得ると推論することができる。
判定ブロック2706で、ユーザの手を仮想オブジェクト上でふさぐかどうかに関する判断に達し得る。プロセッサが、ユーザの手を仮想オブジェクト上にレンダリングするように判定する場合(すなわち、判定ブロック2706=「Yes」)、ブロック2707で、プロセッサは、仮想オブジェクト上でのユーザの手の選択的なオクルージョンを用いて、仮想オブジェクトをレンダリングすることができる。たとえば、ユーザの手は、仮想オブジェクトを閲覧者からブロックすることがある。ブロック2708で、画像がプロセッサによって更新され得る。プロセッサが、ユーザの手を仮想オブジェクト上にレンダリングしないように判定する場合(すなわち、判定ブロック2706=「No」)、ブロック2709で、プロセッサは、ユーザの身体部分上に重ね合わせられた仮想オブジェクトを表示し、身体部分が透明に見えるようにする。たとえば、ユーザは、自分の手を仮想オブジェクト上に走らせることができる。しかしながら、ユーザの手が仮想オブジェクトをブロックしているはずであるという事実にもかかわらず、仮想オブジェクト上のコンテンツが見えるままになるように、仮想オブジェクトが身体部分上に表示され、手の表面上に重ね合わせられてもよい。コマンドが検出され、検出されたジェスチャーまたは入力コマンドによってユーザから確認されると、ブロック2709で、その入力は、検出されたコマンドのタスクおよびアクションの実行を生じ、仮想オブジェクトコンテンツが更新され得る。
図28Aは、第2の個人の手が、仮想オブジェクト上で透明またはないようにレンダリングされ得る、一実施形態の方法2800を示す。方法2800は、方法2800の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。方法2800において、ブロック2801で、プロセッサは、向きに関するデータを供給するセンサを含むヘッドマウントデバイスから、データを受信することによって、動作を開始することができる。ブロック2802で、プロセッサは、キャプチャされた画像を追跡することができる。ブロック2803で、プロセッサは、解剖学的モデルを追跡された画像に適用することができる。たとえば、解剖学的モデルは、追跡されたオブジェクトを骨格モデルと比較して、画像中に含まれているいずれかの身体部分があるかどうかを判定する、骨格追跡アルゴリズムであってもよい。あるオブジェクトがプロセッサによって、身体部分であると検出されない場合、プロセッサはそのオブジェクトを無視することができる。
ブロック2804で、プロセッサは、ユーザの手および第2の個人の手を識別することができる。ブロック2805で、プロセッサは、画像を、画像中に含まれているアンカー表面上に、たとえば、デスクトップ上または壁にレンダリングすることができる。判定ブロック2806で、プロセッサは、仮想オブジェクトを身体部分上に重ね合わせるかどうかを判定することができる。プロセッサが、仮想オブジェクトを身体部分上に重ね合わせるように判定する場合(すなわち、判定ブロック2806=「Yes」)、ブロック2807で、プロセッサは、第2の個人の手を仮想オブジェクト上で透明もしくはないようにレンダリングすることができ、または、身体部分が仮想オブジェクトをふさぐとき、仮想オブジェクトは、身体部分が透明に見えるように、身体部分の上面の上に表示され得る。別の実施形態では、仮想オブジェクトが身体部分の表面上に重ね合わせられて、身体部分のアウトラインがなお可視のままであってもよい。ブロック2808で、仮想オブジェクトの表示画像がプロセッサによって、身体部分のコンテンツおよび動きの変化を考慮するように更新され得る。プロセッサが、仮想オブジェクトを身体部分上に重ね合わせないように判定する場合(すなわち、判定ブロック2806=「No」)、ブロック2809で、プロセッサは、仮想オブジェクトを表示し、ユーザの動きについて、仮想オブジェクトを更新するようになる。
図28Bは、プロセッサが、どの手がユーザの手であるか、および、どの手が他のユーザの手であるかを推論することができ、他のユーザの手が仮想オブジェクトをふさぐとき、プロセッサが、他のユーザの手を透明またはないものとしてレンダリングすることができる、一実施形態の方法2810を示す。方法2810は、方法2810の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。方法2810において、ブロック2811で、プロセッサは、キャプチャされた画像データを含む、ヘッドマウントデバイスからのデータを受信することによって、動作を開始することができる。ブロック2812で、プロセッサは、センサアレイを用いて、空間データをキャプチャすることができる。ブロック2813で、プロセッサは、画像内のオブジェクトを認識し、画像内のオブジェクトの距離パラメータを決定することができる。ブロック2814で、プロセッサは、画像を処理して、オブジェクトを追跡することができ、プロセッサは、骨格モデルによる解剖学的解析を、追跡された画像に適用することができる。このことは、カメラがユーザに装着されるとき、または、別のユーザがセンサの視界で部分的にのみ可視である場合、部分的な解剖学的構造の識別を含み得る。たとえば、解剖学的モデルは、追跡されたオブジェクトを骨格モデルと比較して、画像中に含まれているいずれかの身体部分があるかどうかを判定する、骨格追跡アルゴリズムであってもよい。あるオブジェクトがプロセッサによって、身体部分であると検出されない場合、プロセッサはそのオブジェクトを無視することができる。たとえば、プロセッサは、解剖学的解析を画像に適用して、身体部分が画像内にあるかどうかを判定することができる。プロセッサは、メモリ内に記憶された解剖学的または骨格モデルを参照し、そのモデルを、ビデオ画像内の追跡されたオブジェクトと比較することができる。記憶された骨格モデルは、解剖学的データ、たとえば、人間の骨格における主要な関節、骨、および肢の相対位置、ならびに他のデータを含み得る。プロセッサは、画像内の追跡されたオブジェクトを、記憶された骨格モデルと比較して、身体部分が画像内にあるかどうかを判定することができる。
たとえば、プロセッサは、腕、および、第1の向きで手から伸びる何本かの指、または、腕とともに、画像の下部から上向きに進む手首および指を検出することによって、ユーザの腕を検出することができる。プロセッサは、第2の腕、および、第2の異なる向きで第2の手から伸びる第2の何本かの指、または、腕とともに、画像の上部から下向きに進む手首および指を検出することによって、第2の個人の腕を検出することができる。別の実施形態では、プロセッサは、追跡された画像を向き、オブジェクトサイズ、ユーザからの距離についてレビューすることによって、または、画像内の身体部分の数をカウントすることによって、ユーザの身体部分と別の者の身体部分との間で区別することができる。
ブロック2815で、プロセッサは、画像を、画像内のアンカーされた仮想オブジェクトとともにレンダリングすることができる。判定ブロック2816で、プロセッサは、検出された身体部分がユーザに属するか、別の個人に属するかを判定することができる。プロセッサは、仮想オブジェクトを別のユーザの身体部分上に重ね合わせることができる。表示画像内で、ユーザの手のみが仮想オブジェクトをふさぐが、他の手、腕、および身体部分は、仮想オブジェクトをふさがないようになり、透明に見えるようになる。
ユーザは、他のユーザの身体部分が透明としてレンダリングされるように、他のユーザの身体部分上に重ね合わせられるように仮想オブジェクトを見ることができる。プロセッサは、他の個人の身体部分に関連のある、画像内のエリアを決定することができ、他の個人の身体部分が、アンカーされた仮想オブジェクトをふさぐときにのみ、仮想オブジェクトを画像上に表示することができる。プロセッサが、検出された身体部分がユーザに属すると判定する場合(すなわち、判定ブロック2816=「Yes」)、ブロック2817で、プロセッサは、ユーザの身体部分が画像をふさぐとき、ユーザの身体部分を立体としてレンダリングすることができる。プロセッサが、検出された身体部分が別の個人に属すると判定する場合(すなわち、判定ブロック2816=「No」)、ブロック2818で、プロセッサは、その身体部分が仮想オブジェクトをふさぐとき、仮想オブジェクト、またはその一部分を、検出された身体部分上に重ね合わせられるように表示するようになる。
たとえば、プロセッサは、他の個人の身体部分上のエリアとして(ピクセルで)定義された、画像内のエリアを決定することができる。プロセッサは、そのエリア上で、重ね合わせられた仮想オブジェクト形成し、仮想オブジェクトを、身体部分の周囲上にレンダリングしないようにすることができる。身体部分が、アンカーされた仮想オブジェクト上に位置するとき、第2の個人の身体部分のアウトラインがなお示され、レンダリングされ得る。したがって、アウトラインは、アンカーされた仮想オブジェクト上で可視であり得るが、残りは透明としてレンダリングされ得る。ブロック2819で、プロセッサは、身体部分のコンテンツおよび動きの変化を考慮するように、仮想オブジェクトをユーザの動きについて更新することができる。たとえば、プロセッサは、アンカーされた仮想オブジェクトを、表面上の長方形の仮想ディスプレイとして表示することができる。上記で説明したように、プロセッサは、キャプチャされた画像を解析して、ユーザジェスチャーを検出することができる。第2の個人およびユーザによる、アンカーされた仮想オブジェクトとの、一見すると仮想現実対話が行われ得る。別の実施形態では、プロセッサは、第3の個人の身体部分を検出することができる。プロセッサは、第3の個人の身体部分が、アンカーされた仮想オブジェクト上に位置するとき、第3の個人の身体部分上に重ね合わせられた仮想オブジェクトを表示することができる。プロセッサはまた、身体部分が、アンカーされた仮想オブジェクトから離れて位置し、仮想オブジェクトをふさいでいないと決定されるとき、第3の個人の身体部分上に重ね合わせられた仮想オブジェクトを表示しないこともあり、その身体部分が表示され得るようにすることもできる。
図29は、データがサーバから複数のデバイスへ送信されて、サービスが提供され、ヘッドマウントデバイスにおける処理が軽減され得る、一実施形態の方法2900を示す。方法2900は、方法2900の動作を実行するためのプロセッサ実行可能命令で構成された、サーバおよび1つまたは複数のヘッドマウントデバイスを含み得る、図25Aを参照して上記で説明したようなシステム内で実施され得る。方法2900において、ブロック2901で、サーバ2504は、空間データおよび画像に関するデータを供給するセンサを含むヘッドマウントデバイスから、画像およびロケーションデータを受信することができる。ブロック2902で、プロセッサは、データが走査されたロケーションに関係する位置情報とともに、データをサーバにアップロードすることができる。サーバは、走査データをいくつかの異なるヘッドマウントデバイスに出力することができる。ブロック2903で、プロセッサは、データを第2のヘッドマウントディスプレイに、参照として出力することができる。
ブロック2904で、プロセッサは、データを第3のヘッドマウントデバイスに出力して、第3のヘッドマウントデバイスの走査データを補い、キャプチャされた走査データを検証することができる。ブロック2905で、サーバは、データを第4のヘッドマウントデバイスに出力して、そのデバイス上に存在するデータを向上させることができ、ブロック2906で、サーバは、データをアップロードして、バッテリー電力および処理を節約することができる。実質的に同時に、ヘッドマウントデバイスの各々は、エリア内のオブジェクトについての情報を決定するために、エリアのそれ自体の走査を実施中であってもよい。たとえば、ヘッドマウントデバイスは、エリアを走査して、画像内のオブジェクトの形状および寸法を決定することができ、エリアを走査して、画像内のオブジェクトの向き、および、画像内の表面の相対位置を決定することができ、これらの決定は、没入型の仮想または拡張現実体験のために、仮想オブジェクトをアンカーするために有用であり得る。判定ブロック2907で、プロセッサは、更新された走査位置データをデバイスからサーバに、サーバ上で記憶するためにアップロードするかどうかを判定することができる。プロセッサが、走査位置データをサーバにアップロードするように判定する場合(すなわち、判定ブロック2907=「Yes」)、プロセッサは、更新されたデータをアップロードし、ヘッドマウントデバイスの走査データを、サーバ上に記憶されたデータとマージおよび結合することができる。プロセッサが、走査位置データをサーバにアップロードしないように判定する場合(すなわち、判定ブロック2907=「No」)、ブロック2908で、プロセッサは、仮想オブジェクトを表示し、仮想オブジェクトをユーザの動きについて更新することができる。
別の代替実施形態では、図29のプロセッサは、「マジックレンズ」として動作することができる。このようにして、室内の物理的表面上に表示された仮想オブジェクトを、従来のスマートフォンまたはコンピューティングデバイス上で見ることができる。そのようなスマートフォンは、データをサーバに出力することができ、サーバにさらにリンクすることができる。ヘッドマウントデバイスのない、モバイル通信デバイスを使用しているユーザは、モバイル通信デバイスまたはスマートフォンを使用して、ヘッドマウントディスプレイを装着しているユーザと共同作業することができる。たとえば、ユーザは、スマートフォンのディスプレイを見ることによって、物理的表面上にアンカーされた仮想オブジェクトの出力を見ることができ、ワイヤレス音声リンクを介して、ヘッドマウントディスプレイを利用しているユーザに通信することができる。
スマートフォンは、セルラーデータリンク(たとえば、3G、4G、LTE、UTMSなど)など、ワイヤレスRFリンクを介して、サーバに動作可能に接続され得る。スマートフォンは、画像をスマートフォンのディスプレイ上に出力することができる。その画像は、別のユーザのヘッドマウントディスプレイ出力に厳密に対応し得る。スマートフォンのディスプレイを見ているユーザは、物理的表面上に示された拡張および仮想オブジェクトを見ることができる。この表示は、スマートフォンのディスプレイ上で2次元または3次元で行われ得る。スマートフォンはまた、信号をサーバから受信するために、モバイル通信デバイスおよびワイヤレスインターフェースを使用して、ヘッドマウントデバイス10と共同作業するように動作可能であってもよい。代替として、スマートフォンは、短距離通信プロトコルを使用して、ヘッドマウントデバイス10から直接、RFデータ信号を受信することができる。このようにして、ユーザは、スマートフォンを保持し、共同作業のためにヘッドマウントディスプレイのユーザの仮想または拡張現実体験を見ることができる。この実施形態では、スマートフォンは、本明細書で説明するものに類似した方法を使用して、画像を操作して、近くの表面に対してスマートフォン自体の位置および向きを修正することができる。
図30は、ユーザが、2つのヘッドマウントデバイスを使用して共同作業中であり得る、一実施形態の方法3000を示す。2つのヘッドマウントデバイスは、2つの異なるソフトウェアプロバイダからの、異なる互換性のないソフトウェアアプリケーションを実行中であり得る。一般に、第1のワードプロセッサを使用する第1のユーザは、第2の異なる互換性のないワードプロセッサを使用する別のユーザと、共同作業的な方式で同時に作業することができない。方法3000では、プロセッサは、データを調停および変換して、第1のソフトウェアアプリケーションを使用する第1のユーザと、第2のソフトウェアアプリケーションを使用する第2のユーザとが、互いと共同作業し、リアルタイムで可視であるデータを入力できるようにすることができる。
方法3000は、ヘッドマウントデバイスに限定されず、他のタイプのコンピューティングデバイスにおいて実施され得る。方法3000において、プロセッサは、ブロック3001で第1のアプリケーションを開き、ブロック3002で第2のアプリケーションを開くことによって、動作を開始することができる。判定ブロック3003で、プロセッサは、他のデバイスと共同作業するかどうかを判断することができる。プロセッサが、他のデバイスと共同作業するように判断する場合(すなわち、判定ブロック3003=「Yes」)、ブロック3004で、プロセッサは、それらのデバイス間で共同作業し、双方向通信を行うことができる。プロセッサが、他のデバイスと共同作業しないように判断する場合(すなわち、判定ブロック3003=「No」)、ブロック3010で、プロセッサは、仮想オブジェクトを表示し、仮想オブジェクトをユーザの動きについて更新するようになる。
ブロック3005で、プロセッサは、仮想画面を仮想オブジェクトとしてレンダリングするようになる。仮想画面は、ソフトウェアアプリケーションのディスプレイ出力を提供することができる。仮想画面は、少なくとも2人の異なるユーザによって入力された変更について更新することができる。ブロック3006で、プロセッサは、競合解決プログラムを、2つの異なるソフトウェアアプリケーションに対して適用するようになる。競合解決は、第3の汎用ソフトウェアプログラムにロードされ得る汎用フォーマットへの、2つの互換性のないソフトウェアプログラムの入力および出力の変換を行うことができ、第3の汎用ソフトウェアプログラムは、変更を汎用フォーマットにおいて調停し、調停されたデータを第1および第2の互換性のないフォーマットに戻すように変換する。第3のソフトウェアプログラムは、汎用フォーマットを、変更をレンダリングするために、および、元のネイティブプログラムにおけるユーザによって可視であり得る、第1および第2のソフトウェアプログラムに戻す変換を行うことができる。
たとえば、データが、第1のユーザの入力に関係して第1のソフトウェアプログラムから収集され、汎用フォーマットに通信され、第3のソフトウェアプログラムに通信され得る。次に、データが、第2のユーザの入力に関係して第2のソフトウェアプログラムから収集され、汎用フォーマットに通信され、第3のソフトウェアプログラムに通信され得る。
第3のソフトウェアプログラムは、変更を調停することができ、変更をメモリに記憶することができる。ここで、ユーザの各々は、文書に対する互いの変更をリアルタイムで見ることを望む。第3のソフトウェアプログラムは、変更を、第1および第2のソフトウェアプログラムの各々によって理解されるフォーマットに変換することができる。第3のソフトウェアプログラムは、変換された変更を第1および第2のソフトウェアプログラムに戻すように出力し、ユーザの各々が自分のネイティブプログラムのフォーマッティングで全変更を見ることができるようにすることができる。ブロック3007で、プロセッサはまた、変更の著者を識別することもできる。ブロック3008で、プロセッサは、文書マップを更新し、ブロック3009で、文書画像を仮想オブジェクトとしてレンダリングするようになり、ブロック3005で、プロセッサは、仮想画面を更新することができる。
図31は、参照番号3100、3101および3102として示されるコンピューティングデバイスを操作する、3人の異なるユーザのハイレベルブロック図を示す。各々は、異なるソフトウェアアプリケーションを使用中であり得る。ソフトウェアプログラムの各々からのデータが、サーバ3103上に記憶され得る。たとえば、第1のローカル変更は、従来知られているような関連のあるソフトウェアプログラムにおいて行われ得る。第2のリモート変更もまた行われ、共有記憶媒体3106に書き込まれ得る。たとえば、第2のリモートデータ変更は、ライブラリ3104に通信され得る。ライブラリ3104は、各アプリケーションからの入力データおよび出力データを、リモート変更から、汎用ソフトウェアプログラムによって入力および読み取ることができる汎用フォーマットに変換することができる。汎用フォーマットは、ライブラリ3104上に記憶されてもよく、記憶媒体3106上で共有文書フォーマットに書き込まれ得る。
記憶媒体3106上に記憶された共有文書フォーマットは、それらの変更を単一の汎用プログラムにアグリゲートすることができる。単一の汎用プログラムはまた、単一のデータストリームにおいて、各ユーザによってレンダリングされた変更を、ソフトウェアアプリケーションの各々へ戻すように、関連のあるソフトウェアアプリケーションに固有で理解され得るフォーマットで変換および出力し、各ユーザ3100、3101、および3102が他のユーザによって行われた変更を見ることができるようにすることもできる。
たとえば、共有文書フォーマット3106は、ソフトウェアプログラムの入力および出力の、第3の独立したソフトウェアプログラム3106にロードされ得る汎用フォーマットへの変換を行うことができる、競合解決機能を含み得る。そこで、ユーザのすべてからの変更が入力および記憶される。いくつかの異なるソフトウェアワードプロセシングプログラムの変換は、サーバ3103上に記憶され得る。プロセッサは、変更のすべてを有する汎用フォーマットを、第1、第2および第3のソフトウェアプログラム3100、3101および3102に戻すように変換して、その中の変更をレンダリングし、示すことができる。
図32は、ユーザが、2つのコンピュータシステムを使用して共同作業中であり得る、一実施形態の方法3200を示す。これらのユーザは、2つの異なるソフトウェアプロバイダからの、異なる互換性のないソフトウェアアプリケーションを利用して、互いと共同作業中であり得る。方法3200は、いずれかおよびすべての変更が、複数の異なる互換性のないコンピュータソフトウェアアプリケーションを利用しているユーザによって可視であるように、データの入力および出力を調停することができる。
方法3200において、プロセッサは、ブロック3201で第1のアプリケーションを開き、ブロック3202で第2のアプリケーションを開くことによって、動作を開始することができる。判定ブロック3203で、デバイスからサーバへ共同作業するかどうかに関する判断に達し得る。プロセッサが、サーバと共同作業するように判定する場合(すなわち、判定ブロック3203=「Yes」)、プロセッサは、共同作業のためのプログラム命令を出力し、それらのデバイス間で双方向通信を行うことができる(ブロック3204)。たとえば、互換性のないソフトウェアアプリケーションの各々における変更がローカルでレンダリングされ、また、リモートロケーションへ送信されてもよく、そこで、それらの変更が、第3のソフトウェアプログラムにアグリゲートおよび入力され得る。プロセッサが、サーバと共同作業しないように判定する場合(すなわち、判定ブロック3203=「No」)、ブロック3210で、プロセッサは、双方向通信をデバイス間で確立しないようになり、画面をレンダリングし、非共同作業的な方法で行われた変更を更新するようになる。
ブロック3205で、プロセッサは、画面をレンダリングし、画面を変更について更新するようになる。たとえば、ソフトウェアアプリケーションの各々における変更がリモートロケーションへ送信されてもよく、そこで、それらの変更が、第3の互換性のあるソフトウェアプログラムにアグリゲートおよび入力される。ブロック3206で、プロセッサは、競合解決プログラムを、2つの異なるソフトウェアアプリケーションに対して適用するようになる。それらの変更は、次いで、ネイティブフォーマットに変換され、次いで、ユーザの各々へ、それぞれのアプリケーション上の表示のためにネイティブフォーマットで送信される。ブロック3207で、プロセッサは、変更の著者を識別するようになる。ブロック3208で、プロセッサは、文書画像を更新し、文書画像をレンダリングするようになる。ブロック3209で、プロセッサは、文書画像を更新するようになる。
図33は、音声コマンドが、検出されたジェスチャーを使用して処理および確認され得る、一実施形態の方法3300を示す。方法3300は、方法3300の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。方法3300において、ブロック3301で、プロセッサは、ヘッドマウントデバイスの向きに関するデータを供給するセンサから、走査データを受信することによって、動作を開始することができる。ブロック3302で、プロセッサは、画像に関して、カメラから画像データを受信することができる。ブロック3303で、プロセッサは、画像内のオブジェクトの距離および向きを計算することができる。ブロック3304で、プロセッサは、センサからのデータ、カメラデータ、および距離データを使用して、画像を処理することができ、ブロック3305で、プロセッサは、画像を仮想オブジェクトとともにレンダリングすることができる。加えて、ブロック3305で、プロセッサは、ユーザの動きを追跡して、実行されるべきであるジェスチャー入力コマンドがあるかどうかを判定することができる。ブロック3306で、プロセッサは、音声信号を受信することができる。
判定ブロック3307で、プロセッサは、ユーザによって話された音声コマンドが認識されるかどうかを判定することができる。たとえば、ユーザは、仮想オブジェクトのサイズを、ディスプレイ上にレンダリングされたより大きい仮想オブジェクトへと拡大することを希望することがあり、「仮想オブジェクトを拡大する」という言葉を話すことがある。たとえば、ユーザは、代替として、仮想オブジェクトの形状を、長方形から異なる形状に変更することを望むことがあり、「仮想オブジェクトを楕円形に変更する」という言葉を話すことがある。他の同様のコマンドもまた想定され、可能であり、本開示の範囲内である。プロセッサが、ユーザによって話された音声コマンドを認識する場合(すなわち、判定ブロック3307=「Yes」)、ブロック3308で、プロセッサは、所定の時間期間にわたって、ジェスチャーを求めて、ビデオデータを追跡することができる。ジェスチャーコマンドは、第1の音声コマンドを確認するために利用され得る。たとえば、ユーザが話し中であることがあり、第2のユーザに話す文中で単に不注意に「拡大」および「仮想オブジェクト」に言及することがあり、その言及は、マイクロフォンによって受信され、プロセッサに通信され得る。その後、コマンドをむやみに実行する代わりに、検出されたジェスチャーの形態で確認が待たれてもよい。たとえば、ユーザは、ある方向を指すことができ、または、ユーザは、親指で人差し指を整え、残りの指を伸ばして、「O.K.」サインを出すことができる。この第2のコマンドは、第1のコマンドを確認するようになる。判定ブロック3309で、プロセッサは、ジェスチャーが音声コマンドを確認するように認識されるかどうかを判定することができる。プロセッサが、ジェスチャーが音声コマンドを確認中であると認識する場合(すなわち、判定ブロック3309=「Yes」)、ブロック3310で、プロセッサはタスクを実行することができる。
プロセッサが、ユーザによって話された音声コマンドを認識しない場合(すなわち、判定ブロック3307=「No」)、プロセッサは、音声を受信し続けることができる。プロセッサが、ジェスチャーが音声コマンドを確認中であると認識しない場合(すなわち、判定ブロック3309=「No」)、プロセッサは、音声データを受信および解析し続けることができる。たとえば、ユーザが話し中であることがあり、第2のユーザに話す文中で、単に不注意に「拡大」および「仮想オブジェクト」に言及することがある。しかしながら、確認が、検出されたジェスチャーの形態(指をさすこと、O.K.サイン、伸ばされた手)で検出されない場合、プロセッサは、第1のコマンドを実行しないようになり、単に、追加の新しいコマンドを求めて音声を監視し続けることができる。多数のジェスチャーが、確認を与えることができ、本明細書で開示するいかなるものにも限定されない。また、(たとえば、音声認識による)バーバルコマンド、および、(たとえば、キーボード上での)ユーザのボタン押下によって入力されたコマンドが、プロセッサによって受け入れられ、処理され得る。たとえば、バーバルコマンドが、ジェスチャーコマンドと同じ情報を確認または表すために受け入れられてもよく、それによって、ヘッドマウントデバイスおよびシステムが、より正確にユーザの意図を解釈できるようになる。
図34は、ジェスチャーコマンドが、検出された音声コマンドを使用して処理および確認され得る、一実施形態の方法3400を示し、上記で開示したものとは異なる順序の動作であり得る。方法3400は、方法3400の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。方法3400において、ブロック3401で、プロセッサは、向きに関するデータを供給するセンサを含むヘッドマウントデバイスから、データを受信することによって、動作を開始することができる。ブロック3402で、プロセッサは、画像に関して、カメラからデータを受信することができる。
ブロック3403で、プロセッサは、画像内のオブジェクトの距離および向きを計算することができる。ブロック3404で、プロセッサは、向きセンサからのデータ、カメラデータ、および距離データを使用して、画像を処理することができる。ブロック3405で、プロセッサは、画像を仮想オブジェクトとともにレンダリングすることができ、ブロック3406で、プロセッサは、ユーザの動きを追跡するように、カメラを制御することができる。
判定ブロック3407で、たとえば、指をさす、拍手する、指を鳴らす、親指と指をつなぐことによって「O.K.ジェスチャー」をすることを含む、1つまたは複数の選択されたジェスチャーを認識することによって、ジェスチャーコマンドを認識するかどうかに関する判断に達し得る。このことは、追跡されたビデオデータに適用され得る解剖学的モデルを使用して実行され得る。ジェスチャーが検出される場合(すなわち、判定ブロック3407=「Yes」)、ブロック3408で、プロセッサは、ある時間期間にわたってコマンドを求めて音声データを追跡して、検出されたジェスチャーコマンドを確認することができる。
判定ブロック3409で、音声コマンドをジェスチャーコマンドの確認として認識するかどうかに関する判断に達し得る。確認が受信される場合(すなわち、判定ブロック3409=「Yes」)、ブロック3410で、プロセッサはタスクを実行することができる。
ジェスチャーが認識されない場合(すなわち、判定ブロック3407=「No」)、その場合は、ジェスチャーが不注意に検出されるときに起こり得るものであり、プロセッサは、新しいジェスチャーコマンドを求めて、キャプチャされたビデオ画像を追跡し続けることができる。また、音声確認が認識されない場合(すなわち、判定ブロック3409=「No」)、プロセッサは、ビデオの受信およびビデオの追跡を続けることができ、確認が検出されなかったとき、ジェスチャーコマンドを無視する。また、前述のバーバルコマンド、および、ユーザのボタン押下によって入力されたコマンドは、ヘッドマウントデバイスおよびシステムがより正確にユーザの意図を解釈できるようにするために、プロセッサによって単独で、またはジェスチャーコマンドとともに受け入れられ、処理され得る。
図35は、ジェスチャーコマンドが処理および認識され得る、一実施形態の方法3500を示す。ジェスチャーコマンドに応答して、プロセッサは、「仮想入力デバイス」を仮想オブジェクト上にレンダリングし、ユーザが仮想入力デバイスを利用して仮想オブジェクトを操作できるようにすることができる。仮想入力デバイスは、ユーザの動きを追跡することによって制御され得る、生成された仮想オブジェクトであり得る。たとえば、仮想オブジェクトは、仮想ポインタ、またはアイコン、または、ユーザによって選択された任意の他の制御可能な仮想オブジェクトであってもよい。
方法3500は、方法3500の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。たとえば、入力デバイスは、仮想現実ポインタオブジェクトであり得る。ポインタは、ジェスチャー/追跡カメラと、アンカー表面に接続された仮想オブジェクトとから測定された視線において、自動的に生成され得る。方法3500において、ブロック3501で、プロセッサは、向きに関するデータを供給するセンサを含むヘッドマウントデバイスから、データを受信することによって、動作を開始することができる。ブロック3502で、プロセッサは、ステレオ画像に関して、カメラから、キャプチャされた画像データを受信することができる。
ブロック3503で、プロセッサは、画像内のオブジェクトの距離および向きを計算することができる。ブロック3504で、プロセッサは、向きセンサからのデータ、カメラデータ、および距離データを使用して、画像を処理することができる。ブロック3505で、プロセッサは、画像を仮想オブジェクトとともにレンダリングすることができ、ブロック3506で、プロセッサは、ユーザの動きを追跡するように、カメラを制御することができる。
判定ブロック3507で、プロセッサは、解剖学的認識アルゴリズムを追跡された画像に適用することによってなど、ジェスチャーコマンドが認識されるかどうかを判定することができる。プロセッサは、画像内で、指をさす、拍手する、指を鳴らす、親指と指をつなぐことによって「O.K.ジェスチャー」をすることなどを含む、1つまたは複数の選択されたジェスチャーを認識することができる。プロセッサがジェスチャーを認識する場合(すなわち、判定ブロック3507=「Yes」)、ブロック3508で、プロセッサは、仮想ポインタタスクを実行するための指示を有し得る。
ポインタは、ディスプレイ上に3次元で表示され、仮想オブジェクト上に配置され、ユーザがテキストを強調し、選択し、入力コマンドを作成し、入力をヘッドマウントデバイスのプロセッサに供給することを可能にすることができる、「入力デバイス関連仮想オブジェクト」(マウスアイコン、レーザーポインタ仮想オブジェクト、矢印入力デバイス)であってもよい。判定ブロック3508で、ポインタタスクを実行するかどうかに関する判断に達し得る。プロセッサが、ポインタタスクを実行するように判定する場合(すなわち、判定ブロック3508=「Yes」)、ブロック3509で、プロセッサは、タスクを実行することができ、ポインタのタイプが、複数の異なる仮想入力デバイスから選択され得る。ブロック3510で、ヘッドマウントまたはボディマウントカメラから、ユーザの指まで、および仮想オブジェクトまでのベクトルが、計算され得る。ブロック3511で、ベクトルが使用されて、ポインタが仮想オブジェクト上にレンダリングされ得る。ブロック3512で、仮想オブジェクトおよび仮想入力デバイスの表示が更新され得る。
プロセッサが、ジェスチャーを認識しない場合(すなわち、判定ブロック3507=「No」)、プロセッサは、所定のジェスチャーを認識するために、ビデオ画像を処理し続けることができる。また、プロセッサが、ポインタタスクを実行しないように判定する場合(すなわち、判定ブロック3508=「No」)、プロセッサは、タスクが実行されないようになるので、ビデオを追跡し続け、ジェスチャーコマンドを無視することができる。
図36は、ジェスチャーコマンドが認識および処理され得、入力コマンドを与えるために、3次元仮想現実タイプの入力デバイスが仮想オブジェクト上にレンダリングされ得る、一実施形態の方法3600を示す。加えて、プロセッサは、特徴/身体部分が仮想オブジェクトをふさぐとき、透明にレンダリングされ得る、個人の特徴を認識することができる。方法3600は、方法3600の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。たとえば、入力デバイスは、ヘッドマウントディスプレイ上にのみ表示される仮想現実ポインタオブジェクトであり得る。このオブジェクトは、ディスプレイ上に表示されてもよく、ジェスチャー/追跡カメラから、アンカー表面上に接続される仮想オブジェクトまで測定され得る、視線において、またはベクトルにおいて生成され得る。たとえば、ベクトルは、カメラ/またはユーザの指からディスプレイ上の仮想オブジェクトまで形成され得る。仮想ポインタオブジェクトは、ベクトルに接続されるように配置および表示され得る。ユーザは、1つもしくは複数の検出されたジェスチャー、音声コマンドによって、入力デバイスによって、または別の入力コマンドによって、仮想ポインタオブジェクトを制御することができる。方法3600において、プロセッサは、ブロック3601で、ステレオ画像に関して、カメラからデータを受信することによって、動作を開始することができる。
ブロック3602で、プロセッサは、画像内のオブジェクトの距離および向きを計算することができる。ブロック3603で、プロセッサは、向きセンサからのデータ、カメラデータ、および距離データを使用して、画像を処理することができる。ブロック3604で、プロセッサは、画像を仮想オブジェクトとともにレンダリングすることができる。ブロック3605で、プロセッサは、解剖学的アルゴリズムを追跡された画像に、検出された身体部分に適用することによって、ユーザの動きを追跡するように、カメラを制御するための命令を与えることができ、所定の時間間隔にわたって、身体部分を追跡することができる。
判定ブロック3606で、プロセッサは、ジェスチャーコマンドが認識されるかどうかを判断することができ、この認識は、ジェスチャー辞書における1つまたは複数のジェスチャーの中で、追跡された画像内の形状および動きとの適合があるとき、起こり得るものであり、プロセッサは、検出されたジェスチャーを、ソフトウェアアプリケーションを実行するため、またはあるあらかじめ定義されたアクションを取るための入力コマンドと相関させることができる。プロセッサがジェスチャーを認識する場合(すなわち、判定ブロック3606=「Yes」)、ブロック3607で、プロセッサは、ポインタタスクを実行することができる。
ポインタは、ヘッドマウントディスプレイ上に表示される仮想入力デバイス(マウスアイコン、レーザーポインタ仮想オブジェクト)であってもよい。仮想入力デバイスは、ユーザがテキストを強調し、ハイパーリンクを選択し、入力コマンドを編成し、仮想オブジェクトに対する入力を形成することを可能にすることができる、仮想オブジェクトに関連付けられ得る。たとえば、仮想入力デバイスは、ヘッドマウントディスプレイ上に表示された3次元の仮想現実矢印であり得る。そのような実施形態では、その矢印は、ユーザジェスチャーに応答して、ディスプレイ上の自由空間内で移動可能であり得る。たとえば、ユーザが手を左側に動かすことに応答して、システムは、ヘッドマウントディスプレイ上で左側に動く矢印の画像をレンダリングすることができる。別の例として、ユーザは、コマンドを入力することがあり、矢印は、そのコマンドが実行されることを示すことがある。たとえば、ユーザは、矢印が仮想オブジェクト上の隣接テキストであるとき、「選択する」という言葉を話すことがあり、矢印は、そのテキストが選択されることを示すことがある。
判定ブロック3607で、プロセッサは、ポインタタスクを実行するかどうか、および、仮想入力デバイスオブジェクトをいくつかのあらかじめ定義された代替物(たとえば、矢印、ポインタデバイス、または様々な仮想アイコン)から選択するかどうかを判定することができる。そうである場合(すなわち、判定ブロック3607=「Yes」)、ブロック3608で、プロセッサは、タスクを実行することができ、仮想入力デバイスが、メモリに記憶された様々なポインタタイプのアレイから選択され得る。ブロック3609で、カメラからユーザの手まで、および仮想オブジェクトまでのベクトルが、計算され得る。仮想入力デバイスは、計算されたベクトル上に直接レンダリングおよび配置されてもよく、仮想または拡張現実体験をもたらすために、ユーザの手の動きを追跡することによって、ディスプレイ上で移動可能であり得る。ブロック3610で、仮想現実入力デバイス/ポインタが使用されて、ディスプレイ上で仮想オブジェクトの一部分が移動され、選択され、拡大され、または強調され得る。
ブロック3611で、場合によっては、ユーザの特徴が仮想オブジェクトと接触してもよく、仮想オブジェクトをふさいでもよい。たとえば、ユーザの手が、仮想オブジェクト上を通過することがあり、ユーザの視点からの仮想オブジェクトのビューをふさぐか、またはブロックすることがあり、好適でないことがある。プロセッサは、仮想オブジェクトをユーザの身体部分上に重ね合わせ、ユーザの身体部分がディスプレイ上で仮想オブジェクトをふさいでいるはずであるとしても、仮想オブジェクトがユーザにとって可視のままであり得るようにすることができる。このようにして、身体部分を、一見すると透明であるようにレンダリングすることができ、身体部分のアウトラインのみが示される。ブロック3612で、ベクトルが使用されて、ポインタが仮想オブジェクト上にレンダリングされ得る。ブロック3613で、仮想入力デバイスが更新され得る。ブロック3614で、仮想入力デバイスが、仮想オブジェクトとともに表示され得る。
ジェスチャーコマンドが認識されない場合(すなわち、判定ブロック3606=「No」)、プロセッサがジェスチャーを認識するかどうかを判定するために、プロセッサはビデオを追跡し続けることができる。また、プロセッサが、ポインタを実行または使用しないように判断する場合(すなわち、判定ブロック3607=「No」)、プロセッサは、ビデオを追跡し続けることができ、仮想入力デバイスを生成および表示しないようになる。
図37は、ヘッドマウントディスプレイ3704上で可視である、仮想オブジェクト現実入力デバイスまたは仮想ポインタ3706を含む、システム3700のハイレベル図、および、仮想オブジェクト14のハイレベル図を示す。ヘッドマウントディスプレイ3704は、プロセッサと、アンテナを含むワイヤレス通信デバイスと(図示せず)を含み得る。図5Aを参照しながら上記で説明したように、ヘッドマウントデバイス3704は、アプリケーションプロセッサと呼ばれることがある、アプリケーションを実行するためのコプロセッサを含み得る、コアプロセッサを含み得る。
ヘッドマウントデバイス3704はまた、通信(たとえば、ワイヤレスモデムプロセッサ)、ナビゲーション(たとえば、GPS受信機プロセッサ)、およびグラフィックス(たとえば、グラフィックスプロセッサユニット(GPU))を含む、重要なデバイス能力に関連付けられた複数のピアプロセッサをも含み得る。ヘッドマウントデバイス3704はまた、セルラー送受信機またはモデム(図示せず)を含んでもよく、セルラー送受信機またはモデムは、多くの場合、その主要なタスクがワイヤレス通信を管理することである1つまたは複数のプロセッサを含む。ヘッドマウントデバイス3704はまた、別個の送受信機チップであり得るWi-Fiモデム(図示せず)など、他のタイプのワイヤレス通信ネットワーク上で通信するための他のワイヤレス送受信機を含んでもよく、その場合、別個のプログラマブルプロセッサをも含み得る。組込み型プログラマブルプロセッサを有する他のワイヤレス送受信機(図示せず)が、近距離通信(NFC)リンク、Bluetooth(登録商標)リンク、および、他のワイヤレスプロトコルに基づくリンクなど、他のタイプのワイヤレス通信リンクに接続するために含まれ得る。
通信プロセッサに加えて、ヘッドマウントデバイス3704はまた、専用プロセッサを有し得るGPS受信機(図示せず)をも含み得る。また、グラフィックスプロセッサが、高解像度グラフィックスを提供するために含まれ得る。ヘッドマウントデバイス3704はまた、USBポートなど、ワイヤード通信に関連付けられたプロセッサをも含み得る。図5Aを参照しながら上記で説明したように、ヘッドマウントディスプレイ3701は、それ自体がRGBカメラ3704aを赤外線カメラ3704bおよび構造化赤外光赤外線放出器3704cに結合することができる、RGB-Dカメラシステムを含み得る。
プロセッサは、ヘッドマウントまたはボディマウントカメラ3701からユーザの指3705まで、および、指3705から仮想オブジェクト14までキャプチャされ得る、ベクトルを測定する。このベクトルを使用して、入力デバイス仮想オブジェクト3706が生成されてもよく、ベクトル上に配置され得る。仮想入力デバイス3706が生成されてもよく、仮想入力デバイス3706の向きが計算され得る。仮想入力デバイス3706は、アンカー表面3703に接続するように生成されてもよく、アンカー表面3703は、仮想オブジェクト14が接続されるところであり得る。この実施形態では、仮想オブジェクト14は、極めて大きいサイズ、たとえば、ヘッドマウントディスプレイ上で表示されるようなビルのサイズに表示するために、レンダリングされ得る。仮想入力デバイス3706を使用するユーザは、仮想オブジェクトまたはその仮想オブジェクト14とともに表示されたコンテンツの、テキストまたは部分を選択することができる。
図38は、第2のヘッドマウントデバイスが、第1のヘッドマウントデバイスによる実施のために、ポインティング座標およびジェスチャー制御をどのように供給することができるかを示す、第1のヘッドマウントデバイスシステム3800および第2のヘッドマウントデバイスシステム3800aのハイレベル図を示す。プライマリヘッドマウントデバイスシステム3800は、第1のヘッドマウントまたはボディマウントカメラアレイ3801と、ピアツーピアベースの配置とともに動作可能な第1のプロセッサ3804とを含み得る。第1のプロセッサ3804は、ホストプロセッサとして動作可能であってもよく、第2のプロセッサ3805は、セカンダリシステムとして動作可能であり得る。第2のヘッドマウントデバイスシステム3800aは、プライマリシステム3800から、表示のために、生成された画像を受信するシステムとして働くことができる。第2のヘッドマウントデバイスシステム3800aは、ヘッドマウントまたはボディマウントカメラアレイ3802と、第2のプロセッサ3805とを含み得る。ディスプレイシステム3803もまた、ユーザが3次元画像を見るために設けられてもよい。ヘッドマウントまたはボディマウントカメラアレイ3801は、画像および距離データを第1のプロセッサ3804に供給することができ、第1のプロセッサ3804は、画像データを生成し、ディスプレイシステム3803に供給する。プライマリプロセッサ3804は、画像を第2のプロセッサ3805に供給することができ、第2のヘッドマウントデバイスは、ポイント座標およびジェスチャー制御をプライマリプロセッサ3804に供給することができる。画像および距離データがプロセッサ3804および3805に供給され、それによって、プライマリプロセッサは、仮想オブジェクトを生成し、画像をディスプレイシステム3803上に表示し、また、画像を表示のために第2のプロセッサ3805にも通信する。第2のプロセッサ3805は、アンカー表面のロケーションを指すこと、またはオブジェクトを動かすこと、および制御コマンドなど、ユーザジェスチャーをユーザ入力として検出し、それらのポイントおよびジェスチャー制御を第1のプロセッサに供給することができ、そこで入力が処理され得る。
図39は、ポイントおよびジェスチャー制御ならびに画像データ情報が、クラウドサーバ3906上に記憶され、クラウドサーバ3906によって(たとえば、マルチキャストにおいて)他のものに中継され得る、クラウド構成において動作するシステム3900を示す。このシステムは、仮想オブジェクトおよびディスプレイデータが、共同作業するヘッドマウントディスプレイシステム3900aおよび3900bにワイヤレス通信され得るようにする。システム3900はまた、他のヘッドマウントデバイスを含む、他のコンピューティングデバイスが、共同作業するヘッドマウントディスプレイシステム3900aと3900bとの間で行われるデータ交換を監視することも可能にする。このようにして、共同作業を、より幅広いオーディエンスによって見ることができる。
システム3900は、中央サーバ3906上で動作可能な中央プロセッサを含み得る。第1のヘッドマウントデバイス3900aは、ヘッドマウントまたはボディマウントカメラ3902と、第1のプロセッサ3903とを含み得る。第2のヘッドマウントデバイス3900bは、ヘッドマウントまたはボディマウントカメラ3904を、第2のプロセッサ3905とともに含み得る。ディスプレイシステム3901もまた、設けられ得る。画像が、サーバ3906からディスプレイシステム3901に供給され得る。画像はまた、第1のプロセッサ3903にも供給され得る。第1のプロセッサ3903は、ジェスチャー、ポイント座標、距離データ、画像データ、向きデータ、および感知パラメータを含む、データをサーバ3906へ送信する。画像はまた、第2のプロセッサ3905にも供給され得る。第2のプロセッサ3905もまた、ジェスチャー、ポイント座標、距離データ、画像データ、向きデータ、および感知パラメータを含む、データをサーバ3906に供給することができる。中央サーバ3906上で動作可能な中央プロセッサは、サービスをヘッドマウントデバイスに供給して、仮想ポインタオブジェクトおよび仮想オブジェクトをレンダリングするための第1のプロセッサ3903および第2のプロセッサ3905における計算処理を軽減することができる。
たとえば、第1のユーザシステム3900aは、赤外光を用いてエリア走査することができ、ゲーティング機構への反射された赤外光の飛行時間を測定することができる。これは、所定のエリア内のオブジェクトの形状を決定するために利用されてもよく、また、オブジェクトの距離パラメータを決定するためにも利用され得る。第1のユーザシステム3900aは、距離パラメータをサーバ3906にワイヤレス通信することができる。クラウドサーバ3906は、走査データを利用して、仮想オブジェクトを含む画像を生成することができる。仮想オブジェクトは、画像内で生成され、ディスプレイシステム3901および第2のヘッドマウントデバイス3900bに、所定のエリアの走査データとともにワイヤレス通信され得る。
再び図37を参照すると、ヘッドマウントデバイスによって追跡され得るジェスチャーの一例は、仮想オブジェクトを示すかまたは選択する、指さしジェスチャーである。たとえば、ユーザは、指3705で仮想オブジェクト14を指すことができ、ヘッドマウントディスプレイのカメラシステムは、ヘッドマウントまたはボディマウントカメラ3708からユーザの指3705まで、および、指3705から仮想オブジェクト14までのベクトルを決定することができる。このベクトルを使用して、プロセッサは、入力デバイス仮想オブジェクトを生成することができる。
たとえば、ヘッドマウントディスプレイ上に表示するための仮想オブジェクト14の向きが決定され得る。仮想入力デバイスオブジェクト14は、アンカー表面3703に接続されてもよく、ユーザが仮想入力デバイスオブジェクト14を制御できるように、仮想オブジェクト14に接続してもよい。仮想オブジェクト14は、ヘッドマウントディスプレイ上にレンダリングされた画像内のアンカー表面3703上にアンカーされ得る。この実施形態では、仮想オブジェクト14が表示のためにレンダリングされてもよく、仮想オブジェクト入力デバイスを使用して、ユーザは、仮想オブジェクト14のテキストまたは部分を選択することができ、このテキストまたは部分は、ジェスチャー追跡カメラ3708を利用して、追跡されたビデオおよびキャプチャされたジェスチャーを用いて認識される。この実施形態では、仮想入力デバイスオブジェクト14は、ユーザの周囲の、または、ユーザがその周囲を歩き回ることができる、移動可能な3次元オブジェクトとして表示され得る。仮想オブジェクト14は、ビルのサイズなど、表示画像内で極めて大きい仮想オブジェクトとしてレンダリングされ得る。ユーザは、仮想入力デバイスを利用して、表示画像内で極めて大きい仮想オブジェクト14上の空間内の位置を指定することができる。
図40Aから図40Bは、モバイルスマートフォン4010にワイヤレスに接続され得、表面上で投影画像を生成することができ、そこで入力コマンドを与えるためにユーザのジェスチャーが利用され得る、ピコプロジェクタ4005で、図1に示すヘッドマウントディスプレイデバイス10が置き換えられ、または補われ得る、別の実施形態を示す。この実施形態では、ユーザは、いかなるヘッドマウント装置も装着せず、単に水平または垂直表面上で投影画像を見ることができる。ハンドヘルドプロジェクタ4005(ポケットプロジェクタ4005、モバイルプロジェクタ、またはピコプロジェクタとしても知られる)は、図40Bに示す仮想オブジェクト14aを出力するために、ハンドヘルドデバイス4010とともに使用され得る。ハンドヘルドプロジェクタ4005は、デジタル画像14aを、図1に示す壁16、または図40Bに示すデスクトップ16aなど、任意の近くの閲覧表面16上に投影することができる、小型のハードウェアおよびソフトウェアを含み得る。
ピコプロジェクタ4005は、バッテリー4015と、電子マザーボード4025と、ダイオードレーザー、レーザーまたは他の光源4030と、コンバイナ光学素子4035と、走査ミラー4040とを含み得る。ハンドヘルドプロジェクタ4005における構成要素の様々な構成が可能であり、本開示の範囲内である。プロセッサ4020は、マザーボード4025に結合され得る。プロセッサ4020は、ミラー4040および光学素子4035を利用してプロセッサ4020によって制御される場合、画像を出力するように、レーザーダイオード4030およびプロジェクタを制御することができる。
図40Aを参照すると、ピコプロジェクタ4005は、プロジェクタ要素4006と、入力センサ4007と、コネクタ4008と、モバイルデバイス4010または他のコンピューティングデバイスに接続するためのワイヤレスインターフェース4009とを含み得る。入力検知ピコプロジェクタは、同じタイプの他のユニットに、モジュール方式で接続され得る。プロジェクタは、ユーザ間のリアルタイムのローカルデジタル共同作業のために、仮想オブジェクト14aおよび14bとしてレンダリングされた、複数の、位置認識のある、共有された投影ディスプレイを作成することができる。ピコプロジェクタ4005は、第1のユーザのための画像をキャプチャし、解剖学的アルゴリズムをキャプチャされた画像に適用することができる。プロセッサは、第1のユーザを検出し、第1の仮想オブジェクト14aを、第1のユーザのための好都合なロケーションにおけるデスクトップ表面16上に投影することができる。ピアツーピアもしくは他のRFワイヤレス通信リンクを使用する、または、キャプチャされた画像データを使用するピコプロジェクタ4005は、第2のユーザが共同作業に加入していることを検出することができる。ピコプロジェクタ4005は、キャプチャされた画像データに基づいて、第2のユーザのために正しく向きが設定された第2の仮想オブジェクト14bを出力することができる。
各プロジェクタ4005は、モバイルコンピューティングデバイス4010(もしくは、他のコンピューティングデバイス)に、高速ワイヤレスデータリンク(たとえば、4G、Wi-Fi、もしくはBluetooth(登録商標))を介して接続することができ、および/または、ピアツーピア通信プロトコルを介してリンクされ得る。各プロジェクタ4005はまた、モバイルコンピューティングデバイス4010(または、他のコンピューティングデバイス)にも、ワイヤードデータリンクを介してリンクされ得る。モバイルコンピューティングデバイス4010は、ピコプロジェクタ4005のための処理ユニットおよびデータ記憶デバイスとして働くことができ、投影画像を生成し、その画像をピコプロジェクタ4005に通信することができる。ピコプロジェクタ4005は、代替として、各プロジェクタ4005のハウジング上の戦略的に位置決めされたコネクタ4008を介してなど、他のピコプロジェクタに物理的に接続することができる。たとえば、2つのピコプロジェクタ4005は、それぞれのコネクタ4008を介して接続することができる。コネクタ4008は、2つのピコプロジェクタ4005が互いに接続されるとき、ピコプロジェクタ4005の各々のための基準データ点を与えることができる。ピコプロジェクタ4005は、投影画像を表面16a上に表示することができ、表面16aは、基準データ点から所定の距離であり得る。
各プロジェクタ4005のハウジングにおける接続4008は、両方の物理的サポートを提供することができ、各プロジェクタのワイヤレス接続されたモバイルコンピューティングデバイス4010間の通信をブリッジする、プロジェクタ4005間の高速データリンクのための回路を含み得る。コネクタ4008および回路は、USB、Firewire(登録商標)、または、当技術分野で知られている任意の他の高速コネクタ4008をサポートすることができる。
加えて、これらの接続は、図40Aに示すコネクタ4008を介して接続された他のプロジェクタに対する、各プロジェクタの物理的向きに関して、ソフトウェアに基準データ点を与えることができる。コネクタ4008は、インターフェースソフトウェアと、プロジェクタ4005にわたってデジタルアセットを転送するための能力とを提供するために使用され得る。プロジェクタ4005は、仮想オブジェクト14aを表面上への投影として出力することができる。プロジェクタ4005はまた、キャプチャされた画像データを使用して、追跡のため、およびジェスチャー認識のために、画像内のオブジェクトを検知することもできる。投影画像14aは、仮想タッチスクリーン14aであってもよく、また、仮想オブジェクト上で仮想入力デバイスを含んでもよい。投影画像に関連付けられたジェスチャーが検出されてもよく、プロセッサは、検出されたジェスチャーに基づいて、入力コマンドを編成することができる。このジェスチャー認識機能は、ユーザが仮想入力デバイスを制御中であり得るという、シミュレートされた外観を与えることができる。
図40Bは、第1の仮想オブジェクト14aおよび第2の仮想オブジェクト14bをレンダリングする、ピコプロジェクタ4005を示す。一実施形態では、単一のピコプロジェクタ4005が、各ユーザのための少なくとも2つの異なる画像を投影することができる。別の実施形態では、ピコプロジェクタ4005は、第2のピコプロジェクタと嵌合されてもよく、その嵌合が、2つのプロジェクタ間の電子的接続を完成する。2つの異なるピコプロジェクタ4005は、モバイルコンピューティングデバイス4010または他の利用可能なコンピューティングデバイスとワイヤレスに接続することができ、各々は、各ユーザに1つずつ、2つの異なる画像を出力することができる。モバイルコンピューティングデバイス4010にリンクされたプロジェクタ4005は、各モバイルコンピューティングデバイス4010のプロセッサを使用して、仮想オブジェクト14aおよび14bをレンダリングすることができる。モバイルコンピューティングデバイス4010のプロセッサと、画像センサとは、仮想オブジェクト14aおよび14bをレンダリングするために、および、ユーザの各々のために仮想オブジェクト14aおよび14bの正しい向きを決定するために、各ユーザに関連付けられたパラメータを検出することができる。
入力センサ4007は、画像を電子信号に変換することができる。電子信号は、異なる色および強度をもつ光源を、異なる光路に沿って駆動することができる。コンバイナ光学素子4035において、異なる光路が、いくつかの色を示す1つの経路に結合され得る。ミラー4040は、画像をピクセルごとに反射し、画像を投影する。ハンドヘルドプロジェクタ4005は、閲覧表面16の物理的特性にかかわらず、明瞭な画像を投影することができる。たとえば、仮想オブジェクト14aの投影画像は、ワードプロセシングアプリケーションをもつキーボードなど、「仮想オブジェクト入力デバイス」であり得る。ユーザのジェスチャーは、仮想オブジェクト14a〜14c上の入力デバイスロケーションに対応して検出され、1つまたは複数の入力コマンドとして認識され得る。
図示の実施形態では、画像は、仮想オブジェクト14aを、図40Bに示す表面16a上に投影することができ、ユーザは、仮想オブジェクト14aを物理的表面16a上にアンカーすることができる。ユーザが、センサ4007の出力に基づいて動くとき、仮想オブジェクト14aは、形状、向きおよびサイズが変化して、物理的表面16aにアンカーされたままであり得る。たとえば、ユーザは、センサ4007によって、プロジェクタ4005に対して後方もしくは前方、または左もしくは右に動いているとして検出され得る。入力センサ4007は、ユーザによる位置変更を通信することができ、プロセッサ4020は、投影画像をより大きくもしくはより小さくなるように、またはそれ以上に、投影画像をユーザの新しいロケーションに関連付けられた快適な閲覧ロケーションへと、制御することができる。たとえば、投影画像は、水平表面から垂直表面へ移動して、ユーザを追ってもよい。
スマートフォンなどのモバイルコンピューティングデバイス4010は、プロジェクタ4005のジェスチャーユーザインターフェース機能をサポートするように構成されてもよく、プロジェクタ4005は、コンピュータ生成画像(プレゼンテーションスライド、テキスト文書、または写真など)を投影表面16上に投影する。モバイルコンピューティングデバイス4010に結合されたカメラ(画像センサ)4007(図40A)は、その視界が表示画像の少なくとも一部分を包含するように位置決めされ得る。別の実施形態では、ユーザはまた、レーザーポインタを使用して、表示画像上にレーザースポットを配置することもでき、レーザースポットは、カメラ4007によって検出され得る。
カメラ4007は、レーザースポットのデジタル画像と、表示画像の少なくとも一部分とを取得し、カメラ画像をモバイルコンピューティングデバイス4010のプロセッサ4020に、画像内のレーザースポットのロケーションとともに供給することができる。モバイルコンピューティングデバイス4010のプロセッサ4020は、カメラ4007によって生成された画像(本明細書では「受信カメラ画像」と呼ぶ)を解析して、投影表面16上に投影されているディスプレイコンテンツの少なくとも一部分を認識し、コンテンツに対するレーザースポットのロケーションを決定するための、ソフトウェア命令で構成され得る。レーザーポインタが明るい光線を特定の波長で出すので、レーザースポットは、プロセッサ4020によって容易に認識され、強度および/または色成分に基づいて、投影画像とは区別され得る。カメラ4007は、レーザースポットの動きを追跡し、その動きをあらかじめ定義されたレーザージェスチャーに相関させるように、さらに構成され得る。レーザージェスチャーが認識されるとき、プロセッサ4020は、対応する機能を実行することができる。
図40Cは、1人または複数の検出されたユーザに基づいて、複数の異なる投影画像を出力するプロジェクタの、ハイレベル図である。図40Cは、モバイル通信デバイスプロセッサ4010(図40A)を使用して、共同作業に加入している追加のユーザの追跡された画像から、ジェスチャーを検出する、プロジェクタ4005を示す。新しいユーザを検出したことに応答して、プロセッサは、第3のユーザに正しく向けられる、第3の仮想オブジェクト14cを、モジュール方式でレンダリングすることができる。同様に、追加のユーザが加入し、検出される場合、プロセッサは、第4の仮想オブジェクト(図示せず)をモジュール方式でレンダリングすることができ、そこで、少なくとも2つの投影画像が同じコンテンツおよび画像をレンダリングすることができる。さらに、第3または第4のユーザは、モバイルコンピューティングデバイス4010を使用して、投影画像14a、14bおよび14cの表示を変更することができる。たとえば、ユーザは、第3のオブジェクト14cを閉じ、異なるコンテンツを有する新しいオブジェクトを開くことができる。
プロジェクタ4005を使用して、高度に可搬である大型の入力および表示環境を提供することによって、モバイルユーザエクスペリエンスが向上され得る。複数のユーザのためのデジタル共同作業環境が、モバイルデバイス4010を使用することによって、アドホックな方法でセットアップされ得る。プロジェクタ4005における物理的コネクタ4008は、プロジェクタ間の相対位置認識を与えることができる。位置データは、高い精度で与えられ得る。これによって、ユーザが、複数の投影された仮想オブジェクト14a〜14cを使用した、共同作業的なデータ提示および操作を容易に作り出すことが可能になる。
図40Dは、検出されたオブジェクト/ジェスチャーに基づいて、ユーザにとって好都合な方法で画像を投影するための、一実施形態の方法4045を示す。方法4045は、方法4045の動作を実行するためのプロセッサ実行可能命令で構成されたプロセッサを有する、コンピューティングデバイス内で実施され得る。方法4045において、ブロック4046および4047で、プロセッサは、ユーザの画像をキャプチャすることができ、センサアレイを用いて空間データをキャプチャすることができる。ブロック4048で、プロセッサは、画像内のオブジェクトを認識し、画像内のオブジェクトまでの距離を決定することができる。ブロック4049で、プロセッサは、画像内のオブジェクトを追跡することができ、解剖学的解析を適用して、画像内に身体部分があるかどうかを判定することができる。
たとえば、プロセッサは、解剖学的解析をキャプチャされた画像に適用して、キャプチャされた画像が頭および肩、胴、ならびに腕など、または、ユーザもしくはユーザが見ている方向を示すようになる任意の他の身体部分を含むかどうかを判定することができる。身体部分が検出される場合、プロセッサは、経時的に検出された身体部分が、メモリに(たとえば、ジェスチャー辞書に)記憶されたジェスチャーに適合するかどうかを判定することができ、ジェスチャーが認識されるとき、コマンドを適用することができる。一実施形態では、ピコプロジェクタは、画像を特定のロケーションに投影し、ユーザが投影画像を好都合に見て、投影画像と対話できるようにすることができる。たとえば、頭および肩が画像内にあると判定される場合、ピコプロジェクタは、画像を、ユーザに好都合に近い壁またはテーブルトップ上に投影することができる。
さらなる実施形態では、ユーザは、ユーザの手および指を区別すること、ならびに動きジェスチャーを認識することにおいて役立つために、有色であるか、または、距離センサとカメラの一方もしくは両方によって認識され得る反射性の特徴を特色とする、一方または両方の手または手首の手袋、リング、ブレスレット、および/または他のアイテムをつけるか、または着用してもよい。たとえば、ユーザは、指の各々で異なる色が示されている手袋を着用することがあり、ヘッドマウントデバイスは、指の色の各々を、シーン画像のピクセル内のそれらのそれぞれの赤-緑-青強度値に基づいて認識するように構成され得る。
ブロック4050および4051で、プロセッサは、第1および第2の信号をそれぞれの第1および第2のピコプロジェクタから受信して、ピコプロジェクタとプロセッサとの間でリンクし、データを通信する。たとえば、ピコプロジェクタは、モバイル通信デバイスとリンクし、モバイル通信デバイスメモリに関連付けられたメモリのデータコンテンツがアクセスおよび表示され、または共有され得るようにすることができる。判定ブロック4052で、プロセッサは、検出された身体部分に基づいて、ピコプロジェクタからの画像を投影するかどうかを判定する。そうである場合(すなわち、判定ブロック4052=「Yes」)、ブロック4053で、プロセッサは、ユーザにとって好都合な表面における投影画像を利用して、コンテンツを表示することができる。ブロック4054で、プロセッサは、ピコプロジェクタ間のワイヤレスデータリンクを介して、ユーザ間でデータを共有することができる。たとえば、画像ファイル、ワードプロセシングファイル、電子メール、または任意の他のデータが、投影画像として共有または表示され得る。プロセッサが、検出された身体部分に基づいて、画像を投影しないように判定する場合(すなわち、判定ブロック4052=「No」)、ブロック4055および4056で、プロセッサは、画像を投影するためのプロンプトを表示し、画像を好都合な方法で投影することができる。たとえば、ピコプロジェクタは、入力が受信されるまで、投影を投影することを遅らせることができ、ユーザは投影画像を手動で検出することができる。投影画像は、仮想オブジェクトを含んでもよく、ヘッドマウントデバイスは、投影された仮想オブジェクト画像と対話するか、またはそれに関係するユーザの手のジェスチャーを、ユーザ入力として認識するように構成され得る。そのような実施形態では、プロセッサは、投影された仮想入力デバイスを利用するときに行われる、認識された手のジェスチャーに対応する、コマンドを適用することができる。
たとえば、ユーザの手の追跡された動きとともに移動され得る、仮想マウスまたは仮想ポインタが表示され得る。加えて、検出されたジェスチャーを使用して、プロセッサは、投影画像の向きを垂直または水平表面上で正しく設定することができる。このようにして、投影画像は、検出された身体部分に基づいて、正しい側が上になるように投影され得る。たとえば、第1のピコプロジェクタは、第2のピコプロジェクタに背中合わせの構成で接続されてもよく、これらのプロジェクタは、少なくとも2つの異なる投影画像を投影することができ、それらの投影画像は、互いに対して少なくとも180度だけ分離される。さらに別の実施形態では、プロセッサは、基準点を定義し、基準点に基づいて、第1および第2のプロジェクタの各々の向きを決定することができる。プロセッサは、投影画像の向きを、ユーザのために、基準点と、第1および第2のプロジェクタの向きとに基づいて設定することができる。
別の実施形態では、プロセッサは、第3のユーザを検出し、少なくとも第3の投影画像を、検出された身体部分に基づいて投影することができる。また、プロセッサは、共同作業のために、第3のユーザに関連付けられた第3のコンピューティングデバイスから、データを受信することができる。別の実施形態では、第4のピコプロジェクタが設けられてもよく、少なくとも4つの異なる投影画像が与えられ得る。
様々な実施形態は、コンピューティングデバイスに結合された第1および第2のピコプロジェクタの近傍におけるシーンの画像をキャプチャすること、センサアレイを用いて、第1および第2のプロジェクタの近傍における空間データをキャプチャすること、キャプチャされたシーン画像を解析して、身体部分を認識すること、ならびに、認識された身体部分に基づいて決定された形状および向きで、第1および第2のプロジェクタの各々から画像を投影することによって、第1および第2のプロジェクタから画像を投影する方法を含み得る。一実施形態では、第1および第2のプロジェクタは、ピコプロジェクタであり得る。さらなる実施形態では、認識された身体部分に基づいて決定された形状および向きで、第1および第2のプロジェクタの各々から画像を投影することは、画像を、プロジェクタの近傍におけるユーザの前の表面上に投影することを含み得る。
さらなる実施形態では、この方法は、プロジェクタの近傍におけるユーザに適した垂直または水平表面上で、投影画像の向きを設定することを含み得る。さらなる実施形態では、この方法は、認識された身体部分の動きを追跡すること、検出アルゴリズムを追跡された動きに適用して、所定のジェスチャーを検出すること、検出された所定のジェスチャーに対応するコマンドを適用すること、および、適用されたコマンドに応答して、投影画像を修正することを含み得る。さらなる実施形態では、キャプチャされた画像を解析して、身体部分を認識することは、解剖学的解析を画像に適用して、キャプチャされた画像内のオブジェクトが解剖学的モデルの一部分に適合するかどうかを判定することを含み得る。
さらなる実施形態では、投影画像は、仮想入力デバイスのものであってもよく、検出された所定のジェスチャーに対応するコマンドを適用することは、ユーザ入力デバイスのものに整合するコマンドを適用することを含み得る。さらなる実施形態では、検出された所定のジェスチャーに対応するコマンドを適用することは、仮想オブジェクトを移動させることに対応するコマンドを適用することを含んでもよく、適用されたコマンドに応答して、投影画像を修正することは、所定のジェスチャーを検出することに応答して、仮想オブジェクトを第1のロケーションから第2のロケーションへ移動するように表示することを含み得る。さらなる実施形態では、この方法は、第1のプロジェクタを第2のプロジェクタに、背中合わせの構成で、各プロジェクタの外部におけるコネクタを介して接続することを含んでもよく、認識された身体部分に基づいて決定された形状および向きで、第1および第2のプロジェクタの各々から画像を投影することは、少なくとも2つの画像をほぼ反対方向に投影することを含み得る。
さらなる実施形態では、この方法は、第1のプロジェクタを第3のプロジェクタに、それらのプロジェクタの外部におけるコネクタを介して接続すること、および、第3のプロジェクタを第2のプロジェクタに、それらのプロジェクタの外部におけるコネクタを介して接続することを含んでもよく、認識された身体部分に基づいて決定された形状および向きで、第1および第2のプロジェクタの各々から画像を投影することは、少なくとも3つの投影画像を、それらの画像がほぼ90度だけ分離されるように投影することを含み得る。
さらなる実施形態では、この方法は、第1のプロジェクタを第3のプロジェクタおよび第4のプロジェクタに、それらのプロジェクタの外部におけるコネクタを介して接続すること、ならびに、第3のおよび第4のプロジェクタを第2のプロジェクタに、それらのプロジェクタの外部におけるコネクタを介して接続することを含んでもよく、認識された身体部分に基づいて決定された形状および向きで、第1および第2のプロジェクタの各々から画像を投影することは、4つの画像を、それらの画像がほぼ90度だけ分離されるように投影することを含み得る。
さらなる実施形態では、この方法は、シーン内で基準点を定義すること、第1および第2のプロジェクタの各々の向きを、定義された基準点に基づいて決定すること、ならびに、投影画像の向きを、定義された基準点と、第1および第2のプロジェクタの向きとに基づいて設定することを含み得る。さらなる実施形態では、シーン内で基準点を定義することは、接続点によって第1のプロジェクタを第2のプロジェクタに接続すること、および、接続点を基準点として定義することを含み得る。
様々な実施形態は、ボディマウントカメラを用いて、画像をキャプチャすること、ボディマウントセンサアレイを用いて、空間データをキャプチャすること、キャプチャされた画像内でオブジェクトを認識すること、キャプチャされた画像内で、画像内にある第1の表面に対応する第1のアンカー表面を示す第1のユーザ入力を受信すること、第1のアンカー表面に対応する、ボディマウントカメラに対する距離および向きを含む、パラメータを計算すること、仮想オブジェクトが選択された第1のアンカー表面にアンカーされるように見えるように、仮想オブジェクトを表示すること、第1のアンカー表面とは異なる、キャプチャされた画像内の第2のアンカー表面を示す第2の入力を受信することであり、第2のアンカー表面が画像内にある第2の表面に対応し、第1および第2の表面が異なること、第2のアンカー表面に対応する、ボディマウントカメラに対する距離および向きを含む、パラメータを計算すること、ならびに、仮想オブジェクトがユーザにとって、選択された第2のアンカー表面にアンカーされるように、および、第1のアンカー表面から移動されるように見えるように、仮想オブジェクトを表示することによって、仮想画像を拡張現実システムにおいてレンダリングする方法を含み得る。
一実施形態では、この方法は、生成された仮想オブジェクトの表示を連続的に更新し、ユーザが自分の頭を回し、選択された第1または第2のアンカー表面に対して動くとき、仮想オブジェクトが選択された第1または第2のアンカー表面にアンカーされるように見えるようにすることを含み得る。さらなる実施形態では、仮想オブジェクトを表示することは、仮想ヘッドマウントディスプレイを表示することを含み得る。この方法は、ビデオ画像を、選択された第1または第2のアンカー表面にアンカーされたヘッドマウントディスプレイ上で見えているように出力することをさらに含み得る。さらなる実施形態では、仮想オブジェクトがユーザにとって、選択された第2のアンカー表面にアンカーされ、第1のアンカー表面から移動されるように見えるように、生成された仮想オブジェクトを表示することは、仮想オブジェクトを、フラットスクリーンディスプレイに似ている長方形をした仮想オブジェクトとして生成すること、および、生成された仮想オブジェクトを、半透明ディスプレイ上に表示することであり、仮想オブジェクトが、半透明ディスプレイを通して可視の実世界表面上に重ね合わせられることを含み得る。
さらなる実施形態では、第1または第2のアンカー表面は、室内の壁を含んでもよく、仮想オブジェクトは、ユーザが室内を動き回るとき、室内の壁にアンカーされたままである。さらなる実施形態では、仮想オブジェクトが選択された第1または第2のアンカー表面にアンカーされるように見えるように、生成された仮想オブジェクトを表示することは、仮想オブジェクトが第1または第2のアンカー表面に接触しているように見えるように、および、第1または第2のアンカー表面が、アンカーされた仮想オブジェクトのための厳密な支点であるように見えるように、仮想オブジェクトを生成することを含み得る。さらなる実施形態では、仮想オブジェクトが選択されたアンカー表面にアンカーされるように見えるように、生成された仮想オブジェクトを表示することは、仮想オブジェクトが第1または第2のアンカー表面から離間しているが、固定位置で、第1または第2のアンカー表面に対して離間して浮かんでいるように見えるように、仮想オブジェクトを生成することを含み得る。
さらなる実施形態では、この方法は、キャプチャされた空間データ、生成された仮想オブジェクト、および画像によるデータを、第2のヘッドマウントディスプレイへ送信することを含み得る。さらなる実施形態では、この方法は、マイクロフォンを利用して、ユーザから音声を受信すること、検出アルゴリズムを、受信された音声に適用して、所定の音声信号を検出すること、および、所定の音声信号が検出されるとき、あらかじめ定義されたユーザ入力を実施することを含み得る。さらなる実施形態では、検出アルゴリズムを、受信された音声に適用して、所定の音声信号を検出することは、検出アルゴリズムを、受信された音声に適用して、あらかじめ定義されたユーザ入力に対応する、ユーザによって話された所定の音声信号を検出することを含み得る。さらなる実施形態では、検出された所定の音声信号に対応する、あらかじめ定義されたユーザ入力は、第1の入力、第2の入力、または、第1の入力および第2の入力のうちの1つの確認のうちの1つである。
さらなる実施形態では、この方法は、ヘッドマウントディスプレイとともにマウントおよび配設されるボディマウントカメラを用いて、画像をキャプチャすること、ならびに、仮想オブジェクトをヘッドマウントディスプレイ上に表示することを含み得る。さらなる実施形態では、ボディマウントカメラおよびヘッドマウントディスプレイは、ボディマウントデバイスを含む。この方法は、ボディマウントデバイスと第2のボディマウントデバイスとの間でワイヤレスデータリンクを確立すること、音声データを第2のボディマウントデバイスから、ワイヤレスデータリンクを介して受信すること、および、受信された音声データを使用して、音声をユーザに出力することをさらに含み得る。さらなる実施形態では、この方法は、ビデオデータを、ワイヤレスデータリンクを介して受信すること、および、受信されたビデオデータを使用して、ヘッドマウントディスプレイ上で、第2のボディマウントデバイスから受信された、ビデオ画像を出力することを含んでもよく、ビデオは、アンカーされた仮想オブジェクトを表示する。
さらなる実施形態では、ビデオデータを、ワイヤレスデータリンクを介して受信することは、仮想オブジェクトについての3次元モデルデータ、アンカリング表面についての3次元データ、アンカリング点についての3次元データ、3次元深度データ、および3次元距離データのうちの、1つまたは複数を受信することを含み得る。さらなる実施形態では、この方法は、仮想オブジェクトのためのスタンバイロケーションを示す第3の入力を受信することであり、スタンバイロケーションは、第1および第2のアンカー表面とは異なること、スタンバイロケーションに対応する、ボディマウントカメラに対する距離および向きを含む、パラメータを計算すること、ならびに、仮想オブジェクトをスタンバイロケーションに表示することを含み得る。さらなる実施形態では、スタンバイロケーションは、ディスプレイ上で自由に浮いているように表示され、ユーザが自分の頭を回し、動くとき、仮想オブジェクトがディスプレイ上で移動可能なように、および画像内の表面に接続されていないように見える。
さらなる実施形態では、ボディマウントカメラを用いて、画像をキャプチャすることは、フルカラービデオカメラによってビデオデータをキャプチャすることを含んでもよく、ボディマウントセンサアレイを用いて、空間データをキャプチャすることは、画像内のオブジェクトまでの距離を決定するために、距離センサを利用して、空間データをキャプチャすることを含み得る。さらなる実施形態では、ボディマウントセンサアレイを用いて、空間データをキャプチャすることは、赤外線レーザーおよび赤外線センサを使用して、画像内のオブジェクトの距離情報をキャプチャすることを含み得る。さらなる実施形態では、この方法は、キャプチャされたビデオデータと、計算された空間データとに基づいて、3次元マップを構築することを含み得る。さらなる実施形態では、この方法は、ボディマウントカメラを利用して、ユーザの動きを追跡すること、検出アルゴリズムを追跡されたユーザの動きに適用して、所定のジェスチャーを検出すること、および、所定のジェスチャーが検出されるとき、所定のジェスチャーに対応するコマンドを実行することを含み得る。
さらなる実施形態では、検出される所定のジェスチャーは、「OK」サイン、握りこぶし、開いた手、1本の指を用いて指すこと、2本の指を用いて指すこと、3本または4本の指を用いて指すこと、差し伸ばした手、手の回転、手を振ること、1本または複数本の指の動き、身体部分または足の動き、および、それらの任意の組合せからなるグループから選択される。さらなる実施形態では、所定のジェスチャーは、ジェスチャー辞書から検索される。さらなる実施形態では、ジェスチャー辞書は、突くジェスチャー、軽くたたくジェスチャー、またはターゲット選択もしくはトグリングのためのタップジェスチャー、画面上で画面オブジェクトを案内するための押すジェスチャー、画面オブジェクトに勢いを与えるためのフリックジェスチャー、画面オブジェクトを回転させるためのターンジェスチャー、ズーム動作のためのつかむジェスチャーもしくは引くジェスチャー、パンする動作のための両手の動きのジェスチャー、画面オブジェクトのサイズを変更するための、両手を別々に描画する(drawing hands apart)ジェスチャー、および、メディアを通して水平にスクロールするか、もしくは左右に動かすためのスワイプジェスチャーのうちの、1つまたは複数を定義する。
さらなる実施形態では、キャプチャされた画像内の第1のアンカー表面を示す第1の入力を受信することは、キャプチャされた画像内の表面をアンカー表面として指定するためのコマンドに対応する、ユーザによって行われた第1の所定のジェスチャーを検出すること、および、そのコマンドを適用することを含んでもよく、仮想オブジェクトを画像内でアンカーするための第2の入力を受信することは、アンカー表面をキャプチャされた画像内の別の表面に移動させるためのコマンドに対応する、ユーザによって行われた第2の所定のジェスチャーを検出すること、および、そのコマンドを適用することを含んでもよい。さらなる実施形態では、第1の検出された所定のジェスチャーまたは第2の検出された所定のジェスチャーのいずれかは、ユーザがキャプチャされた画像内の表面を指すことを含み得る。さらなる実施形態では、この方法は、第1の入力が受信された後、ユーザの動きを追跡することを継続すること、検出アルゴリズムを追跡された動きに適用して、第1の入力を確認するユーザ入力に対応する第3の所定のジェスチャーを検出すること、および、第3の所定のジェスチャーに応答して、仮想オブジェクトを選択されたアンカー表面にアンカーすることを含み得る。
様々な実施形態は、シーン内の表面およびオブジェクトのロケーションに関するデータを、第1のボディマウントセンサデバイスから収集された画像および空間データに基づいて生成すること、シーンの3次元マップを、生成されたデータに基づいて生成すること、地理的識別メタデータを、シーンの3次元マップに追加すること、地理的識別メタデータおよび3次元マップをメモリに記憶すること、ならびに、地理的識別メタデータおよび3次元マップのうちの少なくとも一部分を、第2のボディマウントセンサデバイスへ送信することによって、拡張現実システムにおいて使用するための空間データを記憶する方法を含み得る。一実施形態では、シーン内の表面およびオブジェクトのロケーションに関するデータを、第1のボディマウントセンサデバイスから収集された画像および空間データに基づいて生成することは、ボディマウントカメラを用いて、シーンのシーン画像をキャプチャすること、ボディマウントセンサアレイを用いて、シーン内のオブジェクトの空間データをキャプチャすること、キャプチャされたシーン画像内でオブジェクトを認識すること、ならびに、第1のボディマウントセンサデバイスから、シーン画像内で認識されたオブジェクトまでの距離を決定することを含んでもよく、地理的識別メタデータを、シーンの3次元マップに追加することは、決定された距離を、シーン画像内で認識されたオブジェクトに関連付けることを含んでもよい。
一実施形態では、この方法は、第2のボディマウントセンサデバイスのロケーションを決定することを含んでもよく、地理的識別メタデータおよび3次元マップのうちの少なくとも一部分を、第2のボディマウントセンサデバイスへ送信することは、第2のボディマウントセンサデバイスのロケーションに関連する地理的識別メタデータおよび3次元マップのうちの一部分を送信することを含んでもよい。さらなる実施形態では、この方法は、地理的識別メタデータおよび3次元マップのうちの送信された部分を、第2のボディマウントセンサデバイスにおいて受信すること、ならびに、地理的識別メタデータおよび3次元マップのうちの受信された部分に部分的に基づいて、仮想画像を第2のボディマウントセンサデバイス上のディスプレイ上に生成することを含み得る。
さらなる実施形態では、この方法は、第2のボディマウントセンサデバイスのロケーションを決定すること、シーン内の表面およびオブジェクトのロケーションに関するデータを、第2のボディマウントセンサデバイスから収集された画像および空間データに基づいて生成すること、ならびに、地理的識別メタデータおよび3次元マップを、第2のボディマウントセンサデバイスによって生成されたデータに基づいて改善することを含み得る。さらなる実施形態では、地理的識別メタデータを、シーンの3次元マップに追加することは、ジオタグを用いて3次元マップにタグ付けすることを含み得る。さらなる実施形態では、シーン内の表面およびオブジェクトのロケーションに関するデータを、第1のボディマウントセンサデバイスから収集された画像および空間データに基づいて生成すること、シーンの3次元マップを、生成されたデータに基づいて生成すること、ならびに、地理的識別メタデータを、シーンの3次元マップに追加することは、第1のボディマウントセンサデバイス内のプロセッサにおいて達成される。
さらなる実施形態では、この方法は、第1のボディマウントセンサデバイスによって収集された画像および空間データを、第1のボディマウントセンサデバイスと通信しているプロセッサに中継することを含んでもよく、シーン内の表面およびオブジェクトのロケーションに関するデータを、第1のボディマウントセンサデバイスから収集された画像および空間データに基づいて生成すること、シーンの3次元マップを、生成されたデータに基づいて生成すること、ならびに、地理的識別メタデータを、シーンの3次元マップに追加することは、第1のボディマウントセンサデバイスと通信しているプロセッサにおいて達成される。さらなる実施形態では、この方法は、第1のボディマウントセンサデバイスによって収集された画像および空間データを、ネットワークを介してサーバへ送信することを含んでもよく、シーン内の表面およびオブジェクトのロケーションに関するデータを、第1のボディマウントセンサデバイスから収集された画像および空間データに基づいて生成すること、シーンの3次元マップを、生成されたデータに基づいて生成すること、ならびに、地理的識別メタデータを、シーンの3次元マップに追加することは、第1のボディマウントセンサデバイスから受信された画像および空間データに基づいて、サーバにおいて達成される。
さらなる実施形態では、この方法は、第2のボディマウントセンサデバイスのロケーションを決定すること、ならびに、地理的識別メタデータおよび3次元マップの一部分を求めて、要求を第2のボディマウントセンサデバイスからサーバへ送信することであり、この要求は、第2のボディマウントセンサデバイスの決定されたロケーションを含むことを含んでもよく、地理的識別メタデータおよび3次元マップのうちの少なくとも一部分を、第2のボディマウントセンサデバイスへ送信することは、サーバから第2のボディマウントセンサデバイスへ、第2のボディマウントセンサデバイスのロケーションに関連する、地理的識別メタデータおよび3次元マップのうちの一部分を送信することを含んでもよい。さらなる実施形態では、シーンの3次元マップを生成することは、シーン内の3次元表面の数学的表現を生じること、および、地理的識別メタデータを数学的表現に書き込むことを含み得る。さらなる実施形態では、地理的識別メタデータおよび3次元マップをメモリに記憶することは、数学的表現を、第1および第2のボディマウントセンサデバイスによってアクセス可能なサーバ上に記憶することを含み得る。
さらなる実施形態では、シーン内の表面およびオブジェクトのロケーションに関するデータを、第1のボディマウントセンサデバイスから収集された画像および空間データに基づいて生成することは、第1のボディマウントセンサデバイスのロケーションを決定すること、ボディマウントカメラを用いて、シーンのシーン画像をキャプチャすること、ボディマウントセンサアレイを用いて、シーン内のオブジェクトの空間データをキャプチャすること、キャプチャされたシーン画像内でオブジェクトを認識すること、および、シーン画像内で認識されたオブジェクトのロケーションを決定することを含んでもよく、地理的識別メタデータを、シーンの3次元マップに追加することは、決定されたロケーションを、シーン画像内で認識されたオブジェクトに関連付けることを含んでもよい。さらなる実施形態では、画像内で認識されたオブジェクトのロケーションを決定することは、第1のボディマウントセンサデバイスの決定されたロケーションに対するオブジェクトのロケーションを決定することを含み得る。さらなる実施形態では、画像内で認識されたオブジェクトのロケーションを決定することは、第1のボディマウントセンサデバイスのロケーションを決定することにおいて使用された座標系内で、オブジェクトのロケーションを決定することを含み得る。
様々な実施形態は、仮想オブジェクトが表示されるべきであるシーンの画像をキャプチャすること、キャプチャされた画像中に存在する身体部分を認識すること、および、仮想オブジェクトの表示を、認識された身体部分に基づいて調整することによって、画像を拡張現実システムにおいてレンダリングする方法を含み得る。一実施形態では、仮想オブジェクトの表示を調整することは、認識された身体部分に重なる仮想オブジェクトの一部分を識別すること、および、認識された身体部分が、仮想オブジェクトの識別された部分をふさぐように見えるように、識別された部分を抑制することを含み得る。さらなる実施形態では、仮想オブジェクトの表示を調整することは、認識された身体部分に重なる仮想オブジェクトの一部分を識別すること、および、仮想オブジェクトの識別された部分が、認識された身体部分をふさぐように見えるように、仮想オブジェクトを認識された身体部分上に重ね合わせることを含み得る。
さらなる実施形態では、表示された仮想オブジェクトを調整することは、仮想オブジェクトが、認識された身体部分を通して可視であるように、および、認識された身体部分が半透明に見えるように、認識された身体部分に重なる仮想オブジェクトの表示された部分を調整することを含み得る。さらなる実施形態では、この方法は、ボディマウント半透明ディスプレイを装着している個人が、ディスプレイを通してシーンを見ることができるように構成された、ボディマウント半透明ディスプレイ上に、仮想オブジェクトを表示することを含み得る。さらなる実施形態では、仮想オブジェクトが表示されるべきであるシーンの画像をキャプチャすることは、第1の個人によって装着されたボディマウントカメラを用いて、画像をキャプチャすることを含み得る。この方法は、第1の個人によって装着されたボディマウントセンサアレイを用いて、空間データをキャプチャすること、キャプチャされた画像内でオブジェクトを認識すること、および、キャプチャされた画像内で認識されたオブジェクトまでの距離を決定することをさらに含み得る。さらなる実施形態では、この方法は、ボディマウント半透明ディスプレイを装着している個人にとって、シーンが可視であるように、仮想オブジェクトおよびキャプチャされた画像をヘッドマウントディスプレイ上に表示することを含み得る。
さらなる実施形態では、キャプチャされた画像中に存在する身体部分を認識することは、解剖学的解析をキャプチャされた画像に適用することを含み得る。さらなる実施形態では、解剖学的解析を画像に適用することは、キャプチャされた画像内でオブジェクトを認識すること、認識されたオブジェクトを、メモリに記憶された骨格モデルと比較することであり、記憶された骨格モデルが、人間の骨格の主要な関節、骨、および肢についての相対位置情報を含むこと、ならびに、認識されたオブジェクトを骨格モデルと比較することに応答して、認識されたオブジェクトのいずれかが骨格モデルの一部分に適合するかどうかを判定することを含み得る。さらなる実施形態では、この方法は、キャプチャされた画像中に存在する身体部分を認識することに応答して、身体部分が第1の個人に属するか、第2の個人に属するかを判定すること、仮想オブジェクトのロケーションおよび包含されたエリアを決定すること、ならびに、認識された身体部分が、仮想オブジェクトによって包含されたエリアの少なくとも一部分に重なるかどうかを判定することを含み得る。
さらなる実施形態では、身体部分が第1の個人に属するか、第2の個人に属するかを判定することは、認識された身体部分の向きに基づいて、身体部分が第1の個人に属するか、第2の個人に属するかを判定することを含み得る。さらなる実施形態では、身体部分が第1の個人に属するか、第2の個人に属するかを判定することは、ボディマウントカメラからの認識された身体部分の距離に基づいて、身体部分が第1の個人または第2の個人に属すると判定することを含み得る。さらなる実施形態では、身体部分が第1の個人に属するか、第2の個人に属するかを判定することは、キャプチャされた画像内であると判定される身体部分の数に基づいて、身体部分が第1の個人または第2の個人に属すると判定することを含み得る。
さらなる実施形態では、仮想オブジェクトの表示を調整することは、身体部分が第2の個人に属すると判定されるとき、第2の個人の認識された身体部分上に重ね合わせられた仮想オブジェクトを表示すること、および、身体部分が第1の個人に属すると判定されるとき、仮想オブジェクトが認識された身体部分の下に位置するように見えるように、仮想オブジェクトを表示することを含み得る。さらなる実施形態では、仮想オブジェクトが認識された身体部分の下に位置するように見えるように、仮想オブジェクトを表示することは、認識された身体部分に重なる仮想オブジェクトの部分をレンダリングしないことを含み得る。さらなる実施形態では、この方法は、仮想オブジェクトによって包含されたディスプレイエリアに重なる、第2の個人の認識された身体部分の部分のアウトラインを、アウトラインがディスプレイ内で仮想オブジェクトの上で可視であるように表示することを含み得る。
様々な実施形態は、各々がボディマウントカメラとヘッドマウントディスプレイとを含む、第1および第2のボディマウントデバイスによって、画像を拡張現実システムにおいてレンダリングする方法を含み得る。この方法は、第1のボディマウントデバイスのボディマウントカメラを用いて、シーンの第1のシーン画像をキャプチャすること、第1のボディマウントデバイスのヘッドマウントディスプレイ上に、仮想オブジェクトの第1の画像を表示することであり、第1の画像が、仮想オブジェクトを、第1のボディマウントデバイスのユーザに適する第1の向きで、キャプチャされた第1のシーン画像内の第1のアンカー表面にアンカーされるように表示すること、および、第2のボディマウントデバイスのヘッドマウントディスプレイ上に、仮想オブジェクトの第2の画像を表示することであり、第2の画像が、仮想オブジェクトを、第2のボディマウントデバイスのユーザに適する第2の向きで、第2のアンカー表面にアンカーされるように表示することを含み得る。
さらなる実施形態では、この方法は、仮想オブジェクトを、第1のボディマウントデバイスから第2のボディマウントデバイスへ送ること、仮想オブジェクトを、第2のボディマウントデバイスにおいて受信すること、第2のボディマウントデバイスのボディマウントカメラを用いて、シーンの第2のシーン画像をキャプチャすること、および、キャプチャされた第2のシーン画像を解析して、第2のボディマウントデバイスのユーザが見ている方向に近い方向である、第2のシーン画像内の好適なアンカー表面を識別することを含んでもよく、第2のボディマウントデバイスのヘッドマウントディスプレイ上に、第2の画像を表示することは、仮想オブジェクトが、識別された好適なアンカー表面にアンカーされるように、第2の画像を表示することを含み得る。一実施形態では、この方法は、仮想オブジェクトの向きを示す信号を、第1のボディマウントデバイスから第2のボディマウントデバイスへ送信することを含んでもよく、第2の画像を表示することは、仮想オブジェクトの向きが、第1のボディマウントデバイスから受信された信号に部分的に基づいて設定されるように、第2の画像を表示することを含み得る。
さらなる実施形態では、この方法は、仮想オブジェクトの好ましい向きを示す信号を、第1のボディマウントデバイスから第2のボディマウントデバイスへ送信すること、第2のボディマウントデバイスのユーザに、示された好ましい向きを通知すること、および、第2のボディマウントデバイスのユーザから、示された好ましい向きを受け入れるか、または拒否する入力を受信することを含んでもよく、第2のボディマウントデバイスのヘッドマウントディスプレイ上に、仮想オブジェクトの第2の画像を表示することは、受信された入力が、示された好ましい向きを受け入れるとき、仮想オブジェクトの向きが、示された好ましい向きに部分的に基づいて設定されるように、および、受信された入力が、示された好ましい向きを拒否するとき、仮想オブジェクトの向きが、示された好ましい向きとは異なるように設定されるように、第2の画像を表示することを含み得る。
さらなる実施形態では、第1のアンカー表面および第2のアンカー表面は、同じ表面である。さらなる実施形態では、この方法は、仮想オブジェクトを、第1のボディマウントデバイスから第2のボディマウントデバイスへ送信することを含んでもよく、第2のボディマウントデバイスのヘッドマウントディスプレイ上に、仮想オブジェクトの第2の画像を表示することは、第2の画像を、第2の向きで第1のアンカー表面にアンカーされるように表示することを含み得る。さらなる実施形態では、第1および第2のボディマウントデバイスは、異なるロケーションに位置し、この方法は、仮想オブジェクトを第1および第2のボディマウントデバイスの各々へ、ネットワークを介して送信することをさらに含み得る。
さらなる実施形態では、この方法は、第2のボディマウントデバイスのボディマウントカメラを用いて、第2のシーン画像をキャプチャすること、および、第2のボディマウントデバイス上で、キャプチャされた第2のシーン画像内の第2のアンカー表面を示す入力を受信することであり、示された第2のアンカー表面は、第1のアンカー表面とは異なることを含んでもよく、第2のボディマウントデバイスのヘッドマウントディスプレイ上に、第2の画像を表示することは、示された第2のアンカー表面と第2のボディマウントデバイスのユーザとに適する構成において、仮想オブジェクトを、示された第2のアンカー表面にアンカーされるように表示することを含み得る。さらなる実施形態では、この方法は、第2の仮想オブジェクトを、第2のボディマウントデバイスから第1のボディマウントデバイスへ送信すること、および、第3の画像を、第1のボディマウントデバイスのヘッドマウントディスプレイ上に表示することであり、第3の画像が、第2の仮想オブジェクトを第1のアンカー表面にアンカーされるように表示することを含み得る。
さらなる実施形態は、上記で説明した様々な実施形態の方法および/または動作に対応する様々な動作を実行するように構成された、システム、サーバ、および/またはコンピューティングデバイスを含み得る。なおさらなる実施形態は、上記で説明した様々な実施形態の方法および/または動作に対応する動作をプロセッサに実行させるための、プロセッサ実行可能命令を記憶した、非一時的プロセッサ可読記憶媒体を含み得る。
図41は、実施形態のいずれかとともに使用するのに好適な、受信機デバイスのシステムブロック図である。典型的な受信機デバイス4100は、内部メモリ4102と、ディスプレイ4103と、スピーカー4154とに結合された、プロセッサ4101を含み得る。加えて、受信機デバイス4100は、プロセッサ4101に結合されたワイヤレスデータリンクおよび/またはセルラー電話送受信機4105と、プロセッサ4101に結合されたモバイルマルチメディアブロードキャスト受信機4106とに接続され得る、電磁放射を送信および受信するためのアンテナ4104を含み得る。受信機デバイス4100は、一般に、ユーザ入力を受信するためのメニュー選択ボタンまたはロッカースイッチ4108をも含む。
様々な実施形態は、図42に示すサーバ4200のような、様々な市販のサーバデバイスのいずれにおいても実装され得る。そのようなサーバ4200は、通常、揮発性メモリ4202と、ディスクドライブ4203のような大容量の不揮発性メモリとに結合された、プロセッサ4201を含み得る。サーバ4200はまた、プロセッサ4201に結合された、フロッピー（登録商標）ディスクドライブ、コンパクトディスク(CD)またはDVDディスクドライブ4206をも含み得る。サーバ4200はまた、他のブロードキャストシステムコンピュータおよびサーバに結合されたローカルエリアネットワークなど、ネットワーク4205とデータ接続を確立するための、プロセッサ4201に結合されたネットワークアクセスポート4204をも含み得る。
プロセッサ3903、3905、4101、4201は、上記で説明した様々な実施形態の機能を含む、様々な機能を実行するようにソフトウェア命令(アプリケーション)によって構成され得る、任意のプログラマブルマイクロプロセッサ、マイクロコンピュータ、または1つもしくは複数の多重プロセッサチップであり得る。いくつかのデバイスでは、ワイヤレス通信機能専用の1つのプロセッサおよび他のアプリケーションを実行することに専用の1つのプロセッサのような、多重プロセッサ3903、3905、4101が提供され得る。一般的には、ソフトウェアアプリケーションは、それらがアクセスされ、プロセッサ4101、4201にロードされる前に、内部メモリ4102、4202、4203内に記憶され得る。プロセッサ4101、4201は、アプリケーションソフトウェア命令を記憶するのに十分な内部メモリを含み得る。多くのデバイスでは、内部メモリは、揮発性メモリ、またはフラッシュメモリなどの不揮発性メモリ、または両方の混合であり得る。本明細書では、メモリへ一般的な言及は、内部メモリ、またはデバイスに差し込まれるリムーバブルメモリと、プロセッサ3903、3905、4101、4201自体の中のメモリとを含む、プロセッサ3903、3905、4101、4201によってアクセス可能なメモリを指す。
上記の方法の説明およびプロセスフロー図は、単に説明に役立つ例として提供され、様々な実施形態のステップが提示された順番で実行されなければならないことを求めるまたは暗示するものではない。当業者なら諒解するように、上記の実施形態におけるステップの順番は、任意の順番で実行可能である。「その後」、「次いで」、「次」などの言葉は、前記ステップの順番を限定するものではなく、これらの言葉は読者に本方法の説明を案内するために単に使用される。さらに、たとえば、冠詞「a」、「an」または「the」などを使用した単数形での請求要素への言及は、その要素を単数に限定するものとして解釈されるべきではない。
本明細書で開示する実施形態に関して説明する、様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得る。ハードウェアおよびソフトウェアのこの互換性を明確に示すために、様々な例示的構成要素、ブロック、モジュール、回路、およびステップが、概してそれらの機能に関して上記で説明されている。そのような機能がハードウェアまたはソフトウェアとして実装されるかどうかは、特定のアプリケーションおよび全体的なシステムに課せられた設計制約に依存する。当業者は、各特定のアプリケーションについて様々なやり方で記載された機能を実装することができるが、そのような実装の決定は、本発明の範囲からの逸脱をもたらすものとして解釈されるべきではない。
本明細書で開示した実施形態に関して説明した様々な例示的な論理、論理ブロック、モジュール、および回路を実装するために使用されるハードウェアは、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス、個別ゲートまたはトランジスタロジック、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。代替的に、いくつかのステップまたは方法が、所与の機能に固有の回路によって実行され得る。
1つまたは複数の例示的な実施形態では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとして非一時的コンピュータ可読媒体上に記憶され得る。本明細書で開示する方法またはアルゴリズムのステップは、非一時的コンピュータ可読媒体上に常駐し得る、実行されるプロセッサ実行可能なソフトウェアモジュールで実施され得る。非一時的コンピュータ可読媒体は、コンピュータによってアクセスされ得る任意の記憶媒体を含む。限定ではなく例として、そのような非一時的コンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または、命令もしくはデータ構造の形式で所望のプログラムコードを搬送もしくは記憶するために使用され得るとともに、コンピュータによってアクセスされ得る任意の他の媒体を含み得る。本明細書で使用される場合、ディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク（登録商標）(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー（登録商標）ディスク(disk)、およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、磁気的にデータを再生し、ディスク(disc)は、レーザーで光学的にデータを再生する。上記の組合せも非一時的コンピュータ可読媒体の範囲内に含めるべきである。加えて、方法またはアルゴリズムの動作は、コンピュータプログラム製品に組み込まれ得る、非一時的な機械可読媒体および/または非一時的コンピュータ可読媒体上のコードおよび/または命令の、1つまたは任意の組合せ、またはそのセットとして存在し得る。
開示される実施形態の上記の説明は、当業者が本発明を作成または使用できるようにするために、提供される。これらの実施形態への様々な修正が当業者には容易に明らかになることになり、本明細書に定義する一般原理は、本発明の趣旨および範囲を逸脱することなしに他の実施形態に適用され得る。したがって、本発明は、本明細書に示す実施形態に限定されるものではなく、以下の特許請求の範囲および本明細書で開示する原理および新規の特徴に一致する最大の範囲を与えられるものである。
10 ヘッドマウントデバイス、ヘッドマウントディスプレイデバイス
10a 第1のヘッドマウントデバイス、ヘッドマウントまたはボディマウントカメラ、ヘッドマウントデバイス、ヘッドマウントディスプレイ
10b 第2のヘッドマウントデバイス、第2のユーザ、ヘッドマウントデバイス、第2のヘッドマウントまたはボディマウントカメラ、ヘッドマウントディスプレイ、第2のモバイル通信デバイス
12 壁
14 仮想オブジェクト、共同作業的フラットスクリーン3次元オブジェクト、仮想入力デバイスオブジェクト
14a 仮想オブジェクト、第1の仮想オブジェクト、デジタル画像、投影画像、仮想タッチスクリーン
14b 仮想オブジェクト、第2の仮想オブジェクト
14c 仮想オブジェクト、第3の仮想オブジェクト
16 アンカーされる表面、第1のアンカー表面、アンカー表面、実世界オブジェクト、実世界の壁、第2のアンカー表面、デスクトップ、水平の壁、フラットパネルスクリーン、近くの表面、物理的表面、デスクテーブルトップ、デスクトップ表面、デスクトップアンカー表面、表面、テーブル、アンカーデスクトップ表面、壁表面、壁、閲覧表面、投影表面
16a 第1のアンカー表面、アンカー表面、デスクトップ、表面、物理的表面
16b アンカー表面、第2のアンカー表面、デスク、デスクトップ表面
500 センサアレイ、シーンセンサ
503 RGB-Dカメラ
503a ステレオred-green-blue(RGB)カメラ、ステレオカメラ
503b、3704b 赤外線カメラ
503c 構造化赤外光放出器、赤外光放出器、近赤外(NIR)パルス放出器
505 音声センサ
507 モバイルプロセッサ、プロセッサ、制御システムプロセッサ
510 シーンマネージャ、シーンマネージャモジュール、シーンマネージャブロック
515 ユーザ制御ブロック、ユーザ制御
520、2245、2245a 表面マネージャブロック
525、2250、2250a 音声マネージャブロック
530、2255、2255a 情報アクセスブロック
540 ディスプレイ、小型ディスプレイ、ディスプレイユニット、マイクロディスプレイ
550 音声出力デバイス
551、4104 アンテナ
552 送信機/受信機または送受信機
553 アナログデジタル変換器
555 リモートメモリ、リモートデータ記憶媒体、データストア、内蔵メモリ
564、3103、4200 サーバ
1500、1501、1502 手
1600 ヘッドマウントデバイス
1605 モバイルデバイス
1610 ヘッドマウントデバイス制御システム、VIRT制御システム、VIRT制御ソフトウェアモジュール、制御システム
1612 高速データリンク、短距離ワイヤレスデータリンク
1615 シーンセンサ(RGB-Dカメラ)
1620、2230、2230a 音声センサ、マイクロフォン
1625 立体視ディスプレイ、半透明OLEDビデオディスプレイ、ヘッドマウントディスプレイ
1630 ヘッドフォン、センサ
2205 第1のヘッドマウントデバイス、ヘッドマウントデバイス、第1のヘッドマウントディスプレイデバイス、リモートユーザ
2210 第2のヘッドマウントデバイス、ヘッドマウントデバイス、リモートユーザ
2215、2215a、4103 ディスプレイ
2220、2220a、4154 スピーカー
2225 画像シーンセンサ
2225a 画像シーンセンサ、シーンセンサブロック
2235、2235a シーンマネージャブロック
2240、2240a ユーザ制御ブロック
2260、2260a ワイヤレスまたはワイヤードインターフェース
2265 VIRTサービス構成要素、制御プロバイダ、クラウドベースのサービス
2270 シーン記憶ブロック、シーンストア、シーンストアブロック
2275 ルータ
2280 ディレクトリ、ルックアップディレクトリ
2285、2285a ファイアウォール
2301 ユーザデータストア
2302 共有データ記憶、共有データストアメモリ
2303 ユーザデータストアメモリ
2500、3700、3900 システム
2501 モバイルデバイス、第1のデバイス
2502 モバイルデバイス、第2のデバイス
2503 モバイルデバイス、第3のデバイス
2504 サーバ、中央データベースサーバ
2530 フラットスクリーンディスプレイ、薄型テレビ
2532 テーブル
3100 コンピューティングデバイス、ユーザ、第1のソフトウェアプログラム
3101 コンピューティングデバイス、ユーザ、第2のソフトウェアプログラム
3102 コンピューティングデバイス、ユーザ、第3のソフトウェアプログラム
3104 ライブラリ
3106 共有記憶媒体、共有文書フォーマット、第3の独立したソフトウェアプログラム
3701 ヘッドマウントディスプレイ、ヘッドマウントまたはボディマウントカメラ
3703 アンカー表面
3704 ヘッドマウントディスプレイ、ヘッドマウントデバイス
3704a RGBカメラ
3704c 構造化赤外光赤外線放出器
3705 指
3706 仮想オブジェクト現実入力デバイスまたは仮想ポインタ、入力デバイス仮想オブジェクト、仮想入力デバイス
3708 ヘッドマウントまたはボディマウントカメラ、ジェスチャー追跡カメラ
3800 第1のヘッドマウントデバイスシステム、プライマリヘッドマウントデバイスシステム、プライマリシステム
3800a 第2のヘッドマウントデバイスシステム
3801 第1のヘッドマウントまたはボディマウントカメラアレイ
3802 ヘッドマウントまたはボディマウントカメラアレイ
3803、3901 ディスプレイシステム
3804 第1のプロセッサ、プライマリプロセッサ
3805、3905 第2のプロセッサ
3900a ヘッドマウントディスプレイシステム、第1のヘッドマウントデバイス、第1のユーザシステム
3900b ヘッドマウントディスプレイシステム、第2のヘッドマウントデバイス
3902、3904 ヘッドマウントまたはボディマウントカメラ
3903 第1のプロセッサ
3906 クラウドサーバ、中央サーバ
4005 ピコプロジェクタ、ハンドヘルドプロジェクタ、ポケットプロジェクタ
4006 プロジェクタ要素
4007 入力センサ、カメラ
4008 コネクタ、接続
4009 ワイヤレスインターフェース
4010 モバイルスマートフォン、ハンドヘルドデバイス、モバイルデバイス、モバイルコンピューティングデバイス、モバイル通信デバイスプロセッサ
4015 バッテリー
4020、4101、4201 プロセッサ
4025 電子マザーボード
4030 ダイオードレーザー、レーザーまたは他の光源、レーザーダイオード
4035 コンバイナ光学素子
4040 走査ミラー
4100 受信機デバイス
4102 内部メモリ
4105 ワイヤレスデータリンクおよび/またはセルラー電話送受信機
4106 モバイルマルチメディアブロードキャスト受信機
4108 メニュー選択ボタンまたはロッカースイッチ
4202 揮発性メモリ、内部メモリ
4203 ディスクドライブ、内部メモリ
4204 ネットワークアクセスポート
4205 ネットワーク
4206 フロッピー（登録商標）ディスクドライブ、コンパクトディスク(CD)またはDVDディスクドライブ
10a 第1のヘッドマウントデバイス、ヘッドマウントまたはボディマウントカメラ、ヘッドマウントデバイス、ヘッドマウントディスプレイ
10b 第2のヘッドマウントデバイス、第2のユーザ、ヘッドマウントデバイス、第2のヘッドマウントまたはボディマウントカメラ、ヘッドマウントディスプレイ、第2のモバイル通信デバイス
12 壁
14 仮想オブジェクト、共同作業的フラットスクリーン3次元オブジェクト、仮想入力デバイスオブジェクト
14a 仮想オブジェクト、第1の仮想オブジェクト、デジタル画像、投影画像、仮想タッチスクリーン
14b 仮想オブジェクト、第2の仮想オブジェクト
14c 仮想オブジェクト、第3の仮想オブジェクト
16 アンカーされる表面、第1のアンカー表面、アンカー表面、実世界オブジェクト、実世界の壁、第2のアンカー表面、デスクトップ、水平の壁、フラットパネルスクリーン、近くの表面、物理的表面、デスクテーブルトップ、デスクトップ表面、デスクトップアンカー表面、表面、テーブル、アンカーデスクトップ表面、壁表面、壁、閲覧表面、投影表面
16a 第1のアンカー表面、アンカー表面、デスクトップ、表面、物理的表面
16b アンカー表面、第2のアンカー表面、デスク、デスクトップ表面
500 センサアレイ、シーンセンサ
503 RGB-Dカメラ
503a ステレオred-green-blue(RGB)カメラ、ステレオカメラ
503b、3704b 赤外線カメラ
503c 構造化赤外光放出器、赤外光放出器、近赤外(NIR)パルス放出器
505 音声センサ
507 モバイルプロセッサ、プロセッサ、制御システムプロセッサ
510 シーンマネージャ、シーンマネージャモジュール、シーンマネージャブロック
515 ユーザ制御ブロック、ユーザ制御
520、2245、2245a 表面マネージャブロック
525、2250、2250a 音声マネージャブロック
530、2255、2255a 情報アクセスブロック
540 ディスプレイ、小型ディスプレイ、ディスプレイユニット、マイクロディスプレイ
550 音声出力デバイス
551、4104 アンテナ
552 送信機/受信機または送受信機
553 アナログデジタル変換器
555 リモートメモリ、リモートデータ記憶媒体、データストア、内蔵メモリ
564、3103、4200 サーバ
1500、1501、1502 手
1600 ヘッドマウントデバイス
1605 モバイルデバイス
1610 ヘッドマウントデバイス制御システム、VIRT制御システム、VIRT制御ソフトウェアモジュール、制御システム
1612 高速データリンク、短距離ワイヤレスデータリンク
1615 シーンセンサ(RGB-Dカメラ)
1620、2230、2230a 音声センサ、マイクロフォン
1625 立体視ディスプレイ、半透明OLEDビデオディスプレイ、ヘッドマウントディスプレイ
1630 ヘッドフォン、センサ
2205 第1のヘッドマウントデバイス、ヘッドマウントデバイス、第1のヘッドマウントディスプレイデバイス、リモートユーザ
2210 第2のヘッドマウントデバイス、ヘッドマウントデバイス、リモートユーザ
2215、2215a、4103 ディスプレイ
2220、2220a、4154 スピーカー
2225 画像シーンセンサ
2225a 画像シーンセンサ、シーンセンサブロック
2235、2235a シーンマネージャブロック
2240、2240a ユーザ制御ブロック
2260、2260a ワイヤレスまたはワイヤードインターフェース
2265 VIRTサービス構成要素、制御プロバイダ、クラウドベースのサービス
2270 シーン記憶ブロック、シーンストア、シーンストアブロック
2275 ルータ
2280 ディレクトリ、ルックアップディレクトリ
2285、2285a ファイアウォール
2301 ユーザデータストア
2302 共有データ記憶、共有データストアメモリ
2303 ユーザデータストアメモリ
2500、3700、3900 システム
2501 モバイルデバイス、第1のデバイス
2502 モバイルデバイス、第2のデバイス
2503 モバイルデバイス、第3のデバイス
2504 サーバ、中央データベースサーバ
2530 フラットスクリーンディスプレイ、薄型テレビ
2532 テーブル
3100 コンピューティングデバイス、ユーザ、第1のソフトウェアプログラム
3101 コンピューティングデバイス、ユーザ、第2のソフトウェアプログラム
3102 コンピューティングデバイス、ユーザ、第3のソフトウェアプログラム
3104 ライブラリ
3106 共有記憶媒体、共有文書フォーマット、第3の独立したソフトウェアプログラム
3701 ヘッドマウントディスプレイ、ヘッドマウントまたはボディマウントカメラ
3703 アンカー表面
3704 ヘッドマウントディスプレイ、ヘッドマウントデバイス
3704a RGBカメラ
3704c 構造化赤外光赤外線放出器
3705 指
3706 仮想オブジェクト現実入力デバイスまたは仮想ポインタ、入力デバイス仮想オブジェクト、仮想入力デバイス
3708 ヘッドマウントまたはボディマウントカメラ、ジェスチャー追跡カメラ
3800 第1のヘッドマウントデバイスシステム、プライマリヘッドマウントデバイスシステム、プライマリシステム
3800a 第2のヘッドマウントデバイスシステム
3801 第1のヘッドマウントまたはボディマウントカメラアレイ
3802 ヘッドマウントまたはボディマウントカメラアレイ
3803、3901 ディスプレイシステム
3804 第1のプロセッサ、プライマリプロセッサ
3805、3905 第2のプロセッサ
3900a ヘッドマウントディスプレイシステム、第1のヘッドマウントデバイス、第1のユーザシステム
3900b ヘッドマウントディスプレイシステム、第2のヘッドマウントデバイス
3902、3904 ヘッドマウントまたはボディマウントカメラ
3903 第1のプロセッサ
3906 クラウドサーバ、中央サーバ
4005 ピコプロジェクタ、ハンドヘルドプロジェクタ、ポケットプロジェクタ
4006 プロジェクタ要素
4007 入力センサ、カメラ
4008 コネクタ、接続
4009 ワイヤレスインターフェース
4010 モバイルスマートフォン、ハンドヘルドデバイス、モバイルデバイス、モバイルコンピューティングデバイス、モバイル通信デバイスプロセッサ
4015 バッテリー
4020、4101、4201 プロセッサ
4025 電子マザーボード
4030 ダイオードレーザー、レーザーまたは他の光源、レーザーダイオード
4035 コンバイナ光学素子
4040 走査ミラー
4100 受信機デバイス
4102 内部メモリ
4105 ワイヤレスデータリンクおよび/またはセルラー電話送受信機
4106 モバイルマルチメディアブロードキャスト受信機
4108 メニュー選択ボタンまたはロッカースイッチ
4202 揮発性メモリ、内部メモリ
4203 ディスクドライブ、内部メモリ
4204 ネットワークアクセスポート
4205 ネットワーク
4206 フロッピー（登録商標）ディスクドライブ、コンパクトディスク(CD)またはDVDディスクドライブ
Claims (64)
- 画像を拡張現実システムにおいてレンダリングする方法であって、
仮想オブジェクトが表示されるべきであるシーンの画像をキャプチャするステップと、
前記キャプチャされた画像中に存在する身体部分を認識するステップと、
前記仮想オブジェクトの表示を、前記認識された身体部分に基づいて調整するステップと
を含む方法。 - 前記仮想オブジェクトの表示を調整するステップが、
前記認識された身体部分に重なる前記仮想オブジェクトの一部分を識別するステップと、
前記認識された身体部分が、前記仮想オブジェクトの前記識別された部分をふさぐように見えるように、前記識別された部分を抑制するステップと
を含む、請求項1に記載の方法。 - 前記仮想オブジェクトの表示を調整するステップが、
前記認識された身体部分に重なる前記仮想オブジェクトの一部分を識別するステップと、
前記仮想オブジェクトの前記識別された部分が、前記認識された身体部分をふさぐように見えるように、前記仮想オブジェクトを前記認識された身体部分上に重ね合わせるステップと
を含む、請求項1に記載の方法。 - 前記表示された仮想オブジェクトを調整するステップが、前記仮想オブジェクトが前記認識された身体部分を通して可視であるように、および、前記認識された身体部分が半透明に見えるように、前記認識された身体部分に重なる前記仮想オブジェクトの表示された部分を調整するステップを含む、請求項1に記載の方法。
- ボディマウント半透明ディスプレイを装着している個人が、前記ディスプレイを通して前記シーンを見ることができるように構成された、前記ボディマウント半透明ディスプレイ上に、前記仮想オブジェクトを表示するステップ
をさらに含む、請求項1に記載の方法。 - 仮想オブジェクトが表示されるべきであるシーンの画像をキャプチャするステップが、第1の個人によって装着されたボディマウントカメラを用いて、画像をキャプチャするステップを含み、前記方法が、
前記第1の個人によって装着されたボディマウントセンサアレイを用いて、空間データをキャプチャするステップと、
前記キャプチャされた画像内でオブジェクトを認識するステップと、
前記キャプチャされた画像内で前記認識されたオブジェクトまでの距離を決定するステップと
をさらに含む、請求項1に記載の方法。 - ボディマウント半透明ディスプレイを装着している個人にとって、前記シーンが可視であるように、前記仮想オブジェクトおよび前記キャプチャされた画像をヘッドマウントディスプレイ上に表示するステップ
をさらに含む、請求項6に記載の方法。 - 前記キャプチャされた画像中に存在する身体部分を認識するステップが、
解剖学的解析を前記キャプチャされた画像に適用するステップ
を含む、請求項1に記載の方法。 - 解剖学的解析を前記画像に適用するステップが、
前記キャプチャされた画像内でオブジェクトを認識するステップと、
前記認識されたオブジェクトを、メモリに記憶された骨格モデルと比較するステップであり、前記記憶された骨格モデルが、人間の骨格の主要な関節、骨、および肢についての相対位置情報を含むステップと、
前記認識されたオブジェクトを前記骨格モデルと比較することに応答して、前記認識されたオブジェクトのいずれかが前記骨格モデルの一部分に適合するかどうかを判定するステップと
を含む、請求項8に記載の方法。 - 前記キャプチャされた画像中に存在する身体部分を認識することに応答して、前記身体部分が第1の個人に属するか、第2の個人に属するかを判定するステップと、
前記仮想オブジェクトのロケーションおよび包含されたエリアを決定するステップと、
前記認識された身体部分が、前記仮想オブジェクトによって包含された前記エリアの少なくとも一部分に重なるかどうかを判定するステップと
をさらに含む、請求項8に記載の方法。 - 前記身体部分が第1の個人に属するか、第2の個人に属するかを判定するステップが、
前記認識された身体部分の向きに基づいて、前記身体部分が前記第1の個人に属するか、前記第2の個人に属するかを判定するステップ
を含む、請求項10に記載の方法。 - 身体部分が第1の個人に属するか、第2の個人に属するかを判定するステップが、前記ボディマウントカメラからの前記認識された身体部分の距離に基づいて、前記身体部分が前記第1の個人または前記第2の個人に属すると判定するステップを含む、請求項10に記載の方法。
- 前記身体部分が第1の個人に属するか、第2の個人に属するかを判定するステップが、前記キャプチャされた画像内であると判定される身体部分の数に基づいて、前記身体部分が前記第1の個人または前記第2の個人に属すると判定するステップを含む、請求項10に記載の方法。
- 前記仮想オブジェクトの表示を調整するステップが、
前記身体部分が前記第2の個人に属すると判定されるとき、前記第2の個人の前記認識された身体部分上に重ね合わせられた前記仮想オブジェクトを表示するステップと、
前記身体部分が前記第1の個人に属すると判定されるとき、前記仮想オブジェクトが前記認識された身体部分の下に位置するように見えるように、前記仮想オブジェクトを表示するステップと
を含む、請求項10に記載の方法。 - 前記仮想オブジェクトが前記認識された身体部分の下に位置するように見えるように、前記仮想オブジェクトを表示するステップが、前記認識された身体部分に重なる前記仮想オブジェクトの部分をレンダリングしないステップを含む、請求項14に記載の方法。
- 前記仮想オブジェクトによって包含されたディスプレイエリアに重なる、前記第2の個人の前記認識された身体部分の部分のアウトラインを、前記アウトラインが前記ディスプレイ内で前記仮想オブジェクトの上で可視であるように表示するステップ
をさらに含む、請求項14に記載の方法。 - コンピューティングデバイスであって、
メモリと、
前記メモリに結合されたプロセッサと
を備えるコンピューティングデバイスであって、
仮想オブジェクトが表示されるべきであるシーンの画像をキャプチャすること、
前記キャプチャされた画像中に存在する身体部分を認識すること、および
前記仮想オブジェクトの表示を、前記認識された身体部分に基づいて調整すること
を含む動作を実行するためのプロセッサ実行可能命令で、前記プロセッサが構成される、コンピューティングデバイス。 - 前記仮想オブジェクトの表示を調整することが、
前記認識された身体部分に重なる前記仮想オブジェクトの一部分を識別すること、および
前記認識された身体部分が、前記仮想オブジェクトの前記識別された部分をふさぐように見えるように、前記識別された部分を抑制すること
を含む、請求項17に記載のコンピューティングデバイス。 - 前記仮想オブジェクトの表示を調整することが、
前記認識された身体部分に重なる前記仮想オブジェクトの一部分を識別すること、および
前記仮想オブジェクトの前記識別された部分が、前記認識された身体部分をふさぐように見えるように、前記仮想オブジェクトを前記認識された身体部分上に重ね合わせること
を含むようなプロセッサ実行可能命令で、前記プロセッサが構成される、請求項17に記載のコンピューティングデバイス。 - 前記表示された仮想オブジェクトを調整することが、前記仮想オブジェクトが前記認識された身体部分を通して可視であるように、および、前記認識された身体部分が半透明に見えるように、前記認識された身体部分に重なる前記仮想オブジェクトの表示された部分を調整することを含むようなプロセッサ実行可能命令で、前記プロセッサが構成される、請求項17に記載のコンピューティングデバイス。
- ボディマウント半透明ディスプレイを装着している個人が、前記ディスプレイを通して前記シーンを見ることができるように構成された、前記ボディマウント半透明ディスプレイ上に、前記仮想オブジェクトを表示すること
をさらに含む動作を実行するためのプロセッサ実行可能命令で、前記プロセッサが構成される、請求項17に記載のコンピューティングデバイス。 - 仮想オブジェクトが表示されるべきであるシーンの画像をキャプチャすることが、第1の個人によって装着されたボディマウントカメラを用いて、画像をキャプチャすることを含むようなプロセッサ実行可能命令で、前記プロセッサが構成され、
前記第1の個人によって装着されたボディマウントセンサアレイを用いて、空間データをキャプチャすること、
前記キャプチャされた画像内でオブジェクトを認識すること、および
前記キャプチャされた画像内で前記認識されたオブジェクトまでの距離を決定すること
をさらに含む動作を実行するためのプロセッサ実行可能命令で、前記プロセッサが構成される、請求項17に記載のコンピューティングデバイス。 - ボディマウント半透明ディスプレイを装着している個人にとって、前記シーンが可視であるように、前記仮想オブジェクトおよび前記キャプチャされた画像をヘッドマウントディスプレイ上に表示すること
をさらに含む動作を実行するためのプロセッサ実行可能命令で、前記プロセッサが構成される、請求項22に記載のコンピューティングデバイス。 - 前記キャプチャされた画像中に存在する身体部分を認識することが、解剖学的解析を前記キャプチャされた画像に適用することを含むようなプロセッサ実行可能命令で、前記プロセッサが構成される、請求項17に記載のコンピューティングデバイス。
- 解剖学的解析を前記画像に適用することが、
前記キャプチャされた画像内でオブジェクトを認識すること、
前記認識されたオブジェクトを、メモリに記憶された骨格モデルと比較することであり、前記記憶された骨格モデルが、人間の骨格の主要な関節、骨、および肢についての相対位置情報を含むこと、および
前記認識されたオブジェクトを前記骨格モデルと比較することに応答して、前記認識されたオブジェクトのいずれかが前記骨格モデルの一部分に適合するかどうかを判定すること
を含むようなプロセッサ実行可能命令で、前記プロセッサが構成される、請求項24に記載のコンピューティングデバイス。 - 前記キャプチャされた画像中に存在する身体部分を認識することに応答して、前記身体部分が第1の個人に属するか、第2の個人に属するかを判定すること、
前記仮想オブジェクトのロケーションおよび包含されたエリアを決定すること、および
前記認識された身体部分が、前記仮想オブジェクトによって包含された前記エリアの少なくとも一部分に重なるかどうかを判定すること
をさらに含む動作を実行するためのプロセッサ実行可能命令で、前記プロセッサが構成される、請求項24に記載のコンピューティングデバイス。 - 前記身体部分が第1の個人に属するか、第2の個人に属するかを判定することが、
前記認識された身体部分の向きに基づいて、前記身体部分が前記第1の個人に属するか、前記第2の個人に属するかを判定すること
を含むようなプロセッサ実行可能命令で、前記プロセッサが構成される、請求項26に記載のコンピューティングデバイス。 - 身体部分が第1の個人に属するか、第2の個人に属するかを判定することが、前記ボディマウントカメラからの前記認識された身体部分の距離に基づいて、前記身体部分が前記第1の個人または前記第2の個人に属すると判定することを含むようなプロセッサ実行可能命令で、前記プロセッサが構成される、請求項26に記載のコンピューティングデバイス。
- 前記身体部分が第1の個人に属するか、第2の個人に属するかを判定することが、前記キャプチャされた画像内であると判定される身体部分の数に基づいて、前記身体部分が前記第1の個人または前記第2の個人に属すると判定することを含むようなプロセッサ実行可能命令で、前記プロセッサが構成される、請求項26に記載のコンピューティングデバイス。
- 前記仮想オブジェクトの表示を調整することが、
前記身体部分が前記第2の個人に属すると判定されるとき、前記第2の個人の前記認識された身体部分上に重ね合わせられた前記仮想オブジェクトを表示すること、および
前記身体部分が前記第1の個人に属すると判定されるとき、前記仮想オブジェクトが前記認識された身体部分の下に位置するように見えるように、前記仮想オブジェクトを表示すること
を含むようなプロセッサ実行可能命令で、前記プロセッサが構成される、請求項26に記載のコンピューティングデバイス。 - 前記仮想オブジェクトが前記認識された身体部分の下に位置するように見えるように、前記仮想オブジェクトを表示することが、前記認識された身体部分に重なる前記仮想オブジェクトの部分をレンダリングしないことを含むようなプロセッサ実行可能命令で、前記プロセッサが構成される、請求項30に記載のコンピューティングデバイス。
- 前記仮想オブジェクトによって包含されたディスプレイエリアに重なる、前記第2の個人の前記認識された身体部分の部分のアウトラインを、前記アウトラインが前記ディスプレイ内で前記仮想オブジェクトの上で可視であるように表示すること
をさらに含む動作を実行するためのプロセッサ実行可能命令で、前記プロセッサが構成される、請求項30に記載のコンピューティングデバイス。 - コンピューティングデバイスであって、
仮想オブジェクトが表示されるべきであるシーンの画像をキャプチャするための手段と、
前記キャプチャされた画像中に存在する身体部分を認識するための手段と、
前記仮想オブジェクトの表示を、前記認識された身体部分に基づいて調整するための手段と
を備える、コンピューティングデバイス。 - 前記仮想オブジェクトの表示を調整するための手段が、
前記認識された身体部分に重なる前記仮想オブジェクトの一部分を識別するための手段と、
前記認識された身体部分が、前記仮想オブジェクトの前記識別された部分をふさぐように見えるように、前記識別された部分を抑制するための手段と
を備える、請求項33に記載のコンピューティングデバイス。 - 前記仮想オブジェクトの表示を調整するための手段が、
前記認識された身体部分に重なる前記仮想オブジェクトの一部分を識別するための手段と、
前記仮想オブジェクトの前記識別された部分が、前記認識された身体部分をふさぐように見えるように、前記仮想オブジェクトを前記認識された身体部分上に重ね合わせるための手段と
を備える、請求項33に記載のコンピューティングデバイス。 - 前記表示された仮想オブジェクトを調整するための手段が、前記仮想オブジェクトが前記認識された身体部分を通して可視であるように、および、前記認識された身体部分が半透明に見えるように、前記認識された身体部分に重なる前記仮想オブジェクトの表示された部分を調整するための手段を備える、請求項33に記載のコンピューティングデバイス。
- ボディマウント半透明ディスプレイを装着している個人が、前記ディスプレイを通して前記シーンを見ることができるように構成された、前記ボディマウント半透明ディスプレイ上に、前記仮想オブジェクトを表示するための手段
をさらに備える、請求項33に記載のコンピューティングデバイス。 - 仮想オブジェクトが表示されるべきであるシーンの画像をキャプチャするための手段が、第1の個人によって装着されたボディマウントカメラを用いて、画像をキャプチャするための手段を備え、前記コンピューティングデバイスが、
前記第1の個人によって装着されたボディマウントセンサアレイを用いて、空間データをキャプチャするための手段と、
前記キャプチャされた画像内でオブジェクトを認識するための手段と、
前記キャプチャされた画像内で前記認識されたオブジェクトまでの距離を決定するための手段と
をさらに備える、請求項33に記載のコンピューティングデバイス。 - ボディマウント半透明ディスプレイを装着している個人にとって、前記シーンが可視であるように、前記仮想オブジェクトおよび前記キャプチャされた画像をヘッドマウントディスプレイ上に表示するための手段
をさらに備える、請求項38に記載のコンピューティングデバイス。 - 前記キャプチャされた画像中に存在する身体部分を認識するための手段が、解剖学的解析を前記キャプチャされた画像に適用するための手段を備える、請求項33に記載のコンピューティングデバイス。
- 解剖学的解析を前記画像に適用するための手段が、
前記キャプチャされた画像内でオブジェクトを認識するための手段と、
前記認識されたオブジェクトを、メモリに記憶された骨格モデルと比較するための手段であり、前記記憶された骨格モデルが、人間の骨格の主要な関節、骨、および肢についての相対位置情報を含む手段と、
前記認識されたオブジェクトを前記骨格モデルと比較することに応答して、前記認識されたオブジェクトのいずれかが前記骨格モデルの一部分に適合するかどうかを判定するための手段と
を備える、請求項40に記載のコンピューティングデバイス。 - 前記キャプチャされた画像中に存在する身体部分を認識することに応答して、前記身体部分が第1の個人に属するか、第2の個人に属するかを判定するための手段と、
前記仮想オブジェクトのロケーションおよび包含されたエリアを決定するための手段と、
前記認識された身体部分が、前記仮想オブジェクトによって包含された前記エリアの少なくとも一部分に重なるかどうかを判定するための手段と
をさらに備える、請求項40に記載のコンピューティングデバイス。 - 前記身体部分が第1の個人に属するか、第2の個人に属するかを判定するための手段が、
前記認識された身体部分の向きに基づいて、前記身体部分が前記第1の個人に属するか、前記第2の個人に属するかを判定するための手段
を備える、請求項42に記載のコンピューティングデバイス。 - 身体部分が第1の個人に属するか、第2の個人に属するかを判定するための手段が、前記ボディマウントカメラからの前記認識された身体部分の距離に基づいて、前記身体部分が前記第1の個人または前記第2の個人に属すると判定するための手段を備える、請求項42に記載のコンピューティングデバイス。
- 前記身体部分が第1の個人に属するか、第2の個人に属するかを判定するための手段が、前記キャプチャされた画像内であると判定される身体部分の数に基づいて、前記身体部分が前記第1の個人または前記第2の個人に属すると判定するための手段を備える、請求項42に記載のコンピューティングデバイス。
- 前記仮想オブジェクトの表示を調整するための手段が、
前記身体部分が前記第2の個人に属すると判定されるとき、前記第2の個人の前記認識された身体部分上に重ね合わせられた前記仮想オブジェクトを表示するための手段と、
前記身体部分が前記第1の個人に属すると判定されるとき、前記仮想オブジェクトが前記認識された身体部分の下に位置するように見えるように、前記仮想オブジェクトを表示するための手段と
を備える、請求項42に記載のコンピューティングデバイス。 - 前記仮想オブジェクトが前記認識された身体部分の下に位置するように見えるように、前記仮想オブジェクトを表示するための手段が、前記認識された身体部分に重なる前記仮想オブジェクトの部分をレンダリングしないための手段を備える、請求項46に記載のコンピューティングデバイス。
- 前記仮想オブジェクトによって包含されたディスプレイエリアに重なる、前記第2の個人の前記認識された身体部分の部分のアウトラインを、前記アウトラインが前記ディスプレイ内で前記仮想オブジェクトの上で可視であるように表示するための手段
をさらに備える、請求項46に記載のコンピューティングデバイス。 - 画像を拡張現実システムにおいてレンダリングするための動作をプロセッサに実行させるように構成されたプロセッサ実行可能ソフトウェア命令を記憶した、非一時的コンピュータ可読記憶媒体であって、前記動作が、
仮想オブジェクトが表示されるべきであるシーンの画像をキャプチャすること、
前記キャプチャされた画像中に存在する身体部分を認識すること、および
前記仮想オブジェクトの表示を、前記認識された身体部分に基づいて調整すること
を含む、非一時的コンピュータ可読記憶媒体。 - 前記仮想オブジェクトの表示を調整することが、
前記認識された身体部分に重なる前記仮想オブジェクトの一部分を識別すること、および
前記認識された身体部分が、前記仮想オブジェクトの前記識別された部分をふさぐように見えるように、前記識別された部分を抑制すること
を含むような動作をプロセッサに実行させるように、前記記憶されたプロセッサ実行可能ソフトウェア命令が構成される、請求項49に記載の非一時的コンピュータ可読記憶媒体。 - 前記仮想オブジェクトの表示を調整することが、
前記認識された身体部分に重なる前記仮想オブジェクトの一部分を識別すること、および
前記仮想オブジェクトの前記識別された部分が、前記認識された身体部分をふさぐように見えるように、前記仮想オブジェクトを前記認識された身体部分上に重ね合わせること
を含むような動作をプロセッサに実行させるように、前記記憶されたプロセッサ実行可能ソフトウェア命令が構成される、請求項49に記載の非一時的コンピュータ可読記憶媒体。 - 前記表示された仮想オブジェクトを調整することが、前記仮想オブジェクトが前記認識された身体部分を通して可視であるように、および、前記認識された身体部分が半透明に見えるように、前記認識された身体部分に重なる前記仮想オブジェクトの表示された部分を調整することを含むような動作をプロセッサに実行させるように、前記記憶されたプロセッサ実行可能ソフトウェア命令が構成される、請求項49に記載の非一時的コンピュータ可読記憶媒体。
- ボディマウント半透明ディスプレイを装着している個人が、前記ディスプレイを通して前記シーンを見ることができるように構成された、前記ボディマウント半透明ディスプレイ上に、前記仮想オブジェクトを表示すること
を含む動作をプロセッサに実行させるように、前記記憶されたプロセッサ実行可能ソフトウェア命令が構成される、請求項49に記載の非一時的コンピュータ可読記憶媒体。 - 仮想オブジェクトが表示されるべきであるシーンの画像をキャプチャすることが、第1の個人によって装着されたボディマウントカメラを用いて、画像をキャプチャすることを含むような動作をプロセッサに実行させるように、前記記憶されたプロセッサ実行可能ソフトウェア命令が構成され、
前記第1の個人によって装着されたボディマウントセンサアレイを用いて、空間データをキャプチャすること、
前記キャプチャされた画像内でオブジェクトを認識すること、および
前記キャプチャされた画像内で前記認識されたオブジェクトまでの距離を決定すること
を含む動作をプロセッサに実行させるように、前記記憶されたプロセッサ実行可能ソフトウェア命令が構成される、請求項49に記載の非一時的コンピュータ可読記憶媒体。 - 前記ボディマウント半透明ディスプレイを装着している個人にとって、前記シーンが可視であるように、前記仮想オブジェクトおよび前記キャプチャされた画像をヘッドマウントディスプレイ上に表示すること
を含む動作をプロセッサに実行させるように、前記記憶されたプロセッサ実行可能ソフトウェア命令が構成される、請求項54に記載の非一時的コンピュータ可読記憶媒体。 - 前記キャプチャされた画像中に存在する身体部分を認識することが、解剖学的解析を前記キャプチャされた画像に適用することを含むような動作をプロセッサに実行させるように、前記記憶されたプロセッサ実行可能ソフトウェア命令が構成される、請求項49に記載の非一時的コンピュータ可読記憶媒体。
- 解剖学的解析を前記画像に適用することが、
前記キャプチャされた画像内でオブジェクトを認識すること、
前記認識されたオブジェクトを、メモリに記憶された骨格モデルと比較することであり、前記記憶された骨格モデルが、人間の骨格の主要な関節、骨、および肢についての相対位置情報を含むこと、および
前記認識されたオブジェクトを前記骨格モデルと比較することに応答して、前記認識されたオブジェクトのいずれかが前記骨格モデルの一部分に適合するかどうかを判定すること
を含むような動作をプロセッサに実行させるように、前記記憶されたプロセッサ実行可能ソフトウェア命令が構成される、請求項56に記載の非一時的コンピュータ可読記憶媒体。 - 前記キャプチャされた画像中に存在する身体部分を認識することに応答して、前記身体部分が第1の個人に属するか、第2の個人に属するかを判定すること、
前記仮想オブジェクトのロケーションおよび包含されたエリアを決定すること、および
前記認識された身体部分が、前記仮想オブジェクトによって包含された前記エリアの少なくとも一部分に重なるかどうかを判定すること
を含む動作をプロセッサに実行させるように、前記記憶されたプロセッサ実行可能ソフトウェア命令が構成される、請求項56に記載の非一時的コンピュータ可読記憶媒体。 - 前記身体部分が第1の個人に属するか、第2の個人に属するかを判定することが、
前記認識された身体部分の向きに基づいて、前記身体部分が前記第1の個人に属するか、前記第2の個人に属するかを判定すること
を含むような動作をプロセッサに実行させるように、前記記憶されたプロセッサ実行可能ソフトウェア命令が構成される、請求項58に記載の非一時的コンピュータ可読記憶媒体。 - 身体部分が第1の個人に属するか、第2の個人に属するかを判定することが、前記ボディマウントカメラからの前記認識された身体部分の距離に基づいて、前記身体部分が前記第1の個人または前記第2の個人に属すると判定することを含むような動作をプロセッサに実行させるように、前記記憶されたプロセッサ実行可能ソフトウェア命令が構成される、請求項58に記載の非一時的コンピュータ可読記憶媒体。
- 前記身体部分が第1の個人に属するか、第2の個人に属するかを判定することが、前記キャプチャされた画像内であると判定される身体部分の数に基づいて、前記身体部分が前記第1の個人または前記第2の個人に属すると判定することを含むような動作をプロセッサに実行させるように、前記記憶されたプロセッサ実行可能ソフトウェア命令が構成される、請求項58に記載の非一時的コンピュータ可読記憶媒体。
- 前記仮想オブジェクトの表示を調整することが、
前記身体部分が前記第2の個人に属すると判定されるとき、前記第2の個人の前記認識された身体部分上に重ね合わせられた前記仮想オブジェクトを表示すること、および
前記身体部分が前記第1の個人に属すると判定されるとき、前記仮想オブジェクトが前記認識された身体部分の下に位置するように見えるように、前記仮想オブジェクトを表示すること
を含むような動作をプロセッサに実行させるように、前記記憶されたプロセッサ実行可能ソフトウェア命令が構成される、請求項58に記載の非一時的コンピュータ可読記憶媒体。 - 前記仮想オブジェクトが前記認識された身体部分の下に位置するように見えるように、前記仮想オブジェクトを表示することが、前記認識された身体部分に重なる前記仮想オブジェクトの部分をレンダリングしないことを含むような動作をプロセッサに実行させるように、前記記憶されたプロセッサ実行可能ソフトウェア命令が構成される、請求項62に記載の非一時的コンピュータ可読記憶媒体。
- 前記仮想オブジェクトによって包含されたディスプレイエリアに重なる、前記第2の個人の前記認識された身体部分の部分のアウトラインを、前記アウトラインが前記ディスプレイ内で前記仮想オブジェクトの上で可視であるように表示すること
を含む動作をプロセッサに実行させるように、前記記憶されたプロセッサ実行可能ソフトウェア命令が構成される、請求項62に記載の非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161468937P | 2011-03-29 | 2011-03-29 | |
| US61/468,937 | 2011-03-29 | ||
| US13/434,488 | 2012-03-29 | ||
| PCT/US2012/031314 WO2012135553A1 (en) | 2011-03-29 | 2012-03-29 | Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking |
| US13/434,488 US9142062B2 (en) | 2011-03-29 | 2012-03-29 | Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014514652A true JP2014514652A (ja) | 2014-06-19 |
| JP5784213B2 JP5784213B2 (ja) | 2015-09-24 |
Family
ID=46926511
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014502810A Expired - Fee Related JP5960796B2 (ja) | 2011-03-29 | 2012-03-29 | ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ |
| JP2014502813A Active JP5784213B2 (ja) | 2011-03-29 | 2012-03-29 | 骨格追跡を使用した物理的表面上への仮想投影上での選択的な手のオクルージョン |
| JP2014502811A Active JP5784818B2 (ja) | 2011-03-29 | 2012-03-29 | 拡張現実システムにおける実世界表面への仮想画像のアンカリング |
| JP2014502814A Active JP6126076B2 (ja) | 2011-03-29 | 2012-03-29 | 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム |
| JP2015167751A Pending JP2015228256A (ja) | 2011-03-29 | 2015-08-27 | 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014502810A Expired - Fee Related JP5960796B2 (ja) | 2011-03-29 | 2012-03-29 | ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014502811A Active JP5784818B2 (ja) | 2011-03-29 | 2012-03-29 | 拡張現実システムにおける実世界表面への仮想画像のアンカリング |
| JP2014502814A Active JP6126076B2 (ja) | 2011-03-29 | 2012-03-29 | 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム |
| JP2015167751A Pending JP2015228256A (ja) | 2011-03-29 | 2015-08-27 | 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム |
Country Status (6)
| Country | Link |
|---|---|
| US (5) | US9384594B2 (ja) |
| EP (6) | EP2691938B1 (ja) |
| JP (5) | JP5960796B2 (ja) |
| KR (5) | KR20160084502A (ja) |
| CN (4) | CN103493106B (ja) |
| WO (5) | WO2012135545A1 (ja) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016507112A (ja) * | 2013-03-05 | 2016-03-07 | インテル コーポレイション | 複合的な知覚感知入力の対話 |
| JP2018097141A (ja) * | 2016-12-13 | 2018-06-21 | 富士ゼロックス株式会社 | 頭部装着型表示装置、仮想物体表示システム |
| KR101938361B1 (ko) * | 2017-09-29 | 2019-01-14 | 재단법인 아산사회복지재단 | X선 영상 내 체형 윤곽선 기반의 골격 상태 예측방법 및 프로그램 |
| KR20190065396A (ko) * | 2016-10-18 | 2019-06-11 | 버츄얼리 라이브 (스위츨랜드) 게엠베하 | Hmd 전달 시스템 및 방법 |
| JP2020516355A (ja) * | 2017-04-06 | 2020-06-11 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | ウェアラブルデバイスの配置のための案内を与えるための方法及び装置 |
| JP2020098451A (ja) * | 2018-12-18 | 2020-06-25 | 川崎重工業株式会社 | 情報投影システム、制御装置、及び情報投影方法 |
| JP2020520521A (ja) * | 2017-05-16 | 2020-07-09 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 協働的介入のための拡張現実 |
| US10909370B2 (en) | 2015-04-09 | 2021-02-02 | Seiko Epson Corporation | Information processing apparatus, image display apparatus, control method for information processing apparatus and image display apparatus, and computer program |
| JP2023543746A (ja) * | 2020-09-25 | 2023-10-18 | アップル インコーポレイテッド | 環境内のオブジェクトを操作するための方法 |
| KR20230165015A (ko) * | 2022-05-26 | 2023-12-05 | 주식회사 네비웍스 | 가상훈련운용장치 및 가상훈련 운용 방법 |
| JP7528621B2 (ja) | 2020-08-05 | 2024-08-06 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
| US12086330B2 (en) | 2022-05-16 | 2024-09-10 | Canon Kabushiki Kaisha | Information processing device, information processing system, information processing method, and non-transitory computer readable medium |
| US12099695B1 (en) | 2023-06-04 | 2024-09-24 | Apple Inc. | Systems and methods of managing spatial groups in multi-user communication sessions |
| US12099653B2 (en) | 2022-09-22 | 2024-09-24 | Apple Inc. | User interface response based on gaze-holding event assessment |
| US12108012B2 (en) | 2023-02-27 | 2024-10-01 | Apple Inc. | System and method of managing spatial states and display modes in multi-user communication sessions |
| US12112011B2 (en) | 2022-09-16 | 2024-10-08 | Apple Inc. | System and method of application-based three-dimensional refinement in multi-user communication sessions |
| US12112009B2 (en) | 2021-04-13 | 2024-10-08 | Apple Inc. | Methods for providing an immersive experience in an environment |
| US12118200B1 (en) | 2023-06-02 | 2024-10-15 | Apple Inc. | Fuzzy hit testing |
Families Citing this family (1192)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8121361B2 (en) | 2006-05-19 | 2012-02-21 | The Queen's Medical Center | Motion tracking system for real time adaptive imaging and spectroscopy |
| US9138636B2 (en) | 2007-05-16 | 2015-09-22 | Eyecue Vision Technologies Ltd. | System and method for calculating values in tile games |
| US9035876B2 (en) | 2008-01-14 | 2015-05-19 | Apple Inc. | Three-dimensional user interface session control |
| US8933876B2 (en) | 2010-12-13 | 2015-01-13 | Apple Inc. | Three dimensional user interface session control |
| US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US20150205111A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | Optical configurations for head worn computing |
| US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
| US9715112B2 (en) | 2014-01-21 | 2017-07-25 | Osterhout Group, Inc. | Suppression of stray light in head worn computing |
| US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9952664B2 (en) | 2014-01-21 | 2018-04-24 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9400390B2 (en) | 2014-01-24 | 2016-07-26 | Osterhout Group, Inc. | Peripheral lighting for head worn computing |
| US9595108B2 (en) | 2009-08-04 | 2017-03-14 | Eyecue Vision Technologies Ltd. | System and method for object extraction |
| JP2013501304A (ja) | 2009-08-04 | 2013-01-10 | アイキュー ビジョン テクノロジーズ リミテッド | 対象物抽出のためのシステム及び方法 |
| US9030536B2 (en) | 2010-06-04 | 2015-05-12 | At&T Intellectual Property I, Lp | Apparatus and method for presenting media content |
| US8639020B1 (en) | 2010-06-16 | 2014-01-28 | Intel Corporation | Method and system for modeling subjects from a depth map |
| US9787974B2 (en) | 2010-06-30 | 2017-10-10 | At&T Intellectual Property I, L.P. | Method and apparatus for delivering media content |
| KR20120002737A (ko) * | 2010-07-01 | 2012-01-09 | 삼성전자주식회사 | 마이크를 이용한 휴대용 단말기의 동작 제어 방법 및 장치 |
| US8918831B2 (en) | 2010-07-06 | 2014-12-23 | At&T Intellectual Property I, Lp | Method and apparatus for managing a presentation of media content |
| US9049426B2 (en) | 2010-07-07 | 2015-06-02 | At&T Intellectual Property I, Lp | Apparatus and method for distributing three dimensional media content |
| US9232274B2 (en) | 2010-07-20 | 2016-01-05 | At&T Intellectual Property I, L.P. | Apparatus for adapting a presentation of media content to a requesting device |
| US9032470B2 (en) | 2010-07-20 | 2015-05-12 | At&T Intellectual Property I, Lp | Apparatus for adapting a presentation of media content according to a position of a viewing apparatus |
| US8438502B2 (en) | 2010-08-25 | 2013-05-07 | At&T Intellectual Property I, L.P. | Apparatus for controlling three-dimensional images |
| KR20120020627A (ko) * | 2010-08-30 | 2012-03-08 | 삼성전자주식회사 | 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법 |
| US10359545B2 (en) | 2010-10-21 | 2019-07-23 | Lockheed Martin Corporation | Fresnel lens with reduced draft facet visibility |
| US9632315B2 (en) | 2010-10-21 | 2017-04-25 | Lockheed Martin Corporation | Head-mounted display apparatus employing one or more fresnel lenses |
| US8872762B2 (en) | 2010-12-08 | 2014-10-28 | Primesense Ltd. | Three dimensional user interface cursor control |
| US9336452B2 (en) * | 2011-01-16 | 2016-05-10 | Eyecue Vision Technologies Ltd. | System and method for identification of printed matter in an image |
| US20120242793A1 (en) * | 2011-03-21 | 2012-09-27 | Soungmin Im | Display device and method of controlling the same |
| WO2016057997A1 (en) * | 2014-10-10 | 2016-04-14 | Pantomime Corporation | Support based 3d navigation |
| JP5960796B2 (ja) | 2011-03-29 | 2016-08-02 | クアルコム，インコーポレイテッド | ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ |
| US9504909B2 (en) | 2011-05-05 | 2016-11-29 | Qualcomm Incorporated | Method and apparatus of proximity and stunt recording for outdoor gaming |
| JP6316186B2 (ja) * | 2011-05-06 | 2018-04-25 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 広範囲同時遠隔ディジタル提示世界 |
| US8760395B2 (en) * | 2011-05-31 | 2014-06-24 | Microsoft Corporation | Gesture recognition techniques |
| US9597587B2 (en) | 2011-06-08 | 2017-03-21 | Microsoft Technology Licensing, Llc | Locational node device |
| US9560314B2 (en) * | 2011-06-14 | 2017-01-31 | Microsoft Technology Licensing, Llc | Interactive and shared surfaces |
| KR101423536B1 (ko) * | 2011-06-14 | 2014-08-01 | 한국전자통신연구원 | 인쇄매체 기반 혼합현실 구현 장치 및 방법 |
| DE102011104524A1 (de) * | 2011-06-15 | 2012-12-20 | Ifakt Gmbh | Verfahren und Vorrichtung zum Ermitteln und Wiedergeben virtueller ortsbezogener Informationen für einen Raumbereich |
| FR2976681B1 (fr) * | 2011-06-17 | 2013-07-12 | Inst Nat Rech Inf Automat | Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme |
| US9723293B1 (en) * | 2011-06-21 | 2017-08-01 | Amazon Technologies, Inc. | Identifying projection surfaces in augmented reality environments |
| US11048333B2 (en) | 2011-06-23 | 2021-06-29 | Intel Corporation | System and method for close-range movement tracking |
| JP6074170B2 (ja) | 2011-06-23 | 2017-02-01 | インテル・コーポレーション | 近距離動作のトラッキングのシステムおよび方法 |
| US9602766B2 (en) | 2011-06-24 | 2017-03-21 | At&T Intellectual Property I, L.P. | Apparatus and method for presenting three dimensional objects with telepresence |
| US9030522B2 (en) | 2011-06-24 | 2015-05-12 | At&T Intellectual Property I, Lp | Apparatus and method for providing media content |
| US9445046B2 (en) | 2011-06-24 | 2016-09-13 | At&T Intellectual Property I, L.P. | Apparatus and method for presenting media content with telepresence |
| US8947497B2 (en) * | 2011-06-24 | 2015-02-03 | At&T Intellectual Property I, Lp | Apparatus and method for managing telepresence sessions |
| US9727132B2 (en) * | 2011-07-01 | 2017-08-08 | Microsoft Technology Licensing, Llc | Multi-visor: managing applications in augmented reality environments |
| RU2455676C2 (ru) * | 2011-07-04 | 2012-07-10 | Общество с ограниченной ответственностью "ТРИДИВИ" | Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления |
| US9459758B2 (en) | 2011-07-05 | 2016-10-04 | Apple Inc. | Gesture-based interface with enhanced features |
| US8881051B2 (en) | 2011-07-05 | 2014-11-04 | Primesense Ltd | Zoom-based gesture user interface |
| US9377865B2 (en) | 2011-07-05 | 2016-06-28 | Apple Inc. | Zoom-based gesture user interface |
| US8558759B1 (en) * | 2011-07-08 | 2013-10-15 | Google Inc. | Hand gestures to signify what is important |
| US8587635B2 (en) | 2011-07-15 | 2013-11-19 | At&T Intellectual Property I, L.P. | Apparatus and method for providing media services with telepresence |
| US10209771B2 (en) * | 2016-09-30 | 2019-02-19 | Sony Interactive Entertainment Inc. | Predictive RF beamforming for head mounted display |
| US9030498B2 (en) | 2011-08-15 | 2015-05-12 | Apple Inc. | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface |
| US9153195B2 (en) | 2011-08-17 | 2015-10-06 | Microsoft Technology Licensing, Llc | Providing contextual personal information by a mixed reality device |
| US10019962B2 (en) * | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
| WO2013028908A1 (en) | 2011-08-24 | 2013-02-28 | Microsoft Corporation | Touch and social cues as inputs into a computer |
| US9218063B2 (en) * | 2011-08-24 | 2015-12-22 | Apple Inc. | Sessionless pointing user interface |
| US8830302B2 (en) * | 2011-08-24 | 2014-09-09 | Lg Electronics Inc. | Gesture-based user interface method and apparatus |
| US9342610B2 (en) * | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
| US20130249947A1 (en) * | 2011-08-26 | 2013-09-26 | Reincloud Corporation | Communication using augmented reality |
| EP2747641A4 (en) | 2011-08-26 | 2015-04-01 | Kineticor Inc | METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION |
| WO2013032955A1 (en) | 2011-08-26 | 2013-03-07 | Reincloud Corporation | Equipment, systems and methods for navigating through multiple reality models |
| US8854282B1 (en) * | 2011-09-06 | 2014-10-07 | Google Inc. | Measurement method |
| DE102011112617A1 (de) * | 2011-09-08 | 2013-03-14 | Eads Deutschland Gmbh | Kooperativer 3D-Arbeitsplatz |
| US8941560B2 (en) | 2011-09-21 | 2015-01-27 | Google Inc. | Wearable computer with superimposed controls and instructions for external device |
| US9690100B1 (en) * | 2011-09-22 | 2017-06-27 | Sprint Communications Company L.P. | Wireless communication system with a liquid crystal display embedded in an optical lens |
| US9255813B2 (en) * | 2011-10-14 | 2016-02-09 | Microsoft Technology Licensing, Llc | User controlled real object disappearance in a mixed reality display |
| RU2017115669A (ru) | 2011-10-28 | 2019-01-28 | Мэджик Лип, Инк. | Система и способ для дополненной и виртуальной реальности |
| US9063566B2 (en) * | 2011-11-30 | 2015-06-23 | Microsoft Technology Licensing, Llc | Shared collaboration using display device |
| US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
| US10345911B2 (en) | 2011-12-23 | 2019-07-09 | Intel Corporation | Mechanism to provide visual feedback regarding computing system command gestures |
| WO2013095677A1 (en) | 2011-12-23 | 2013-06-27 | Intel Corporation | Computing system utilizing three-dimensional manipulation command gestures |
| WO2013095679A1 (en) * | 2011-12-23 | 2013-06-27 | Intel Corporation | Computing system utilizing coordinated two-hand command gestures |
| EP2795430A4 (en) | 2011-12-23 | 2015-08-19 | Intel Ip Corp | TRANSITION MECHANISM FOR A COMPUTER SYSTEM WITH USER DETECTION |
| US9052804B1 (en) | 2012-01-06 | 2015-06-09 | Google Inc. | Object occlusion to initiate a visual search |
| US9230171B2 (en) | 2012-01-06 | 2016-01-05 | Google Inc. | Object outlining to initiate a visual search |
| US8840250B1 (en) | 2012-01-11 | 2014-09-23 | Rawles Llc | Projection screen qualification and selection |
| US9077846B2 (en) * | 2012-02-06 | 2015-07-07 | Microsoft Technology Licensing, Llc | Integrated interactive space |
| US9384711B2 (en) | 2012-02-15 | 2016-07-05 | Microsoft Technology Licensing, Llc | Speculative render ahead and caching in multiple passes |
| US20130215132A1 (en) * | 2012-02-22 | 2013-08-22 | Ming Fong | System for reproducing virtual objects |
| EP2817785B1 (en) * | 2012-02-23 | 2019-05-15 | Charles D. Huston | System and method for creating an environment and for sharing a location based experience in an environment |
| US9229534B2 (en) | 2012-02-28 | 2016-01-05 | Apple Inc. | Asymmetric mapping for tactile and non-tactile user interfaces |
| JP2013196156A (ja) * | 2012-03-16 | 2013-09-30 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
| US9170648B2 (en) * | 2012-04-03 | 2015-10-27 | The Boeing Company | System and method for virtual engineering |
| US9477303B2 (en) | 2012-04-09 | 2016-10-25 | Intel Corporation | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface |
| US20130278633A1 (en) * | 2012-04-20 | 2013-10-24 | Samsung Electronics Co., Ltd. | Method and system for generating augmented reality scene |
| US9122321B2 (en) * | 2012-05-04 | 2015-09-01 | Microsoft Technology Licensing, Llc | Collaboration environment using see through displays |
| CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
| JP6040564B2 (ja) * | 2012-05-08 | 2016-12-07 | ソニー株式会社 | 画像処理装置、投影制御方法及びプログラム |
| US9210413B2 (en) * | 2012-05-15 | 2015-12-08 | Imagine Mobile Augmented Reality Ltd | System worn by a moving user for fully augmenting reality by anchoring virtual objects |
| US9153073B2 (en) | 2012-05-23 | 2015-10-06 | Qualcomm Incorporated | Spatially registered augmented video |
| US9747306B2 (en) * | 2012-05-25 | 2017-08-29 | Atheer, Inc. | Method and apparatus for identifying input features for later recognition |
| JP5966624B2 (ja) * | 2012-05-29 | 2016-08-10 | 株式会社リコー | 情報処理装置及び情報表示システム |
| US9235925B2 (en) | 2012-05-31 | 2016-01-12 | Microsoft Technology Licensing, Llc | Virtual surface rendering |
| US9286122B2 (en) * | 2012-05-31 | 2016-03-15 | Microsoft Technology Licensing, Llc | Display techniques using virtual surface allocation |
| US9230517B2 (en) | 2012-05-31 | 2016-01-05 | Microsoft Technology Licensing, Llc | Virtual surface gutters |
| US9177533B2 (en) | 2012-05-31 | 2015-11-03 | Microsoft Technology Licensing, Llc | Virtual surface compaction |
| US9456187B1 (en) | 2012-06-01 | 2016-09-27 | Amazon Technologies, Inc. | Edge-based pose detection |
| US20130328925A1 (en) * | 2012-06-12 | 2013-12-12 | Stephen G. Latta | Object focus in a mixed reality environment |
| US20130339859A1 (en) | 2012-06-15 | 2013-12-19 | Muzik LLC | Interactive networked headphones |
| US20130335405A1 (en) * | 2012-06-18 | 2013-12-19 | Michael J. Scavezze | Virtual object generation within a virtual environment |
| US20130342568A1 (en) * | 2012-06-20 | 2013-12-26 | Tony Ambrus | Low light scene augmentation |
| WO2013191315A1 (ko) * | 2012-06-21 | 2013-12-27 | 엘지전자 주식회사 | 디지털 이미지 처리 장치 및 방법 |
| US9696547B2 (en) * | 2012-06-25 | 2017-07-04 | Microsoft Technology Licensing, Llc | Mixed reality system learned input and functions |
| US10176635B2 (en) * | 2012-06-28 | 2019-01-08 | Microsoft Technology Licensing, Llc | Saving augmented realities |
| WO2014002415A1 (ja) * | 2012-06-28 | 2014-01-03 | パナソニック株式会社 | 撮像装置 |
| US20140007115A1 (en) * | 2012-06-29 | 2014-01-02 | Ning Lu | Multi-modal behavior awareness for human natural command control |
| US10528853B1 (en) * | 2012-06-29 | 2020-01-07 | Amazon Technologies, Inc. | Shape-Based Edge Detection |
| TWI498771B (zh) * | 2012-07-06 | 2015-09-01 | Pixart Imaging Inc | 可辨識手勢動作的眼鏡 |
| EP2872966A1 (en) * | 2012-07-12 | 2015-05-20 | Dual Aperture International Co. Ltd. | Gesture-based user interface |
| US20140018094A1 (en) * | 2012-07-13 | 2014-01-16 | Microsoft Corporation | Spatial determination and aiming of a mobile device |
| US9235241B2 (en) * | 2012-07-29 | 2016-01-12 | Qualcomm Incorporated | Anatomical gestures detection system using radio signals |
| KR102009928B1 (ko) * | 2012-08-20 | 2019-08-12 | 삼성전자 주식회사 | 협업 구현 방법 및 장치 |
| US10209946B2 (en) * | 2012-08-23 | 2019-02-19 | Red Hat, Inc. | Augmented reality personal identification |
| US9589000B2 (en) | 2012-08-30 | 2017-03-07 | Atheer, Inc. | Method and apparatus for content association and history tracking in virtual and augmented reality |
| US9530232B2 (en) | 2012-09-04 | 2016-12-27 | Qualcomm Incorporated | Augmented reality surface segmentation |
| EP4221187A3 (en) | 2012-09-10 | 2023-08-09 | Aemass, Inc. | Multi-dimensional data capture of an environment using plural devices |
| US9129404B1 (en) * | 2012-09-13 | 2015-09-08 | Amazon Technologies, Inc. | Measuring physical objects and presenting virtual articles |
| US10180715B2 (en) | 2012-10-05 | 2019-01-15 | Elwha Llc | Correlating user reaction with at least an aspect associated with an augmentation of an augmented view |
| US9077647B2 (en) | 2012-10-05 | 2015-07-07 | Elwha Llc | Correlating user reactions with augmentations displayed through augmented views |
| US10713846B2 (en) | 2012-10-05 | 2020-07-14 | Elwha Llc | Systems and methods for sharing augmentation data |
| US10269179B2 (en) | 2012-10-05 | 2019-04-23 | Elwha Llc | Displaying second augmentations that are based on registered first augmentations |
| US8928695B2 (en) * | 2012-10-05 | 2015-01-06 | Elwha Llc | Formatting of one or more persistent augmentations in an augmented view in response to multiple input factors |
| US9141188B2 (en) | 2012-10-05 | 2015-09-22 | Elwha Llc | Presenting an augmented view in response to acquisition of data inferring user activity |
| US9111383B2 (en) | 2012-10-05 | 2015-08-18 | Elwha Llc | Systems and methods for obtaining and using augmentation data and for sharing usage data |
| CN103777857A (zh) * | 2012-10-24 | 2014-05-07 | 腾讯科技（深圳）有限公司 | 实现视频画面转动的方法和装置 |
| US20140123077A1 (en) * | 2012-10-29 | 2014-05-01 | Intel Corporation | System and method for user interaction and control of electronic devices |
| CN105027030B (zh) | 2012-11-01 | 2018-10-23 | 艾卡姆有限公司 | 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法 |
| US9524585B2 (en) | 2012-11-05 | 2016-12-20 | Microsoft Technology Licensing, Llc | Constructing augmented reality environment with pre-computed lighting |
| US9167160B2 (en) * | 2012-11-14 | 2015-10-20 | Karl Storz Imaging, Inc. | Image capture stabilization |
| KR20140063272A (ko) * | 2012-11-16 | 2014-05-27 | 엘지전자 주식회사 | 영상표시장치, 및 그 동작방법 |
| US11237719B2 (en) | 2012-11-20 | 2022-02-01 | Samsung Electronics Company, Ltd. | Controlling remote electronic device with wearable electronic device |
| US10551928B2 (en) | 2012-11-20 | 2020-02-04 | Samsung Electronics Company, Ltd. | GUI transitions on wearable electronic device |
| US9477313B2 (en) * | 2012-11-20 | 2016-10-25 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving outward-facing sensor of device |
| US10423214B2 (en) | 2012-11-20 | 2019-09-24 | Samsung Electronics Company, Ltd | Delegating processing from wearable electronic device |
| US11157436B2 (en) | 2012-11-20 | 2021-10-26 | Samsung Electronics Company, Ltd. | Services associated with wearable electronic device |
| US10185416B2 (en) | 2012-11-20 | 2019-01-22 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving movement of device |
| US11372536B2 (en) | 2012-11-20 | 2022-06-28 | Samsung Electronics Company, Ltd. | Transition and interaction model for wearable electronic device |
| US8994827B2 (en) | 2012-11-20 | 2015-03-31 | Samsung Electronics Co., Ltd | Wearable electronic device |
| JP6036217B2 (ja) * | 2012-11-27 | 2016-11-30 | セイコーエプソン株式会社 | 表示装置、頭部装着型表示装置および表示装置の制御方法 |
| US10126820B1 (en) * | 2012-11-29 | 2018-11-13 | Amazon Technologies, Inc. | Open and closed hand detection |
| US9613461B2 (en) | 2012-12-10 | 2017-04-04 | Sony Corporation | Display control apparatus, display control method, and program |
| US9728008B2 (en) * | 2012-12-10 | 2017-08-08 | Nant Holdings Ip, Llc | Interaction analysis systems and methods |
| JP6155622B2 (ja) * | 2012-12-18 | 2017-07-05 | セイコーエプソン株式会社 | 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法 |
| US9317972B2 (en) | 2012-12-18 | 2016-04-19 | Qualcomm Incorporated | User interface for augmented reality enabled devices |
| TW201426551A (zh) * | 2012-12-26 | 2014-07-01 | Hon Hai Prec Ind Co Ltd | 虛擬機啟動排程系統及方法 |
| US9857470B2 (en) * | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
| AU2014204252B2 (en) * | 2013-01-03 | 2017-12-14 | Meta View, Inc. | Extramissive spatial imaging digital eye glass for virtual or augmediated vision |
| EP2941767A4 (en) * | 2013-01-04 | 2016-08-31 | Vuzix Corp | PORTABLE AND PORTABLE INTERACTIVE INTELLIGENT DEVICES |
| TWI495903B (zh) * | 2013-01-09 | 2015-08-11 | Nat Univ Chung Hsing | 具無接觸手勢控制之眼鏡型行動電話 |
| US20140198190A1 (en) * | 2013-01-16 | 2014-07-17 | Kris Okumu | Wearable surgical imaging device with semi-transparent screen |
| JP6143469B2 (ja) * | 2013-01-17 | 2017-06-07 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| US9717461B2 (en) | 2013-01-24 | 2017-08-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| US10327708B2 (en) | 2013-01-24 | 2019-06-25 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| US9305365B2 (en) | 2013-01-24 | 2016-04-05 | Kineticor, Inc. | Systems, devices, and methods for tracking moving targets |
| CN103970260B (zh) | 2013-01-31 | 2017-06-06 | 华为技术有限公司 | 一种非接触式手势控制方法及电子终端设备 |
| CN109008972A (zh) | 2013-02-01 | 2018-12-18 | 凯内蒂科尔股份有限公司 | 生物医学成像中的实时适应性运动补偿的运动追踪系统 |
| WO2014124416A1 (en) | 2013-02-11 | 2014-08-14 | Graco Minnesota Inc. | Remote monitoring for fluid applicator system |
| US10969805B2 (en) | 2013-02-11 | 2021-04-06 | Graco Minnesota Inc. | Paint sprayer distributed control and output volume monitoring architectures |
| US9299185B2 (en) * | 2013-02-12 | 2016-03-29 | Disney Enterprises, Inc. | Enhanced system and method for rendering visual surface |
| JP2014153663A (ja) * | 2013-02-13 | 2014-08-25 | Sony Corp | 音声認識装置、および音声認識方法、並びにプログラム |
| JP6195893B2 (ja) * | 2013-02-19 | 2017-09-13 | ミラマ サービス インク | 形状認識装置、形状認識プログラム、および形状認識方法 |
| US9325943B2 (en) * | 2013-02-20 | 2016-04-26 | Microsoft Technology Licensing, Llc | Providing a tele-immersive experience using a mirror metaphor |
| US9709806B2 (en) * | 2013-02-22 | 2017-07-18 | Sony Corporation | Head-mounted display and image display apparatus |
| US10477154B2 (en) | 2013-03-07 | 2019-11-12 | Cognex Corporation | System and method for aligning two work pieces with a vision system in the presence of occlusion |
| US9072033B2 (en) | 2013-03-08 | 2015-06-30 | Qualcomm Incorporated | Systems and methods for concurrent device discovery |
| US9721284B1 (en) | 2013-03-08 | 2017-08-01 | Aftershock Services, Inc. | System and method for facilitating a game through a primary client device and in-game content purchases through a mobile device |
| CN105188516B (zh) | 2013-03-11 | 2017-12-22 | 奇跃公司 | 用于增强和虚拟现实的系统与方法 |
| KR102003383B1 (ko) * | 2013-03-14 | 2019-07-24 | 삼성전자주식회사 | 전자 장치에서 이미지를 촬영하는 위한 장치 및 방법 |
| US9330531B1 (en) | 2013-03-14 | 2016-05-03 | Kabam, Inc. | System and method for displaying a game using a primary display and communicating alliance information among alliance members using a secondary display |
| US9367145B2 (en) * | 2013-03-14 | 2016-06-14 | Qualcomm Incorporated | Intelligent display image orientation based on relative motion detection |
| US9838506B1 (en) | 2013-03-15 | 2017-12-05 | Sony Interactive Entertainment America Llc | Virtual reality universe representation changes viewing based upon client side parameters |
| US20140280644A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Real time unified communications interaction of a predefined location in a virtual reality location |
| US20140280506A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Virtual reality enhanced through browser connections |
| US9401048B2 (en) | 2013-03-15 | 2016-07-26 | Qualcomm Incorporated | Methods and apparatus for augmented reality target detection |
| US20140267234A1 (en) * | 2013-03-15 | 2014-09-18 | Anselm Hook | Generation and Sharing Coordinate System Between Users on Mobile |
| US20140282275A1 (en) * | 2013-03-15 | 2014-09-18 | Qualcomm Incorporated | Detection of a zooming gesture |
| US20140282274A1 (en) * | 2013-03-15 | 2014-09-18 | Qualcomm Incorporated | Detection of a gesture performed with at least two control objects |
| US10109075B2 (en) | 2013-03-15 | 2018-10-23 | Elwha Llc | Temporal element restoration in augmented reality systems |
| US20140280503A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | System and methods for effective virtual reality visitor interface |
| US9454220B2 (en) * | 2014-01-23 | 2016-09-27 | Derek A. Devries | Method and system of augmented-reality simulations |
| US9607418B1 (en) * | 2013-03-15 | 2017-03-28 | Comdata Inc. | Method of transaction card recognition and interaction |
| US20140280505A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Virtual reality interaction with 3d printing |
| US20140280502A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Crowd and cloud enabled virtual reality distributed location network |
| US10025486B2 (en) | 2013-03-15 | 2018-07-17 | Elwha Llc | Cross-reality select, drag, and drop for augmented reality systems |
| US9639964B2 (en) | 2013-03-15 | 2017-05-02 | Elwha Llc | Dynamically preserving scene elements in augmented reality systems |
| US20140267581A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks |
| US10268276B2 (en) * | 2013-03-15 | 2019-04-23 | Eyecam, LLC | Autonomous computing and telecommunications head-up displays glasses |
| KR102458124B1 (ko) | 2013-03-15 | 2022-10-21 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
| WO2014147455A1 (en) | 2013-03-18 | 2014-09-25 | Minkovitch Zvi | Sports match refereeing system |
| GB201305402D0 (en) * | 2013-03-25 | 2013-05-08 | Sony Comp Entertainment Europe | Head mountable display |
| US20160033770A1 (en) * | 2013-03-26 | 2016-02-04 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
| JP6369005B2 (ja) * | 2013-10-25 | 2018-08-08 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| JP5929811B2 (ja) * | 2013-03-27 | 2016-06-08 | ブラザー工業株式会社 | 画像表示装置および画像表示プログラム |
| JP2014191718A (ja) * | 2013-03-28 | 2014-10-06 | Sony Corp | 表示制御装置、表示制御方法および記録媒体 |
| US9992419B2 (en) * | 2013-03-29 | 2018-06-05 | Sony Corporation | Display control apparatus for displaying a virtual object |
| US20150277699A1 (en) * | 2013-04-02 | 2015-10-01 | Cherif Atia Algreatly | Interaction method for optical head-mounted display |
| US20160055675A1 (en) * | 2013-04-04 | 2016-02-25 | Sony Corporation | Information processing device, information processing method, and program |
| US8922589B2 (en) | 2013-04-07 | 2014-12-30 | Laor Consulting Llc | Augmented reality apparatus |
| US9898873B2 (en) * | 2013-04-08 | 2018-02-20 | Kalloc Studios Asia Limited | Methods and systems for processing 3D graphic objects at a content processor |
| TWI578210B (zh) * | 2013-04-12 | 2017-04-11 | 鴻海精密工業股份有限公司 | 電子白板 |
| US9390561B2 (en) * | 2013-04-12 | 2016-07-12 | Microsoft Technology Licensing, Llc | Personal holographic billboard |
| US9723251B2 (en) * | 2013-04-23 | 2017-08-01 | Jaacob I. SLOTKY | Technique for image acquisition and management |
| DE102013207528A1 (de) * | 2013-04-25 | 2014-10-30 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt |
| US20140323148A1 (en) * | 2013-04-30 | 2014-10-30 | Qualcomm Incorporated | Wide area localization from slam maps |
| US9539497B1 (en) | 2013-05-07 | 2017-01-10 | Kabam, Inc. | Display of a game through a primary and mobile display with individualized audio through the mobile device |
| US9245388B2 (en) * | 2013-05-13 | 2016-01-26 | Microsoft Technology Licensing, Llc | Interactions of virtual objects with surfaces |
| US9230368B2 (en) * | 2013-05-23 | 2016-01-05 | Microsoft Technology Licensing, Llc | Hologram anchoring and dynamic positioning |
| CA2913218C (en) * | 2013-05-24 | 2022-09-27 | Awe Company Limited | Systems and methods for a shared mixed reality experience |
| WO2014193342A1 (en) | 2013-05-28 | 2014-12-04 | Hewlett-Packard Development Company, L.P. | Mobile augmented reality for managing enclosed areas |
| KR20140141383A (ko) * | 2013-05-31 | 2014-12-10 | 삼성전자주식회사 | 협동 촬영하는 전자 장치 및 그 제어 방법 |
| KR101515484B1 (ko) * | 2013-05-31 | 2015-04-29 | 전자부품연구원 | 증강현실정보 제공 장치 및 그 방법 |
| US20140359450A1 (en) * | 2013-06-03 | 2014-12-04 | Nokia Corporation | Activating a selection and a confirmation method |
| US9685003B2 (en) * | 2013-06-03 | 2017-06-20 | Microsoft Technology Licensing, Llc | Mixed reality data collaboration |
| US10137361B2 (en) * | 2013-06-07 | 2018-11-27 | Sony Interactive Entertainment America Llc | Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system |
| US10905943B2 (en) * | 2013-06-07 | 2021-02-02 | Sony Interactive Entertainment LLC | Systems and methods for reducing hops associated with a head mounted system |
| GB201310373D0 (en) * | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-Mountable Apparatus and systems |
| GB201310358D0 (en) * | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-Mountable apparatus and systems |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| GB201310367D0 (en) | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-mountable apparatus and systems |
| US9307007B2 (en) | 2013-06-14 | 2016-04-05 | Microsoft Technology Licensing, Llc | Content pre-render and pre-fetch techniques |
| US10139623B2 (en) * | 2013-06-18 | 2018-11-27 | Microsoft Technology Licensing, Llc | Virtual object orientation and visualization |
| US10955665B2 (en) * | 2013-06-18 | 2021-03-23 | Microsoft Technology Licensing, Llc | Concurrent optimal viewing of virtual objects |
| KR102099834B1 (ko) * | 2013-06-18 | 2020-04-10 | 엘지전자 주식회사 | 전자장치 및 전자장치의 동작방법 |
| US10175483B2 (en) * | 2013-06-18 | 2019-01-08 | Microsoft Technology Licensing, Llc | Hybrid world/body locked HUD on an HMD |
| EP2818985B1 (en) * | 2013-06-28 | 2021-05-12 | Nokia Technologies Oy | A hovering input field |
| KR20150004989A (ko) * | 2013-07-03 | 2015-01-14 | 한국전자통신연구원 | 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법 |
| KR102063076B1 (ko) | 2013-07-10 | 2020-01-07 | 엘지전자 주식회사 | 모바일 디바이스, 헤드 마운트 디스플레이 및 제어 방법 |
| US9952042B2 (en) | 2013-07-12 | 2018-04-24 | Magic Leap, Inc. | Method and system for identifying a user location |
| US9666187B1 (en) * | 2013-07-25 | 2017-05-30 | Google Inc. | Model for enabling service providers to address voice-activated commands |
| US20150032412A1 (en) * | 2013-07-25 | 2015-01-29 | Icu Sensor Llc | Low power movement sensor |
| WO2015017670A2 (en) * | 2013-07-31 | 2015-02-05 | Sidhant Gupta | Methods and systems for managing multi-device interaction using the doppler effect |
| US20150049001A1 (en) * | 2013-08-19 | 2015-02-19 | Qualcomm Incorporated | Enabling remote screen sharing in optical see-through head mounted display with augmented reality |
| WO2015027114A1 (en) | 2013-08-21 | 2015-02-26 | Nantmobile, Llc | Chroma key content management systems and methods |
| US9466266B2 (en) | 2013-08-28 | 2016-10-11 | Qualcomm Incorporated | Dynamic display markers |
| KR102138511B1 (ko) * | 2013-08-28 | 2020-07-28 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법 |
| US9996974B2 (en) | 2013-08-30 | 2018-06-12 | Qualcomm Incorporated | Method and apparatus for representing a physical scene |
| EP3042248B1 (en) * | 2013-09-04 | 2020-06-17 | Essilor International | Methods and systems for augmented reality |
| KR102083596B1 (ko) * | 2013-09-05 | 2020-03-02 | 엘지전자 주식회사 | 디스플레이장치 및 디스플레이장치의 동작방법 |
| US9355268B2 (en) | 2013-09-06 | 2016-05-31 | Microsoft Technology Licensing, Llc | Managing access by applications to perceptual information |
| US9424239B2 (en) * | 2013-09-06 | 2016-08-23 | Microsoft Technology Licensing, Llc | Managing shared state information produced by applications |
| US9413784B2 (en) | 2013-09-06 | 2016-08-09 | Microsoft Technology Licensing, Llc | World-driven access control |
| US9697365B2 (en) | 2013-09-06 | 2017-07-04 | Microsoft Technology Licensing, Llc | World-driven access control using trusted certificates |
| US9626773B2 (en) | 2013-09-09 | 2017-04-18 | Empire Technology Development Llc | Augmented reality alteration detector |
| US10229523B2 (en) | 2013-09-09 | 2019-03-12 | Empire Technology Development Llc | Augmented reality alteration detector |
| KR102097705B1 (ko) * | 2013-09-10 | 2020-04-07 | 삼성디스플레이 주식회사 | 디스플레이 장치, 디스플레이 시스템 및 그 제어 방법 |
| US10139914B2 (en) * | 2013-09-13 | 2018-11-27 | Nod, Inc. | Methods and apparatus for using the human body as an input device |
| US10585478B2 (en) * | 2013-09-13 | 2020-03-10 | Nod, Inc. | Methods and systems for integrating one or more gestural controllers into a head mounted wearable display or other wearable devices |
| JP6263917B2 (ja) * | 2013-09-17 | 2018-01-24 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
| US10893147B2 (en) | 2014-05-13 | 2021-01-12 | Intel Corporation | Room sensor applications and techniques |
| WO2015047216A1 (en) * | 2013-09-24 | 2015-04-02 | Intel Corporation | Systems and methods for wireless display discovery |
| US20150089453A1 (en) * | 2013-09-25 | 2015-03-26 | Aquifi, Inc. | Systems and Methods for Interacting with a Projected User Interface |
| US20170142299A1 (en) * | 2013-09-26 | 2017-05-18 | Justin Brown | Bodyband |
| KR102201733B1 (ko) * | 2013-09-30 | 2021-01-12 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그 제어 방법 |
| US8943569B1 (en) * | 2013-10-01 | 2015-01-27 | Myth Innovations, Inc. | Wireless server access control system and method |
| US9256072B2 (en) * | 2013-10-02 | 2016-02-09 | Philip Scott Lyren | Wearable electronic glasses that detect movement of a real object copies movement of a virtual object |
| US10402930B2 (en) * | 2013-10-14 | 2019-09-03 | Microsoft Technology Licensing, Llc | Management of graphics processing units in a cloud platform |
| KR102099178B1 (ko) | 2013-11-29 | 2020-04-09 | 엘지전자 주식회사 | 웨어러블 디바이스 및 웨어러블 디바이스 디스플레이 제어 방법 |
| JP6318596B2 (ja) * | 2013-12-13 | 2018-05-09 | セイコーエプソン株式会社 | 情報処理装置および情報処理装置の制御方法 |
| US20160320833A1 (en) * | 2013-12-18 | 2016-11-03 | Joseph Schuman | Location-based system for sharing augmented reality content |
| WO2015090421A1 (en) * | 2013-12-19 | 2015-06-25 | Metaio Gmbh | Method and system for providing information associated with a view of a real environment superimposed with a virtual object |
| CN104750234B (zh) * | 2013-12-27 | 2018-12-21 | 中芯国际集成电路制造(北京)有限公司 | 可穿戴智能设备及可穿戴智能设备的互动方法 |
| US20170039030A1 (en) * | 2013-12-27 | 2017-02-09 | Sony Corporation | Display control device, display control method, and program |
| CN104750229B (zh) * | 2013-12-27 | 2017-12-29 | 中芯国际集成电路制造(上海)有限公司 | 可穿戴智能设备的交互方法及穿戴智能设备系统 |
| US9264479B2 (en) * | 2013-12-30 | 2016-02-16 | Daqri, Llc | Offloading augmented reality processing |
| US10586395B2 (en) | 2013-12-30 | 2020-03-10 | Daqri, Llc | Remote object detection and local tracking using visual odometry |
| US20150185826A1 (en) * | 2013-12-30 | 2015-07-02 | Daqri, Llc | Mapping gestures to virtual functions |
| CN104777988B (zh) * | 2014-01-13 | 2018-12-14 | 联想(北京)有限公司 | 一种数据处理方法及电子设备 |
| WO2015106114A1 (en) | 2014-01-13 | 2015-07-16 | T1visions, Inc. | Display capable of object recognition |
| US9529195B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
| US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US11103122B2 (en) | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
| US20160019715A1 (en) | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
| US10191279B2 (en) | 2014-03-17 | 2019-01-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US20150277118A1 (en) | 2014-03-28 | 2015-10-01 | Osterhout Group, Inc. | Sensor dependent content position in head worn computing |
| US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
| US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
| US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
| US9810906B2 (en) | 2014-06-17 | 2017-11-07 | Osterhout Group, Inc. | External user interface for head worn computing |
| US9671613B2 (en) | 2014-09-26 | 2017-06-06 | Osterhout Group, Inc. | See-through computer display systems |
| US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
| US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
| US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
| US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
| US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
| US11227294B2 (en) | 2014-04-03 | 2022-01-18 | Mentor Acquisition One, Llc | Sight information collection in head worn computing |
| US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
| US20150205135A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | See-through computer display systems |
| US9651784B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
| US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
| US20150206173A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
| US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
| US11892644B2 (en) | 2014-01-21 | 2024-02-06 | Mentor Acquisition One, Llc | See-through computer display systems |
| US9615742B2 (en) | 2014-01-21 | 2017-04-11 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
| US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
| US11737666B2 (en) | 2014-01-21 | 2023-08-29 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
| US9529199B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
| US12093453B2 (en) | 2014-01-21 | 2024-09-17 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
| US9846308B2 (en) | 2014-01-24 | 2017-12-19 | Osterhout Group, Inc. | Haptic systems for head-worn computers |
| US9524588B2 (en) * | 2014-01-24 | 2016-12-20 | Avaya Inc. | Enhanced communication between remote participants using augmented and virtual reality |
| US9588343B2 (en) * | 2014-01-25 | 2017-03-07 | Sony Interactive Entertainment America Llc | Menu navigation in a head-mounted display |
| US9437159B2 (en) | 2014-01-25 | 2016-09-06 | Sony Interactive Entertainment America Llc | Environmental interrupt in a head-mounted display and utilization of non field of view real estate |
| US9207780B2 (en) * | 2014-01-27 | 2015-12-08 | Fuji Xerox Co., Ltd. | Systems and methods for hiding and finding digital content associated with physical objects via coded lighting |
| US9111214B1 (en) | 2014-01-30 | 2015-08-18 | Vishal Sharma | Virtual assistant system to remotely control external services and selectively share control |
| JP6334715B2 (ja) | 2014-01-31 | 2018-05-30 | エンパイア テクノロジー ディベロップメント エルエルシー | 拡張現実スキンの評価 |
| US9953462B2 (en) | 2014-01-31 | 2018-04-24 | Empire Technology Development Llc | Augmented reality skin manager |
| EP3100238A4 (en) * | 2014-01-31 | 2017-07-05 | Empire Technology Development LLC | Subject selected augmented reality skin |
| US9865088B2 (en) | 2014-01-31 | 2018-01-09 | Empire Technology Development Llc | Evaluation of augmented reality skins |
| US10007329B1 (en) * | 2014-02-11 | 2018-06-26 | Leap Motion, Inc. | Drift cancelation for portable object detection and tracking |
| US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| US20150241963A1 (en) | 2014-02-11 | 2015-08-27 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| CN104853125B (zh) * | 2014-02-19 | 2018-08-31 | 联想(北京)有限公司 | 一种智能投影方法及电子设备 |
| US9823749B2 (en) * | 2014-02-21 | 2017-11-21 | Nod, Inc. | Location determination and registration methodology for smart devices based on direction and proximity and usage of the same |
| WO2015127119A2 (en) * | 2014-02-24 | 2015-08-27 | Sony Corporation | Body position optimization and bio-signal feedback for smart wearable devices |
| US10691332B2 (en) | 2014-02-28 | 2020-06-23 | Samsung Electronics Company, Ltd. | Text input on an interactive display |
| KR20150104711A (ko) * | 2014-03-06 | 2015-09-16 | 엘지전자 주식회사 | 디스플레이 장치 및 그의 동작 방법 |
| JP2015170175A (ja) * | 2014-03-07 | 2015-09-28 | ソニー株式会社 | 情報処理装置、および情報処理方法 |
| CN103810353A (zh) * | 2014-03-09 | 2014-05-21 | 杨智 | 一种虚拟现实中的现实场景映射系统和方法 |
| WO2015139002A1 (en) * | 2014-03-14 | 2015-09-17 | Sony Computer Entertainment Inc. | Gaming device with volumetric sensing |
| CN106572810A (zh) | 2014-03-24 | 2017-04-19 | 凯内蒂科尔股份有限公司 | 去除医学成像扫描的预期运动校正的系统、方法和装置 |
| US10725298B2 (en) * | 2014-03-26 | 2020-07-28 | Mark D. Wieczorek, P.C. | Virtual reality devices and accessories |
| US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
| JP6374203B2 (ja) * | 2014-04-04 | 2018-08-15 | 株式会社日本総合研究所 | 表示システム及びプログラム |
| US9952323B2 (en) * | 2014-04-07 | 2018-04-24 | Samsung Electronics Co., Ltd. | High resolution, high frame rate, low power image sensor |
| US9922667B2 (en) | 2014-04-17 | 2018-03-20 | Microsoft Technology Licensing, Llc | Conversation, presence and context detection for hologram suppression |
| US10529359B2 (en) | 2014-04-17 | 2020-01-07 | Microsoft Technology Licensing, Llc | Conversation detection |
| WO2015161307A1 (en) * | 2014-04-18 | 2015-10-22 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9883301B2 (en) * | 2014-04-22 | 2018-01-30 | Google Technology Holdings LLC | Portable electronic device with acoustic and/or proximity sensors and methods therefor |
| CN110996080B (zh) * | 2014-04-22 | 2021-10-08 | 日本电信电话株式会社 | 视频呈现装置、视频呈现方法、以及记录介质 |
| US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
| US9672210B2 (en) | 2014-04-25 | 2017-06-06 | Osterhout Group, Inc. | Language translation with head-worn computing |
| US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
| JP6427942B2 (ja) * | 2014-05-01 | 2018-11-28 | セイコーエプソン株式会社 | 頭部装着型表示装置、制御システム、および、頭部装着型表示装置の制御方法 |
| US9766715B2 (en) | 2014-05-01 | 2017-09-19 | Seiko Epson Corporation | Head-mount type display device, control system, method of controlling head-mount type display device, and computer program |
| TWI602436B (zh) * | 2014-05-06 | 2017-10-11 | 虛擬會議系統 | |
| CN106575450B (zh) * | 2014-05-13 | 2019-07-26 | 河谷控股Ip有限责任公司 | 通过反照率模型、系统和方法的增强现实内容渲染 |
| US10845884B2 (en) * | 2014-05-13 | 2020-11-24 | Lenovo (Singapore) Pte. Ltd. | Detecting inadvertent gesture controls |
| US20160027414A1 (en) * | 2014-07-22 | 2016-01-28 | Osterhout Group, Inc. | External user interface for head worn computing |
| US20160025977A1 (en) * | 2014-07-22 | 2016-01-28 | Osterhout Group, Inc. | External user interface for head worn computing |
| US9557955B2 (en) * | 2014-05-21 | 2017-01-31 | International Business Machines Corporation | Sharing of target objects |
| GB2583848B (en) * | 2014-05-21 | 2021-03-24 | Tangible Play Inc | Virtualization of tangible interface objects |
| US9723109B2 (en) | 2014-05-28 | 2017-08-01 | Alexander Hertel | Platform for constructing and consuming realm and object feature clouds |
| US9972131B2 (en) | 2014-06-03 | 2018-05-15 | Intel Corporation | Projecting a virtual image at a physical surface |
| US9575560B2 (en) * | 2014-06-03 | 2017-02-21 | Google Inc. | Radar-based gesture-recognition through a wearable device |
| US11983401B1 (en) * | 2014-06-04 | 2024-05-14 | ULTRAHAPTICS IP TWO LIMITED, , United Kingd | Systems and methods of interacting with a virtual grid in a three-dimensional (3D) sensory space |
| US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| JP6326996B2 (ja) * | 2014-06-13 | 2018-05-23 | 富士通株式会社 | 端末装置、情報処理システム、及び表示制御プログラム |
| EP3163421A4 (en) * | 2014-06-24 | 2018-06-13 | Sony Corporation | Information processing device, information processing method, and program |
| KR101638550B1 (ko) | 2014-06-25 | 2016-07-12 | 경북대학교 산학협력단 | 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 |
| US9958947B2 (en) * | 2014-06-25 | 2018-05-01 | Comcast Cable Communications, Llc | Ocular focus sharing for digital content |
| KR101687017B1 (ko) * | 2014-06-25 | 2016-12-16 | 한국과학기술원 | 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템 |
| JP6350037B2 (ja) * | 2014-06-30 | 2018-07-04 | 株式会社安川電機 | ロボットシミュレータおよびロボットシミュレータのファイル生成方法 |
| US10219168B2 (en) * | 2014-06-30 | 2019-02-26 | Futurewei Technologies, Inc. | Methods and systems for intelligent mobile function distribution |
| WO2016001908A1 (en) * | 2014-07-03 | 2016-01-07 | Imagine Mobile Augmented Reality Ltd | 3 dimensional anchored augmented reality |
| KR20160005899A (ko) | 2014-07-08 | 2016-01-18 | 엘지전자 주식회사 | 디지털 이미지 처리 장치, 시스템 및 제어 방법 |
| EP3173848B1 (en) | 2014-07-22 | 2020-04-22 | LG Electronics Inc. | Head mounted display and control method thereof |
| US20160028781A1 (en) * | 2014-07-22 | 2016-01-28 | International Business Machines Corporation | Surface computing based social interaction |
| EP3188660A4 (en) | 2014-07-23 | 2018-05-16 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| JP6428020B2 (ja) * | 2014-07-24 | 2018-11-28 | セイコーエプソン株式会社 | Ｇｕｉ装置 |
| CN104102412B (zh) * | 2014-07-24 | 2017-12-12 | 央数文化(上海)股份有限公司 | 一种基于增强现实技术的手持式阅览设备及其方法 |
| US10451875B2 (en) | 2014-07-25 | 2019-10-22 | Microsoft Technology Licensing, Llc | Smart transparency for virtual objects |
| US9858720B2 (en) | 2014-07-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Three-dimensional mixed-reality viewport |
| US9904055B2 (en) * | 2014-07-25 | 2018-02-27 | Microsoft Technology Licensing, Llc | Smart placement of virtual objects to stay in the field of view of a head mounted display |
| US9865089B2 (en) | 2014-07-25 | 2018-01-09 | Microsoft Technology Licensing, Llc | Virtual reality environment with real world objects |
| US10416760B2 (en) | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
| US20160027218A1 (en) * | 2014-07-25 | 2016-01-28 | Tom Salter | Multi-user gaze projection using head mounted display devices |
| US10311638B2 (en) * | 2014-07-25 | 2019-06-04 | Microsoft Technology Licensing, Llc | Anti-trip when immersed in a virtual reality environment |
| US9766460B2 (en) | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
| US10282057B1 (en) | 2014-07-29 | 2019-05-07 | Google Llc | Image editing on a wearable device |
| US10412594B2 (en) | 2014-07-31 | 2019-09-10 | At&T Intellectual Property I, L.P. | Network planning tool support for 3D data |
| JP6410510B2 (ja) * | 2014-08-05 | 2018-10-24 | シャープ株式会社 | ヘッドホンユニット、一対のヘッドホンユニット、ヘッドホン装置及びヘッドホンシステム |
| EP3041591B1 (de) | 2014-08-11 | 2016-11-09 | Mack Rides GmbH & Co. KG | Verfahren zum betreiben einer vorrichtung, insbesondere eines fahrgeschäftes, eines transportmittels, eines fitnessgerätes oder dergleichen |
| US9696551B2 (en) * | 2014-08-13 | 2017-07-04 | Beijing Lenovo Software Ltd. | Information processing method and electronic device |
| CA2960793A1 (en) * | 2014-08-15 | 2016-02-18 | Beam Authentic, Inc. | Systems for handling media for wearable display devices |
| US9830395B2 (en) * | 2014-08-15 | 2017-11-28 | Daqri, Llc | Spatial data processing |
| US9799142B2 (en) | 2014-08-15 | 2017-10-24 | Daqri, Llc | Spatial data collection |
| US9799143B2 (en) | 2014-08-15 | 2017-10-24 | Daqri, Llc | Spatial data visualization |
| US9578399B2 (en) | 2014-08-25 | 2017-02-21 | Daqri, Llc | Remote sensor access and queuing |
| US20160062473A1 (en) * | 2014-08-29 | 2016-03-03 | Hand Held Products, Inc. | Gesture-controlled computer system |
| KR101524576B1 (ko) * | 2014-09-03 | 2015-06-03 | 박준호 | 웨어러블 디바이스 |
| KR102313861B1 (ko) * | 2014-09-03 | 2021-10-18 | 엘지디스플레이 주식회사 | 웨어러블 디바이스 |
| ES2563105B1 (es) * | 2014-09-10 | 2016-12-16 | Universidad De Valladolid | Sistema interactivo que combina movimiento, sonido y color como apoyo terapeútico para desarrollar habilidades perceptivo-motrices, estimular el área senso-perceptiva, fomentar la auto-expresión, realizar diagnósticos de procesos emotivos del usuario |
| EP2996017B1 (en) * | 2014-09-11 | 2022-05-11 | Nokia Technologies Oy | Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display |
| US20160078289A1 (en) * | 2014-09-16 | 2016-03-17 | Foundation for Research and Technology - Hellas (FORTH) (acting through its Institute of Computer | Gesture Recognition Apparatuses, Methods and Systems for Human-Machine Interaction |
| US9924143B2 (en) * | 2014-09-23 | 2018-03-20 | Intel Corporation | Wearable mediated reality system and method |
| US10725533B2 (en) * | 2014-09-26 | 2020-07-28 | Intel Corporation | Systems, apparatuses, and methods for gesture recognition and interaction |
| JP6452369B2 (ja) * | 2014-09-29 | 2019-01-16 | キヤノン株式会社 | 情報処理装置とその制御方法、プログラム、記憶媒体 |
| US20160092726A1 (en) * | 2014-09-30 | 2016-03-31 | Xerox Corporation | Using gestures to train hand detection in ego-centric video |
| US9778750B2 (en) | 2014-09-30 | 2017-10-03 | Xerox Corporation | Hand-gesture-based region of interest localization |
| US9818225B2 (en) * | 2014-09-30 | 2017-11-14 | Sony Interactive Entertainment Inc. | Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space |
| WO2016053311A1 (en) * | 2014-09-30 | 2016-04-07 | Hewlett Packard Enterprise Development Lp | Artifact projection |
| JP2016071900A (ja) * | 2014-09-30 | 2016-05-09 | キヤノンマーケティングジャパン株式会社 | 情報処理システム、その制御方法、及びプログラム |
| US10134082B2 (en) * | 2014-10-13 | 2018-11-20 | Paypal, Inc. | Virtual display device for an interactive merchant sales environment |
| KR102358548B1 (ko) | 2014-10-15 | 2022-02-04 | 삼성전자주식회사 | 디바이스를 이용한 화면 처리 방법 및 장치 |
| US20160112479A1 (en) * | 2014-10-16 | 2016-04-21 | Wipro Limited | System and method for distributed augmented reality |
| US10684476B2 (en) | 2014-10-17 | 2020-06-16 | Lockheed Martin Corporation | Head-wearable ultra-wide field of view display device |
| CN111080690A (zh) | 2014-10-28 | 2020-04-28 | 深圳市大疆创新科技有限公司 | 使用超声波深度感测的rgb-d成像系统和方法 |
| WO2016073986A1 (en) * | 2014-11-07 | 2016-05-12 | Eye Labs, LLC | Visual stabilization system for head-mounted displays |
| KR102265086B1 (ko) | 2014-11-07 | 2021-06-15 | 삼성전자 주식회사 | 정보를 공유하기 위한 가상 환경 |
| US11030806B2 (en) * | 2014-11-15 | 2021-06-08 | Vr Exit Llc | Combined virtual and physical environment |
| US11054893B2 (en) | 2014-11-15 | 2021-07-06 | Vr Exit Llc | Team flow control in a mixed physical and virtual reality environment |
| US10043319B2 (en) | 2014-11-16 | 2018-08-07 | Eonite Perception Inc. | Optimizing head mounted displays for augmented reality |
| US20160140761A1 (en) * | 2014-11-19 | 2016-05-19 | Microsoft Technology Licensing, Llc. | Using depth information for drawing in augmented reality scenes |
| GB2532465B (en) * | 2014-11-19 | 2021-08-11 | Bae Systems Plc | Interactive control station |
| GB2532464B (en) | 2014-11-19 | 2020-09-02 | Bae Systems Plc | Apparatus and method for selectively displaying an operational environment |
| KR102332752B1 (ko) * | 2014-11-24 | 2021-11-30 | 삼성전자주식회사 | 지도 서비스를 제공하는 전자 장치 및 방법 |
| US20160147408A1 (en) * | 2014-11-25 | 2016-05-26 | Johnathan Bevis | Virtual measurement tool for a wearable visualization device |
| US10248192B2 (en) * | 2014-12-03 | 2019-04-02 | Microsoft Technology Licensing, Llc | Gaze target application launcher |
| US9684172B2 (en) | 2014-12-03 | 2017-06-20 | Osterhout Group, Inc. | Head worn computer display systems |
| KR101655818B1 (ko) * | 2014-12-11 | 2016-09-08 | 현대자동차주식회사 | 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템 |
| US20160171739A1 (en) * | 2014-12-11 | 2016-06-16 | Intel Corporation | Augmentation of stop-motion content |
| CN112530025A (zh) * | 2014-12-18 | 2021-03-19 | 脸谱科技有限责任公司 | 用于提供虚拟现实环境的用户界面的系统、设备及方法 |
| US10275113B2 (en) | 2014-12-19 | 2019-04-30 | Hewlett-Packard Development Company, L.P. | 3D visualization |
| US10643377B2 (en) * | 2014-12-22 | 2020-05-05 | Husqvarna Ab | Garden mapping and planning via robotic vehicle |
| US20170359456A1 (en) * | 2014-12-22 | 2017-12-14 | Koninklijke Philips N.V. | Communication system comprising head wearable devices |
| US10335677B2 (en) * | 2014-12-23 | 2019-07-02 | Matthew Daniel Fuchs | Augmented reality system with agent device for viewing persistent content and method of operation thereof |
| JP6387825B2 (ja) | 2014-12-26 | 2018-09-12 | セイコーエプソン株式会社 | 表示システム、及び、情報表示方法 |
| US9728010B2 (en) * | 2014-12-30 | 2017-08-08 | Microsoft Technology Licensing, Llc | Virtual representations of real-world objects |
| USD751552S1 (en) | 2014-12-31 | 2016-03-15 | Osterhout Group, Inc. | Computer glasses |
| US9685005B2 (en) * | 2015-01-02 | 2017-06-20 | Eon Reality, Inc. | Virtual lasers for interacting with augmented reality environments |
| USD753114S1 (en) | 2015-01-05 | 2016-04-05 | Osterhout Group, Inc. | Air mouse |
| US20160202947A1 (en) * | 2015-01-09 | 2016-07-14 | Sony Corporation | Method and system for remote viewing via wearable electronic devices |
| US9787846B2 (en) * | 2015-01-21 | 2017-10-10 | Microsoft Technology Licensing, Llc | Spatial audio signal processing for objects with associated audio content |
| US9852546B2 (en) | 2015-01-28 | 2017-12-26 | CCP hf. | Method and system for receiving gesture input via virtual control objects |
| US10725297B2 (en) | 2015-01-28 | 2020-07-28 | CCP hf. | Method and system for implementing a virtual representation of a physical environment using a virtual reality environment |
| US10726625B2 (en) | 2015-01-28 | 2020-07-28 | CCP hf. | Method and system for improving the transmission and processing of data regarding a multi-user virtual environment |
| GB2550817B (en) | 2015-02-13 | 2022-06-22 | Swan Solutions Inc | System and method for controlling a terminal device |
| US9696795B2 (en) | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
| US10429923B1 (en) | 2015-02-13 | 2019-10-01 | Ultrahaptics IP Two Limited | Interaction engine for creating a realistic experience in virtual reality/augmented reality environments |
| US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
| US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
| US10216273B2 (en) | 2015-02-25 | 2019-02-26 | Bae Systems Plc | Apparatus and method for effecting a control action in respect of system functions |
| EP3062142B1 (en) | 2015-02-26 | 2018-10-03 | Nokia Technologies OY | Apparatus for a near-eye display |
| WO2016141054A1 (en) | 2015-03-02 | 2016-09-09 | Lockheed Martin Corporation | Wearable display system |
| US10156721B2 (en) * | 2015-03-09 | 2018-12-18 | Microsoft Technology Licensing, Llc | User-based context sensitive hologram reaction |
| US10108247B2 (en) | 2015-03-11 | 2018-10-23 | Swan Solutions, Inc. | Method for regulating a system for controlling a terminal device |
| US10216982B2 (en) * | 2015-03-12 | 2019-02-26 | Microsoft Technology Licensing, Llc | Projecting a virtual copy of a remote object |
| JP6328579B2 (ja) * | 2015-03-13 | 2018-05-23 | 富士フイルム株式会社 | 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム |
| CN104657103B (zh) * | 2015-03-16 | 2017-06-16 | 哈尔滨工业大学 | 基于深度摄像机的手持cave投影系统 |
| US9791917B2 (en) * | 2015-03-24 | 2017-10-17 | Intel Corporation | Augmentation modification based on user interaction with augmented reality scene |
| DE102015003883B4 (de) | 2015-03-26 | 2024-07-11 | Audi Ag | Kraftfahrzeugsimulationsanordnung zur Simulation einer virtuellen Umgebung mit einem virtuellen Kraftfahrzeug und Verfahren zur Simulation einer virtuellen Umgebung |
| TWI564647B (zh) * | 2015-03-27 | 2017-01-01 | 國立臺北科技大學 | 全景動態網路攝影機的影像轉換運算方法 |
| US10627908B2 (en) * | 2015-03-27 | 2020-04-21 | Lucasfilm Entertainment Company Ltd. | Facilitate user manipulation of a virtual reality environment view using a computing device with touch sensitive surface |
| US9594967B2 (en) * | 2015-03-31 | 2017-03-14 | Google Inc. | Method and apparatus for identifying a person by measuring body part distances of the person |
| KR102304023B1 (ko) * | 2015-04-03 | 2021-09-24 | 한국과학기술원 | 증강현실 기반 인터렉티브 저작 서비스 제공 시스템 |
| EP3280344A2 (en) * | 2015-04-07 | 2018-02-14 | King Abdullah University Of Science And Technology | Method, apparatus, and system for utilizing augmented reality to improve surgery |
| US10156908B2 (en) * | 2015-04-15 | 2018-12-18 | Sony Interactive Entertainment Inc. | Pinch and hold gesture navigation on a head-mounted display |
| EP3082017A1 (en) | 2015-04-15 | 2016-10-19 | Thomson Licensing | Method and system for displaying additional information associated with a content via an optical head mounted display device |
| US10996660B2 (en) | 2015-04-17 | 2021-05-04 | Tulip Interfaces, Ine. | Augmented manufacturing system |
| US10055888B2 (en) * | 2015-04-28 | 2018-08-21 | Microsoft Technology Licensing, Llc | Producing and consuming metadata within multi-dimensional data |
| EP3094082A1 (en) * | 2015-05-13 | 2016-11-16 | AIM Sport Vision AG | Digitally overlaying an image with another image |
| US9442575B1 (en) * | 2015-05-15 | 2016-09-13 | Atheer, Inc. | Method and apparatus for applying free space input for surface constrained control |
| IL244255A (en) | 2016-02-23 | 2017-04-30 | Vertical Optics Llc | Wearable devices for deflecting vision |
| US9690119B2 (en) | 2015-05-15 | 2017-06-27 | Vertical Optics, LLC | Wearable vision redirecting devices |
| CN107852488B (zh) * | 2015-05-22 | 2021-03-30 | 三星电子株式会社 | 用于通过hmd设备显示虚拟图像的系统和方法 |
| JP6528964B2 (ja) * | 2015-05-25 | 2019-06-12 | 株式会社リコー | 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法 |
| KR102547245B1 (ko) * | 2015-05-27 | 2023-06-22 | 주식회사 넥슨코리아 | 가상 현실 디스플레이 시스템 및 방법 |
| US9898864B2 (en) * | 2015-05-28 | 2018-02-20 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
| WO2016196453A1 (en) * | 2015-05-31 | 2016-12-08 | Chaudhuri A Ray | Information display |
| JP6585929B2 (ja) * | 2015-06-02 | 2019-10-02 | キヤノン株式会社 | システム、システムの制御方法 |
| US10248188B2 (en) * | 2015-06-03 | 2019-04-02 | James M. O'Neil | System and method for generating wireless signals and controlling digital responses from physical movement |
| US11237624B2 (en) * | 2015-06-03 | 2022-02-01 | James M. O'Neil | System and method for adapting auditory biofeedback cues and gait analysis using wireless signals and digital responses |
| US20160358383A1 (en) * | 2015-06-05 | 2016-12-08 | Steffen Gauglitz | Systems and methods for augmented reality-based remote collaboration |
| WO2016199699A1 (ja) * | 2015-06-12 | 2016-12-15 | 株式会社ソニー・インタラクティブエンタテインメント | 制御装置、制御方法及びプログラム |
| CN107683497B (zh) * | 2015-06-15 | 2022-04-08 | 索尼公司 | 信息处理设备、信息处理方法及程序 |
| US20180190388A1 (en) * | 2015-06-15 | 2018-07-05 | University Of Maryland, Baltimore | Method and Apparatus to Provide a Virtual Workstation With Enhanced Navigational Efficiency |
| US20160371884A1 (en) * | 2015-06-17 | 2016-12-22 | Microsoft Technology Licensing, Llc | Complementary augmented reality |
| US9520002B1 (en) * | 2015-06-24 | 2016-12-13 | Microsoft Technology Licensing, Llc | Virtual place-located anchor |
| CN105120058A (zh) * | 2015-07-02 | 2015-12-02 | 上海闻泰电子科技有限公司 | 基于光感的手机手势识别系统 |
| US10139966B2 (en) | 2015-07-22 | 2018-11-27 | Osterhout Group, Inc. | External user interface for head worn computing |
| US11003246B2 (en) | 2015-07-22 | 2021-05-11 | Mentor Acquisition One, Llc | External user interface for head worn computing |
| US10462421B2 (en) | 2015-07-20 | 2019-10-29 | Microsoft Technology Licensing, Llc | Projection unit |
| US10799792B2 (en) * | 2015-07-23 | 2020-10-13 | At&T Intellectual Property I, L.P. | Coordinating multiple virtual environments |
| WO2017013805A1 (ja) * | 2015-07-23 | 2017-01-26 | 富士通株式会社 | 入力装置、入力支援方法および入力支援プログラム |
| US9943247B2 (en) | 2015-07-28 | 2018-04-17 | The University Of Hawai'i | Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan |
| CN106406507B (zh) * | 2015-07-30 | 2020-03-27 | 株式会社理光 | 图像处理方法以及电子设备 |
| KR101734287B1 (ko) * | 2015-08-04 | 2017-05-11 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 및 그 제어방법 |
| US10290118B2 (en) * | 2015-08-06 | 2019-05-14 | Cognex Corporation | System and method for tying together machine vision coordinate spaces in a guided assembly environment |
| US11172273B2 (en) | 2015-08-10 | 2021-11-09 | Delta Energy & Communications, Inc. | Transformer monitor, communications and data collection device |
| WO2017027682A1 (en) * | 2015-08-11 | 2017-02-16 | Delta Energy & Communications, Inc. | Enhanced reality system for visualizing, evaluating, diagnosing, optimizing and servicing smart grids and incorporated components |
| US10169917B2 (en) | 2015-08-20 | 2019-01-01 | Microsoft Technology Licensing, Llc | Augmented reality |
| US10235808B2 (en) | 2015-08-20 | 2019-03-19 | Microsoft Technology Licensing, Llc | Communication system |
| US10241990B2 (en) * | 2015-08-26 | 2019-03-26 | Microsoft Technology Licensing, Llc | Gesture based annotations |
| JP6586824B2 (ja) * | 2015-08-27 | 2019-10-09 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| CN110275619B (zh) * | 2015-08-31 | 2024-08-23 | 北京三星通信技术研究有限公司 | 在头戴式显示器中显示真实物体的方法及其头戴式显示器 |
| US10186086B2 (en) * | 2015-09-02 | 2019-01-22 | Microsoft Technology Licensing, Llc | Augmented reality control of computing device |
| WO2017041093A1 (en) | 2015-09-03 | 2017-03-09 | Delta Energy & Communications, Inc. | System and method for determination and remediation of energy diversion in a smart grid network |
| US9766713B2 (en) * | 2015-09-08 | 2017-09-19 | Unity IPR ApS | System and method for providing user interface tools |
| US9964765B2 (en) * | 2015-09-11 | 2018-05-08 | The Boeing Company | Virtual display of the real-time position of a robotic device to a human operator positioned on an opposing side of an object |
| WO2017048713A1 (en) | 2015-09-16 | 2017-03-23 | Magic Leap, Inc. | Head pose mixing of audio files |
| GB2542434A (en) | 2015-09-21 | 2017-03-22 | Figment Productions Ltd | A System for Providing a Virtual Reality Experience |
| KR20170035130A (ko) * | 2015-09-22 | 2017-03-30 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 및 그 제어방법 |
| WO2017052109A1 (en) * | 2015-09-22 | 2017-03-30 | Samsung Electronics Co., Ltd. | Screen grab method in electronic device |
| US11182600B2 (en) * | 2015-09-24 | 2021-11-23 | International Business Machines Corporation | Automatic selection of event video content |
| US10133532B2 (en) * | 2015-09-25 | 2018-11-20 | Seiko Epson Corporation | Display system, display device, information display method, and program |
| WO2017057106A1 (ja) * | 2015-09-28 | 2017-04-06 | 日本電気株式会社 | 入力装置、入力方法、及びプログラム |
| US10027888B1 (en) * | 2015-09-28 | 2018-07-17 | Amazon Technologies, Inc. | Determining area of interest in a panoramic video or photo |
| CN108027664B (zh) * | 2015-09-28 | 2021-05-28 | 微软技术许可有限责任公司 | 统一的虚拟现实平台 |
| WO2017058962A1 (en) | 2015-09-28 | 2017-04-06 | Wand Labs, Inc. | User assistant for unified messaging platform |
| US11196621B2 (en) | 2015-10-02 | 2021-12-07 | Delta Energy & Communications, Inc. | Supplemental and alternative digital data delivery and receipt mesh net work realized through the placement of enhanced transformer mounted monitoring devices |
| US10511895B2 (en) * | 2015-10-09 | 2019-12-17 | Warner Bros. Entertainment Inc. | Cinematic mastering for virtual reality and augmented reality |
| US10152825B2 (en) | 2015-10-16 | 2018-12-11 | Fyusion, Inc. | Augmenting multi-view image data with synthetic objects using IMU and image data |
| US11609427B2 (en) | 2015-10-16 | 2023-03-21 | Ostendo Technologies, Inc. | Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays |
| JP6298432B2 (ja) * | 2015-10-19 | 2018-03-20 | 株式会社コロプラ | 画像生成装置、画像生成方法、及び画像生成プログラム |
| US10754156B2 (en) | 2015-10-20 | 2020-08-25 | Lockheed Martin Corporation | Multiple-eye, single-display, ultrawide-field-of-view optical see-through augmented reality system |
| WO2017068926A1 (ja) * | 2015-10-21 | 2017-04-27 | ソニー株式会社 | 情報処理装置及びその制御方法、並びにコンピュータ・プログラム |
| WO2017070646A1 (en) | 2015-10-22 | 2017-04-27 | Delta Energy & Communications, Inc. | Data transfer facilitation across a distributed mesh network using light and optical based technology |
| WO2017070648A1 (en) | 2015-10-22 | 2017-04-27 | Delta Energy & Communications, Inc. | Augmentation, expansion and self-healing of a geographically distributed mesh network using unmanned aerial vehicle technology |
| KR102400900B1 (ko) * | 2015-10-26 | 2022-05-23 | 엘지전자 주식회사 | 시스템 |
| EP3166085B1 (en) * | 2015-10-27 | 2018-08-01 | Philips Lighting Holding B.V. | Determining the lighting effect for a virtually placed luminaire |
| US10528021B2 (en) | 2015-10-30 | 2020-01-07 | Rockwell Automation Technologies, Inc. | Automated creation of industrial dashboards and widgets |
| US11106273B2 (en) * | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
| KR102489402B1 (ko) * | 2015-11-02 | 2023-01-18 | 삼성전자주식회사 | 디스플레이 장치 및 그의 영상 표시 방법 |
| US10440355B2 (en) * | 2015-11-06 | 2019-10-08 | Facebook Technologies, Llc | Depth mapping with a head mounted display using stereo cameras and structured light |
| US10082878B2 (en) | 2015-11-11 | 2018-09-25 | Swan Solutions, Inc. | Method for controlling and calibrating a device with a gesture |
| US20170140215A1 (en) * | 2015-11-18 | 2017-05-18 | Le Holdings (Beijing) Co., Ltd. | Gesture recognition method and virtual reality display output device |
| WO2017091479A1 (en) | 2015-11-23 | 2017-06-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| US10133441B2 (en) * | 2015-11-30 | 2018-11-20 | Kabushiki Kaisha Toshiba | Electronic apparatus and method |
| JP6597235B2 (ja) * | 2015-11-30 | 2019-10-30 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| US10304247B2 (en) | 2015-12-09 | 2019-05-28 | Microsoft Technology Licensing, Llc | Third party holographic portal |
| US9824437B2 (en) * | 2015-12-11 | 2017-11-21 | Daqri, Llc | System and method for tool mapping |
| EP3182328A1 (en) * | 2015-12-17 | 2017-06-21 | Nokia Technologies Oy | A method, apparatus or computer program for controlling image processing of a captured image of a scene to adapt the captured image |
| US10345594B2 (en) | 2015-12-18 | 2019-07-09 | Ostendo Technologies, Inc. | Systems and methods for augmented near-eye wearable displays |
| US10134188B2 (en) * | 2015-12-21 | 2018-11-20 | Intel Corporation | Body-centric mobile point-of-view augmented and virtual reality |
| US9841813B2 (en) * | 2015-12-22 | 2017-12-12 | Delphi Technologies, Inc. | Automated vehicle human-machine interface system based on glance-direction |
| US10404938B1 (en) | 2015-12-22 | 2019-09-03 | Steelcase Inc. | Virtual world method and system for affecting mind state |
| JP6420500B2 (ja) | 2015-12-24 | 2018-11-07 | 株式会社ソニー・インタラクティブエンタテインメント | 周波数帯決定装置、ヘッドマウントディスプレイ、周波数帯決定方法及びプログラム |
| US20170185142A1 (en) * | 2015-12-25 | 2017-06-29 | Le Holdings (Beijing) Co., Ltd. | Method, system and smart glove for obtaining immersion in virtual reality system |
| US10578882B2 (en) | 2015-12-28 | 2020-03-03 | Ostendo Technologies, Inc. | Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof |
| EP3188075B1 (en) * | 2015-12-29 | 2023-02-22 | Samsung Electronics Co., Ltd. | Apparatus and method for recognizing hand gestures in a virtual reality headset |
| US10140507B2 (en) * | 2015-12-29 | 2018-11-27 | Samsung Electronics Co., Ltd. | Apparatus and method for recognizing hand gestures in a virtual reality headset |
| US9706286B1 (en) * | 2015-12-31 | 2017-07-11 | Oculus Vr, Llc | Headphone retention mechanism |
| US10313281B2 (en) | 2016-01-04 | 2019-06-04 | Rockwell Automation Technologies, Inc. | Delivery of automated notifications by an industrial asset |
| US10216998B2 (en) * | 2016-01-06 | 2019-02-26 | Orcam Technologies Ltd. | Methods and systems for visual pairing of external devices with a wearable apparatus |
| US9952429B2 (en) * | 2016-01-07 | 2018-04-24 | International Business Machines Corporation | Plurality of wearable devices sharing partially obstructing view at different angles to overcome visual obstructions |
| US10068376B2 (en) * | 2016-01-11 | 2018-09-04 | Microsoft Technology Licensing, Llc | Updating mixed reality thumbnails |
| CN105700160A (zh) * | 2016-01-19 | 2016-06-22 | 陈超平 | 三维显示装置及适用该三维显示装置的图像处理方法 |
| US10397320B2 (en) | 2016-01-20 | 2019-08-27 | International Business Machines Corporation | Location based synchronized augmented reality streaming |
| US10095266B2 (en) * | 2016-01-28 | 2018-10-09 | Colopl, Inc. | System and method for interfacing between a display and a controller |
| US10120437B2 (en) | 2016-01-29 | 2018-11-06 | Rovi Guides, Inc. | Methods and systems for associating input schemes with physical world objects |
| EP3206121A1 (en) * | 2016-02-09 | 2017-08-16 | Nokia Technologies Oy | Methods and apparatuses relating to the handling of visual virtual reality content |
| US10067636B2 (en) * | 2016-02-09 | 2018-09-04 | Unity IPR ApS | Systems and methods for a virtual reality editor |
| EP3206122A1 (en) * | 2016-02-10 | 2017-08-16 | Nokia Technologies Oy | An apparatus and associated methods |
| WO2017142977A1 (en) | 2016-02-15 | 2017-08-24 | Meta Company | Apparatuses, methods and systems for tethering 3-d virtual elements to digital content |
| US10169922B2 (en) * | 2016-02-16 | 2019-01-01 | Microsoft Technology Licensing, Llc | Reality mixer for mixed reality |
| WO2017143303A1 (en) | 2016-02-17 | 2017-08-24 | Meta Company | Apparatuses, methods and systems for sharing virtual elements |
| US10181218B1 (en) | 2016-02-17 | 2019-01-15 | Steelcase Inc. | Virtual affordance sales tool |
| CA3054546C (en) | 2016-02-24 | 2022-10-11 | Delta Energy & Communications, Inc. | Distributed 802.11s mesh network using transformer module hardware for the capture and transmission of data |
| US9984510B1 (en) * | 2016-03-02 | 2018-05-29 | Meta Company | System and method for modifying virtual elements in a virtual environment using hierarchical anchors incorporated into virtual elements |
| US20170256096A1 (en) * | 2016-03-07 | 2017-09-07 | Google Inc. | Intelligent object sizing and placement in a augmented / virtual reality environment |
| GB2548346B (en) * | 2016-03-11 | 2020-11-18 | Sony Interactive Entertainment Europe Ltd | Image processing method and apparatus |
| WO2017209829A2 (en) * | 2016-03-15 | 2017-12-07 | Ellwood Sutherland Cook | Hybrid photonic vr/ar systems |
| KR101720132B1 (ko) * | 2016-03-17 | 2017-03-27 | 주식회사 엔토소프트 | 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법 및 그 시스템 |
| US20200293174A1 (en) * | 2016-03-17 | 2020-09-17 | Becton, Dickinson And Company | Medical record system using a patient avatar |
| US10091466B2 (en) | 2016-03-18 | 2018-10-02 | Motorola Solutions, Inc. | Visual perception determination system and method |
| US10176641B2 (en) * | 2016-03-21 | 2019-01-08 | Microsoft Technology Licensing, Llc | Displaying three-dimensional virtual objects based on field of view |
| US10115234B2 (en) * | 2016-03-21 | 2018-10-30 | Accenture Global Solutions Limited | Multiplatform based experience generation |
| JP2017173530A (ja) * | 2016-03-23 | 2017-09-28 | 富士通株式会社 | 音声入力支援プログラム、ヘッドマウントディスプレイ、音声入力支援方法および音声入力支援装置 |
| CN105892650A (zh) * | 2016-03-28 | 2016-08-24 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| US20170287215A1 (en) * | 2016-03-29 | 2017-10-05 | Google Inc. | Pass-through camera user interface elements for virtual reality |
| US10373381B2 (en) * | 2016-03-30 | 2019-08-06 | Microsoft Technology Licensing, Llc | Virtual object manipulation within physical environment |
| KR20230098927A (ko) * | 2016-03-31 | 2023-07-04 | 매직 립, 인코포레이티드 | 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과상호작용들 |
| CN105912102B (zh) * | 2016-03-31 | 2019-02-05 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
| CN105913495A (zh) * | 2016-03-31 | 2016-08-31 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| US10353203B2 (en) | 2016-04-05 | 2019-07-16 | Ostendo Technologies, Inc. | Augmented/virtual reality near-eye displays with edge imaging lens comprising a plurality of display devices |
| US10466491B2 (en) | 2016-06-01 | 2019-11-05 | Mentor Acquisition One, Llc | Modular systems for head-worn computers |
| US10824253B2 (en) | 2016-05-09 | 2020-11-03 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
| US10684478B2 (en) | 2016-05-09 | 2020-06-16 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
| CA3019664A1 (en) * | 2016-04-12 | 2017-10-19 | R-Stor Inc. | Method and apparatus for presenting imagery within a virtualized environment |
| CN109478344B (zh) | 2016-04-22 | 2023-05-30 | 交互数字Ce专利控股公司 | 用于合成图像的方法和设备 |
| US10652303B2 (en) * | 2016-04-28 | 2020-05-12 | Rabbit Asset Purchase Corp. | Screencast orchestration |
| US10453431B2 (en) | 2016-04-28 | 2019-10-22 | Ostendo Technologies, Inc. | Integrated near-far light field display systems |
| US9995936B1 (en) * | 2016-04-29 | 2018-06-12 | Lockheed Martin Corporation | Augmented reality systems having a virtual image overlaying an infrared portion of a live scene |
| US10522106B2 (en) | 2016-05-05 | 2019-12-31 | Ostendo Technologies, Inc. | Methods and apparatus for active transparency modulation |
| CN105931272B (zh) * | 2016-05-06 | 2019-04-05 | 上海乐相科技有限公司 | 一种运动对象追踪方法及系统 |
| KR20170126295A (ko) * | 2016-05-09 | 2017-11-17 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 장치 및 그것의 제어방법 |
| WO2017196404A1 (en) * | 2016-05-10 | 2017-11-16 | Google Llc | Methods and apparatus to use predicted actions in virtual reality environments |
| US11328484B2 (en) * | 2016-05-20 | 2022-05-10 | Magic Leap, Inc. | Contextual awareness of user interface menus |
| WO2017201568A1 (en) | 2016-05-23 | 2017-11-30 | tagSpace Pty Ltd | Media tags location-anchored digital media for augmented reality and virtual reality environments |
| US10650591B1 (en) | 2016-05-24 | 2020-05-12 | Out of Sight Vision Systems LLC | Collision avoidance system for head mounted display utilized in room scale virtual reality system |
| US10981060B1 (en) | 2016-05-24 | 2021-04-20 | Out of Sight Vision Systems LLC | Collision avoidance system for room scale virtual reality system |
| EP3467792B1 (en) * | 2016-05-25 | 2024-04-24 | Sony Interactive Entertainment Inc. | Image processing apparatus, image processing method, and program |
| US11577159B2 (en) | 2016-05-26 | 2023-02-14 | Electronic Scripting Products Inc. | Realistic virtual/augmented/mixed reality viewing and interactions |
| US9762851B1 (en) * | 2016-05-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Shared experience with contextual augmentation |
| US10217231B2 (en) * | 2016-05-31 | 2019-02-26 | Microsoft Technology Licensing, Llc | Systems and methods for utilizing anchor graphs in mixed reality environments |
| US9992429B2 (en) | 2016-05-31 | 2018-06-05 | Microsoft Technology Licensing, Llc | Video pinning |
| JP6689679B2 (ja) * | 2016-06-01 | 2020-04-28 | 京セラ株式会社 | 表示装置、情報表示システム、及びプログラム |
| US11468111B2 (en) | 2016-06-01 | 2022-10-11 | Microsoft Technology Licensing, Llc | Online perspective search for 3D components |
| US20170351415A1 (en) * | 2016-06-06 | 2017-12-07 | Jonathan K. Cheng | System and interfaces for an interactive system |
| US10146335B2 (en) * | 2016-06-09 | 2018-12-04 | Microsoft Technology Licensing, Llc | Modular extension of inertial controller for six DOF mixed reality input |
| US10249084B2 (en) * | 2016-06-10 | 2019-04-02 | Microsoft Technology Licensing, Llc | Tap event location with a selection apparatus |
| US10245507B2 (en) | 2016-06-13 | 2019-04-02 | Sony Interactive Entertainment Inc. | Spectator management at view locations in virtual reality environments |
| US10338392B2 (en) * | 2016-06-13 | 2019-07-02 | Microsoft Technology Licensing, Llc | Identification of augmented reality image display position |
| WO2017217595A1 (ko) * | 2016-06-14 | 2017-12-21 | 주식회사 엔토소프트 | 측위 정보를 기반으로 증강현실 영상을 구현하기 위한 서버 및 시스템 |
| US10062353B2 (en) * | 2016-06-27 | 2018-08-28 | Intel Corporation | System to compensate for visual impairment |
| US10591988B2 (en) * | 2016-06-28 | 2020-03-17 | Hiscene Information Technology Co., Ltd | Method for displaying user interface of head-mounted display device |
| US10657701B2 (en) * | 2016-06-30 | 2020-05-19 | Sony Interactive Entertainment Inc. | Dynamic entering and leaving of virtual-reality environments navigated by different HMD users |
| EP3267291B1 (en) * | 2016-07-07 | 2019-11-06 | David Franklin | Gesture-based user interface |
| US10726443B2 (en) | 2016-07-11 | 2020-07-28 | Samsung Electronics Co., Ltd. | Deep product placement |
| DE102016113000A1 (de) * | 2016-07-14 | 2018-01-18 | Aesculap Ag | Endoskopische Vorrichtung und Verfahren zur endoskopischen Untersuchung |
| CN109478342B (zh) | 2016-07-15 | 2020-03-10 | 纳维株式会社 | 图像显示装置及图像显示系统 |
| KR20180010891A (ko) * | 2016-07-22 | 2018-01-31 | 동서대학교산학협력단 | Vr기기를 통한 360도 오페라 영상 제공방법 |
| US10489978B2 (en) * | 2016-07-26 | 2019-11-26 | Rouslan Lyubomirov DIMITROV | System and method for displaying computer-based content in a virtual or augmented environment |
| CN106155326A (zh) * | 2016-07-26 | 2016-11-23 | 北京小米移动软件有限公司 | 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备 |
| CA3032812A1 (en) | 2016-08-04 | 2018-02-08 | Reification Inc. | Methods for simultaneous localization and mapping (slam) and related apparatus and systems |
| CN106303555B (zh) * | 2016-08-05 | 2019-12-03 | 深圳市摩登世纪科技有限公司 | 一种基于混合现实的直播方法、装置和系统 |
| US11238610B2 (en) * | 2016-08-10 | 2022-02-01 | Disney Enterprises, Inc. | Placing large objects and objects separated by large distances in augmented reality |
| CA3033344A1 (en) * | 2016-08-11 | 2018-02-15 | Magic Leap, Inc. | Automatic placement of a virtual object in a three-dimensional space |
| EP3497544B1 (en) * | 2016-08-12 | 2021-09-22 | Boston Scientific Scimed, Inc. | Distributed interactive medical visualization system with primary/secondary interaction features |
| US11017712B2 (en) | 2016-08-12 | 2021-05-25 | Intel Corporation | Optimized display image rendering |
| US10652633B2 (en) | 2016-08-15 | 2020-05-12 | Delta Energy & Communications, Inc. | Integrated solutions of Internet of Things and smart grid network pertaining to communication, data and asset serialization, and data modeling algorithms |
| US10318570B2 (en) | 2016-08-18 | 2019-06-11 | Rockwell Automation Technologies, Inc. | Multimodal search input for an industrial search platform |
| US10192258B2 (en) * | 2016-08-23 | 2019-01-29 | Derek A Devries | Method and system of augmented-reality simulations |
| US10158834B2 (en) * | 2016-08-30 | 2018-12-18 | Hand Held Products, Inc. | Corrected projection perspective distortion |
| US10074205B2 (en) | 2016-08-30 | 2018-09-11 | Intel Corporation | Machine creation of program with frame analysis method and apparatus |
| EP3291531A1 (en) * | 2016-09-06 | 2018-03-07 | Thomson Licensing | Methods, devices and systems for automatic zoom when playing an augmented reality scene |
| JP6298130B2 (ja) * | 2016-09-14 | 2018-03-20 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
| US20180075657A1 (en) * | 2016-09-15 | 2018-03-15 | Microsoft Technology Licensing, Llc | Attribute modification tools for mixed reality |
| US11538099B2 (en) | 2016-09-21 | 2022-12-27 | Iunu, Inc. | Online data market for automated plant growth input curve scripts |
| US10791037B2 (en) | 2016-09-21 | 2020-09-29 | Iunu, Inc. | Reliable transfer of numerous geographically distributed large files to a centralized store |
| US10635274B2 (en) | 2016-09-21 | 2020-04-28 | Iunu, Inc. | Horticultural care tracking, validation and verification |
| US11244398B2 (en) | 2016-09-21 | 2022-02-08 | Iunu, Inc. | Plant provenance and data products from computer object recognition driven tracking |
| US20180082477A1 (en) * | 2016-09-22 | 2018-03-22 | Navitaire Llc | Systems and Methods for Improved Data Integration in Virtual Reality Architectures |
| US20180082476A1 (en) * | 2016-09-22 | 2018-03-22 | International Business Machines Corporation | Collaborative search for out of field of view augmented reality objects |
| US10401839B2 (en) | 2016-09-26 | 2019-09-03 | Rockwell Automation Technologies, Inc. | Workflow tracking and identification using an industrial monitoring system |
| US10319128B2 (en) | 2016-09-26 | 2019-06-11 | Rockwell Automation Technologies, Inc. | Augmented reality presentation of an industrial environment |
| US10545492B2 (en) | 2016-09-26 | 2020-01-28 | Rockwell Automation Technologies, Inc. | Selective online and offline access to searchable industrial automation data |
| US11432051B2 (en) * | 2016-09-27 | 2022-08-30 | Srinivas Krishna | Method and system for positioning, viewing and sharing virtual content |
| US10068379B2 (en) | 2016-09-30 | 2018-09-04 | Intel Corporation | Automatic placement of augmented reality models |
| US10445925B2 (en) * | 2016-09-30 | 2019-10-15 | Sony Interactive Entertainment Inc. | Using a portable device and a head-mounted display to view a shared virtual reality space |
| US10503349B2 (en) * | 2016-10-04 | 2019-12-10 | Facebook, Inc. | Shared three-dimensional user interface with personal space |
| CN110178159A (zh) * | 2016-10-17 | 2019-08-27 | 沐择歌公司 | 具有集成式投影仪的音频/视频可穿戴式计算机系统 |
| US10593116B2 (en) | 2016-10-24 | 2020-03-17 | Snap Inc. | Augmented reality object manipulation |
| KR102561860B1 (ko) * | 2016-10-25 | 2023-08-02 | 삼성전자주식회사 | 전자장치 및 그 제어방법 |
| CN110084089A (zh) * | 2016-10-26 | 2019-08-02 | 奥康科技有限公司 | 用于分析图像和提供反馈的可佩戴设备和方法 |
| KR101846142B1 (ko) * | 2016-11-04 | 2018-05-21 | 이장근 | 체험 공유 시스템 |
| US10735691B2 (en) * | 2016-11-08 | 2020-08-04 | Rockwell Automation Technologies, Inc. | Virtual reality and augmented reality for industrial automation |
| US10388075B2 (en) | 2016-11-08 | 2019-08-20 | Rockwell Automation Technologies, Inc. | Virtual reality and augmented reality for industrial automation |
| US10866631B2 (en) | 2016-11-09 | 2020-12-15 | Rockwell Automation Technologies, Inc. | Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality |
| GB2555838A (en) * | 2016-11-11 | 2018-05-16 | Sony Corp | An apparatus, computer program and method |
| US10572101B2 (en) * | 2016-11-14 | 2020-02-25 | Taqtile, Inc. | Cross-platform multi-modal virtual collaboration and holographic maps |
| US10158634B2 (en) | 2016-11-16 | 2018-12-18 | Bank Of America Corporation | Remote document execution and network transfer using augmented reality display devices |
| TWI587206B (zh) * | 2016-11-24 | 2017-06-11 | 財團法人工業技術研究院 | 互動顯示裝置及系統 |
| US10152851B2 (en) * | 2016-11-29 | 2018-12-11 | Microsoft Technology Licensing, Llc | Notification artifact display |
| US20180150204A1 (en) * | 2016-11-30 | 2018-05-31 | Google Inc. | Switching of active objects in an augmented and/or virtual reality environment |
| US11037321B2 (en) * | 2016-12-02 | 2021-06-15 | Koninklijke Kpn N.V. | Determining size of virtual object |
| US12020667B2 (en) | 2016-12-05 | 2024-06-25 | Case Western Reserve University | Systems, methods, and media for displaying interactive augmented reality presentations |
| KR20240033136A (ko) * | 2016-12-05 | 2024-03-12 | 케이스 웨스턴 리저브 유니버시티 | 상호작용적 증강 현실 프리젠테이션들을 표시하기 위한 시스템들, 방법들 및 매체들 |
| US10403285B1 (en) * | 2016-12-05 | 2019-09-03 | Google Llc | Methods and apparatus to define virtual scenes using natural language commands and natural gestures |
| US10147243B2 (en) * | 2016-12-05 | 2018-12-04 | Google Llc | Generating virtual notation surfaces with gestures in an augmented and/or virtual reality environment |
| US11164378B1 (en) | 2016-12-08 | 2021-11-02 | Out of Sight Vision Systems LLC | Virtual reality detection and projection system for use with a head mounted display |
| CN106409157B (zh) * | 2016-12-12 | 2018-12-11 | 北京沃富瑞德文化传播有限公司 | 一种可用于魔术表演的幻术显示系统 |
| US10420397B2 (en) | 2016-12-14 | 2019-09-24 | Black Brass, Inc. | Foot measuring and sizing application |
| US20180160777A1 (en) | 2016-12-14 | 2018-06-14 | Black Brass, Inc. | Foot measuring and sizing application |
| US10182210B1 (en) | 2016-12-15 | 2019-01-15 | Steelcase Inc. | Systems and methods for implementing augmented reality and/or virtual reality |
| US10482665B2 (en) * | 2016-12-16 | 2019-11-19 | Microsoft Technology Licensing, Llc | Synching and desyncing a shared view in a multiuser scenario |
| US20180173300A1 (en) * | 2016-12-19 | 2018-06-21 | Microsoft Technology Licensing, Llc | Interactive virtual objects in mixed reality environments |
| JP6920057B2 (ja) * | 2016-12-22 | 2021-08-18 | キヤノンマーケティングジャパン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
| US10650552B2 (en) | 2016-12-29 | 2020-05-12 | Magic Leap, Inc. | Systems and methods for augmented reality |
| US10262464B2 (en) * | 2016-12-30 | 2019-04-16 | Intel Corporation | Dynamic, local augmented reality landmarks |
| EP4300160A3 (en) | 2016-12-30 | 2024-05-29 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
| US10499997B2 (en) | 2017-01-03 | 2019-12-10 | Mako Surgical Corp. | Systems and methods for surgical navigation |
| US10575067B2 (en) | 2017-01-04 | 2020-02-25 | Samsung Electronics Co., Ltd. | Context based augmented advertisement |
| CN106775258A (zh) * | 2017-01-04 | 2017-05-31 | 虹软(杭州)多媒体信息技术有限公司 | 利用手势控制实现虚拟现实交互的方法和装置 |
| CN110325113A (zh) | 2017-01-06 | 2019-10-11 | 耐克创新有限合伙公司 | 使用自动购物助手进行个性化购物的系统、平台和方法 |
| US10437343B2 (en) | 2017-01-06 | 2019-10-08 | Samsung Electronics Co., Ltd. | Augmented reality control of internet of things devices |
| KR20230135158A (ko) * | 2017-01-09 | 2023-09-22 | 스냅 인코포레이티드 | 증강 현실 객체 조작 |
| US10242503B2 (en) | 2017-01-09 | 2019-03-26 | Snap Inc. | Surface aware lens |
| US10212428B2 (en) | 2017-01-11 | 2019-02-19 | Microsoft Technology Licensing, Llc | Reprojecting holographic video to enhance streaming bandwidth/quality |
| JP6812803B2 (ja) * | 2017-01-12 | 2021-01-13 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US10843068B2 (en) * | 2017-01-18 | 2020-11-24 | Xvisio Technology Corp. | 6DoF inside-out tracking game controller |
| JP2018116537A (ja) * | 2017-01-19 | 2018-07-26 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| US10347049B2 (en) * | 2017-01-20 | 2019-07-09 | Houzz, Inc. | Interactive item placement simulation |
| KR20180089208A (ko) * | 2017-01-31 | 2018-08-08 | 삼성전자주식회사 | 스마트 워치의 워치 페이스를 제어하는 전자 장치와 이의 동작 방법 |
| US20180232937A1 (en) * | 2017-02-14 | 2018-08-16 | Philip Moyer | System and Method for Implementing Virtual Reality |
| DE102017202517A1 (de) * | 2017-02-16 | 2018-08-16 | Siemens Healthcare Gmbh | Bedienvorrichtung und Bedienverfahren zum Bedienen eines medizinischen Geräts |
| CA3052869A1 (en) | 2017-02-17 | 2018-08-23 | Nz Technologies Inc. | Methods and systems for touchless control of surgical environment |
| WO2018156809A1 (en) * | 2017-02-24 | 2018-08-30 | Masimo Corporation | Augmented reality system for displaying patient data |
| EP3585254B1 (en) | 2017-02-24 | 2024-03-20 | Masimo Corporation | Medical device cable and method of sharing data between connected medical devices |
| CN110325896B (zh) * | 2017-02-28 | 2022-11-08 | 昕诺飞控股有限公司 | 用于呈现虚拟对象的便携式设备及其方法 |
| US10795022B2 (en) | 2017-03-02 | 2020-10-06 | Sony Corporation | 3D depth map |
| US10672171B2 (en) * | 2017-03-07 | 2020-06-02 | Lamplight Forest Holdings Pty Ltd | System and method for dynamic content generation in a virtual space |
| US9812004B1 (en) | 2017-03-16 | 2017-11-07 | Swan Solutions, Inc. | Control system for a terminal device and a switch |
| EP3526771B1 (en) * | 2017-03-20 | 2021-02-24 | Google LLC | Held object stabilization in virtual reality |
| CN107066092B (zh) * | 2017-03-20 | 2020-04-03 | 上海大学 | Vr运行空间动态检测与参数化虚拟场景重构系统与方法 |
| WO2018175335A1 (en) * | 2017-03-24 | 2018-09-27 | Pcms Holdings, Inc. | Method and system for discovering and positioning content into augmented reality space |
| US10091549B1 (en) | 2017-03-30 | 2018-10-02 | Rovi Guides, Inc. | Methods and systems for recommending media assets based on the geographic location at which the media assets are frequently consumed |
| US10290152B2 (en) | 2017-04-03 | 2019-05-14 | Microsoft Technology Licensing, Llc | Virtual object user interface display |
| US10713848B2 (en) * | 2017-04-06 | 2020-07-14 | Htc Corporation | System and method for providing simulated environment |
| US10642045B2 (en) | 2017-04-07 | 2020-05-05 | Microsoft Technology Licensing, Llc | Scanner-illuminated LCOS projector for head mounted display |
| US10430147B2 (en) | 2017-04-17 | 2019-10-01 | Intel Corporation | Collaborative multi-user virtual reality |
| AU2018256365A1 (en) | 2017-04-19 | 2019-10-31 | Magic Leap, Inc. | Multimodal task execution and text editing for a wearable system |
| US10268263B2 (en) | 2017-04-20 | 2019-04-23 | Microsoft Technology Licensing, Llc | Vestibular anchoring |
| WO2018198910A1 (ja) | 2017-04-28 | 2018-11-01 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理装置の制御方法、及びプログラム |
| US11782669B2 (en) * | 2017-04-28 | 2023-10-10 | Microsoft Technology Licensing, Llc | Intuitive augmented reality collaboration on visual data |
| CN111133365B (zh) * | 2017-05-01 | 2023-03-31 | 奇跃公司 | 内容到空间3d环境的匹配 |
| US10817724B2 (en) | 2017-05-01 | 2020-10-27 | Microsoft Technology Licensing, Llc | Real time object surface identification for augmented reality environments |
| US10871934B2 (en) * | 2017-05-04 | 2020-12-22 | Microsoft Technology Licensing, Llc | Virtual content displayed with shared anchor |
| US11054894B2 (en) | 2017-05-05 | 2021-07-06 | Microsoft Technology Licensing, Llc | Integrated mixed-input system |
| US10510174B2 (en) * | 2017-05-08 | 2019-12-17 | Microsoft Technology Licensing, Llc | Creating a mixed-reality video based upon tracked skeletal features |
| US10932705B2 (en) | 2017-05-08 | 2021-03-02 | Masimo Corporation | System for displaying and controlling medical monitoring data |
| US10650037B2 (en) * | 2017-05-15 | 2020-05-12 | Sony Interactive Entertainment LLC | Enhancing information in a three-dimensional map |
| WO2018210645A1 (en) * | 2017-05-16 | 2018-11-22 | Koninklijke Philips N.V. | Virtual cover for user interaction in augmented reality |
| CN111033572B (zh) * | 2017-06-02 | 2023-09-05 | 苹果公司 | 用于检测用作虚拟衬底的平面和/或四叉树的方法和设备 |
| TWI634344B (zh) * | 2017-06-07 | 2018-09-01 | 國立中山大學 | 三維軌跡偵測系統 |
| US20180359448A1 (en) * | 2017-06-07 | 2018-12-13 | Digital Myths Studio, Inc. | Multiparty collaborative interaction in a virtual reality environment |
| KR102395030B1 (ko) | 2017-06-09 | 2022-05-09 | 한국전자통신연구원 | 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치 |
| US10748244B2 (en) * | 2017-06-09 | 2020-08-18 | Samsung Electronics Co., Ltd. | Systems and methods for stereo content detection |
| IT201700064174A1 (it) * | 2017-06-09 | 2018-12-09 | Arioli S P A | Macchina per il trattamento di tessuti stampati in falde |
| DE112018002980T5 (de) | 2017-06-12 | 2020-02-20 | Sony Corporation | Informationsverarbeitungssystem, informationsverarbeitungsverfahren und programm |
| US10620710B2 (en) * | 2017-06-15 | 2020-04-14 | Microsoft Technology Licensing, Llc | Displacement oriented interaction in computer-mediated reality |
| US10304251B2 (en) * | 2017-06-15 | 2019-05-28 | Microsoft Technology Licensing, Llc | Virtually representing spaces and objects while maintaining physical properties |
| EP3616035B1 (en) * | 2017-06-19 | 2024-04-24 | Apple Inc. | Augmented reality interface for interacting with displayed maps |
| US10830882B2 (en) * | 2017-06-19 | 2020-11-10 | Ge Aviation Systems, Llc | Methods and apparatus for distributed, multi-node, low-frequency radar systems for degraded visual environments |
| US20180365900A1 (en) * | 2017-06-20 | 2018-12-20 | Immerex Inc. | Mixed Reality Head Mounted Display Device |
| US20180373293A1 (en) * | 2017-06-21 | 2018-12-27 | Newtonoid Technologies, L.L.C. | Textile display system and method |
| WO2019003911A1 (en) * | 2017-06-27 | 2019-01-03 | Sony Corporation | MEDICAL IMAGE PROCESSING APPARATUS, MEDICAL IMAGE PROCESSING METHOD, AND CALCULATION SYSTEM |
| US11763365B2 (en) | 2017-06-27 | 2023-09-19 | Nike, Inc. | System, platform and method for personalized shopping using an automated shopping assistant |
| US11682045B2 (en) | 2017-06-28 | 2023-06-20 | Samsung Electronics Co., Ltd. | Augmented reality advertisements on objects |
| US10895966B2 (en) * | 2017-06-30 | 2021-01-19 | Microsoft Technology Licensing, Llc | Selection using a multi-device mixed interactivity system |
| CN107315355B (zh) * | 2017-06-30 | 2021-05-18 | 京东方科技集团股份有限公司 | 一种电器控制设备及方法 |
| US11023109B2 (en) | 2017-06-30 | 2021-06-01 | Microsoft Techniogy Licensing, LLC | Annotation using a multi-device mixed interactivity system |
| US20190007672A1 (en) * | 2017-06-30 | 2019-01-03 | Bobby Gene Burrough | Method and Apparatus for Generating Dynamic Real-Time 3D Environment Projections |
| CN108700912B (zh) * | 2017-06-30 | 2022-04-01 | 广东虚拟现实科技有限公司 | 通过增强现实操作设备的方法和系统 |
| KR101988110B1 (ko) | 2017-07-03 | 2019-09-30 | 포항공과대학교 산학협력단 | 생체신호연동 가상현실 교육 시스템 및 방법 |
| US10885714B2 (en) | 2017-07-07 | 2021-01-05 | Niantic, Inc. | Cloud enabled augmented reality |
| CN107368193B (zh) * | 2017-07-19 | 2021-06-11 | 讯飞幻境(北京)科技有限公司 | 人机操作交互方法和系统 |
| WO2019015765A1 (en) * | 2017-07-20 | 2019-01-24 | Universitätsklinikum Hamburg-Eppendorf | APPARATUS FOR MEASURING OR DRIVING EMOTION OR BEHAVIOR |
| US10578870B2 (en) | 2017-07-26 | 2020-03-03 | Magic Leap, Inc. | Exit pupil expander |
| CN107390875B (zh) * | 2017-07-28 | 2020-01-31 | 腾讯科技（上海）有限公司 | 信息处理方法、装置、终端设备和计算机可读存储介质 |
| CN112198959A (zh) * | 2017-07-28 | 2021-01-08 | 深圳市瑞立视多媒体科技有限公司 | 虚拟现实交互方法、装置及系统 |
| US10521944B2 (en) * | 2017-08-16 | 2019-12-31 | Microsoft Technology Licensing, Llc | Repositioning user perspectives in virtual reality environments |
| US10529136B2 (en) * | 2017-08-16 | 2020-01-07 | Dell Products L.P. | Augmented reality workspace system |
| US10803642B2 (en) * | 2017-08-18 | 2020-10-13 | Adobe Inc. | Collaborative virtual reality anti-nausea and video streaming techniques |
| US10152141B1 (en) | 2017-08-18 | 2018-12-11 | Osterhout Group, Inc. | Controller movement tracking with light emitters |
| US10613703B2 (en) | 2017-08-18 | 2020-04-07 | Adobe Inc. | Collaborative interaction with virtual reality video |
| US11064176B2 (en) | 2017-08-29 | 2021-07-13 | Sony Corporation | Information processing apparatus, information processing method, and program for display control to arrange virtual display based on user viewpoint |
| DK180470B1 (en) | 2017-08-31 | 2021-05-06 | Apple Inc | Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments |
| WO2019055703A2 (en) | 2017-09-13 | 2019-03-21 | Magical Technologies, Llc | VIRTUAL DISPLAY PANEL, FACILITATION OF COLLABORATION, AND MESSAGE OBJECTS FOR FACILITATING COMMUNICATION SESSIONS IN AN INCREASED REALITY ENVIRONMENT |
| US11145125B1 (en) * | 2017-09-13 | 2021-10-12 | Lucasfilm Entertainment Company Ltd. | Communication protocol for streaming mixed-reality environments between multiple devices |
| CN107730591A (zh) * | 2017-09-14 | 2018-02-23 | 北京致臻智造科技有限公司 | 一种基于混合现实设备的装配引导方法及系统 |
| US10304252B2 (en) * | 2017-09-15 | 2019-05-28 | Trimble Inc. | Collaboration methods to improve use of 3D models in mixed reality environments |
| DE102017217025A1 (de) * | 2017-09-26 | 2019-03-28 | Audi Ag | Verfahren und System zum Durchführen eines virtuellen Treffens zwischen wenigstens einer ersten Person und einer zweiten Person |
| CN109559370A (zh) * | 2017-09-26 | 2019-04-02 | 华为技术有限公司 | 一种三维建模方法及装置 |
| JP2019061590A (ja) * | 2017-09-28 | 2019-04-18 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システム及びプログラム |
| WO2019067482A1 (en) * | 2017-09-29 | 2019-04-04 | Zermatt Technologies Llc | DISPLAYING APPLICATIONS IN A SIMULATED REALITY ENVIRONMENT ENVIRONMENT |
| WO2019067642A1 (en) * | 2017-09-29 | 2019-04-04 | Zermatt Technologies Llc | APPLICATION PRESENTATION BASED ON AN ENVIRONMENT |
| KR20220100102A (ko) | 2017-09-29 | 2022-07-14 | 애플 인크. | 시선-기반 사용자 상호작용 |
| US10777007B2 (en) | 2017-09-29 | 2020-09-15 | Apple Inc. | Cooperative augmented reality map interface |
| US10922878B2 (en) * | 2017-10-04 | 2021-02-16 | Google Llc | Lighting for inserted content |
| US10768696B2 (en) * | 2017-10-05 | 2020-09-08 | Microsoft Technology Licensing, Llc | Eye gaze correction using pursuit vector |
| US10685456B2 (en) * | 2017-10-12 | 2020-06-16 | Microsoft Technology Licensing, Llc | Peer to peer remote localization for devices |
| US11199711B2 (en) * | 2017-10-18 | 2021-12-14 | Hewlett-Packard Development Company, L.P. | Enhanced reality systems |
| US11966793B1 (en) * | 2017-10-18 | 2024-04-23 | Campfire 3D, Inc. | Systems and methods to extend an interactive space across multiple platforms |
| WO2019079790A1 (en) | 2017-10-21 | 2019-04-25 | Eyecam, Inc | ADAPTIVE GRAPHIC USER INTERFACE SYSTEM |
| WO2019079826A1 (en) * | 2017-10-22 | 2019-04-25 | Magical Technologies, Llc | DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY |
| US10484667B2 (en) | 2017-10-31 | 2019-11-19 | Sony Corporation | Generating 3D depth map using parallax |
| WO2019090221A1 (en) * | 2017-11-03 | 2019-05-09 | Marxent Labs, LLC | Technologies for composing a virtual reality setting in a mobile computing environment |
| GB2568241B (en) * | 2017-11-06 | 2022-01-05 | Sony Interactive Entertainment Inc | Content generation apparatus and method |
| CN110663021B (zh) * | 2017-11-06 | 2024-02-02 | 谷歌有限责任公司 | 关注出席用户的方法和系统 |
| US10445944B2 (en) | 2017-11-13 | 2019-10-15 | Rockwell Automation Technologies, Inc. | Augmented reality safety automation zone system and method |
| IL255671B (en) * | 2017-11-14 | 2021-09-30 | Everysight Ltd | System and method for determining an image position using one or more anchors |
| CN107967054B (zh) * | 2017-11-16 | 2020-11-27 | 中国人民解放军陆军装甲兵学院 | 一种虚拟现实与增强现实耦合的沉浸式三维电子沙盘 |
| US10911656B2 (en) * | 2017-11-21 | 2021-02-02 | Microsoft Technology Licensing, Llc | Optical isolation systems for displays |
| GB2568678A (en) * | 2017-11-21 | 2019-05-29 | Edesix Ltd | Method of monitoring video |
| CN107832036B (zh) * | 2017-11-22 | 2022-01-18 | 北京小米移动软件有限公司 | 语音控制方法、装置及计算机可读存储介质 |
| CN107885334B (zh) * | 2017-11-23 | 2021-10-22 | 联想(北京)有限公司 | 一种信息处理方法和虚拟设备 |
| WO2019104309A1 (en) * | 2017-11-27 | 2019-05-31 | Marxent Labs, LLC | Technologies for networked virtual content in a mobile computing environment |
| US10382094B2 (en) | 2017-11-28 | 2019-08-13 | International Business Machines Corporation | Cable tracking by electromagnetic emission |
| WO2019106558A1 (ru) * | 2017-11-29 | 2019-06-06 | ГИОРГАДЗЕ, Анико Тенгизовна | Взаимодействие пользователей в коммуникационной системе с использованием объектов дополненной реальности |
| US11087527B2 (en) * | 2017-12-01 | 2021-08-10 | Koninklijke Kpn N.V. | Selecting an omnidirectional image for display |
| US10553031B2 (en) | 2017-12-06 | 2020-02-04 | Microsoft Technology Licensing, Llc | Digital project file presentation |
| JP7282090B2 (ja) | 2017-12-10 | 2023-05-26 | マジック リープ， インコーポレイテッド | 光学導波管上の反射防止性コーティング |
| GB2569544B (en) * | 2017-12-19 | 2022-07-20 | Displaylink Uk Ltd | Transmission of a reverse video feed |
| KR101918262B1 (ko) * | 2017-12-19 | 2018-11-13 | (주) 알큐브 | 혼합 현실 서비스 제공 방법 및 시스템 |
| KR20200100720A (ko) | 2017-12-20 | 2020-08-26 | 매직 립, 인코포레이티드 | 증강 현실 뷰잉 디바이스용 인서트 |
| US10939084B2 (en) | 2017-12-22 | 2021-03-02 | Magic Leap, Inc. | Methods and system for generating and displaying 3D videos in a virtual, augmented, or mixed reality environment |
| US10713840B2 (en) * | 2017-12-22 | 2020-07-14 | Sony Interactive Entertainment Inc. | Space capture, modeling, and texture reconstruction through dynamic camera positioning and lighting using a mobile robot |
| CN111684495A (zh) * | 2017-12-22 | 2020-09-18 | 奇跃公司 | 用于在混合现实系统中管理和显示虚拟内容的方法和系统 |
| JP6968689B2 (ja) * | 2017-12-27 | 2021-11-17 | Ｄｙｎａｂｏｏｋ株式会社 | 電子機器、ウェアラブル機器及び表示制御方法 |
| CN108269288B (zh) * | 2017-12-28 | 2020-07-24 | 中国科学院自动化研究所 | 智能异形投影非接触式交互系统和方法 |
| US10600205B2 (en) | 2018-01-08 | 2020-03-24 | Htc Corporation | Anchor recognition in reality system |
| US20190213792A1 (en) * | 2018-01-11 | 2019-07-11 | Microsoft Technology Licensing, Llc | Providing Body-Anchored Mixed-Reality Experiences |
| CN108269307B (zh) * | 2018-01-15 | 2023-04-07 | 歌尔科技有限公司 | 一种增强现实交互方法及设备 |
| WO2019143572A1 (en) * | 2018-01-17 | 2019-07-25 | Pcms Holdings, Inc. | Method and system for ar and vr collaboration in shared spaces |
| JP7061883B2 (ja) | 2018-01-22 | 2022-05-02 | マクセル株式会社 | 画像表示装置および画像表示方法 |
| DK180842B1 (en) | 2018-01-24 | 2022-05-12 | Apple Inc | Devices, procedures, and graphical user interfaces for System-Wide behavior for 3D models |
| AU2019100079B4 (en) * | 2018-01-24 | 2019-08-08 | Apple Inc. | Devices, methods, and graphical user interfaces for system-wide behavior for 3D models |
| US11014242B2 (en) * | 2018-01-26 | 2021-05-25 | Microsoft Technology Licensing, Llc | Puppeteering in augmented reality |
| US10438414B2 (en) | 2018-01-26 | 2019-10-08 | Microsoft Technology Licensing, Llc | Authoring and presenting 3D presentations in augmented reality |
| DE102018201336A1 (de) * | 2018-01-29 | 2019-08-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Virtual-Reality-Konferenzsystem |
| US11398088B2 (en) | 2018-01-30 | 2022-07-26 | Magical Technologies, Llc | Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects |
| US11062516B2 (en) | 2018-02-07 | 2021-07-13 | Iunu, Inc. | Augmented reality based horticultural care tracking |
| EP3756079A4 (en) | 2018-02-22 | 2021-04-28 | Magic Leap, Inc. | OBJECT GENERATION WITH PHYSICAL MANIPULATION |
| IL276621B2 (en) | 2018-02-22 | 2024-05-01 | Magic Leap Inc | A browser for mixed reality systems |
| CN111788606A (zh) * | 2018-03-01 | 2020-10-16 | 索尼互动娱乐股份有限公司 | 位置估计装置，跟踪器，位置估计方法和程序 |
| US10488940B2 (en) * | 2018-03-09 | 2019-11-26 | Capital One Services, Llc | Input commands via visual cues |
| US10755676B2 (en) | 2018-03-15 | 2020-08-25 | Magic Leap, Inc. | Image correction due to deformation of components of a viewing device |
| GB201804383D0 (en) * | 2018-03-19 | 2018-05-02 | Microsoft Technology Licensing Llc | Multi-endpoint mixed reality meetings |
| CN112020719A (zh) * | 2018-03-22 | 2020-12-01 | 惠普发展公司，有限责任合伙企业 | 三维环境中的数字标记 |
| US10467816B2 (en) * | 2018-03-23 | 2019-11-05 | Microsoft Technology Licensing, Llc | Mixed reality objects |
| CA3093180C (en) * | 2018-03-28 | 2023-02-28 | Telefonaktiebolaget Lm Ericsson (Publ) | Head-mounted display and method to reduce visually induced motion sickness in a connected remote display |
| US10672159B2 (en) * | 2018-04-02 | 2020-06-02 | Microsoft Technology Licensing, Llc | Anchor graph |
| US11238675B2 (en) * | 2018-04-04 | 2022-02-01 | The Boeing Company | Mobile visual-inspection system |
| US10872470B2 (en) * | 2018-04-05 | 2020-12-22 | Lenovo (Singapore) Pte. Ltd. | Presentation of content at headset display based on other display not being viewable |
| US10922862B2 (en) | 2018-04-05 | 2021-02-16 | Lenovo (Singapore) Pte. Ltd. | Presentation of content on headset display based on one or more condition(s) |
| US10838574B2 (en) * | 2018-04-09 | 2020-11-17 | Spatial Systems Inc. | Augmented reality computing environments—workspace save and load |
| US11086474B2 (en) * | 2018-04-09 | 2021-08-10 | Spatial Systems Inc. | Augmented reality computing environments—mobile device join and load |
| EP3557378B1 (en) * | 2018-04-16 | 2022-02-23 | HTC Corporation | Tracking system for tracking and rendering virtual object corresponding to physical object and the operating method for the same |
| US10803293B2 (en) * | 2018-04-17 | 2020-10-13 | Fuji Xerox Co., Ltd. | System and method for semantic or visual collaborative augmented reality |
| US10852816B2 (en) * | 2018-04-20 | 2020-12-01 | Microsoft Technology Licensing, Llc | Gaze-informed zoom and pan with manual speed control |
| CN108615261B (zh) * | 2018-04-20 | 2022-09-09 | 深圳市天轨年华文化科技有限公司 | 增强现实中图像的处理方法、处理装置及存储介质 |
| BR112020021608A2 (pt) * | 2018-04-24 | 2021-01-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | aparelho e método para renderização de um sinal de áudio para uma reprodução para um usuário |
| CN112020731A (zh) * | 2018-04-24 | 2020-12-01 | 苹果公司 | 3d模型的多设备编辑 |
| WO2019213111A1 (en) * | 2018-04-30 | 2019-11-07 | Meta View, Inc. | System and method for presenting virtual content in an interactive space |
| US10839603B2 (en) * | 2018-04-30 | 2020-11-17 | Microsoft Technology Licensing, Llc | Creating interactive zones in virtual environments |
| US20190340821A1 (en) * | 2018-05-04 | 2019-11-07 | Microsoft Technology Licensing, Llc | Multi-surface object re-mapping in three-dimensional use modes |
| KR102574277B1 (ko) * | 2018-05-04 | 2023-09-04 | 구글 엘엘씨 | 사용자와 자동화된 어시스턴트 인터페이스 간의 거리에 따른 자동화된 어시스턴트 콘텐츠의 생성 및/또는 적용 |
| US10455351B1 (en) | 2018-05-04 | 2019-10-22 | Microsoft Technology Licensing, Llc | Sharing geo-located information |
| WO2019217443A1 (en) * | 2018-05-07 | 2019-11-14 | Google Llc | Systems and methods for anchoring virtual objects to physical locations |
| DK180640B1 (en) | 2018-05-07 | 2021-11-09 | Apple Inc | Devices and methods of measurement using augmented reality |
| US11709370B2 (en) | 2018-05-08 | 2023-07-25 | Apple Inc. | Presentation of an enriched view of a physical setting |
| WO2019217081A1 (en) | 2018-05-09 | 2019-11-14 | Apple Inc. | Selecting a text input field using eye gaze |
| US11270426B2 (en) * | 2018-05-14 | 2022-03-08 | Sri International | Computer aided inspection system and methods |
| EP3794428A1 (en) * | 2018-05-15 | 2021-03-24 | Thermo Fisher Scientific Inc. | Collaborative virtual reality environment for training |
| CN110515452B (zh) * | 2018-05-22 | 2022-02-22 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
| JP7341166B2 (ja) | 2018-05-22 | 2023-09-08 | マジック リープ， インコーポレイテッド | ウェアラブルシステムのためのトランスモード入力融合 |
| WO2019226001A1 (en) * | 2018-05-23 | 2019-11-28 | Samsung Electronics Co., Ltd. | Method and apparatus for managing content in augmented reality system |
| US11079897B2 (en) * | 2018-05-24 | 2021-08-03 | The Calany Holding S. À R.L. | Two-way real-time 3D interactive operations of real-time 3D virtual objects within a real-time 3D virtual world representing the real world |
| CN112236713B (zh) | 2018-05-30 | 2023-01-24 | 奇跃公司 | 紧凑的可变聚焦配置 |
| US11651555B2 (en) | 2018-05-31 | 2023-05-16 | Microsoft Technology Licensing, Llc | Re-creation of virtual environment through a video call |
| US11885871B2 (en) | 2018-05-31 | 2024-01-30 | Magic Leap, Inc. | Radar head pose localization |
| US11651559B2 (en) * | 2018-06-01 | 2023-05-16 | Siemens Aktiengesellschaft | Augmented reality method for simulating wireless signal, and apparatus |
| US10380804B1 (en) * | 2018-06-01 | 2019-08-13 | Imajion Corporation | Seamless injection of augmented three-dimensional imagery using a positionally encoded video stream |
| EP3804306B1 (en) | 2018-06-05 | 2023-12-27 | Magic Leap, Inc. | Homography transformation matrices based temperature calibration of a viewing system |
| US10747302B2 (en) * | 2018-06-08 | 2020-08-18 | Facebook Technologies, Llc | Artificial reality interaction plane |
| US20190377538A1 (en) | 2018-06-08 | 2019-12-12 | Curious Company, LLC | Information Presentation Through Ambient Sounds |
| JP7421505B2 (ja) * | 2018-06-08 | 2024-01-24 | マジック リープ， インコーポレイテッド | 自動化された表面選択設置およびコンテンツ配向設置を用いた拡張現実ビューア |
| US20200042160A1 (en) * | 2018-06-18 | 2020-02-06 | Alessandro Gabbi | System and Method for Providing Virtual-Reality Based Interactive Archives for Therapeutic Interventions, Interactions and Support |
| EP3584692A1 (en) * | 2018-06-19 | 2019-12-25 | InterDigital CE Patent Holdings | Sharing virtual content in a mixed reality scene |
| US10549186B2 (en) * | 2018-06-26 | 2020-02-04 | Sony Interactive Entertainment Inc. | Multipoint SLAM capture |
| CN108919951B (zh) * | 2018-06-28 | 2020-11-20 | 联想(北京)有限公司 | 一种信息交互方法及装置 |
| US20200005791A1 (en) * | 2018-06-29 | 2020-01-02 | International Business Machines Corporation | Audio content visualized by pico projection of text for interaction |
| WO2020010097A1 (en) | 2018-07-02 | 2020-01-09 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
| US11856479B2 (en) | 2018-07-03 | 2023-12-26 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality along a route with markers |
| US11510027B2 (en) | 2018-07-03 | 2022-11-22 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| US10818088B2 (en) | 2018-07-10 | 2020-10-27 | Curious Company, LLC | Virtual barrier objects |
| US10839604B2 (en) * | 2018-07-11 | 2020-11-17 | The Boeing Company | Augmented reality system with an active portable anchor |
| US10776943B2 (en) * | 2018-07-17 | 2020-09-15 | Samsung Electronics Co., Ltd. | System and method for 3D association of detected objects |
| EP4270016A3 (en) | 2018-07-24 | 2024-02-07 | Magic Leap, Inc. | Temperature dependent calibration of movement detection devices |
| US10671163B2 (en) * | 2018-07-24 | 2020-06-02 | Microsoft Technology Licensing, Llc | Refining virtual mesh models through physical contacts |
| EP4366337A3 (en) | 2018-07-24 | 2024-07-10 | Magic Leap, Inc. | Application sharing |
| WO2020023543A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Viewing device with dust seal integration |
| JP6745301B2 (ja) * | 2018-07-25 | 2020-08-26 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、コンピュータプログラム |
| CN109214648A (zh) * | 2018-07-27 | 2019-01-15 | 中国联合网络通信集团有限公司 | 新能源交易方法、装置、设备及存储介质 |
| US10692299B2 (en) * | 2018-07-31 | 2020-06-23 | Splunk Inc. | Precise manipulation of virtual object position in an extended reality environment |
| US10909772B2 (en) | 2018-07-31 | 2021-02-02 | Splunk Inc. | Precise scaling of virtual objects in an extended reality environment |
| US11112862B2 (en) | 2018-08-02 | 2021-09-07 | Magic Leap, Inc. | Viewing system with interpupillary distance compensation based on head motion |
| US10795458B2 (en) | 2018-08-03 | 2020-10-06 | Magic Leap, Inc. | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system |
| EP3837674A4 (en) * | 2018-08-13 | 2022-05-18 | Magic Leap, Inc. | CROSS REALITY SYSTEM |
| US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
| KR102710460B1 (ko) * | 2018-08-14 | 2024-09-27 | 삼성전자주식회사 | 전자 장치, 그 제어 방법 및 전자 시스템 |
| JP7487176B2 (ja) | 2018-08-22 | 2024-05-20 | マジック リープ， インコーポレイテッド | 患者視認システム |
| WO2020039568A1 (ja) * | 2018-08-23 | 2020-02-27 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
| US10909373B1 (en) | 2018-08-24 | 2021-02-02 | Snap Inc. | Augmented reality system using structured light |
| US10593120B1 (en) * | 2018-08-28 | 2020-03-17 | Kyocera Document Solutions Inc. | Augmented reality viewing of printer image processing stages |
| US11030813B2 (en) | 2018-08-30 | 2021-06-08 | Snap Inc. | Video clip object tracking |
| CN109240498B (zh) * | 2018-08-30 | 2021-08-20 | Oppo广东移动通信有限公司 | 交互方法、装置、穿戴式设备及存储介质 |
| JP7081052B2 (ja) * | 2018-09-04 | 2022-06-06 | アップル インコーポレイテッド | 模擬現実（ｓｒ）におけるデバイス共有及び対話性の表示 |
| US10902678B2 (en) | 2018-09-06 | 2021-01-26 | Curious Company, LLC | Display of hidden information |
| US11348316B2 (en) * | 2018-09-11 | 2022-05-31 | Apple Inc. | Location-based virtual element modality in three-dimensional content |
| US11004270B2 (en) * | 2018-09-11 | 2021-05-11 | Houzz, Inc. | Virtual item placement system |
| DE102018215715A1 (de) * | 2018-09-14 | 2020-03-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | System und verfahren zur funkwellenbasierten ortung und koordinatentransformation |
| US11036284B2 (en) | 2018-09-14 | 2021-06-15 | Apple Inc. | Tracking and drift correction |
| FR3086423B1 (fr) * | 2018-09-21 | 2021-09-10 | Diotasoft | Procede et systeme de visualisation en realite augmentee |
| CN113168007B (zh) | 2018-09-25 | 2023-09-15 | 奇跃公司 | 用于增强现实的系统和方法 |
| US11366514B2 (en) | 2018-09-28 | 2022-06-21 | Apple Inc. | Application placement based on head position |
| US11189054B2 (en) * | 2018-09-28 | 2021-11-30 | Apple Inc. | Localization and mapping using images from multiple devices |
| US10785413B2 (en) | 2018-09-29 | 2020-09-22 | Apple Inc. | Devices, methods, and graphical user interfaces for depth-based annotation |
| WO2020072591A1 (en) * | 2018-10-03 | 2020-04-09 | Google Llc | Placement and manipulation of objects in augmented reality environment |
| JP7503542B2 (ja) * | 2018-10-05 | 2024-06-20 | マジック リープ， インコーポレイテッド | 任意の場所における場所特有の仮想コンテンツのレンダリング |
| US11494990B2 (en) * | 2018-10-08 | 2022-11-08 | Google Llc | Hybrid placement of objects in an augmented reality environment |
| US10891969B2 (en) * | 2018-10-19 | 2021-01-12 | Microsoft Technology Licensing, Llc | Transforming audio content into images |
| KR102640871B1 (ko) | 2018-10-30 | 2024-02-27 | 삼성전자주식회사 | 증강 현실을 이용한 영상 데이터를 제공하는 전자 장치 및 그 제어 방법 |
| CN109636917B (zh) * | 2018-11-02 | 2023-07-18 | 北京微播视界科技有限公司 | 三维模型的生成方法、装置、硬件装置 |
| US11501765B2 (en) * | 2018-11-05 | 2022-11-15 | Dish Network L.L.C. | Behavior detection |
| WO2020102687A1 (en) * | 2018-11-15 | 2020-05-22 | Edx Technologies, Inc. | Augmented reality (ar) imprinting methods and systems |
| JP7472127B2 (ja) | 2018-11-16 | 2024-04-22 | マジック リープ， インコーポレイテッド | 画像鮮明度を維持するための画像サイズによってトリガされる明確化 |
| WO2020106299A1 (en) | 2018-11-21 | 2020-05-28 | Hewlett-Packard Development Company, L.P. | Augmenting live images of a scene for occlusion |
| KR102581146B1 (ko) | 2018-11-23 | 2023-09-21 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
| US10678492B1 (en) | 2018-11-27 | 2020-06-09 | International Business Machines Corporation | Co-located augmented reality sharing between augmented reality devices |
| US11176737B2 (en) | 2018-11-27 | 2021-11-16 | Snap Inc. | Textured mesh building |
| US10902627B2 (en) * | 2018-11-30 | 2021-01-26 | Hins Sas | Head mounted device for virtual or augmented reality combining reliable gesture recognition with motion tracking algorithm |
| US11055913B2 (en) | 2018-12-04 | 2021-07-06 | Curious Company, LLC | Directional instructions in an hybrid reality system |
| CN111290566B (zh) * | 2018-12-06 | 2021-09-17 | 中国科学院长春光学精密机械与物理研究所 | 一种基于ar的智能家居体验方法及体验系统 |
| US10776933B2 (en) | 2018-12-06 | 2020-09-15 | Microsoft Technology Licensing, Llc | Enhanced techniques for tracking the movement of real-world objects for improved positioning of virtual objects |
| CN111290567B (zh) * | 2018-12-06 | 2022-03-22 | 中国科学院长春光学精密机械与物理研究所 | 一种智能家居装饰显像系统及虚拟家具摆放方法 |
| KR102152217B1 (ko) * | 2018-12-20 | 2020-09-04 | 서강대학교 산학협력단 | Vr 장비와 ar 장비간의 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법 |
| CN113330484A (zh) | 2018-12-20 | 2021-08-31 | 斯纳普公司 | 虚拟表面修改 |
| US10942633B2 (en) * | 2018-12-20 | 2021-03-09 | Microsoft Technology Licensing, Llc | Interactive viewing and editing system |
| FR3090941A1 (fr) * | 2018-12-21 | 2020-06-26 | Orange | Procédé d’interaction d’un utilisateur avec un environnement de réalité virtuelle |
| CN113454507B (zh) | 2018-12-21 | 2024-05-07 | 奇跃公司 | 用于促进波导内的全内反射的气穴结构 |
| US10970935B2 (en) | 2018-12-21 | 2021-04-06 | Curious Company, LLC | Body pose message system |
| KR20200080047A (ko) * | 2018-12-26 | 2020-07-06 | 삼성전자주식회사 | 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기 |
| US20200210137A1 (en) * | 2018-12-27 | 2020-07-02 | Facebook Technologies, Llc | Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration |
| US11221814B2 (en) * | 2018-12-27 | 2022-01-11 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| CN111399630B (zh) * | 2019-01-03 | 2022-05-31 | 广东虚拟现实科技有限公司 | 虚拟内容交互方法、装置、终端设备及存储介质 |
| KR20200094843A (ko) | 2019-01-23 | 2020-08-10 | 삼성전자주식회사 | 외부 전자 장치를 제어하는 방법 및 이를 지원하는 전자 장치 |
| US11209966B2 (en) * | 2019-01-24 | 2021-12-28 | Disney Enterprises, Inc. | Extended on-screen gameplay via augmented reality |
| US11145085B2 (en) * | 2019-01-25 | 2021-10-12 | Social Construct Company | Systems and methods for automating installation of prefabricated parts using projected installation graphics |
| EP3690703A1 (en) | 2019-01-29 | 2020-08-05 | Siemens Aktiengesellschaft | Postures recognition of objects in augmented reality applications |
| US10891792B1 (en) | 2019-01-31 | 2021-01-12 | Splunk Inc. | Precise plane detection and placement of virtual objects in an augmented reality environment |
| US11341676B2 (en) * | 2019-02-05 | 2022-05-24 | Google Llc | Calibration-free instant motion tracking for augmented reality |
| JP7234264B2 (ja) * | 2019-02-06 | 2023-03-07 | マクセル株式会社 | 複合現実表示装置および複合現実表示方法 |
| US11175728B2 (en) * | 2019-02-06 | 2021-11-16 | High Fidelity, Inc. | Enabling negative reputation submissions in manners that reduce chances of retaliation |
| US11425189B2 (en) | 2019-02-06 | 2022-08-23 | Magic Leap, Inc. | Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors |
| US11250641B2 (en) * | 2019-02-08 | 2022-02-15 | Dassault Systemes Solidworks Corporation | System and methods for mating virtual objects to real-world environments |
| KR20200098034A (ko) | 2019-02-11 | 2020-08-20 | 삼성전자주식회사 | 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법 |
| WO2020165885A1 (en) * | 2019-02-13 | 2020-08-20 | Quaqua Experiences Pvt. Ltd. | Computer-implemented method and system for providing interaction rules in mixed reality |
| US11204735B2 (en) | 2019-02-14 | 2021-12-21 | International Business Machines Corporation | Receiving audio from a listening device associated with a selected geographic area |
| US10852906B2 (en) | 2019-02-15 | 2020-12-01 | Microsoft Technology Licensing, Llc | System and method for identifying locations for virtual items within a physical environment |
| US11137874B2 (en) * | 2019-02-22 | 2021-10-05 | Microsoft Technology Licensing, Llc | Ergonomic mixed reality information delivery system for dynamic workflows |
| WO2020171270A1 (ko) * | 2019-02-22 | 2020-08-27 | 엘지전자 주식회사 | 모바일 디바이스 및 그 제어 방법 |
| US11334326B2 (en) * | 2019-02-27 | 2022-05-17 | Adrian Andres Rodriguez-Velasquez | Systems, devices, and methods of developing or modifying software using physical blocks |
| JP7262247B2 (ja) * | 2019-03-01 | 2023-04-21 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
| US11467656B2 (en) | 2019-03-04 | 2022-10-11 | Magical Technologies, Llc | Virtual object control of a physical device and/or physical device control of a virtual object |
| WO2020181136A1 (en) | 2019-03-05 | 2020-09-10 | Physmodo, Inc. | System and method for human motion detection and tracking |
| US11331006B2 (en) | 2019-03-05 | 2022-05-17 | Physmodo, Inc. | System and method for human motion detection and tracking |
| EP3939030A4 (en) | 2019-03-12 | 2022-11-30 | Magic Leap, Inc. | REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY |
| US10872584B2 (en) | 2019-03-14 | 2020-12-22 | Curious Company, LLC | Providing positional information using beacon devices |
| US20200301553A1 (en) * | 2019-03-22 | 2020-09-24 | Sony Interactive Entertainment Inc. | Establishing and using virtual assets on tangible objects in augmented reality (ar) and virtual reality (vr) |
| JP7089113B2 (ja) | 2019-03-29 | 2022-06-21 | 株式会社ソニー・インタラクティブエンタテインメント | 境界設定装置、境界設定方法及びプログラム |
| US10845842B2 (en) * | 2019-03-29 | 2020-11-24 | Lenovo (Singapore) Pte. Ltd. | Systems and methods for presentation of input elements based on direction to a user |
| CN113711174A (zh) | 2019-04-03 | 2021-11-26 | 奇跃公司 | 用混合现实系统在虚拟三维空间中管理和显示网页 |
| US10846899B2 (en) | 2019-04-17 | 2020-11-24 | Honeywell International Inc. | Methods and systems for augmented reality safe visualization during performance of tasks |
| EP3914996A1 (en) | 2019-04-18 | 2021-12-01 | Apple Inc. | Shared data and collaboration for head-mounted devices |
| CN110062216B (zh) * | 2019-04-18 | 2021-05-25 | 北京森焱精创科技有限公司 | 实景交互方法、系统、计算机设备和存储介质 |
| US11107293B2 (en) | 2019-04-23 | 2021-08-31 | XRSpace CO., LTD. | Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium |
| CN114127837A (zh) * | 2019-05-01 | 2022-03-01 | 奇跃公司 | 内容提供系统和方法 |
| US10748302B1 (en) | 2019-05-02 | 2020-08-18 | Apple Inc. | Multiple user simultaneous localization and mapping (SLAM) |
| EP3734419A1 (en) * | 2019-05-03 | 2020-11-04 | XRSpace CO., LTD. | Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium |
| WO2020226832A1 (en) | 2019-05-06 | 2020-11-12 | Apple Inc. | Device, method, and computer-readable medium for presenting computer-generated reality files |
| WO2020226833A1 (en) | 2019-05-06 | 2020-11-12 | Apple Inc. | Device, method, and graphical user interface for composing cgr files |
| EP3745237A1 (en) | 2019-05-31 | 2020-12-02 | Koninklijke Philips N.V. | Rendering an image on a virtual user interface of an augmented or virtual reality device |
| US20210405758A1 (en) * | 2019-06-05 | 2021-12-30 | Lg Electronics Inc. | Method of controlling augmented reality electronic device |
| US11334212B2 (en) | 2019-06-07 | 2022-05-17 | Facebook Technologies, Llc | Detecting input in artificial reality systems based on a pinch and pull gesture |
| JP2020201330A (ja) * | 2019-06-07 | 2020-12-17 | セイコーエプソン株式会社 | 表示装置の動作方法および表示装置 |
| US10852839B1 (en) * | 2019-06-07 | 2020-12-01 | Facebook Technologies, Llc | Artificial reality systems with detachable personal assistant for gating user interface elements |
| US10890983B2 (en) * | 2019-06-07 | 2021-01-12 | Facebook Technologies, Llc | Artificial reality system having a sliding menu |
| US11422669B1 (en) | 2019-06-07 | 2022-08-23 | Facebook Technologies, Llc | Detecting input using a stylus in artificial reality systems based on a stylus movement after a stylus selection action |
| US10897564B1 (en) | 2019-06-17 | 2021-01-19 | Snap Inc. | Shared control of camera device by multiple devices |
| US11341727B2 (en) | 2019-06-18 | 2022-05-24 | The Calany Holding S. À R.L. | Location-based platform for multiple 3D engines for delivering location-based 3D content to a user |
| US11516296B2 (en) | 2019-06-18 | 2022-11-29 | THE CALANY Holding S.ÀR.L | Location-based application stream activation |
| US11546721B2 (en) | 2019-06-18 | 2023-01-03 | The Calany Holding S.À.R.L. | Location-based application activation |
| CN112102497B (zh) | 2019-06-18 | 2024-09-10 | 卡兰控股有限公司 | 用于将应用和交互附接到静态对象的系统和方法 |
| CN112102498A (zh) | 2019-06-18 | 2020-12-18 | 明日基金知识产权控股有限公司 | 用于将应用虚拟地附接到动态对象并实现与动态对象的交互的系统和方法 |
| WO2020261292A1 (en) * | 2019-06-24 | 2020-12-30 | Touchmagix Media Pvt. Ltd. | Interactive reality activity augmentation |
| JP7525524B2 (ja) * | 2019-06-24 | 2024-07-30 | マジック リープ， インコーポレイテッド | 仮想コンテンツのための仮想場所の選択 |
| TR201909402A2 (tr) * | 2019-06-25 | 2021-01-21 | Havelsan Hava Elektronik Sanayi Ve Ticaret Anonim Sirketi | Servi̇s yöneli̇mli̇ bi̇r artirilmiş gerçekli̇k altyapisi si̇stemi̇ |
| CN112153083B (zh) * | 2019-06-26 | 2022-07-19 | 浙江商汤科技开发有限公司 | 锚点共享方法及装置、系统、电子设备和存储介质 |
| CN112150517A (zh) * | 2019-06-26 | 2020-12-29 | 浙江商汤科技开发有限公司 | 锚点共享方法及装置、系统、电子设备和存储介质 |
| CN112146645B (zh) * | 2019-06-28 | 2022-07-22 | 浙江商汤科技开发有限公司 | 一种坐标系对齐的方法及装置、电子设备和存储介质 |
| US11189098B2 (en) | 2019-06-28 | 2021-11-30 | Snap Inc. | 3D object camera customization system |
| US11372474B2 (en) * | 2019-07-03 | 2022-06-28 | Saec/Kinetic Vision, Inc. | Systems and methods for virtual artificial intelligence development and testing |
| US11340857B1 (en) | 2019-07-19 | 2022-05-24 | Snap Inc. | Shared control of a virtual object by multiple devices |
| US11514673B2 (en) | 2019-07-26 | 2022-11-29 | Magic Leap, Inc. | Systems and methods for augmented reality |
| US11172111B2 (en) * | 2019-07-29 | 2021-11-09 | Honeywell International Inc. | Devices and methods for security camera installation planning |
| US11048760B1 (en) * | 2019-07-31 | 2021-06-29 | Splunk Inc. | Techniques for placing content in and applying layers in an extended reality environment |
| US11022972B2 (en) | 2019-07-31 | 2021-06-01 | Bell Textron Inc. | Navigation system with camera assist |
| US11216233B2 (en) * | 2019-08-06 | 2022-01-04 | Motorola Mobility Llc | Methods and systems for replicating content and graphical user interfaces on external electronic devices |
| US11537351B2 (en) * | 2019-08-12 | 2022-12-27 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| CN112394810A (zh) * | 2019-08-19 | 2021-02-23 | 富士施乐株式会社 | 捕获和渲染远程呈现文档图像上的手部骨架的系统和方法 |
| US20210056272A1 (en) * | 2019-08-23 | 2021-02-25 | KEFI Holdings, Inc | Object detection-based control of projected content |
| CN110533780B (zh) * | 2019-08-28 | 2023-02-24 | 深圳市商汤科技有限公司 | 一种图像处理方法及其装置、设备和存储介质 |
| TWI804671B (zh) | 2019-08-28 | 2023-06-11 | 財團法人工業技術研究院 | 互動顯示方法與互動顯示系統 |
| US11409364B2 (en) * | 2019-09-13 | 2022-08-09 | Facebook Technologies, Llc | Interaction with artificial reality based on physical objects |
| CN112541375A (zh) * | 2019-09-20 | 2021-03-23 | 阿里巴巴集团控股有限公司 | 一种手部关键点识别方法及装置 |
| WO2021061351A1 (en) | 2019-09-26 | 2021-04-01 | Apple Inc. | Wearable electronic device presenting a computer-generated reality environment |
| US11379033B2 (en) | 2019-09-26 | 2022-07-05 | Apple Inc. | Augmented devices |
| US11113528B2 (en) * | 2019-09-26 | 2021-09-07 | Vgis Inc. | System and method for validating geospatial data collection with mediated reality |
| US11227446B2 (en) | 2019-09-27 | 2022-01-18 | Apple Inc. | Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality |
| DE112020001415T5 (de) | 2019-09-27 | 2021-12-09 | Apple Inc. | Umgebung für Fernkommunikation |
| US10701316B1 (en) * | 2019-10-10 | 2020-06-30 | Facebook Technologies, Llc | Gesture-triggered overlay elements for video conferencing |
| US11521356B2 (en) * | 2019-10-10 | 2022-12-06 | Meta Platforms Technologies, Llc | Systems and methods for a shared interactive environment |
| US20210110646A1 (en) * | 2019-10-11 | 2021-04-15 | Citrix Systems, Inc. | Systems and methods of geolocating augmented reality consoles |
| JP2022551735A (ja) | 2019-10-15 | 2022-12-13 | マジック リープ， インコーポレイテッド | 無線フィンガプリントを用いたクロスリアリティシステム |
| WO2021076754A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system with localization service |
| JP2022551734A (ja) | 2019-10-15 | 2022-12-13 | マジック リープ， インコーポレイテッド | 複数のデバイスタイプをサポートするクロスリアリティシステム |
| US11380070B2 (en) | 2019-10-30 | 2022-07-05 | The Paddock LLC | Real-time augmentation of a virtual object onto a real-world object |
| EP4052086A4 (en) | 2019-10-31 | 2023-11-15 | Magic Leap, Inc. | EXTENDED REALITY SYSTEM PROVIDING QUALITY INFORMATION ABOUT PERSISTENT COORDINATE FRAMES |
| WO2021096931A1 (en) | 2019-11-12 | 2021-05-20 | Magic Leap, Inc. | Cross reality system with localization service and shared location-based content |
| US12033081B2 (en) | 2019-11-14 | 2024-07-09 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| US11645756B2 (en) | 2019-11-14 | 2023-05-09 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
| EP4058979A4 (en) | 2019-11-15 | 2023-01-11 | Magic Leap, Inc. | VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT |
| US11638147B2 (en) * | 2019-11-22 | 2023-04-25 | International Business Machines Corporation | Privacy-preserving collaborative whiteboard using augmented reality |
| CN111061575A (zh) * | 2019-11-27 | 2020-04-24 | Oppo广东移动通信有限公司 | 数据处理方法、装置、用户设备及增强现实系统 |
| KR102702585B1 (ko) * | 2019-12-03 | 2024-09-04 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
| CN110868635B (zh) * | 2019-12-04 | 2021-01-12 | 深圳追一科技有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| JP2023504570A (ja) | 2019-12-09 | 2023-02-03 | マジック リープ， インコーポレイテッド | 仮想コンテンツの簡略化されたプログラミングを伴うクロスリアリティシステム |
| US11195320B2 (en) * | 2019-12-12 | 2021-12-07 | Facebook Technologies, Llc | Feed-forward collision avoidance for artificial reality environments |
| US11227442B1 (en) | 2019-12-19 | 2022-01-18 | Snap Inc. | 3D captions with semantic graphical elements |
| WO2021124289A1 (en) * | 2019-12-20 | 2021-06-24 | Niantic, Inc. | Merging local maps from mapping devices |
| US11474678B2 (en) * | 2019-12-20 | 2022-10-18 | Bayerische Motoren Werke Aktiengesellschaft | Method, an apparatus, and a machine-readable medium for displaying information |
| WO2021137349A1 (ko) * | 2019-12-31 | 2021-07-08 | 엔센스코리아주식회사 | 환경 기반 실-가상 정합 사물 배치를 위한 3차원 공간인식과 2차원 인지적 영역분할의 결합 방법 및 시스템 |
| CN111124136A (zh) * | 2019-12-31 | 2020-05-08 | 维沃移动通信有限公司 | 虚拟画面同步方法及穿戴式设备 |
| WO2021137348A1 (ko) * | 2019-12-31 | 2021-07-08 | 엔센스코리아주식회사 | 복수의 단말에서 3차원 공간정보를 공유하기 위한 공간맵 생성과 명령실행점 독출방법 |
| WO2021140575A1 (ja) * | 2020-01-07 | 2021-07-15 | マクセル株式会社 | Ａｒオブジェクトを表示するヘッドマウントディスプレイ |
| US20230035962A1 (en) * | 2020-01-09 | 2023-02-02 | Maxell, Ltd. | Space recognition system, space recognition method and information terminal |
| US11481930B2 (en) * | 2020-01-21 | 2022-10-25 | Trimble Inc. | Accurately positioning augmented reality models within images |
| US11138771B2 (en) | 2020-02-03 | 2021-10-05 | Apple Inc. | Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments |
| US20230089061A1 (en) * | 2020-02-05 | 2023-03-23 | Maxell, Ltd. | Space recognition system, space recognition method, information terminal, and server apparatus |
| US11853943B1 (en) | 2020-02-05 | 2023-12-26 | Blue Yonder Group, Inc. | Mixed-reality assisted dimensionality expansion and manipulation analytics |
| US11488358B2 (en) | 2020-02-05 | 2022-11-01 | Snap Inc. | Augmented reality session creation using skeleton tracking |
| US11900546B1 (en) * | 2020-02-10 | 2024-02-13 | Blue Yonder Group, Inc. | Synchronized analysis of mixed-reality OLAP and supply chain network visualizations |
| CN115699157A (zh) | 2020-02-10 | 2023-02-03 | 奇跃公司 | 虚拟内容的动态共置 |
| US11295511B1 (en) * | 2020-02-11 | 2022-04-05 | Progress Software Corporation | Multi-user data presentation in AR/VR |
| EP4104144A4 (en) * | 2020-02-13 | 2024-06-05 | Magic Leap, Inc. | MIXED REALITY SYSTEM FOR LARGE-SCALE ENVIRONMENTS |
| WO2021163300A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with map processing using multi-resolution frame descriptors |
| CN115427758A (zh) | 2020-02-13 | 2022-12-02 | 奇跃公司 | 具有精确共享地图的交叉现实系统 |
| CN115398484A (zh) * | 2020-02-13 | 2022-11-25 | 奇跃公司 | 具有用于定位的地理定位信息优先级的交叉现实系统 |
| CN115398316A (zh) | 2020-02-14 | 2022-11-25 | 奇跃公司 | 3d对象注释 |
| WO2021163624A1 (en) | 2020-02-14 | 2021-08-19 | Magic Leap, Inc. | Tool bridge |
| CN117827004A (zh) | 2020-02-14 | 2024-04-05 | 奇跃公司 | 会话管理器 |
| US11432076B2 (en) * | 2020-02-20 | 2022-08-30 | Orcam Technologies Ltd. | Processing audio and video in a hearing aid system |
| US11609345B2 (en) * | 2020-02-20 | 2023-03-21 | Rockwell Automation Technologies, Inc. | System and method to determine positioning in a virtual coordinate system |
| CN115461787A (zh) | 2020-02-26 | 2022-12-09 | 奇跃公司 | 具有快速定位的交叉现实系统 |
| WO2021173390A1 (en) * | 2020-02-27 | 2021-09-02 | Qsinx Management Llc | Connecting spatially distinct settings |
| US11107280B1 (en) | 2020-02-28 | 2021-08-31 | Facebook Technologies, Llc | Occlusion of virtual objects in augmented reality by physical objects |
| EP4115271A1 (en) * | 2020-03-04 | 2023-01-11 | Abusizz AG | Interactive display apparatus and method for operating the same |
| US11727650B2 (en) * | 2020-03-17 | 2023-08-15 | Apple Inc. | Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments |
| US11720980B2 (en) | 2020-03-25 | 2023-08-08 | Iunu, Inc. | Crowdsourced informatics for horticultural workflow and exchange |
| US12101360B2 (en) | 2020-03-25 | 2024-09-24 | Snap Inc. | Virtual interaction session to facilitate augmented reality based communication between multiple users |
| US11985175B2 (en) | 2020-03-25 | 2024-05-14 | Snap Inc. | Virtual interaction session to facilitate time limited augmented reality based communication between multiple users |
| WO2021190264A1 (en) * | 2020-03-25 | 2021-09-30 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Cooperative document editing with augmented reality |
| US11823343B1 (en) * | 2020-03-26 | 2023-11-21 | Apple Inc. | Method and device for modifying content according to various simulation characteristics |
| US11960651B2 (en) * | 2020-03-30 | 2024-04-16 | Snap Inc. | Gesture-based shared AR session creation |
| US11593997B2 (en) * | 2020-03-31 | 2023-02-28 | Snap Inc. | Context based augmented reality communication |
| US11763427B2 (en) * | 2020-03-31 | 2023-09-19 | Unity IPR ApS | Method and system for intelligent importing and transformation of digital assets |
| US11455078B1 (en) | 2020-03-31 | 2022-09-27 | Snap Inc. | Spatial navigation and creation interface |
| US11138802B1 (en) | 2020-04-06 | 2021-10-05 | Saudi Arabian Oil Company | Geo-augmented field excursion for geological sites |
| US11222478B1 (en) * | 2020-04-10 | 2022-01-11 | Design Interactive, Inc. | System and method for automated transformation of multimedia content into a unitary augmented reality module |
| US12020379B2 (en) | 2020-04-17 | 2024-06-25 | Apple Inc. | Virtual anchoring systems and methods for extended reality |
| US11120639B1 (en) | 2020-04-24 | 2021-09-14 | Microsoft Technology Licensing, Llc | Projecting telemetry data to visualization models |
| US11900547B2 (en) | 2020-04-29 | 2024-02-13 | Magic Leap, Inc. | Cross reality system for large scale environments |
| US11325043B2 (en) | 2020-05-15 | 2022-05-10 | Microsoft Technology Licensing, Llc | Utilizing multiple input sources for generating gameplay locations |
| JP2021182374A (ja) * | 2020-05-19 | 2021-11-25 | パナソニックＩｐマネジメント株式会社 | コンテンツ生成方法、コンテンツ投影方法、プログラム及びコンテンツ生成システム |
| US11221690B2 (en) * | 2020-05-20 | 2022-01-11 | Micron Technology, Inc. | Virtual peripherals for mobile devices |
| JPWO2021235193A1 (ja) * | 2020-05-21 | 2021-11-25 | ||
| US11830119B1 (en) * | 2020-05-29 | 2023-11-28 | Apple Inc. | Modifying an environment based on sound |
| CN116235210A (zh) | 2020-05-29 | 2023-06-06 | 耐克创新有限合伙公司 | 用于处理捕获的图像的系统和方法 |
| US11769302B2 (en) * | 2020-06-05 | 2023-09-26 | Verb Surgical Inc. | Remote surgical mentoring |
| US11743340B2 (en) * | 2020-06-10 | 2023-08-29 | Snap Inc. | Deep linking to augmented reality components |
| TWI759764B (zh) * | 2020-06-12 | 2022-04-01 | 光時代科技有限公司 | 基於光通信裝置疊加虛擬物件的方法、電子設備以及電腦可讀取記錄媒體 |
| US12108237B2 (en) | 2020-06-20 | 2024-10-01 | Apple Inc. | Head tracking correlated motion detection for spatial audio applications |
| US12069469B2 (en) | 2020-06-20 | 2024-08-20 | Apple Inc. | Head dimension estimation for spatial audio applications |
| US20210396779A1 (en) * | 2020-06-20 | 2021-12-23 | Apple Inc. | User posture transition detection and classification |
| GB202009562D0 (en) * | 2020-06-23 | 2020-08-05 | Univ Of Essex Enterprise Limited | Visual assistance |
| US11282267B2 (en) | 2020-07-02 | 2022-03-22 | Cognizant Technology Solutions India Pvt. Ltd. | System and method for providing automated data visualization and modification |
| CN111833461B (zh) * | 2020-07-10 | 2022-07-01 | 北京字节跳动网络技术有限公司 | 一种图像特效的实现方法、装置、电子设备及存储介质 |
| KR20220012073A (ko) | 2020-07-22 | 2022-02-03 | 삼성전자주식회사 | 가상 사용자 인터랙션을 수행하기 위한 방법 및 그 장치 |
| US11233973B1 (en) * | 2020-07-23 | 2022-01-25 | International Business Machines Corporation | Mixed-reality teleconferencing across multiple locations |
| JP7547843B2 (ja) * | 2020-08-03 | 2024-09-10 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、及びプログラム |
| JP7513723B2 (ja) * | 2020-08-06 | 2024-07-09 | マクセル株式会社 | 仮想現実共有方法及びシステム |
| TWI757824B (zh) | 2020-08-10 | 2022-03-11 | 宏碁股份有限公司 | 擴增實境螢幕系統及擴增實境螢幕顯示方法 |
| US11157740B1 (en) * | 2020-08-11 | 2021-10-26 | Amazon Technologies, Inc. | Augmented reality object model configuration based on placement location |
| KR20220021757A (ko) * | 2020-08-14 | 2022-02-22 | 삼성전자주식회사 | 무선 통신 시스템에서 증강 현실 서비스를 위한 방법 및 장치 |
| WO2022037758A1 (en) * | 2020-08-18 | 2022-02-24 | Siemens Aktiengesellschaft | Remote collaboration using augmented and virtual reality |
| US11694413B2 (en) * | 2020-08-25 | 2023-07-04 | Spatial Systems Inc. | Image editing and sharing in an augmented reality system |
| US11410393B2 (en) * | 2020-08-25 | 2022-08-09 | Spatial Systems Inc. | Auto arranging wall in an augmented reality system |
| US11756225B2 (en) * | 2020-09-16 | 2023-09-12 | Campfire 3D, Inc. | Augmented reality collaboration system with physical device |
| US11176756B1 (en) | 2020-09-16 | 2021-11-16 | Meta View, Inc. | Augmented reality collaboration system |
| WO2022060555A1 (en) | 2020-09-16 | 2022-03-24 | Sterling Labs Llc | Merging computer-generated objects based on extremity tracking data |
| CN114200895A (zh) * | 2020-09-17 | 2022-03-18 | 北京小米移动软件有限公司 | 设备控制方法、装置及存储介质 |
| CN114371819B (zh) * | 2020-10-15 | 2023-10-17 | 宏碁股份有限公司 | 扩增实境屏幕系统及扩增实境屏幕显示方法 |
| CN112198963A (zh) * | 2020-10-19 | 2021-01-08 | 深圳市太和世纪文化创意有限公司 | 一种沉浸式隧道型多媒体交互展示方法、设备及存储介质 |
| US11095857B1 (en) | 2020-10-20 | 2021-08-17 | Katmai Tech Holdings LLC | Presenter mode in a three-dimensional virtual conference space, and applications thereof |
| US11070768B1 (en) | 2020-10-20 | 2021-07-20 | Katmai Tech Holdings LLC | Volume areas in a three-dimensional virtual conference space, and applications thereof |
| US10952006B1 (en) | 2020-10-20 | 2021-03-16 | Katmai Tech Holdings LLC | Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof |
| US10979672B1 (en) | 2020-10-20 | 2021-04-13 | Katmai Tech Holdings LLC | Web-based videoconference virtual environment with navigable avatars, and applications thereof |
| US11076128B1 (en) | 2020-10-20 | 2021-07-27 | Katmai Tech Holdings LLC | Determining video stream quality based on relative position in a virtual space, and applications thereof |
| US11457178B2 (en) | 2020-10-20 | 2022-09-27 | Katmai Tech Inc. | Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof |
| CN112230836B (zh) * | 2020-11-02 | 2022-05-27 | 网易（杭州）网络有限公司 | 对象的移动方法、装置、存储介质和电子装置 |
| US11145228B1 (en) * | 2020-11-06 | 2021-10-12 | Lockheed Martin Corporation | Immersive display structure |
| CN112365828B (zh) * | 2020-11-09 | 2024-03-12 | 深圳Tcl新技术有限公司 | 智能调整显示效果的方法、装置、设备及介质 |
| GB2602248A (en) * | 2020-11-11 | 2022-06-29 | 3D4Medical Ltd | Motion assessment instrument |
| KR102398839B1 (ko) | 2020-12-01 | 2022-05-17 | 서울과학기술대학교 산학협력단 | 객체의 표면에 영상을 투영시키는 장치 |
| US20220198764A1 (en) * | 2020-12-18 | 2022-06-23 | Arkh, Inc. | Spatially Aware Environment Relocalization |
| US11782577B2 (en) | 2020-12-22 | 2023-10-10 | Snap Inc. | Media content player on an eyewear device |
| US11797162B2 (en) | 2020-12-22 | 2023-10-24 | Snap Inc. | 3D painting on an eyewear device |
| US12105283B2 (en) | 2020-12-22 | 2024-10-01 | Snap Inc. | Conversation interface on an eyewear device |
| KR20230118687A (ko) * | 2020-12-22 | 2023-08-11 | 스냅 인코포레이티드 | 안경류 디바이스 상의 ar/vr 콘텐츠를 리센터링함 |
| JP2022102041A (ja) * | 2020-12-25 | 2022-07-07 | 時男 後藤 | 三次元アノテーション描写システム |
| KR102299943B1 (ko) * | 2020-12-29 | 2021-09-09 | 주식회사 버넥트 | 속성정보 적용 기반의 증강현실 콘텐츠 제작 방법 및 시스템 |
| US12026800B1 (en) * | 2020-12-31 | 2024-07-02 | Apple Inc. | Blitting a display-locked object |
| CN112907754A (zh) * | 2021-01-22 | 2021-06-04 | 四川智能小子科技有限公司 | Ar导览系统及ar导览方法 |
| CN113010009B (zh) | 2021-02-08 | 2022-07-22 | 北京蜂巢世纪科技有限公司 | 对象共享方法及装置 |
| JP2024506630A (ja) | 2021-02-08 | 2024-02-14 | サイトフル コンピューターズ リミテッド | 生産性のためのエクステンデッド・リアリティ |
| EP4288950A1 (en) | 2021-02-08 | 2023-12-13 | Sightful Computers Ltd | User interactions in extended reality |
| JP2024507749A (ja) | 2021-02-08 | 2024-02-21 | サイトフル コンピューターズ リミテッド | エクステンデッドリアリティにおけるコンテンツ共有 |
| KR20220115433A (ko) | 2021-02-10 | 2022-08-17 | 삼성전자주식회사 | Ar 객체를 표시하는 방법 및 전자 장치 |
| US20220262078A1 (en) * | 2021-02-14 | 2022-08-18 | Broadstone Technologies, Llc | Remote device provisioning and remote support using augmented reality |
| US11875604B1 (en) * | 2021-02-22 | 2024-01-16 | Meta Platforms Technologies, Llc | Systems and methods for determining hand poses in artificial reality environments |
| CN112891938A (zh) * | 2021-03-05 | 2021-06-04 | 华人运通(上海)云计算科技有限公司 | 车端游戏方法、装置、系统、设备及存储介质 |
| US11442582B1 (en) * | 2021-03-05 | 2022-09-13 | Zebra Technologies Corporation | Virtual keypads for hands-free operation of computing devices |
| US11941764B2 (en) | 2021-04-18 | 2024-03-26 | Apple Inc. | Systems, methods, and graphical user interfaces for adding effects in augmented reality environments |
| JP2022169137A (ja) * | 2021-04-27 | 2022-11-09 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、情報処理プログラム、及び情報処理システム |
| US11980813B2 (en) | 2021-05-04 | 2024-05-14 | Ztag, Inc. | System and method of using a virtual focal point in real physical game |
| US11743430B2 (en) | 2021-05-06 | 2023-08-29 | Katmai Tech Inc. | Providing awareness of who can hear audio in a virtual conference, and applications thereof |
| US11184362B1 (en) | 2021-05-06 | 2021-11-23 | Katmai Tech Holdings LLC | Securing private audio in a virtual conference, and applications thereof |
| US11640698B2 (en) | 2021-05-27 | 2023-05-02 | International Business Machines Corporation | Mapping physical locations to fit virtualized AR and VR environments |
| US11586337B2 (en) * | 2021-05-27 | 2023-02-21 | Peer Inc | System and method for using portal systems in augmented reality virtual environments |
| US11676348B2 (en) | 2021-06-02 | 2023-06-13 | Meta Platforms Technologies, Llc | Dynamic mixed reality content in virtual reality |
| US11599338B2 (en) * | 2021-06-18 | 2023-03-07 | Qingdao Pico Technology Co., Ltd. | Model loading method and apparatus for head-mounted display device, and head-mounted display device |
| KR102345295B1 (ko) * | 2021-06-22 | 2021-12-30 | 주식회사 공간의파티 | 웹 서비스를 위한 엣지 서버 원격 렌더링 시스템 및 방법 |
| KR102345297B1 (ko) * | 2021-06-22 | 2021-12-30 | 주식회사 공간의파티 | 웹 서비스를 위한 엣지 서버 원격 렌더링 시스템 및 방법 |
| US11997185B2 (en) * | 2021-06-23 | 2024-05-28 | Qualcomm Incorporated | Demodulator configuration based on user equipment signaling |
| US12099327B2 (en) * | 2021-06-28 | 2024-09-24 | Meta Platforms Technologies, Llc | Holographic calling for artificial reality |
| US12100092B2 (en) | 2021-06-28 | 2024-09-24 | Snap Inc. | Integrating augmented reality into the web view platform |
| US11521361B1 (en) | 2021-07-01 | 2022-12-06 | Meta Platforms Technologies, Llc | Environment model with surfaces and per-surface volumes |
| US11887267B2 (en) | 2021-07-07 | 2024-01-30 | Meta Platforms Technologies, Llc | Generating and modifying representations of hands in an artificial reality environment |
| WO2023009580A2 (en) | 2021-07-28 | 2023-02-02 | Multinarity Ltd | Using an extended reality appliance for productivity |
| US11637715B2 (en) * | 2021-07-28 | 2023-04-25 | Microsoft Technology Licensing, Llc | Virtual event segmentation based on topics and interactions graphs |
| US11989404B1 (en) * | 2021-07-30 | 2024-05-21 | Apple Inc. | Time-based visualization of content anchored in time |
| CN113347400B (zh) * | 2021-08-05 | 2021-12-24 | 南京爱可利克信息科技有限公司 | 一种儿童舞蹈比赛用趣味投影系统及其使用方法 |
| US20230040610A1 (en) * | 2021-08-06 | 2023-02-09 | Apple Inc. | Object placement for electronic devices |
| US20230108256A1 (en) * | 2021-08-11 | 2023-04-06 | MeetKai, Inc. | Conversational artificial intelligence system in a virtual reality space |
| US12056268B2 (en) | 2021-08-17 | 2024-08-06 | Meta Platforms Technologies, Llc | Platformization of mixed reality objects in virtual reality environments |
| US20230065288A1 (en) * | 2021-08-30 | 2023-03-02 | Apple Inc. | Electronic Devices with Body Composition Analysis Circuitry |
| CN117882033A (zh) * | 2021-08-30 | 2024-04-12 | 苹果公司 | 用于调用写入表面的方法和设备 |
| US12039217B2 (en) * | 2021-08-30 | 2024-07-16 | Bank Of America Corporation | Smart glass interface to mobile user |
| CN113724398A (zh) * | 2021-09-01 | 2021-11-30 | 北京百度网讯科技有限公司 | 增强现实方法、装置、设备以及存储介质 |
| CN117897680A (zh) * | 2021-09-01 | 2024-04-16 | 斯纳普公司 | 基于物理动作的增强现实通信交换 |
| KR20240067948A (ko) * | 2021-09-23 | 2024-05-17 | 애플 인크. | 3차원 환경에서 객체들을 이동시키기 위한 방법들 |
| US11934569B2 (en) * | 2021-09-24 | 2024-03-19 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| EP4388397A1 (en) * | 2021-09-25 | 2024-06-26 | Apple Inc. | Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments |
| US20230096417A1 (en) * | 2021-09-29 | 2023-03-30 | Magnopus, LLC | Visual Anchor Based User Coordinate Space Recovery System |
| US20230108152A1 (en) * | 2021-09-30 | 2023-04-06 | Snap Inc. | Providing a takeable item within a virtual conferencing system |
| EP4163765A1 (en) * | 2021-10-07 | 2023-04-12 | Koninklijke Philips N.V. | Method and apparatus for initiating an action |
| US11748944B2 (en) | 2021-10-27 | 2023-09-05 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
| JP7212744B1 (ja) | 2021-11-17 | 2023-01-25 | 株式会社Ｄｒ．健康クラブ | トレーニングサポートシステム、トレーニングサポートプログラム及びトレーニングサポート方法 |
| KR20230072256A (ko) * | 2021-11-17 | 2023-05-24 | 삼성전자주식회사 | 증강 현실 객체의 앵커링을 위한 전자 장치 및 방법 |
| US11734929B2 (en) | 2021-12-07 | 2023-08-22 | Marxent Labs Llc | Enhanced product visualization technology with web-based augmented reality user interface features |
| US11682180B1 (en) * | 2021-12-09 | 2023-06-20 | Qualcomm Incorporated | Anchoring virtual content to physical surfaces |
| US11704885B2 (en) * | 2021-12-17 | 2023-07-18 | Richard Fishman | Augmented reality (AR) visual display to save |
| US11656835B1 (en) * | 2021-12-29 | 2023-05-23 | Transmira, Inc. | Systems and methods for spatial conversion and synchronization between geolocal augmented reality and virtual reality modalities associated with real-world physical locations |
| WO2023130046A1 (en) * | 2021-12-30 | 2023-07-06 | Canon U.S.A., Inc. | Systems and methods for virtual reality immersive calling |
| US12093447B2 (en) | 2022-01-13 | 2024-09-17 | Meta Platforms Technologies, Llc | Ephemeral artificial reality experiences |
| EP4394733A1 (en) * | 2022-01-25 | 2024-07-03 | Samsung Electronics Co., Ltd. | Method and electronic device for determining user's hand in video |
| US11948263B1 (en) | 2023-03-14 | 2024-04-02 | Sightful Computers Ltd | Recording the complete physical and extended reality environments of a user |
| US20230334795A1 (en) | 2022-01-25 | 2023-10-19 | Multinarity Ltd | Dual mode presentation of user interface elements |
| US12105866B2 (en) * | 2022-02-16 | 2024-10-01 | Meta Platforms Technologies, Llc | Spatial anchor sharing for multiple virtual reality systems in shared real-world environments |
| US20230267692A1 (en) * | 2022-02-23 | 2023-08-24 | Htc Corporation | Mixed reality processing system and mixed reality processing method |
| USD1029076S1 (en) | 2022-03-10 | 2024-05-28 | Campfire 3D, Inc. | Augmented reality pack |
| CN117461014A (zh) * | 2022-03-18 | 2024-01-26 | 微软技术许可有限责任公司 | 大幅面显示设备的交互定制 |
| WO2023181549A1 (ja) * | 2022-03-24 | 2023-09-28 | キヤノン株式会社 | 制御装置、制御方法、プログラム |
| US11908072B2 (en) | 2022-03-31 | 2024-02-20 | Tooliqa Inc. | System and method for generating and interacting with a virtual model of a physical entity |
| US11630633B1 (en) * | 2022-04-07 | 2023-04-18 | Promp, Inc. | Collaborative system between a streamer and a remote collaborator |
| KR20230147312A (ko) * | 2022-04-14 | 2023-10-23 | 주식회사 피아몬드 | 가상 공간에서 프라이버시 제공을 위한 방법 및 시스템 |
| US20230359347A1 (en) * | 2022-05-09 | 2023-11-09 | SB22, Inc. | Systems and methods for navigating interactive elements of an application |
| US12026527B2 (en) | 2022-05-10 | 2024-07-02 | Meta Platforms Technologies, Llc | World-controlled and application-controlled augments in an artificial-reality environment |
| US12086301B2 (en) * | 2022-06-01 | 2024-09-10 | Sphere Entertainment Group, Llc | System for multi-user collaboration within a virtual reality environment |
| US11855831B1 (en) | 2022-06-10 | 2023-12-26 | T-Mobile Usa, Inc. | Enabling an operator to resolve an issue associated with a 5G wireless telecommunication network using AR glasses |
| US20230409122A1 (en) * | 2022-06-21 | 2023-12-21 | Apple Inc. | Hand-Gesture Activation of Actionable Items |
| JP2024005358A (ja) * | 2022-06-30 | 2024-01-17 | キヤノン株式会社 | スキャン装置、画像処理方法及びプログラム |
| US11928774B2 (en) | 2022-07-20 | 2024-03-12 | Katmai Tech Inc. | Multi-screen presentation in a virtual videoconferencing environment |
| US11651108B1 (en) | 2022-07-20 | 2023-05-16 | Katmai Tech Inc. | Time access control in virtual environment application |
| US11876630B1 (en) | 2022-07-20 | 2024-01-16 | Katmai Tech Inc. | Architecture to control zones |
| US12009938B2 (en) | 2022-07-20 | 2024-06-11 | Katmai Tech Inc. | Access control in zones |
| US12022235B2 (en) | 2022-07-20 | 2024-06-25 | Katmai Tech Inc. | Using zones in a three-dimensional virtual environment for limiting audio and video |
| US11700354B1 (en) | 2022-07-21 | 2023-07-11 | Katmai Tech Inc. | Resituating avatars in a virtual environment |
| US11741664B1 (en) | 2022-07-21 | 2023-08-29 | Katmai Tech Inc. | Resituating virtual cameras and avatars in a virtual environment |
| US11562531B1 (en) | 2022-07-28 | 2023-01-24 | Katmai Tech Inc. | Cascading shadow maps in areas of a three-dimensional environment |
| US11711494B1 (en) | 2022-07-28 | 2023-07-25 | Katmai Tech Inc. | Automatic instancing for efficient rendering of three-dimensional virtual environment |
| US11704864B1 (en) | 2022-07-28 | 2023-07-18 | Katmai Tech Inc. | Static rendering for a combination of background and foreground objects |
| US11593989B1 (en) | 2022-07-28 | 2023-02-28 | Katmai Tech Inc. | Efficient shadows for alpha-mapped models |
| US11682164B1 (en) | 2022-07-28 | 2023-06-20 | Katmai Tech Inc. | Sampling shadow maps at an offset |
| US11776203B1 (en) | 2022-07-28 | 2023-10-03 | Katmai Tech Inc. | Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars |
| US11956571B2 (en) | 2022-07-28 | 2024-04-09 | Katmai Tech Inc. | Scene freezing and unfreezing |
| US12069409B2 (en) * | 2022-08-31 | 2024-08-20 | Snap Inc. | In-person participant interaction for hybrid event |
| US11748939B1 (en) | 2022-09-13 | 2023-09-05 | Katmai Tech Inc. | Selecting a point to navigate video avatars in a three-dimensional environment |
| US12073530B1 (en) | 2022-09-23 | 2024-08-27 | Apple Inc. | 3D representation adjustments for communication sessions |
| JP2024048680A (ja) | 2022-09-28 | 2024-04-09 | キヤノン株式会社 | 制御装置、制御方法、プログラム |
| US12079442B2 (en) | 2022-09-30 | 2024-09-03 | Sightful Computers Ltd | Presenting extended reality content in different physical environments |
| US20240185512A1 (en) * | 2022-12-05 | 2024-06-06 | Snap Inc. | 3d wrist tracking |
| WO2024128843A1 (ko) * | 2022-12-16 | 2024-06-20 | 삼성전자주식회사 | 사용자의 신체 정보에 기반하여 형성된 영역을 이용하여 어플리케이션을 나타내는 시각적 객체를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체 |
| US20240201787A1 (en) * | 2022-12-19 | 2024-06-20 | T-Mobile Usa, Inc. | Hand-movement based interaction with augmented reality objects |
| US11991222B1 (en) | 2023-05-02 | 2024-05-21 | Meta Platforms Technologies, Llc | Persistent call control user interface element in an artificial reality environment |
| CN116416402A (zh) * | 2023-06-07 | 2023-07-11 | 航天宏图信息技术股份有限公司 | 一种基于mr协同数字沙盘的数据展示方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002157606A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体 |
| US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
| JP2009134693A (ja) * | 2007-10-30 | 2009-06-18 | Canon Inc | 画像処理装置、画像処理方法 |
Family Cites Families (70)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8275617B1 (en) * | 1998-12-17 | 2012-09-25 | Nuance Communications, Inc. | Speech command input recognition system for interactive computer display with interpretation of ancillary relevant speech query terms into commands |
| JP2001157606A (ja) | 1999-12-02 | 2001-06-12 | Mima Jewelry:Kk | 携帯品の落下防止具 |
| JP2001216527A (ja) | 2000-02-04 | 2001-08-10 | Nippon Telegr & Teleph Corp <Ntt> | マルチメディア情報空間入出力装置およびその方法、ならびにそのプログラムを記録した記録媒体 |
| JP3834766B2 (ja) * | 2000-04-03 | 2006-10-18 | 独立行政法人科学技術振興機構 | マンマシーン・インターフェース・システム |
| US6930715B1 (en) | 2000-07-21 | 2005-08-16 | The Research Foundation Of The State University Of New York | Method, system and program product for augmenting an image of a scene with information about the scene |
| US6891518B2 (en) | 2000-10-05 | 2005-05-10 | Siemens Corporate Research, Inc. | Augmented reality visualization device |
| JP3653463B2 (ja) * | 2000-11-09 | 2005-05-25 | 日本電信電話株式会社 | 複数のユーザによる仮想空間共有システム |
| JP3631151B2 (ja) | 2000-11-30 | 2005-03-23 | キヤノン株式会社 | 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体 |
| DE10063089C1 (de) | 2000-12-18 | 2002-07-25 | Siemens Ag | Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems |
| JP2002247602A (ja) | 2001-02-15 | 2002-08-30 | Mixed Reality Systems Laboratory Inc | 画像生成装置及びその制御方法並びにそのコンピュータプログラム |
| TW591321B (en) | 2002-01-21 | 2004-06-11 | Beauty Up Co Ltd | Projecting device |
| US6854850B2 (en) | 2002-01-23 | 2005-02-15 | Si Diamond Technology, Inc. | Multiple images from a single projector |
| KR20050110667A (ko) | 2003-03-10 | 2005-11-23 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 다중 뷰 디스플레이 |
| JP2005084969A (ja) | 2003-09-09 | 2005-03-31 | Fuji Xerox Co Ltd | 会議支援システム及び会議支援方法、並びにコンピュータ・プログラム |
| US7411575B2 (en) | 2003-09-16 | 2008-08-12 | Smart Technologies Ulc | Gesture recognition method and touch system incorporating the same |
| JP2005128877A (ja) | 2003-10-24 | 2005-05-19 | Canon Inc | 複合現実感提示システム及び方法、情報処理装置及び方法、並びにコンピュータプログラム |
| JP2005251118A (ja) * | 2004-03-08 | 2005-09-15 | Canon Inc | 画像処理方法、画像処理装置 |
| JP4522129B2 (ja) * | 2004-03-31 | 2010-08-11 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| US20060028674A1 (en) * | 2004-08-03 | 2006-02-09 | Silverbrook Research Pty Ltd | Printer with user ID sensor |
| US20060050070A1 (en) | 2004-09-07 | 2006-03-09 | Canon Kabushiki Kaisha | Information processing apparatus and method for presenting image combined with virtual image |
| WO2006030613A1 (ja) * | 2004-09-15 | 2006-03-23 | Pioneer Corporation | 映像表示システムおよび映像表示方法 |
| JP4738870B2 (ja) * | 2005-04-08 | 2011-08-03 | キヤノン株式会社 | 情報処理方法、情報処理装置および遠隔複合現実感共有装置 |
| JP2006295779A (ja) | 2005-04-14 | 2006-10-26 | Matsushita Electric Ind Co Ltd | 携帯情報機器 |
| JP2009505268A (ja) | 2005-08-15 | 2009-02-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | エンドユーザプログラミングのための拡張現実感眼鏡のためのシステム、装置及び方法 |
| JP4657060B2 (ja) | 2005-08-25 | 2011-03-23 | シャープ株式会社 | プロジェクタ |
| CN101479659B (zh) | 2006-07-03 | 2011-02-16 | 松下电器产业株式会社 | 投影系统及影像投射方法 |
| JP4747232B2 (ja) | 2006-09-06 | 2011-08-17 | 独立行政法人産業技術総合研究所 | 小型携帯端末 |
| US8793621B2 (en) * | 2006-11-09 | 2014-07-29 | Navisense | Method and device to control touchless recognition |
| US8964014B2 (en) | 2007-01-10 | 2015-02-24 | V.I.O. Inc. | Point-of-view integrated video system having tagging and loop mode features |
| US20080266323A1 (en) | 2007-04-25 | 2008-10-30 | Board Of Trustees Of Michigan State University | Augmented reality user interaction system |
| GB0712690D0 (en) * | 2007-06-29 | 2007-08-08 | Imp Innovations Ltd | Imagee processing |
| JP5067850B2 (ja) * | 2007-08-02 | 2012-11-07 | キヤノン株式会社 | システム、頭部装着型表示装置、その制御方法 |
| JP4989383B2 (ja) | 2007-09-10 | 2012-08-01 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| AU2008299883B2 (en) | 2007-09-14 | 2012-03-15 | Facebook, Inc. | Processing of gesture-based user interactions |
| JP2009080181A (ja) | 2007-09-25 | 2009-04-16 | Brother Ind Ltd | プロジェクタ |
| US7874681B2 (en) * | 2007-10-05 | 2011-01-25 | Huebner Kenneth J | Interactive projector system and method |
| JP2009104429A (ja) | 2007-10-24 | 2009-05-14 | Nikon Corp | ヘッドマウントディスプレイ装置及び携帯装置 |
| JP4884352B2 (ja) | 2007-11-05 | 2012-02-29 | 三菱電機株式会社 | 投影表示装置及び投影表示方法 |
| JP4933406B2 (ja) | 2007-11-15 | 2012-05-16 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP4852555B2 (ja) | 2008-01-11 | 2012-01-11 | 株式会社コナミデジタルエンタテインメント | 画像処理装置、画像処理方法、ならびに、プログラム |
| JP5374906B2 (ja) | 2008-04-07 | 2013-12-25 | 株式会社ニコン | プロジェクタ |
| JP5217630B2 (ja) | 2008-05-28 | 2013-06-19 | 株式会社ニコン | プロジェクタ及びマルチプロジェクションシステム |
| US9389419B2 (en) | 2008-08-14 | 2016-07-12 | Honeywell International Inc. | Near-to-eye display artifact reduction system and method |
| TW201013300A (en) * | 2008-09-22 | 2010-04-01 | Coretronic Corp | Projection system and expansion module for pico projector |
| WO2010062481A1 (en) | 2008-11-02 | 2010-06-03 | David Chaum | Near to eye display system and appliance |
| JP5444963B2 (ja) | 2008-11-26 | 2014-03-19 | セイコーエプソン株式会社 | プロジェクタ |
| JP2010145861A (ja) | 2008-12-19 | 2010-07-01 | Brother Ind Ltd | ヘッドマウントディスプレイ |
| US20100188397A1 (en) | 2009-01-28 | 2010-07-29 | Apple Inc. | Three dimensional navigation using deterministic movement of an electronic device |
| US9569001B2 (en) | 2009-02-03 | 2017-02-14 | Massachusetts Institute Of Technology | Wearable gestural interface |
| JP5417877B2 (ja) | 2009-02-12 | 2014-02-19 | 日本電気株式会社 | キーボード、キーボード入力方法およびキーボード入力プログラム |
| US20100208033A1 (en) | 2009-02-13 | 2010-08-19 | Microsoft Corporation | Personal Media Landscapes in Mixed Reality |
| JP2010217719A (ja) | 2009-03-18 | 2010-09-30 | Ricoh Co Ltd | 装着型表示装置、その制御方法及びプログラム |
| CN101520904B (zh) | 2009-03-24 | 2011-12-28 | 上海水晶石信息技术有限公司 | 带有现实环境估算的增强现实的方法及其系统 |
| GB2470072B (en) | 2009-05-08 | 2014-01-01 | Sony Comp Entertainment Europe | Entertainment device,system and method |
| US8744121B2 (en) | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
| US8943420B2 (en) | 2009-06-18 | 2015-01-27 | Microsoft Corporation | Augmenting a field of view |
| US8331611B2 (en) | 2009-07-13 | 2012-12-11 | Raytheon Company | Overlay information over video |
| TW201104561A (en) | 2009-07-23 | 2011-02-01 | Young Optics Inc | Projection system and method thereof |
| US9286720B2 (en) | 2009-08-20 | 2016-03-15 | Northrop Grumman Systems Corporation | Locative video for situation awareness |
| CN201576164U (zh) | 2009-11-13 | 2010-09-08 | 惠州市华阳多媒体电子有限公司 | 一种用于3d显示的微投影仪 |
| JP4679661B1 (ja) * | 2009-12-15 | 2011-04-27 | 株式会社東芝 | 情報提示装置、情報提示方法及びプログラム |
| CN101727182B (zh) | 2010-01-28 | 2011-08-10 | 南京航空航天大学 | 头盔式虚拟现实环境中参与者实际手的可视化方法和系统 |
| WO2011109126A1 (en) | 2010-03-05 | 2011-09-09 | Sony Computer Entertainment America Llc | Maintaining multiple views on a shared stable virtual space |
| US8506090B2 (en) * | 2010-03-22 | 2013-08-13 | Microvision, Inc. | Projection system with image orientation correction and corresponding method |
| WO2011129907A1 (en) | 2010-04-13 | 2011-10-20 | Sony Computer Entertainment America Llc | Calibration of portable devices in a shared virtual space |
| JP5418386B2 (ja) | 2010-04-19 | 2014-02-19 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US9348141B2 (en) * | 2010-10-27 | 2016-05-24 | Microsoft Technology Licensing, Llc | Low-latency fusing of virtual and real content |
| TWI412866B (zh) | 2010-11-15 | 2013-10-21 | Hon Hai Prec Ind Co Ltd | 具有自動調整投影亮度功能的投影裝置及方法 |
| JP5960796B2 (ja) | 2011-03-29 | 2016-08-02 | クアルコム，インコーポレイテッド | ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ |
| US9081177B2 (en) * | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
-
2012
- 2012-03-29 JP JP2014502810A patent/JP5960796B2/ja not_active Expired - Fee Related
- 2012-03-29 WO PCT/US2012/031300 patent/WO2012135545A1/en active Application Filing
- 2012-03-29 WO PCT/US2012/031305 patent/WO2012135547A1/en active Application Filing
- 2012-03-29 WO PCT/US2012/031301 patent/WO2012135546A1/en active Application Filing
- 2012-03-29 US US13/434,317 patent/US9384594B2/en active Active
- 2012-03-29 CN CN201280016317.3A patent/CN103493106B/zh active Active
- 2012-03-29 JP JP2014502813A patent/JP5784213B2/ja active Active
- 2012-03-29 KR KR1020167017930A patent/KR20160084502A/ko not_active Application Discontinuation
- 2012-03-29 EP EP12718478.6A patent/EP2691938B1/en active Active
- 2012-03-29 EP EP12718477.8A patent/EP2691937A1/en not_active Ceased
- 2012-03-29 KR KR1020137028581A patent/KR101591493B1/ko active IP Right Grant
- 2012-03-29 CN CN201280016357.8A patent/CN103460256B/zh active Active
- 2012-03-29 EP EP19219084.1A patent/EP3654147A1/en not_active Ceased
- 2012-03-29 EP EP19219064.3A patent/EP3654146A1/en not_active Ceased
- 2012-03-29 KR KR1020137028470A patent/KR101591579B1/ko active IP Right Grant
- 2012-03-29 US US13/434,258 patent/US20120249416A1/en not_active Abandoned
- 2012-03-29 US US13/434,488 patent/US9142062B2/en active Active
- 2012-03-29 EP EP12718476.0A patent/EP2691936A1/en not_active Withdrawn
- 2012-03-29 KR KR1020167002518A patent/KR101818024B1/ko active IP Right Grant
- 2012-03-29 US US13/434,533 patent/US9047698B2/en active Active
- 2012-03-29 KR KR1020137028471A patent/KR20130136566A/ko active Application Filing
- 2012-03-29 WO PCT/US2012/031314 patent/WO2012135553A1/en active Application Filing
- 2012-03-29 JP JP2014502811A patent/JP5784818B2/ja active Active
- 2012-03-29 CN CN201280026127.XA patent/CN103562968B/zh active Active
- 2012-03-29 US US13/434,434 patent/US20120249544A1/en not_active Abandoned
- 2012-03-29 JP JP2014502814A patent/JP6126076B2/ja active Active
- 2012-03-29 CN CN2012800162999A patent/CN103460255A/zh active Pending
- 2012-03-29 WO PCT/US2012/031321 patent/WO2012135554A1/en active Application Filing
- 2012-03-29 EP EP12712513.6A patent/EP2691935A1/en not_active Ceased
-
2015
- 2015-08-27 JP JP2015167751A patent/JP2015228256A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
| JP2002157606A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体 |
| JP2009134693A (ja) * | 2007-10-30 | 2009-06-18 | Canon Inc | 画像処理装置、画像処理方法 |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016507112A (ja) * | 2013-03-05 | 2016-03-07 | インテル コーポレイション | 複合的な知覚感知入力の対話 |
| US10909370B2 (en) | 2015-04-09 | 2021-02-02 | Seiko Epson Corporation | Information processing apparatus, image display apparatus, control method for information processing apparatus and image display apparatus, and computer program |
| US11210521B2 (en) | 2015-04-09 | 2021-12-28 | Seiko Epson Corporation | Information processing apparatus, image display apparatus, control method for information processing apparatus and image display apparatus, and computer program |
| KR102572528B1 (ko) | 2016-10-18 | 2023-08-30 | 버츄얼리 라이브 (스위츨랜드) 게엠베하 | Hmd 전달 시스템 및 방법 |
| KR20190065396A (ko) * | 2016-10-18 | 2019-06-11 | 버츄얼리 라이브 (스위츨랜드) 게엠베하 | Hmd 전달 시스템 및 방법 |
| JP2020501465A (ja) * | 2016-10-18 | 2020-01-16 | ヴァーチャリー ライヴ （スウィッツァランド） ジーエムビーエイチ | Ｈｍｄ配信システムおよび方法 |
| JP7338941B2 (ja) | 2016-10-18 | 2023-09-05 | ヴァーチャリー ライヴ （スウィッツァランド） ジーエムビーエイチ | Ｈｍｄ配信システムおよび方法 |
| JP2018097141A (ja) * | 2016-12-13 | 2018-06-21 | 富士ゼロックス株式会社 | 頭部装着型表示装置、仮想物体表示システム |
| JP2020516355A (ja) * | 2017-04-06 | 2020-06-11 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | ウェアラブルデバイスの配置のための案内を与えるための方法及び装置 |
| JP2020520521A (ja) * | 2017-05-16 | 2020-07-09 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 協働的介入のための拡張現実 |
| KR101938361B1 (ko) * | 2017-09-29 | 2019-01-14 | 재단법인 아산사회복지재단 | X선 영상 내 체형 윤곽선 기반의 골격 상태 예측방법 및 프로그램 |
| JP2020098451A (ja) * | 2018-12-18 | 2020-06-25 | 川崎重工業株式会社 | 情報投影システム、制御装置、及び情報投影方法 |
| JP7414395B2 (ja) | 2018-12-18 | 2024-01-16 | 川崎重工業株式会社 | 情報投影システム、制御装置、及び情報投影制御方法 |
| WO2020130006A1 (ja) * | 2018-12-18 | 2020-06-25 | 川崎重工業株式会社 | 情報投影システム、制御装置、及び情報投影方法 |
| JP7528621B2 (ja) | 2020-08-05 | 2024-08-06 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
| JP2023543746A (ja) * | 2020-09-25 | 2023-10-18 | アップル インコーポレイテッド | 環境内のオブジェクトを操作するための方法 |
| CN117032450A (zh) * | 2020-09-25 | 2023-11-10 | 苹果公司 | 用于操纵环境中的对象的方法 |
| US12112009B2 (en) | 2021-04-13 | 2024-10-08 | Apple Inc. | Methods for providing an immersive experience in an environment |
| US12086330B2 (en) | 2022-05-16 | 2024-09-10 | Canon Kabushiki Kaisha | Information processing device, information processing system, information processing method, and non-transitory computer readable medium |
| KR102698043B1 (ko) * | 2022-05-26 | 2024-08-23 | 주식회사 네비웍스 | 가상훈련운용장치 및 가상훈련 운용 방법 |
| KR20230165015A (ko) * | 2022-05-26 | 2023-12-05 | 주식회사 네비웍스 | 가상훈련운용장치 및 가상훈련 운용 방법 |
| US12112011B2 (en) | 2022-09-16 | 2024-10-08 | Apple Inc. | System and method of application-based three-dimensional refinement in multi-user communication sessions |
| US12099653B2 (en) | 2022-09-22 | 2024-09-24 | Apple Inc. | User interface response based on gaze-holding event assessment |
| US12108012B2 (en) | 2023-02-27 | 2024-10-01 | Apple Inc. | System and method of managing spatial states and display modes in multi-user communication sessions |
| US12118200B1 (en) | 2023-06-02 | 2024-10-15 | Apple Inc. | Fuzzy hit testing |
| US12099695B1 (en) | 2023-06-04 | 2024-09-24 | Apple Inc. | Systems and methods of managing spatial groups in multi-user communication sessions |
| US12113948B1 (en) | 2023-06-04 | 2024-10-08 | Apple Inc. | Systems and methods of managing spatial groups in multi-user communication sessions |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5784213B2 (ja) | 骨格追跡を使用した物理的表面上への仮想投影上での選択的な手のオクルージョン | |
| US11743064B2 (en) | Private collaboration spaces for computing systems | |
| JP6090879B2 (ja) | 拡張現実対応デバイスのためのユーザインターフェース | |
| KR102077665B1 (ko) | 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법 | |
| JP2023134045A (ja) | 通信装置、通信システム、表示方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141014 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150114 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150414 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150622 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150721 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5784213 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |