CN103186922B - 使用扩增现实显示器表示以前时间段时的场所的方法以及个人视听(a/v)装置 - Google Patents
使用扩增现实显示器表示以前时间段时的场所的方法以及个人视听(a/v)装置 Download PDFInfo
- Publication number
- CN103186922B CN103186922B CN201210378687.3A CN201210378687A CN103186922B CN 103186922 B CN103186922 B CN 103186922B CN 201210378687 A CN201210378687 A CN 201210378687A CN 103186922 B CN103186922 B CN 103186922B
- Authority
- CN
- China
- Prior art keywords
- display
- data
- visual field
- user
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims description 75
- 230000000007 visual effect Effects 0.000 claims abstract description 178
- 230000000694 effects Effects 0.000 claims abstract description 41
- 230000008859 change Effects 0.000 claims abstract description 38
- 238000013507 mapping Methods 0.000 claims description 40
- 238000003860 storage Methods 0.000 claims description 28
- 230000009471 action Effects 0.000 claims description 25
- 230000004044 response Effects 0.000 claims description 8
- 230000010399 physical interaction Effects 0.000 claims description 7
- 230000036541 health Effects 0.000 claims description 5
- 239000003550 marker Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 14
- 210000001508 eye Anatomy 0.000 description 106
- 230000003287 optical effect Effects 0.000 description 53
- 238000012545 processing Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 37
- 230000033001 locomotion Effects 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 17
- 239000000463 material Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 210000003128 head Anatomy 0.000 description 11
- 238000009877 rendering Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 239000011521 glass Substances 0.000 description 7
- 238000005286 illumination Methods 0.000 description 7
- 241001269238 Data Species 0.000 description 6
- 238000013480 data collection Methods 0.000 description 6
- 230000002708 enhancing effect Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 239000000047 product Substances 0.000 description 6
- 241000208340 Araliaceae Species 0.000 description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 description 4
- 230000003321 amplification Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 235000008434 ginseng Nutrition 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000005728 strengthening Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 239000004575 stone Substances 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000000873 fovea centralis Anatomy 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 210000004906 toe nail Anatomy 0.000 description 2
- KVCQTKNUUQOELD-UHFFFAOYSA-N 4-amino-n-[1-(3-chloro-2-fluoroanilino)-6-methylisoquinolin-5-yl]thieno[3,2-d]pyrimidine-7-carboxamide Chemical class N=1C=CC2=C(NC(=O)C=3C4=NC=NC(N)=C4SC=3)C(C)=CC=C2C=1NC1=CC=CC(Cl)=C1F KVCQTKNUUQOELD-UHFFFAOYSA-N 0.000 description 1
- 230000005483 Hooke's law Effects 0.000 description 1
- 208000000260 Warts Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 210000001699 lower leg Anatomy 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 201000010153 skin papilloma Diseases 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及使用扩增现实显示器来表示以前时间段时的场所。在此描述了用于用三维（3D）虚拟数据表示以前时间段时的物理场所的技术，所述三维（3D）虚拟数据由个人视听（A/V）装置的近眼扩增现实显示器来显示。将所述个人A/V装置标识为处于所述物理场所内，并且基于所述物理场所中的物体的三维映射自动地标识出所述近眼扩增现实显示器的显示器视野中的一个或多个物体。可以为自然用户界面（NUI）输入的用户输入指示以前时间段，并且从与显示器视野相关联的用户视角显示与所述以前时间段相关联的一个或多个3D虚拟物体。可以从显示器视野中擦除物体，并且可以在显示器视野间改变时应用相机效果。
Description
技术领域
本发明涉及使用扩增现实显示器表示以前时间段时的场所。
背景技术
人们由于发生在诸如历史地点和体育馆之类的位置处的一个或多个事件而参观这些位置。有时可能存在重现(re-enactment)，例如由志愿者对战役场景的重现。参观者围绕为所述重现的流行片段所排定的时间来计划他们的访问，并且这样的片段的观看区域常常是拥挤的。在所述地点的参观者中心处常常存在电影院，在那里周期性地播放信息性电影，该电影突出了该地点要参观的发生过显著事件的点。配备有小册子的参观者跟随描述所述事件的标记和人类导游，参观者的想象在他们的脑海中将这些事件变为行动。
发明内容
描述了用于用三维(3D)虚拟数据表示以前时间段时的物理场所的技术，所述三维(3D)虚拟数据由个人视听(A/V)装置的近眼扩增现实显示器来显示。另外，用户的观看体验可以通过相机效果和从显示器选择性擦除物体来增强。
该技术提供了用于用三维(3D)虚拟数据表示以前时间段时的物理场所的方法的一个或多个实施例，所述三维(3D)虚拟数据由个人视听(A/V)装置的近眼扩增现实显示器来显示。该方法的实施例包括：基于由个人A/V装置检测到的场所数据自动地标识该个人A/V装置处于物理场所内；以及基于该物理场所处的物体的三维映射自动地标识一个或多个物体处于该近眼扩增现实显示器的显示器视野中。标识指示选择以前的时间段的用户输入。与以前时间段相关联的三维(3D)虚拟数据基于显示器视野中的一个或多个物体并且基于与显示器视野相关联的用户视角。
该技术提供了用于用三维（3D）虚拟数据表示以前时间段的物理场所的个 人视听（A/V）装置的一个或多个实施例。个人A/V装置的实施例包括近眼扩增现实显示器，该显示器具有显示器视野并且由近眼支承结构来支承。一个或多个处理器可通信地耦合到网络可访问计算机系统以用于访问存储有与物理场所处的一个或多个物体相关联的3D虚拟数据的一个或多个存储器。可访问的3D虚拟数据表示在至少一个以前时间段时在该物理场所处的一个或多个物体。
该装置的实施例还包括自然用户界面（NUI），其用于将至少一个身体部位的一个或多个用户身体动作解释成选择物理场所处的至少一个物体以供用3D虚拟数据进行扩增的用户输入。该NUI也将至少一个身体部位的所述至少一个用户身体动作解释成指示供由3D虚拟数据来表示的以前时间段的用户输入。所述一个或多个处理器控制个人A/V装置的近眼扩增现实显示器以用于从与该显示器的显示器视野相关联的用户视角显示所述至少一个数据的3D虚拟数据。
该技术提供了包括编码在其上的指令的一个或多个处理器可读存储设备的一个或多个实施例，所述指令致使一个或多个处理器执行一种用于用三维（3D）虚拟数据表示以前时间段时的物理场所的方法，所述三维（3D）虚拟数据由个人视听（A/V）装置的近眼扩增现实显示器来显示。该方法的实施例包括：基于由个人A/V装置检测到的场所数据自动地标识该个人A/V装置处于物理场所内；以及基于该物理场所处的物体的三维映射自动地标识处于该近眼扩增现实显示器的显示器视野中的一个或多个物体。将用户输入标识为指示选择以前的时间段。基于与第一显示器视野相关联的用户视角来显示与以前时间段相关联的三维（3D）虚拟数据。
另外，标识指示请求第二显示视野的用户输入，所述第二显示器视野具有与第一显示器视野不同的细节水平，并且包括第一显示视野中的至少一个感兴趣的物体。将第一显示器视野改变为第二显示器视野。
提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
图1A是描绘具有近眼扩增现实显示器的个人视听（A/V）装置的一实施例的示例组件的框图。
图1B是描绘具有近眼扩增现实显示器的个人视听（A/V）装置的另一实施例的示例组件的框图。
图2A是个人视听（A/V）装置的实施例中的镜架的眼镜腿102的侧视图，该装置具有被具体化为提供对硬件和软件组件的支持的眼镜的光学透视扩增现实显示器。
图2B是近眼光学透视扩增现实显示器的显示光学系统的实施例的顶视图。
图3A是从软件角度而言的用于用三维（3D）虚拟数据表示以前时间段时的物理场所的系统的框图，所述三维（3D）虚拟数据由个人视听（A/V）装置的近眼扩增现实显示器来显示。
图3B示出物体参考数据集的示例。
图3C示出了物体物理属性数据集中的数据字段的一些示例。
图4是虚拟数据提供器系统的实施例的框图。
图5是描绘可在感兴趣的地方实现的系统的一个示例的框图。
图6A是用于用三维（3D）虚拟数据表示以前时间段时的物理场所的方法的一实施例的流程图，所述三维（3D）虚拟数据由个人A/V装置的近眼扩增现实显示器来显示。
图6B是由于显示器视野改变而更新与以前时间段相关联的物体的显示的一些示例性步骤的流程图。
图6C是用于标识指示选择以前时间段的用户输入的过程的示例的流程图。
图6D是用于用三维（3D）虚拟数据表示以前时间段时的物理场所的方法的另一实施例的流程图，所述三维（3D）虚拟数据由个人A/V装置的近眼扩增现实显示器来显示。
图6E是用于基于个人A/V装置的用户的注视模式来选择供显示的虚拟数据的过程的实施例的流程图。
图6F是用于在物体上显示至少一个效果的方法的一实施例的流程图，其中该方法供用在用于由扩增现实显示器来显示现实物体与虚拟物体之间的碰撞的方法中。
图7是用于用三维（3D）虚拟数据表示以前时间段时的物理场所的方法的又一实施例的流程图，所述三维（3D）虚拟数据由个人A/V装置过程的近眼扩增现实显示器来显示。
图8A是描述用于将个人A/V装置用作虚拟导游的过程的实施例的流程图。
图8B是描述用于提供交互式导游的过程的一实施例的流程图。
图9A是描述用于从显示器视野中擦除用户选择的现实物体的方法的一实施例的流程图。
图9B是描述用于选择性过滤现实音频数据的方法的一实施例的流程图。
图10A是用于将显示器视野改变为具有不同细节水平的另一显示器视野的方法的另一实施例的流程图。
图10B是用于将第一显示器视野改变为具有不同细节水平的第二显示器视野的过程的一实施例的流程图。
图10C是用于更新与第二显示器视野相关联的用户视角的过程的流程图。
图11A示出了虚拟数据利用虚拟数据的共享观看来扩增现实场所的示例。
图11B示出了由用户对虚拟物体的元素的注视触发的特写显示视图的示例。
图12是描绘可用于实现网络可访问计算系统或伴随处理模块的计算系统一个实施例的框图。
具体实施方式
一种具有个人A/V装置的系统可以用于图形化或可视地示出某个物理场所的历史。例如，可以使城堡或遗址变为生动的。用户可以看见遗址在过去的不同时刻是什么样的。来自历史的场景也可以被播出。例如，用户可以看见城堡和观看城堡周围的日常生活或者观看假扮（forge）的战役。可在原始事件地点的现代场所处进行历史重现。在一个示例中，用户可以处于非著名场所处， 并且让个人A/V装置向用户示出在历史上的某个时刻在该场所发生过的一个或多个事件。另一示例可以是用户正步行经过某一城市，而个人A/V装置通过指出场所和或/显示电影中的场景来向用户示出各种电影是在哪里拍摄的。在这些实施例中的每个中，虚拟数据将现实世界视图扩增为如同透过个人A/V系统的近眼扩增现实（AR）显示器看见的那样。附加地，在下面所述的实施例中，用于查看扩增物理场所的虚拟数据的用户视角不是预先定义的。用户通过他或她的移动并且在许多实施例中通过注视来控制他或她透过该显示器看见的视图。
图像数据可以是诸如视频之类的移动图像数据以及静止图像数据。图像数据也可以是三维的。3D图像的示例是全息图。图像数据可以是所捕捉的现实物体的图像数据，并且在一些实施例中是被显示的现实物体的图像数据，或者图像数据可以被生成以示出虚拟物体或图像。在此称为虚拟数据的虚拟图像数据是虚拟物体或虚拟效果的图像数据。虚拟效果的示例是诸如雾或雨之类的大气条件。另一示例可以是对现实物体的模拟效果，比如窗口打碎而现实窗口仍然是完好的、或者所显示的一个人的衬衫的颜色改变。与现实或虚拟物体配准的图像数据或虚拟图像数据是指：所述数据参考或根据与其配准的物体的位置来跟踪其在显示器视野中的位置。
在描述具有近眼AR显示器的个人A/V装置的一些实施例以前，注意：存在不同类型的扩增现实显示器。佩戴透视扩增现实个人A/V装置的用户实际上用他或她的自然视力看到透视显示器的显示器视野中的未被虚拟物体或虚拟效果的图像数据遮挡的现实物体，由此名为透视显示器和光学透视显示器。对于诸如视频观看显示器（有时称为视频透视显示器）或以视频观看模式操作的显示器之类的其他类型的扩增现实显示器，该显示器不是真正地透视的，因为用户用他自然视力看不见现实物体，而是被显示了未被遮挡的现实物体的图像数据（就好像这些现实物体能用自然视力被看见那样）、以及虚拟物体和虚拟效果的图像数据。下面对透视显示器的参考是参考光学透视显示器的。
术语“显示器视野”是指显示设备系统的显示器部分作为用户透过查看的显示器部分的视野。换言之，显示器视野逼近从用户观看的用户视角看见的用户视野。术语“用户视角”包括用变化的精确度逼近用户视角。例如，用户视 角可以使用参数来确定，而不考虑特定用户的特定眼睛数据。在其他示例中，更复杂的技术可以使用从眼睛跟踪数据确定的个人注视来更精确地查明用户正从哪里看。
在一些实施例中，现实或虚拟物体的用户视角是从该物体在显示器视野中的位置和定向中确定的。显示器视野可以按照依赖于视图的坐标系来定义。依赖于视图的坐标系在用户的头移动时随着显示器移动。（使用不依赖于视图的坐标系对物理场所的3D映射具有该物理场所处的固定原点。）在一些实施例中，显示器视野可以由具有正交的X、Y和Z轴的依赖于视图的坐标系来逼近，其中Z轴表示从下列点开始的深度位置：个人A/V装置前面的参考点；或者参照个人A/V装置的前面确定的一个或多个点，比如针对用户的视网膜中央凹的大致位置。
图1A是描绘个人视听（A/V）装置8的一实施例的示例组件的框图。个人A/V装置8包括光学透视扩增现实显示设备以作为近眼扩增现实显示设备2，其在该示例中通过线6、在其他示例中无线地与伴随处理模块4通信。在该实施例中，头戴式显示设备2的框架115为眼镜的形状，该框架115具有针对每只眼睛的显示光学系统14、14r和14l，其中图像数据被投影到用户的眼睛中以生成图像数据的显示，同时用户还通过显示光学系统14查看以获得现实世界的实际直接视图。
使用术语“实际直接视图”来指直接用人眼看到现实世界物体的能力，而非看到所创建的物体的图像表示的能力。例如，在房间中透过眼镜看将允许用户具有该房间的实际直接视图，而在电视机上查看房间的视频不是该房间的实际直接视图。每个显示光学系统14还被称为透视显示器，并且两个显示光学系统14一起还可以被称为透视扩增现实显示器（即光学透视扩增现实显示器14）。
框架115提供用于将该装置的各元件保持在原位的支承体结构以及用于电连接的管道。在该实施例中，框架115提供了便利的眼镜架作为对下面进一步讨论的该装置的各元件的支承体。近眼支承体结构的其他示例是护目镜框架或护眼镜支承体。框架的115包括鼻梁架104，该鼻梁架104具有用于记录声音并向控制电路136传送音频数据的话筒110。框架的侧臂或镜腿102抵靠在用 户的每个耳朵上，并且在该示例中，镜腿102被示为包括用于显示设备2的控制电路136。
如图2A和2B中所示，在该实施例中在每个镜腿102上还包括图像生成单元120。而且，在该视图中未示出、而是在图2A和2B中示出的朝向外的例如相机之类的捕捉设备113以用于：记录数字图像数据，比如静止图像、视频或二者；以及将视觉记录传送给控制电路136，该控制电路136进而可以将所捕捉的图像数据发送给伴随处理模块4，该伴随处理模块4还可以通过一个或多个通信网络50将该数据发送给一个或多个计算机系统12或另一个人A/V装置。
伴随处理模块4可以采取各种实施例。在一些实施例中，伴随处理模块4是可佩戴在用户的身体（例如腰）上的单独单元，或者可以是诸如移动设备（例如，智能电话）的单独设备。伴随处理模块4可以通过一个或多个通信网络50有线地或无线地（例如WiFi、蓝牙、红外、红外个域网、RFID发射、无线通用串行总线（WUSB）、蜂窝、3G、4G或其他无线通信装置）与一个或多个计算机系统12（无论是位于附近还是远程场所）、处于某个场所或环境中的其他个人A/V装置（例如作为对等通信的一部分）、以及该环境中的一个或多个3D图像捕捉设备（如果可用的话）进行通信。在其他实施例中，伴随处理模块4的功能可被集成在图1B的显示设备2的软件和硬件组件中。图11示出了伴随处理模块4的硬件组件的一些示例。可以充分利用一个或多个网络可访问计算机系统12来处理电力和远程数据访问。图11示出了计算机系统12的硬件组件的示例。组件的大小和数目可以因计算机系统12和伴随处理模块4的不同实施例而显著变化。
应用可以在计算机系统12上执行，其与在个人A/V装置8中的一个或多个处理器上执行的应用进行交互或为其执行处理。例如，3D映射应用可以在所述一个或多个计算机系统12和用户的个人A/V装置8上执行。在一些实施例中，应用实例可以以主机和客户端角色来执行，其中客户端副本在个人A/V装置8上执行并且执行其显示器视野的3D映射；从计算机系统12接收3D映射的更新，该更新包括其视野内的物体来自主机3D映射应用的更新；以及将图像数据、以及深度和物体标识数据（如果可用的话）发送回主机副本。附加地，在一些实施例中，在处于相同环境中的不同的个人A/V装置8上执行的3D映 射应用以对等配置在装置8之间实时地共享数据更新，例如现实物体标识。
在图1A和1B的所示实施例中，所述一个或多个计算机系统12和个人A/V装置8还具有到一个或多个3D图像捕捉设备20的网络入口，所述3D图像捕捉设备20例如可以是一个或多个相机，所述相机视觉地监视一个或多个用户和周围空间，使得由所述一个或多个用户执行的姿势和移动以及包括表面和物体的周围空间的结构可以被捕捉、分析和跟踪。一个或多个3D捕捉设备20的图像数据和深度数据（如果被捕捉的话）可以补充个人A/V装置8和某场所处用于实现3D映射、姿势识别、物体识别、资源跟踪以及下面进一步讨论的其他功能的其他个人A/V装置8的近眼AR显示设备2上的一个或多个捕捉设备113所捕捉的数据。
所述一个或多个捕捉设备20可以是定位在用户环境中的一个或多个深度相机。根据一示例性实施方式，每个捕捉设备20都可以被配置有RGB和IR组件以通过包括例如飞行时间、结构化光、立体图像等在内的任何合适的技术来捕捉包括深度信息的视频，该深度信息包括深度图像，该深度图像可包括深度值。根据一实施例，捕捉设备20可将深度信息组织为“Z层”或者可与从深度相机沿其视线延伸的Z轴垂直的层。深度图像可包括所捕捉的视野的二维（2-D）像素区域，其中2-D像素区域中的每个像素都可以（例如以厘米、毫米等等为单位）表示来自相机的所捕捉的视野中的物体的长度。
图1B是描绘具有近眼扩增现实显示器的个人视听（A/V）装置的另一实施例的示例性组件的框图，该装置可以通过通信网络50与其他设备通信。在该实施例中，显示设备2的控制电路136合并了图1A中伴随处理模块4所提供的功能，并且无线地通过无线收发器（参见图2A的无线接口137）经由通信网络50与一个或多个计算机系统12（无论是位于附近还是远程场所处）、处于某场所或环境中的其他A/V装置8、该环境中的3D图像捕捉设备（如果可用的话）进行通信。
图2A是个人视听（A/V）装置的一实施例的框架的眼镜腿102的侧视图，该装置具有被具体化为提供对硬件和软件组件的支持的眼镜的光学透视扩增现实显示器。在框架115的前面描绘了例如相机之类的至少两个朝向物理环境的捕捉设备113之一，其可以捕捉现实世界的诸如视频和静止的图像数据（通 常为彩色）以映射该透视显示器的显示器视野中、以及由此进入用户的视野中的现实物体。
在一些示例中，捕捉设备113还可以是深度敏感的，例如它们可以是传送和检测红外光的深度敏感相机，其中从所述红外光中可以确定深度数据。在其他示例中，框架115的前面的单独深度传感器（未示出）还可以捕捉深度数据并将其提供给显示器视野中的物体和其他表面。深度数据和图像数据形成捕捉设备113的所捕捉的视野中的深度图，所述捕捉设备被校准以包括显示器视野。可以基于深度图生成显示器视野的三维（3D）映射。可以包括在头戴式显示设备2上的深度感测技术的一些示例为、但不限于SONAR、LIDAR、结构化光和/或飞行时间。
在一些实施例中，朝向外的捕捉设备113提供重叠的图像数据，从所述图像数据中可以基于立体视觉确定所述图像数据中的物体的深度信息。还可以使用视差和诸如颜色之类的对比度特征来解析现实物体的相对位置。
捕捉设备113还被称为朝向外的捕捉设备，意思是从用户的头部朝向外。所示捕捉设备113是朝向前面的捕捉设备，其相对于其相应显示光学系统14的参考点被校准。这样的参考点的一个示例是其相应显示光学系统14的光轴（参见图2B中的142）。该校准允许从捕捉设备113捕捉的数据中确定显示光学系统14的显示器视野。
控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。在该示例中，右镜腿102包括用于显示设备2的控制电路136，该控制电路包括处理单元210、处理单元210可访问来存储处理器可读指令和数据的存储器244、通信地耦合到处理单元210的无线接口137、以及电源239，该电源为控制电路136的各组件以及显示器2的其他组件（如相机113、话筒110和下面讨论的传感器单元）提供电力。处理单元210可以包括一个或多个处理器，包括中央处理单元（CPU）并且尤其是在没有包括至少一个图形处理单元（GPU）的单独伴随处理模块4的实施例中包括图形处理单元（GPU）。
安装在镜腿102内或上的是一组耳机130的耳机、包括一个或多个惯性传感器的惯性感测单元132、以及包括一个或多个场所或邻近度传感器的场所感测单元，场所感测单元的一些示例是GPS收发器、红外（IR）收发器、用于处 理RFID数据的射频收发器。在一个实施例中，惯性感测单元132包括三轴磁力计、三轴陀螺仪、以及三轴加速度计作为惯性传感器。惯性传感器用于感测头戴式显示设备2的位置、定向、以及突然加速。从这些感测的移动中还可以确定头位置以及由此显示设备的定向，其指示用户视角和显示器视野的改变，由此来更新虚拟数据以跟踪用户视野。
在实施例中，在操作中处理模拟信号的每个设备都包括控制电路，该电路数字地与处理单元210和存储器244连接，并且为相应设备产生或转换模拟信号或者产生和转换模拟信号二者。处理模拟信号的设备的一些示例是用于下面所述的每只眼睛的显示光学系统14l、14r的感测单元144、132和耳机130以及话筒110、捕捉设备113和相应的IR照明器134A、以及相应的IR检测器和相机134B。
产生表示图像的可见光的图像源或图像生成单元120安装在眼镜腿102上或眼镜腿102内。图像生成单元120可以将虚拟物体显示为出现显示器视野中的所指定的深度场所以提供虚拟物体的真实、焦点内三维显示，该虚拟物体可以与一个或多个现实物体交互。在下面的申请中描述了可以以各种深度显示虚拟物体的图像生成单元120的实施例的一些示例，这些申请通过引用并入本申请：于2010年11月8日提交的具有美国专利申请号12/941,825和发明人AviBar-Zeev和John Lewis“Automatic Variable Virtual Focus forAugmented RealityDisplays（用于扩增现实显示器的自动可变虚拟焦点）”；以及于2010年11月18日提交的具有美国申请号12/949,650和发明人Avi Bar-Zeev和John Lewis的“Automatic Focus Improvement for Augmented Reality Displays（用于扩增现实显示器的自动焦点改善）”。在这些示例中，由图像生成单元120生成的图像的焦距通过如下方式来改变：调整诸如微显示器之类的图像源与诸如透镜之类的至少一个光学元件之间的位移；或者调整接收表示图像的光的光学元件的光功率。焦距的改变导致显示设备的显示器视野的、虚拟物体的图像看上去被显示在的区域的改变。在一个示例中，每个都包括虚拟物体的多个图像可以足够快的速率显示给用户，使得人类瞬时图像汇合使该图像在人眼看来为同时存在。在另一实施例中，显示在不同聚焦区处生成的虚拟图像的聚焦部分的复合图像。
在一些实施例中，图像生成单元120包括微显示器，其用于投影一个或多个虚拟物体的图像并且耦合诸如透镜系统之类的用于将图像从微显示器引导到反射表面或元件124的光学器件。反射表面或元件124将光从图像生成单元120引导到光导光学元件112中，该光导光学元件将表示图像的光引导到用户的眼睛中。
图2B是包括显示光学系统14的透视、近眼扩增现实显示设备的一侧的实施例的顶视图。近眼显示设备2的框架115的一部分将围绕显示光学系统14以用于提供支承和进行电连接。为了示出头戴式显示设备2中的显示光学系统14（在该情况下是右眼系统14r）的各个组件，围绕显示光学系统的框架115的一部分未被描绘。
在所示实施例中，显示光学系统14是集成眼睛跟踪和显示系统。该系统实施例包括：用于增强虚拟图像的对比度的不透明度滤光器114，其在该示例中处于任选的透视透镜116之后并与其对齐；用于投影来自图像生成单元120的图像数据的光导光学元件112，它处于不透明度滤光器114之后并与其对齐；以及任选的透视透镜118，它处于光导光学元件112之后并与其对齐。
光导光学元件112将来自图像生成单元120的光传送到佩戴头戴式显示设备2的用户的眼睛140。光导光学元件112还允许眼睛140通过光导光学元件112接收来自头戴式显示设备2的前方的、如表示显示光学系统14r的光轴142的箭头142所示的光，由此允许用户除接收来自图像显示单元120的虚拟图像之外，还具有头戴式显示设备2的前方的空间的实际直接视图。因此，光导光学元件112的壁是透视的。在该实施例中，光导光学元件112是平面波导。代表性的反射元件134E表示一个或多个光学元件，比如镜、光栅以及将表示图像的可见光从平面波导引导向用户眼睛140的其他光学元件。
红外照明和反射还穿越平面波导112以供眼睛跟踪系统134追踪用户眼睛（通常为用户的瞳孔）的位置和移动的眼睛追踪系统134。眼睛移动还可以包括眨眼。所跟踪的眼睛数据可以用于诸如下列应用：注视检测、眨眼命令检测以及收集指示用户所处的个人状态的生物测定信息。眼睛跟踪系统134包括眼睛跟踪IR照明源134A（红外发光二极管（LED））或者激光器（例如VCSEL）和眼睛跟踪IR传感器134B（例如IR相机、IR光电检测器的布置、或者用于 跟踪闪光位置的IR位置敏感检测器（PSD））。在该实施例中，代表性的反射元件134E还实现了双向红外（IR）滤光，其将IR照明优选地以光轴142为中心地引导向眼睛140并从用户眼睛140接收IR反射。在一些示例中，集成眼睛跟踪和显示系统的一部分、代表性的反射元件134E可以包括用于实现双向IR滤光的热镜或光栅。波长选择滤光器134C让来自反射表面或元件124的可见光谱光通过并且将来自眼睛跟踪照明源134A的红外波长照明引导到平面波导中。波长选择滤光器134D在朝向鼻梁架104的光路方向上传递可见光和红外照明。波长选择滤光器134D将来自波导的包括用户眼睛140的红外反射、优选包括在光轴142周围捕捉的反射的红外辐射从体现为波导的光导光学元件112引导到IR传感器134B。
在其他实施例中，眼睛跟踪单元光学器件未与显示光学器件集成。关于HMD设备的眼睛跟踪系统的更多示例，参见于2008年7月22日颁发给Kranz等人的名称为“HeadMounted Eye Tracking and Display System（头戴式眼睛跟踪和显示系统）”的美国专利7,401,920；参见Lewis等人的于2011年8月30日提交的名称为“Gaze Detection in a See-Through,Near-Eye,Mixed RealityDisplay（透视近眼混合扩增现实显示器中的注视检测）”的美国专利申请号13/245,700；以及参见Bohn的于2011年9月26日提交的名称为“Integrated EyeTracking and Display System（集成眼睛跟踪和显示系统）”的美国专利申请号13/245,700，所有这些申请作为引入并入在此。
与光导光学元件112对齐的不透明度滤光器114选择性地阻挡自然光使其不穿过光导光学元件112以用于增强虚拟图像的对比度。不透明度滤光器帮助虚拟物体的图像表现得更真实并且表示全范围的颜色和强度。在该实施例中，不透明度滤光器的电控制电路（未示出）通过路由经过框架的电连接从控制电路136接收指令。于2010年9月21日提交的、名称为“Opacity Filter ForSee-Through Mounted Display（用于透射安装显示器的不透明度过滤器）”的美国专利申请号12/887,426中提供了不透明度滤光器的更多细节，该专利申请的全部内容通过引用并入本文。
再者，图2A、2B仅示出头戴式显示设备2的一半。针对所示实施例，完整的头戴式显示设备2可以包括具有另一组任选的透视透镜116和118、另一 不透明度滤光器114、另一光导光学元件112的另一显示光学系统14，并包括另一图像生成单元120、另一朝向物理环境的捕捉设备113、眼睛跟踪系统134、以及另一耳机130。在一些实施例中，可能存在由两只眼睛来查看的连续显示、而不是针对每只眼睛的显示光学系统。在通过引用全部并入于此的2010年10月15日提交的题为“Fusing Virtual Content Into Real Content”（将虚拟内容融合到现实内容中）的美国专利申请号12/905952中示出头戴式个人A/V装置的附加细节。
图3A是从软件角度而言的用于用三维（3D）虚拟数据表示以前时间段时的物理场所的系统的框图，所述三维（3D）虚拟数据由个人视听（A/V）装置的近眼扩增现实显示器来显示。图3A从软件角度示出了计算环境实施例54，该计算环境实施例可由诸如个人A/V装置8、与一个或多个个人A/V装置通信的一个或多个远程计算机系统12或其组合之类的系统来实现。附加地，个人A/V装置可以与其他个人A/V装置通信以用于共享数据和处理资源。网络连通性允许充分利用可用的计算资源。信息显示应用414可以在个人A/V装置8的一个或多个处理器上执行。在所示的实施例中，在远程计算机系统12上执行的虚拟数据提供器系统404也可以执行信息显示应用414的某版本以及与其通信的其他个人A/V装置8。如图3A的实施例中所示，计算环境54的软件组件包括与操作系统190通信的图像和音频处理引擎191。图像和音频处理引擎191处理图像数据（例如诸如视频之类的移动数据或静止数据）以及音频数据以便支持为诸如个人A/V装置8之类的包括近眼扩增现实显示器的头戴式显示器（HMD）设备系统所执行的应用。图像和音频处理引擎191包括物体识别引擎192、姿势识别引擎193、虚拟数据引擎195、眼睛跟踪软件196（如果眼睛跟踪被使用的话）、遮挡引擎302、具有声音识别引擎194的3D位置音频引擎304、场景映射引擎306、以及物理学引擎308，这些引擎可彼此通信。
计算环境54还将数据存储在图像和音频数据缓存器199中。该缓存器提供：用于接收从朝向外的捕捉设备113捕捉的图像数据、由其他捕捉设备（如果可用的话）捕捉的图像数据、来自眼睛跟踪系统134的眼睛跟踪相机（如果被使用的话）的图像数据的存储器；用于保持要由图像生成单元120显示的虚拟物体的图像数据的缓冲器；以及用于输入和输出音频数据二者的缓存器，输 入和输出音频数据为比如通过话筒110从用户捕捉的声音、以及用于应用的来自3D音频引擎304的将通过音频输出设备（比如耳机130）被输出给用户的声音效果。
图像和音频处理引擎191处理从某场所中可用的一个或多个捕捉设备处接收的图像数据、深度数据和音频数据。图像和深度信息可以来自朝向外的捕捉设备113，其是在用户移动他的头或身体时捕捉的，并且还可来自其他个人A/V装置8、该场所处的其他3D图像捕捉设备20、以及图像数据存储，比如位置索引化的图像和图324。
下面更详细地描述图3A中所描绘的各个引擎和数据存储，但是首先从提供与物理场所相关联的虚拟数据的信息显示应用414之类的应用是角度来描述它们作为支持平台所提供的数据和功能的概述。在近眼扩增现实个人A/V装置8中执行或在用于个人A/V装置8的计算机系统12上远程地执行的信息显示应用414充分利用图像和音频处理引擎191的各个引擎以用于通过发送标识出用于处理和接收数据更新的通知的数据的请求来实现其一个或多个功能。例如，来自场景映射引擎306的通知标识至少显示器视野中的虚拟和现实物体的位置。信息显示应用414向虚拟数据引擎195标识用于生成物体的结构和物理属性的数据以供显示。信息显示应用414可以向物理学引擎308提供和标识为其应用生成的每个虚拟物体的物理学模型，或者物理学引擎308可以基于该物体的物理属性数据集320N生成物理学模型。
操作系统190使得下列内容对应用可用：姿势识别引擎193已经标识出哪些姿势；声音识别引擎194已经标识出哪些单词或声音；来自上述映射引擎306的物体的位置；以及从眼睛跟踪软件196检测到的诸如瞳孔位置的眼睛数据或者诸如眨眼序列之类的眼睛移动。根据信息显示应用414要向用户播放的声音可以被上传到声音库312并且向3D音频引擎304标识出如下的数据：该数据标识出使声音好像来自哪个方向或位置。设备数据198使得场所数据、头位置数据、标识相对于地面的定向的数据、以及来自显示设备2的感测单元的其他数据对信息显示应用414可用。
首先描述场景映射引擎306。扩增现实显示器的显示器视野的3D映射可以由场景映射引擎306基于所捕捉的图像数据和从所捕捉的图像数据导出的或 者被捕捉的深度数据来确定。3D映射包括物体的3D空间位置或位置体。3D空间是物体所占据的空间体（volume）。根据所期望的精确度，3D空间可以匹配物体的3D形状，或者是围绕物体的较低精确度的边界体，比如边界框、边界3D椭圆形体、边界球体或边界圆柱体。3D空间位置表示该体或3D空间的边界的位置坐标。换言之，3D空间位置标识物体占据多大空间以及该被占据的空间处于显示器视野中的何处。
表示来自朝向外的捕捉设备113的所捕捉图像数据和深度数据的深度图可以用作近眼AR显示器的显示器视野的3D映射。如上所述，依赖于视图的坐标系可以用于逼近用户视角的显示器视野的映射。所捕捉的数据可以是基于跟踪现实物体的运动的捕捉时间而跟踪的时间。虚拟物体可以在诸如信息显示应用414之类的应用的控制下被插入到深度图中。可以用传感器数据来帮助映射在用户的环境中围绕用户的事物。来自例如三轴加速度计和三轴磁力计之类的定向感测单元132的数据确定用户的头的位置改变，并且用户头的位置改变与来自朝向前面的捕捉设备113的图像和深度数据的改变的相关性可以标识物体相对于彼此的位置以及用户正在看环境或场所的什么子集。
当前或之前处于该环境中的另一HMD设备的深度图数据和该另一HMD设备的位置和头定向数据一起还可以用于映射什么处于该用户环境中。它们的深度图中的共享现实物体可以用于图像对齐和用于图像映射的其他技术。利用所述位置以及定向数据，还可以预测什么物体进入视图，使得物理交互处理、遮挡和其他处理可以甚至在物体处于视图以前开始。
场景映射引擎306还可以将不依赖于视图的坐标系用于3D映射，并且场景映射引擎306的副本可以与在其他系统（例如12和8）中执行的其他场景映射引擎306通信，使得映射处理可以被共享。可以将该图存储在不依赖于视图的坐标系中的还可被其他个人A/V装置8、其他计算机系统12或二者访问的存储场所（例如324）处，从存储器中检索该图以及随着时间当一个或多个用户进入或重新进入该环境时更新该图。
在一些实施例中，在一个或多个网络可访问计算机系统12上执行的场景映射引擎306更新集中式存储的场所的3D映射，并且装置8下载更新并基于映射更新来确定其相应显示器视野中的物体的改变。可以在一个或多个网络可 访问计算机系统12的控制下从其他3D图像捕捉设备20或者从该场所处的一个或多个个人A/V装置8中实时地检索来自多个视角的图像和深度数据。从多个视角拍摄的深度图像中的重叠对象可以基于不依赖于视图的坐标系被相关，并且图像内容被组合以用于创建场所的体或3D映射（例如房间、商店空间或地理栅栏区域的x、y、z表示）。附加地，场景映射引擎306可以基于数据的捕捉时间将所接收的图像数据相关以便实时地跟踪该场所处的物体和照明和阴影的改变。
图像的配准和对齐允许场景映射引擎能够比较现实世界物体、陆标或者从不同图像提取的其他特征并将其集成到与现实世界场所相关联的统一3D图中。（关于诸如装置8之类的HMD与对图像数据具有访问权的计算机系统12之间的协作式场景映射的更多信息，参见具有美国专利申请号12/912,937和发明人Avi Bar-Zeev的于2010年10月27日提交的“Low-Latency Fusing of Virtual andReal Content（虚拟和现实内容的低等待时间融合）”，该申请通过引用并入本申请。）
当用户进入某场所或某场所内的环境时，场景映射引擎306可以首先搜索标识出3D空间位置以及物体的标识数据的预先生成的3D图，所述3D图被本地地存储或者可以从另一个人A/V装置8或网络可访问计算机系统12处访问。预先生成的图可以包括静止物体。如果预先生成的图当前正被在另一计算机系统12或装置8上执行的另一场景映射引擎306更新，则该预先生成的图还可以包括实时地移动的物体和当前的光和阴影条件。例如，可以从存储器中检索指示用户的起居室中的静止物体的位置、标识数据和物理属性的预先生成的图，所述位置、标识数据和物理属性是从来自以前的HMD会话的图像和深度数据中导出的。附加地，包括趋于进入该场所的物体的物理属性的标识数据可以被预加载以用于更快的识别。如下所述，预先生成的图还可以存储物体的物理学模型。预先生成的图可以存储在网络可访问数据存储中，比如场所索引化的图像和3D图324。
该场所可以由场所数据来标识，所述场所数据可以用作索引以在场所索引化图像和预先生成的3D图像324中或因特网可访问图像326中搜索可用于生成图的与图或图像相关的数据。例如，诸如来自显示设备2上的场所感测单元 144的GPS收发器的GPS数据之类的场所数据可以标识出用户的场所。在另一示例中，来自用户的个人A/V装置8的朝向外的捕捉设备113的图像数据中的一个或多个物体的相对位置可以参照该场所处的一个或多个GPS跟踪的物体来确定，由此可以标识出现实和虚拟物体的其他相对位置。附加地，与个人A/V装置8具有连接的WiFi热点或蜂窝站的IP地址可以标识出场所。附加地，可以通过红外、蓝牙或WUSB在个人A/V装置8之间交换标识符令牌。红外、WUSB或蓝牙信号的范围可以充当用于确定另一用户的接近度的预定距离。图和图更新或至少物体标识数据可以通过红外、蓝牙或WUSB在信号的范围允许时在个人A/V装置之间交换。
场景映射引擎306标识出该场所，并且基于与图像和音频处理引擎191的物体识别引擎192以及生成虚拟物体的一个或多个执行中的应用的通信来跟踪体空间中的现实和虚拟物体的移动。
图像和音频处理引擎191的物体识别引擎192基于所捕捉的图像数据以及所捕捉的深度数据（如果可用）或从立体视觉中确定的深度位置来检测、跟踪和标识出显示器视野和用户的3D环境中的现实物体。物体识别引擎192通过标记物体边界并且将物体边界与结构数据相比较来将现实物体彼此区分开。标记物体边界的一个示例是所检测或所导出的深度数据和图像数据内检测边，并且连接这些边。还可以使用多边形来标识物体的边界。然后，将物体边界数据与所存储的结构数据相比较以便在某概率准则内标识出物体的类型。除了标识出物体的类型以外，可以基于与所存储的结构数据200、物体参考数据集318或二者的比较来检测所标识出的物体的定向。可通过一个或多个通信网络50访问的结构数据200的一个或多个数据库可以包括关于物体的结构信息。如在其他图像处理应用中那样，人可以是一种类型的物体，使得结构数据的示例是所存储的人的骨架模型，可以参考该骨架模型来帮助识别身体部位。结构数据200还可以包括关于一个或多个无生命物体的结构信息以便帮助识别所述一个或多个无生命物体，对此的示例是家具、体育设备、汽车等等。
结构数据200可以将为图像数据或者用户图像数据的结构信息作为模式识别的参考来存储。图像数据还可用于面部识别。物体识别引擎192还可以基于来自诸如下列其他源的所存储的图像数据对物体的图像数据执行面部和模式 识别：用户的用户简档数据197；其他用户简档数据322，其是许可和网络可访问的；场所索引化图像和3D图324以及因特网可访问图像326。来自图像和深度数据的运动捕捉数据还可以标识出物体的运动特性。物体识别引擎192还可以参照物体的参考属性（比如其大小、形状和运行特征）来检查所检测到的物体的属性。物体的这样的参考属性集的示例是存储在物体参考数据集318中的物体参考数据。
图3B用物体参考数据集可包括的数据字段的一些示例示出了物体参考数据集318N的示例。物体识别引擎92可用的物体参考数据集318可以已经被应用开发者人工地在离线情况下或被模式识别软件预先确定并存储。附加地，如果用户通过用个人A/V装置8查看物体并输入数据字段的数据来获得该物体的清单，则生成物体参考数据集。而且，可以创建和存储物体参考数据集以用于与在共享许可中指示的其他用户共享。此外，物体识别引擎192可以搜索可访问的用户简档数据197、322以查找关于环境中的物体的信息。这样的信息的示例是具有产品标识符的购买数据，该数据然后可以被物体识别引擎192搜索以便例如在在线目录条目和产品站点中定位具有更多细节的产品描述。物体的图像数据还可以是进行图像搜索以得到更多描述性数据的基础，所述描述性数据可以在用于填充数据字段的元数据中被找到。这允许更详细的物体参考数据集318。
具体而言，对于对多个用户简档数据322以及更密集的计算和存储资源具有访问权一个或多个网络可访问计算机系统上执行的对象识别引擎而言，这样的搜索可以在后台进行。当物体参考数据集318的库或数据库随着时间增长时，物体被更快速地识别。在一些实施例中，物体识别引擎192可以自动地更新一定类型物体数据集的数据，并且还自动地创建为之前未标识出的物体类型的新数据集。在实现自动更新和自动生成新数据集的一些示例中，物体识别引擎192可以向用户显示消息，或指示附加数据的数据库管理器可用于一定类型的物体或之前未知类型的物体以便在自动生成该新数据集以前获得许可。用户或数据库管理器任一可以赋予更新现有数据集或创建和存储新数据集的许可。
下面所述的数据字段是代表性的示例并且不旨在为穷举的。此外，可能存在针对通用类型的物体（比如椅子或汽车）的数据集、以及然后是针对特定类 型的椅子或汽车的数据集。例如，数据集可以包括椅子的基类对象以及然后是躺椅、折叠椅等等的子类，所述子类具有用于描述子类特有的附加特征的附加数据字段。所示数据字段包括物体的类型341，其可以是还包括子字段的数据记录。针对物体的类型341，其他数据字段提供如下的数据记录：所述数据记录标识出对该类型的物体可用的物体属性的类型。数据记录的其他示例包括大小范围343、可用形状选择344、材料345的典型类型、可用颜色347、可用图案348、可用表面351、典型表面纹理346以及每个可用表面351的几何定向350。
还可以为每一物体参考数据集318N存储物理参数数据集352。示例物理参数包括物体的类型341的质量范围353、一个或多个内部材料类型355、供用于虎克定律的弹性模量361、与至少包括表面材料类型在内的一个或多个材料类型357相关联的一个或多个抗拉强度、以及与表面材料相关联的表面摩擦系数359。空气可以被认为是一种类型的内部材料。如下面所述，可以为表示供物理学引擎308使用的物体的物理学模型选择这些参数。
图3C示出了所存储的物体的物体物理属性数据集320N中的数据字段的一些示例。对于现实物体，基于现实物体的所捕捉的图像数据、深度数据或二者来确定至少一些数据字段的数据值。对于虚拟物体，数据字段的数据值可以是由控制虚拟物体的应用所提供的数据。再者，下面所述的数据字段是代表性的示例并且不旨在为穷举的。示例性数据字段包括物体的类型381、大小383（在该示例中为三维的）、形状384（在该示例中也是3D的）、结构399（例如骨架或针对无生命物体）（在该示例中也是三维的）、物体边界数据392（例如所确定的边数据或现实物体的多边形网格、虚拟物体的边界数据）、质量396以及材料的类型385。针对现实物体，表面材料的类型可以基于所捕捉的图像数据来确定，并且内部材料的类型基于物体参考数据集318N或诸如197、322、324和326之类的其他物体参考数据源来确定。其他一些示例性数据字段包括图案386和颜色387以及表面388N。
表面388N表示所标识出的每个表面的示例性数据集。该数据集包括一个或多个表面纹理390、表面N的几何定向393、以及表面形状389（例如扁平、圆形、弯曲、不平坦等等）。
对于现实物体，当物体识别引擎192检测物体边界数据和颜色并且导出形状和表面并查找物体参考数据时，由物体识别引擎192基于加权概率将数据分配给这些数据字段中的每个。这些不同的属性然后被加权，并且分配图像数据中的物体是某种类型的物体的概率，并且如果该概率满足某种物体类型的准则，则该该物体的类型被分配为物体类型381。然后，物体物理属性数据集320N被存储在一个或多个网络可访问数据存储320中。物理参数数据集396N也被包括在物体物理属性数据集320N中，物体参数数据集396N具有与相应数据集352中的数据字段相同的数据字段但是具有特定现实或虚拟物体的值。其由应用或物理学引擎对虚拟物体进行分配。对于现实物体，物理数据字段可以基于由对象识别引擎192确定的对象类型381和物理属性从物体参考数据源中确定。
场景映射引擎306和物体识别引擎192交换在引擎的功能方面帮助每个引擎的数据。例如，基于由物体识别引擎192确定的物体标识和定向，场景映射引擎306可以更新物体的3D空间位置或位置体以获得更高的精确度。例如，椅子在其正放时具有与其右侧朝上时不同的其体的位置坐标。从场景映射引擎306针对物体所更新的位置体中标识出的位置历史或运动路径可以帮助物体识别引擎192跟踪物体，尤其是在物体被部分遮挡时。
在由物体识别引擎192检测到一个或多个物体以后，图像和音频处理引擎191可以向操作系统190报告所检测的每一物体的标识和相应的位置和定向，其中操作系统190将其一起传递给其他执行中的应用，比如场景映射引擎306、遮挡引擎302、物理学引擎308和其他上层应用166，比如信息显示应用414。
遮挡引擎302基于坐标系内经物体识别引擎192和场景映射引擎306更新的所识别物体的空间位置数据来标识出物体之间（尤其是现实物体与虚拟物体之间）的空间遮挡。由于虚拟和现实物体具有大小和形状，因此每个物体的3D空间位置可以由场景映射引擎来定义以合并每个物体占据的体。在虚拟物体被现实物体完全遮挡的情况下，遮挡引擎可以通知虚拟数据引擎不显示该虚拟物体。在现实物体被虚拟物体完全遮挡情况下，虚拟物体或其部分的大小可以被确定为完全覆盖现实物体及其部分。在一些实施例中，针对虚拟物体被现实物体的部分遮挡，显示虚拟物体的未被遮挡的部分。在一些实施例中，针对现实 物体被虚拟物体的部分遮挡，虚拟物体被显示为出现在现实物体的被遮挡部分之前。在一些实施例中，如图2B的实施例，不透明度滤光器114可以被设置为针对如下显示部分限制进入的光穿过透视显示器14：所述显示器部分对部分遮挡虚拟物体或完全遮挡虚拟物体进行投影。关于遮挡处理的更多信息，参阅Flaks等人的于2010年10月15日提交的名称为“FusingVirtual Content into RealContent（将虚拟内容融合到现实内容）”的美国专利申请号12/905,952，该申请通过引用并入本申请；以及参阅Geisner等人的于2012年4月10日提交的名称为“Realistic Occlusion for a Head Mounted Augmented Reality Display（头戴式扩增现实显示器的逼真遮挡）”的美国专利申请号13/443,368，该申请通过引用并入本申请。
3D音频引擎304是位置3D音频引擎，其接收输入音频数据以及耳机130或其他音频输出设备（比如在其他实施例中为扬声器）的输出音频数据。所接收的输入音频数据可以是用于虚拟物体的，或者可以是由现实物体生成的数据。由应用生成或选自声音库312的用于虚拟物体的音频数据可以被输出给耳机使得听上去就好像来自虚拟物体的方向。在Flaks等人的于2010年10月13日提交的名称为“System and Method for High-Precision 3-Dimensional Audio forAugmented Reality（用于扩增现实的高精度3D音频的系统和方法）”的美国专利申请号12/903,610中公开了可以与扩增现实系统一起使用的位置3D音频引擎的示例，该申请的内容通过引用并入本申请。
3D音频引擎的声音识别引擎194标识出通过话筒110接收的来自现实世界的音频数据以用于通过语音命令的应用控制或者环境和物体识别。基于声音库312，引擎304可以利用物理物体标识出声音，例如与某个品牌或型号的汽车相关联的喇叭声音。附加地，存储在用户简档数据197或用户简档322中的语音数据文件还可以标识出与环境中映射的人物体相关联的讲话者。除了上传它们的图像数据以外，处于某场所的个人A/V装置8和3D图像捕捉设备20还可以将它们捕捉到的音频数据上传到网络可访问计算机系统12以便由场景映射引擎306将其与3D映射中的物体相关联。例如，所存储的某场所的3D图可以提供固定在该场所的物体的声音的音频索引以及什么有规律地进入和离开该场所，例如火车和公交车声音。
个人A/V装置8的一个或多个实施例中的自然用户界面（NUI）的实施例可以包括朝向外的捕捉设备113和用于标识姿势的姿势识别引擎193，其中姿势是至少一个身体部位的至少一个用户身体动作的示例。用于基于由系统134捕捉的数据解释眼睛运动的眼睛跟踪系统134和眼睛跟踪软件196还可以是个人A/V装置8的自然用户界面的另一实施例中的组件。由眼睛跟踪软件196标识出的诸如指示命令的眨眼序列、注视模式或注视时长之类的基于眼睛的动作也是作为至少一个身体部位的一个或多个用户身体动作的用户输入的一些示例。话筒和声音识别引擎194还可以处理语音命令的自然用户输入，该自然用户输入也可以补充诸如姿势和眼睛注视之类的其他所识别的身体动作。
姿势识别引擎193可以标识出由用户执行的、指示对执行中的应用的控制或命令的动作。该动作可以由用户的身体部位（例如手或手指）来执行，但是眼睛的眼睛眨眼序列也可以是姿势。在一个实施例中，姿势识别引擎193包括姿势过滤器的集合，每个姿势过滤器都包括关于可由骨架模型至少一部分执行的姿势的信息。姿势识别引擎193将从所捕捉的图像数据中导出的骨架模型和与其相关联的移动与姿势库中的姿势过滤器进行比较来标识出用户（其由骨架模型来表示）何时执行了一个或多个姿势。在一些示例中，可在姿势训练会话期间将图像数据与用户手或手指的图像模型进行匹配，而不是进行骨架跟踪以用于识别姿势。
关于物体的检测和跟踪的更多信息可在2009年12月18日提交的名为“MotionDetection Using Depth Images（使用深度图像的运动检测）”的美国专利申请12/641,788，以及名为“Device for Identifying and Tracking MultipleHumans over Time（用于随时间标识和跟踪多个人类的设备）”的美国专利申请12/475,308中找到，这两个申请的全部内容通过引用并入本申请。关于姿势识别引擎193的更多信息可以在2009年4月13日提交的名为“GestureRecognition System Architecture（姿势识别器系统架构）”的美国专利申请12/422,661中找到，该申请通过整体引用合并于此。关于识别姿势的更多信息可以在于2009年2月23日提交的名为“Standard Gestures（标准姿势）”的美国专利申请12/391,150以及于2009年5月29日提交的名为“Gesture Tool（姿势工具）”的美国专利申请12/474,655中找到，这两个申请的全部内容都通过 引用并入本申请。
物理学引擎308基于支配物理环境的法则来模拟物体的移动的物理特性、以及在向物体施加力时物体之间的能量交换。换言之，物理学引擎308帮助使物体之间的碰撞看上去为真实的。本说明书中的术语“碰撞”是以该词的物理学意义上使用的，是指一种物理接触，在所述物理接触期间，不同物体的至少一部分相遇，并且每个物体都对另一物体施加力，从而导致能量的交换。在此处所处的说明性的示例中，物理学的牛顿定律被用作物理环境的说明性法则。应用可以定义不同的物理环境法则。例如，可以通过输入不同环境参数来请求与地球具有不同重力的环境。
物理学引擎库328被物理学引擎308用于更新物理学模型以及模拟动作和效果，比如碰撞效果、声音效果和视觉效果。物理学引擎库328的一些示例如下。库328中的一个或多个材料查找表可以被物理学引擎308引用以用于标识出不同类型的材料的物理学参数，比如抗拉强度和摩擦系数。碰撞前事件库包括用于表示用信号通知或触发碰撞的事件或动作（比如姿势）的数据。例如，在环境中的某个区域着陆的物体可以是爆炸的触发因素。动作模拟器库包括用于基于一个或多个物理属性的输入参数来模拟物体的至少一部分的模拟移动的软件指令。碰撞效果库包括用于基于不同的输入参数来模拟物体的至少一个物理属性在碰撞期间或由碰撞导致的改变的软件例程。例如，碰撞效果可以是物体在碰撞中表面形状的改变。其他示例是不同材料或相同材料在不同定向上的不同破裂图案或不同的断裂图案。声音库312除了是基于声音的命令和物体识别的资源以外，还可以存储3D音频引擎304要播放的声音效果的音频数据，并且该声音库可以与不同的模拟动作、碰撞前事件和碰撞效果有关。类似地，视觉效果库可以存储用于动画、突出显示和其他类型的视觉增强的例程，所述视觉效果库也可以与特定的动作、碰撞前事件和碰撞效果相关联。
库328还存储以前生成或存储的虚拟物体物理学模型和现实物体物理学模型。持久性物体标识符可以与物理学模型相关联，使得一旦现实物体被识别成以前识别过的物体，则就可以从存储中检索而不是重新生成物理学模型，以节省时间。类似地，之前由一个或多个应用例如通过软件接口（比如应用编程接口（API））配准的虚拟物体也可以从库中被检索到。关于更多信息，参见发 明人Daniel J、McCulloch的于2012年4月27日提交的名称为“Displaying aCollision between Real and Virtual Objects（显示现实物体与虚拟物体之间的碰撞）”的美国专利申请号13/458,800，该申请通过引用并入本申请。
诸如信息显示应用414之类的应用与虚拟数据引用195传递数据以便虚拟数据引擎195显示和更新受应用166控制的一个或多个虚拟物体的显示。
虚拟数据引擎195处理虚拟物体并且相对于一个或多个坐标系（例如以依赖于视图的坐标或者以不依赖于视图的3D图坐标）来配准虚拟物体或图像的3D位置和定向。虚拟数据引擎195为每个显示光学系统14在显示坐标方面确定虚拟物体或图像的虚拟数据的位置。附加地，虚拟数据引擎195执行转换、旋转和缩放操作以用于以正确的大小和视角显示虚拟数据。虚拟数据位置可以依赖于与其配准的相应的现实或虚拟物体的位置。虚拟数据引擎195可以更新关于所处理的虚拟物体的位置的场景映射引擎。
下面的讨论描述了一些示例性处理，其用于更新光学透视扩增现实显示器以定位虚拟物体使得它们更逼真地出现在在显示器中为它们确定的3D位置处。在更新3D显示的一个示例实现中，虚拟数据引擎195渲染（render）显示器视野的之前创建的三维模型，该显示器视野包括Z缓存器中的用于虚拟和现实物体二者的深度数据。当显示设备是光学透视显示设备时，Z缓存器中的现实物体边界充当图像生成单元120显示虚拟物体而不是现实物体时虚拟物体将被三维地定位在显示器中的何处的参考。针对虚拟物体，虚拟数据引擎195具有将插入该虚拟物体的目标3D位置。在一些示例中，使虚拟物体目标位置与现实世界物体的位置配准，并且在其他示例中，虚拟物体不依赖于特定的现实物体。
为每个显示元素或显示元素的子集、例如为每个像素（或者为像素的子集）存储深度值。将与虚拟物体相对应的虚拟图像渲染到同一z缓存器中，并且将虚拟图像的颜色信息写入到相应的颜色缓存器中。虚拟图像包括基于碰撞处理的对虚拟图像数据的任何修改。在该实施例中，将基于z缓存器和颜色缓存器的复合图像发送给图像生成单元120以便被显示在合适像素处。显示更新过程可以每秒执行多次（例如刷新率）。
对于视频观看扩增现实显示器或透视显示器在视频观看模式下的操作，现实物体的图像数据还被写入到具有虚拟物体的相应颜色缓存器中。每个透视显 示光学系统14的不透明度滤光器可以被调谐为使得从眼镜前方反射的光不到达用户的眼睛140，并且现实和虚拟物体二者的3D图像数据都显示在显示器上。
设备数据198可以包括：个人装置8的标识符、网络地址（例如IP地址）、型号、配置参数（比如所安装的设备）、操作系统的标识、以及什么应用在个人A/V装置8处可用并在个人A/V装置8中执行等等。尤其是对于透视扩增现实个人A/V装置8，设备数据还可以包括来自传感器或感测单元或者从传感器或感测单元（比如惯性感测单元132中的定向传感器、话筒110和场所感测单元144中的一个或多个场所和邻近度收发器）确定的数据。
本地副本197中的或存储在基于云的用户简档322中的用户简档数据具有针对共享或访问以下数据的用户许可的数据：用户简档数据和所检测到的针对用户的其他数据，比如场所跟踪、所标识出的用户注视过的物体、生物测定数据或所确定的用户所处的状态。
图4是虚拟数据提供器系统的实施例的框图，其示出了运行在虚拟数据提供器系统404上的一个或多个过程和/或软件的示例性架构。虚拟数据提供器系统404具有对存储虚拟数据（包括3D虚拟数据）的虚拟数据存储418的访问权。在该实施例中，至少一个虚拟数据提供器系统404与每个场所相关联。附加地，虚拟数据提供器系统存储用于标识其场所的场所数据410，比如GPS数据、IP数据或标识出其在该场所内的位置的其他设备数据。另一类型的位置数据410是所捕捉的该场所的图像数据，并在一些示例中为所捕捉的该场所的深度数据。如下面进一步所述，该场所中的现实物体的图像数据是从多个视角捕捉的。在一个实施例中，3D图像捕捉设备20被放置在该场所处的主要事件空间或景点周围以用于捕捉360度视图、并且在一些情况下用于捕捉各种高度下的360度视图以得到一圆柱体内的图像数据。来自事件空间或景点附近的不同个人A/V装置上的捕捉设备113的图像数据还可以提供未被遮挡的现实物体的图像数据。
虚拟数据提供器系统404从该场所处的个人A/V装置接收场所数据，并且利用用户定位和跟踪模块412跟踪一个或多个用户的位置或者一个或多个用户在景点内的位置。使虚拟数据可供装置8基于用户位置处的用户周围的一个或 多个物体或区域进行下载。任选地，包括认证组件416，该认证组件416用于认证该场所处的用户并且基于与个人A/V装置传输的购买相关联的数据来验证：用户具有电子票或者用户已经支付了入场费。
虚拟数据提供器系统404包括作为在服务于遍布整个景点使用的多个A/V装置8时支持信息显示应用414的平台的某一版本的图像和音频数据处理引擎191。例如，虚拟数据提供器系统的场景映射引擎306跟踪物体的不依赖于视图的3D的映射，包括该场所处的用户的物体标识符以及为他们显示的虚拟物体和效果。附加地，提供器系统的虚拟数据引擎195可以提供帮助个人A/V装置8更快地更新它们的显示器视野的处理资源。例如，远程虚拟数据引擎195可以将虚拟数据格式化为个人A/V装置8用来下载和容易地显示的标准化全息格式。
信息显示应用414或它们中的在提供器系统上协作的若干个处理对与用户的当前位置相关联的虚拟数据和图像数据的请求。这样的请求的示例可以是请求多个装置8在共享模式或社区模式中操作的请求，使得社区中的用户可以看见其他用户在观看相同物体或区域时看见什么。信息显示应用414还可以基于用户简档数据定制显示给用户的信息的类型以及显示信息的方式。
图5是描绘可在景点实现的系统的一个示例的框图。图5示出了中央控制和信息服务器422（其可以是一个或多个计算设备），其与多个虚拟数据提供器404a、404b和404c通信。在该示例中，每个虚拟数据提供器404都与一组一个或多个传感器540位于相同处并且可通信地耦合到该组一个或多个传感器540。传感器可包括视频传感器、深度图像传感器、热传感器、IR传感器、重量传感器、和运动传感器。虚拟数据提供器中的每个被放置在遍布景点（placeof interest）的各个位置。相应的传感器被用于跟踪相应场所内的个人A/V装置，并且还全天地捕捉该地点的图像和深度数据，所述数据可以用于实时擦除现实物体，这在下面予以讨论。在一些示例中，当使用视频观看类型的设备时，还可以将现实物体的图像数据置于遮挡虚拟物体的层中。在其他实施例中，可以在没有位于相同处的虚拟数据提供器的情况下实现传感器，其中所述传感器可以直接与中央控制和信息服务器422通信。虚拟数据提供器将通过一个或多个通信网络50与中央控制和信息服务器通信，所述网络的一些示例是一个或多 个有线网络、无线通信或任何其他通信装置。
本技术可具体化为其他具体形式而不背离其精神或本质特征。同样，对于模块、例程、应用、特征、属性、方法和其他方面的特定命名和划分并非是强制性的，且实现本技术或其特征的机制可具有不同的名称、划分和/或格式。
为说明目的，下面的方法实施例是在上述系统实施例的上下文中描述。然而，所述方法实施例不限于在上述系统实施例中操作，而是可以在其他系统实施例中实现。此外，所述方式实施例可以在显示设备处于操作中并且适用的应用正在执行时连续执行。
图6A是用于用三维（3D）虚拟数据表示以前时间段时的物理场所的方法的实施例的流程图，所述三维（3D）虚拟数据由个人A/V装置的近眼扩增现实显示器来显示。在步骤560，信息显示应用414基于个人A/V装置检测到的场所数据自动地标识出个人A/V装置处于物理场所内。例如，信息显示应用可以基于存储在设备数据198中的GPS数据标识出物理场所。附加地，场所感测单元144的IR收发器可以已经建立了与可通信地耦合到虚拟数据提供器系统404的传感器的通信链路，并且从虚拟数据提供器系统接收场所标识数据。在另一示例中，由图像捕捉设备113检测或捕捉的图像数据可以被上传到在网络可访问计算机系统12上执行的虚拟数据提供器系统404，该虚拟数据提供器系统基于所存储的图像数据在图像数据中标识出该场所，并且向在个人A/V装置上执行的信息显示应用414通知该场所。
在步骤562，物体识别引擎192基于物理场所处的物体的三维映射自动地标识出近眼扩增现实显示器的显示器视野中的一个或多个物体。在步骤564，标识出指示选择以前的时间段的用户输入。如在图11A的示例中所示，信息显示应用414可以提供时间线，其中列出了时间段、列出了事件或者二者。用户可以通过用户身体动作（比如手指指出、超过阈值的注视时长，或者在其他示例中为确认选择的注视时长和语音数据）来进行选择。个人A/V装置上的信息显示应用414可以向在虚拟数据提供器系统404上执行的信息显示应用414标识出该时间段或事件，该信息显示应用414将针对该时间段的3D虚拟数据或事件发回给个人A/V装置。
信息显示应用414可以基于用户简档数据来选择要向用户呈现的3D虚拟 数据或确定该3D虚拟数据的优先级。可用作基础的用户简档数据的一些示例是用户的年龄、个人兴趣（比如政治或研究领域（例如工程学））、或者爱好（比如从事或进行某项运动或者收集玻璃艺术品）。在一些实施例中，用户可以使用自然用户界面（NUI）输入从显示器的选择菜单中选择与以前时间段相关联的3D虚拟数据的增强包。在步骤566，由虚拟数据引擎195基于与显示器视野相关联的用户视角来显示与以前时间段相关联的3D虚拟数据。
可能存在另一用户已经上传的、供该用户在参观景点时观看的虚拟数据。例如，第一用户可以捕捉包括他儿子与虚拟骑士斗剑（sword fighting）的图像数据、或者他在城堡前的常规数字照片图像。第一用户将图像数据作为虚拟标签上传到虚拟数据提供器系统404，并且标识出在虚拟骑士处于他们的显示器视野内时或者在看着城堡时可以看见该图像数据的其他用户。虚拟标签与为虚拟骑士和城堡和所选用户的物体有关，并且被虚拟数据系统这系统404例如存储在图像和场所数据410中。
在用户进入物理场所时的标识处理还可以包括配准过程，例如以保证用户已经支付了入场费或已经具有电子票。第二用户的个人A/V装置例如在配准请求中将用户标识数据发送给其中执行有虚拟数据提供器的网络可访问计算机。个人A/V装置上的一个或多个处理器接收物理场所处的物体的3D映射（包括这些物体的物体标识符），并且还接收与用户标识数据相关联的虚拟标签和物理场所处的与该标签相关联的物体的物体标识符的通知。响应于基于物体标识符标识出与所述标签相关联的物体处于近眼扩增现实显示器的显示器视野中，显示与所述标签相关联的虚拟数据。在其他示例中，信息显示应用可以基于3D映射或场所数据（比如在装置8的邻近度传感器与同所标记物体相关联的传感器之间交换IR标识令牌、取决于可用精确度的GPS数据或其组合）标识出个人A/V装置8处于所标记的物体的附近。可以由个人A/V装置显示或播放标识出所标记的物体或到其场所的方向的消息，使得用户知道在哪里将看见该标签。
图6B是由于显示器视野的改变而更新与以前时间段相关联的物体的显示的一些示例性步骤的流程图。参观某地点的用户在该地点周围移动以观看他们较感兴趣的事物，并且该地点的现实物体也在他们自己的控制下移动。场景映 射引擎306在步骤568标识出显示器视野的改变，并且在步骤570基于显示器视野的改变来更新与以前时间段相关联的一个或多个3D虚拟物体的显示。
图6C是用于实现步骤564的过程的示例的流程图，该步骤564用于标识出指示选择以前时间段的用户输入。在步骤572，信息显示应用414致使虚拟数据引擎195通过近眼扩增现实显示器显示指示多个以前时间段的虚拟数据。在步骤574，由个人A/V装置的自然用户界面标识出至少一个身体部位的至少一个用户身体动作的、指示从虚拟数据中选择以前时间段的自然用户界面（NUI）输入，比如上面描述的关于姿势识别和基于眼睛的动作检测的示例。
图6D是用于用三维（3D）虚拟数据表示以前时间段时的物理场所的方法的另一实施例的流程图，所述三维（3D）虚拟数据由个人A/V装置的近眼扩增现实显示器来显示。在该实施例中，在步骤576，从在网络可访问计算机系统12上执行的提供物理场所的虚拟数据、图像数据或二者的场景映射引擎306（比如与虚拟数据提供器系统404的图像和音频处理引擎191相关联的场景映射引擎306）接收标识出物理场所处的现实和虚拟物体的一个或多个3D空间位置3D的物理位置的3D映射。
在步骤578，将至少一个身体部位的一个或多个用户身体动作解释成指示3D虚拟数据所表示的以前时间段的用户输入，在步骤580，可以将至少一个身体部位的一个或多个用户身体动作解释成选择物理场所处的至少一个物体以供用3D虚拟数据进行扩增的用户输入。例如，第一参观者对另一参观者（即一男性）的注视时长已经将该另一参观者选为要用虚拟数据进行扩增的物体，在该示例中服装适应该时间段。在第一参观者的个人A/V装置的显示器视野中使虚拟服装与他配准。
在步骤582，信息显示应用414在个人A/V装置上的本地副本请求和接收虚拟数据提供器系统404可访问的3D虚拟数据以用于通过正在一个或多个网络可访问计算机系统12上执行的虚拟数据提供器系统404的信息显示应用414来扩增物理场所处的至少一个物体。在步骤584，从与近眼AR显示器的显示器视野相关联的用户视角来显示针对所述至少一个物体的所接收的3D虚拟数据。
在一些实施例中，用户可能想要观看两个事物在过去事件中或在过去时间 段期间的关系如何。该关系是用户所感兴趣的。当某人看见另一人在物体之间来回看时，可以是指示该另一人已经标识出所述物体之间的关系或者想知道是否存在关系的行为。基于注视检测的自然用户界面还可以被编程为识别这样的行为，并且采取标识是否存在关系的动作。
图6E是用于基于个人A/V装置的注视模式来选择供显示的虚拟数据的过程的实施例的流程图。在586，诸如包括眼睛跟踪系统134和眼睛跟踪软件196的自然用户界面之类的自然用户界面确定佩戴近眼扩增现实显示器的用户的注视模式，所述注视模式指示在该物理场所处的至少两个物体之间来回的短注视时间段。短注视时间段可以是预定的时间段，例如基于人类来回注视模式的经验研究的时间段。下载与所述至少两个物体相关的虚拟数据。在步骤588，信息显示应用414下载针对所述至少两个物体的虚拟数据并且确定针对所述至少两个物体的虚拟数据是否包括示出所述至少两个物体之间的关系的虚拟数据。
做出该确定的基础的示例是所下载的虚拟数据的元数据是否标识出相互作用的两个特定物体。例如，用户可以观看盖茨堡国家战场处的木栅栏、以及更远处山上的石栅栏。所下载的虚拟数据的元数据可以包括木栅栏和石栅栏的持久性物体标识符。虚拟数据可以是称为“皮克特冲锋（Pickett’s Charge）”的事件的视频重现，其中许多南部士兵在尝试越过木栅栏以便前进到山上以攻击石墙后的联邦士兵时阵亡。在其他示例中，虚拟数据的元数据可以包括已经为之预定义了交互的物体的类型。例如，注视数据可以指示用户正注视着骑士所使用的多种武器，并且可以向用户呈现虚拟骑士使用不同物体战斗的动画的虚拟数据。如果示出关系的虚拟数据可用，则在步骤590，显示这样的虚拟数据。否则，在步骤592，可以显示与所述至少两个物体中的每个相关的虚拟数据。
在一些实施例中，虚拟物体可以被显示，但是也可以通过与现实物体的其他交互来处理或者与现实物体具有其他交互。图6F是用于显示对物体的至少一个效果的方法的实施例的流程图，该方法供用在用于由扩增现实个人A/V装置来显示现实物体与虚拟物体之间的碰撞的方法中。本说明书中的术语“碰撞”是在物理学用语的意义上使用的，是指一种物理接触，在所述物理接触期间， 不同物体的至少一部分相遇，并且每个物体都对另一物体施加力，从而导致能量的交换。例如，与虚拟人的握手是一种碰撞。在许多情况下，碰撞至少改变一个或多个移动物体的运动方向，或者至少动量改变。
在将图3A的软件系统实施例用作用于图解说明的示例性上下文的情况下，场景映射引擎306或物理学引擎308或基于场景映射引擎306所提供的物体场所数据的应用166可以在步骤583基于现实物体与虚拟物体在近眼扩增现实显示器的显示器视野内的三维（3D）空间位置标识出该现实物体与虚拟物体之间的碰撞。在一个示例中，基于物体（例如手和球）因碰撞而接触的的部分，物理学引擎308可以标识出应用（比如信息显示应用414）已经登记过的一种或多种类型的碰撞。例如，可以基于通过基于对球的位置的跟踪而从朝向下并拍虚拟篮球的人类手掌的图像数据中确定的运动数据进行的标识来标识出运球（dribble）。
在步骤595，物理学引擎308基于虚拟对象的一个或多个物理属性和针对该碰撞的物理相互作用特性来确定该虚拟物体的至少一个物体属性由于碰撞的至少一个效果。物理学引擎308基于施加至物体的力来模拟物体的现实行为。物理相互作用特性描述了力方程的参数输入、以及可针对每个碰撞改变的一个或多个所得到的力。这样的力方程的示例是牛顿第二定律，其是力（F）等于质量（m）乘加速度（a）或者F＝ma，其也可以写作：F=1/2mv2，其中v是速度。物理相互作用特性的示例是每个物体在接触时的行进速率（speed）。每个物体的速度（velocity）同样如此，其中该速度是指示物体的方向以及该物体在该方向上的速率的矢量。对于诸如人类之类的物体，针对身体的不同部位可能存在不同的速度，所述速度可以组成在碰撞中接触的部分的复合速度。另一物理相互作用特性是碰撞中所涉及的物体或物体部分的复合质量。由静止人投掷的篮球比骑自行车的人投掷的篮球接收到更小的力。可能还存在影响速度的环境因素，比如风和雨。
由物理学引擎308基于物体的物理属性（比如质量和抗拉强度）和物理相互作用特性（比如速度以及比如重力等环境力）来确定每个物体上的力矢量。可以基于材料的表面类型的摩擦系数来确定摩擦力。如果物体的弹性模量满足准则，则可以确定弹簧力是显著的。静止力可以基于构成物体的材料类型来确 定。物理学引擎308模拟在相应现实和虚拟物体的每个结构模型上的力矢量动作。
除了确定所得到的动作以外，还确定每个物体上的碰撞效果。物体的至少一个物理属性受到碰撞的影响，但是不是所有效果都是人眼可见的。在一些实施例中，为每个碰撞效果存储用于确定是否显示效果的准则。准则因素的一些示例是力强度、力方向和力密度。哪种效果可用基于所涉及的力，但是也是特定物体的物理属性（比如物体的质量、可由大小和形状表示的结构、表面材料和内部材料）所特有的。
基于由物理学引擎308确定的虚拟物体的结构模型的改变，在步骤597，虚拟数据引擎195修改虚拟物体的图像数据以用于表示对该虚拟物体的至少一个物理属性的至少一个效果，并且在步骤599，显示该虚拟物体的经修改的图像数据。物理学引擎308还可以任选地基于对虚拟物体的至少一个效果及向其分配的一种或多种类型的材料标识出音频数据，并且还可以标识出视觉效果以供与经修改的图像数据一起显示。该标识可以基于由信息显示应用来配准的、在音频效果与碰撞效果之间以及在视觉效果与碰撞效果之间的联系。3D音频引擎播放音频数据，并且虚拟数据引擎195显示视觉效果。
任选地在步骤594，物理学引擎308基于现实物体的一个或多个物理属性和针对碰撞的物理相互作用特性来确定现实物体的至少一个物体属性上由于该碰撞的至少一个效果。基于由物理学引擎308确定的现实物体的结构模型的改变，在步骤596，虚拟数据引擎195生成现实物体的、模拟对现实物体的至少一个物体属性的至少一个效果的图像数据，并且在步骤598，显示与显示器视野内的现实物体配准后的现实物体的图像数据。还可以输出现实物体在碰撞时的音频和其他视觉效果。
图7是描述用于向个人A/V装置的用户提供观看现代场所的历史视角的个性化体验的过程的一实施例的流程图。个人A/V装置可以用于可视地示出某个物理场所的历史。在一些实施例中，图5的系统可以用于实现图7的过程。在一些实施例中，中央控制和信息服务器422包括描述各个景点的图像和场景的数据库。这些图像和场景可基于场所和日期来被索引。
在图7的步骤602中，个人A/V装置连接到本地虚拟数据提供器。可以构 想，在所述场所中的每个场所处将存在虚拟数据提供器，可以将每个场所的历史场景和图像插入到个人A/V装置中。在步骤604，个人A/V装置8利用认证模块416执行协议以认证用户并且被授权接收与相应场所相关的虚拟数据。例如在一些实施例中，如果用户的个人A/V装置8上的信息显示应用414可以提供指示已经支付入场费或用户具有电子票的数据，则用户被授权访问在此所述的服务。
在步骤606，个人A/V装置确定其场所（例如基于所检测的场所数据，比如来自场所感测单元144的数据以及所捕捉的该地点的图像数据，所述图像数据可以被匹配以用于场所标识）。在步骤606，可以例如基于来自惯性感测单元132的数据来确定近眼扩增现实（AR）显示器的定向。附加地在步骤606，基于来自眼睛跟踪系统134的眼睛跟踪数据以及显示器视野的3D映射来确定用户的注视，可以由个人A/V装置8的一个或多个处理器来确定该注视点。在确定注视的一个示例中，在一个或多个处理器上执行的眼睛跟踪软件196标识出每只眼睛内的瞳孔位置，并对每个眼睛从相应的视网膜中央凹的大致位置延伸的注视线进行建模。在一个或多个处理器上执行的3D场景映射软件306确定显示器视野内的所述注视线相交的位置。该交点是注视点，并且其处于人眼的Panum汇合区域中，其中该汇合区域是物体在焦点内的区域。基于显示器视野中的物体的3D映射，注视线相交处的当前物体是当前聚焦物体。
在步骤608，从个人A/V装置向虚拟数据提供器发送请求当前场所的以前时间段（例如历史时间段）的虚拟数据以及该虚拟数据提供器的位置、定向和注视点的请求。在步骤610，虚拟数据提供器访问所请求的以前时间段的图像数据。例如，虚拟数据提供器404向中央控制和信息服务器请求该图像数据。在该实施例中，在步骤612，虚拟数据提供器系统基于用户的位置、定向和注视点来确定要实现的虚拟数据的当前增强。例如，用户的场所可用的以前时间段的虚拟数据可以被格式化为增强包，并且所述子集和所述增强包是基于在步骤608提供的场所、定向和注视信息确定的。在步骤614，将所确定的虚拟数据的增强发送给个人A/V装置，该个人A/V装置在步骤616将所接收到的一个或多个虚拟物体的虚拟数据、虚拟效果或二者从用户视角显示（例如，渲染和投影）在该个人A/V装置的近眼AR显示器中。个人A/V装置的场所、定向和 注视信息因用户在该场所内环顾和移动而被不断地更新。例如，城堡处的游客可能希望看到该城堡在公元1250年时看上去是什么样的。因此，步骤616可以包括：向城堡的墙壁和城堡的地面添加虚拟物体以使得该城堡看上去像在公元1250年那样。在一个实施例中，步骤610－620中的任何步骤都可以重复以示出城堡随时间老化的定格。类似地，还可以重复步骤612－620中的一个或多个，以在针对以前时间段显示虚拟物体的动画的虚拟数据或视频时显示更新。
在一个示例中，用户可能看着上述城堡，并要求看看日常生活是怎样的。步骤614和616将被连续地执行以示出农民、骑士和贵族在城堡周围走动。如果用户例如通过改变注视或定向或二者来改变在步骤618确定的视角，则新的场所、定向、注视信息或二者将在步骤620中被确定，并被发送到虚拟数据提供器。该过程将然后循环回步骤610以访问新的图像数据（如果是针对新场所、定向或注视信息被指出的话），然后进行确定当前增强以及提供新的增强。
个人A/V转置还可以用作游客的个人导游或博物馆游览者的讲解员。例如，系统可以通过用户简档确定之前暴露出的吸引力水平，并且然后提供关于用户当前正观看什么的注释、事实和建议。
图8A是描述用于将个人A/V装置用作虚拟导游的过程的实施例的流程图。图5的系统可以用于实现图8A的过程，其中每个虚拟数据提供器被布置在特定场所处的不同的展品、吸引物（attraction）等等处。注意，图8A的左边的步骤是在个人A/V装置处执行的，并且图8A的右边的步骤是在中央计算机和信息服务器处执行的（或者与虚拟数据提供器相结合的中央计算机和信息服务器的组合）。
在步骤742中，个人A/V装置连接到本地虚拟数据提供器。当用户在场所内到处移动时，个人A/V装置可以重新连接到不同的虚拟数据提供器，所述虚拟数据提供器可以与中央控制和信息服务器通信。在步骤744，个人A/V装置如上述那样向虚拟数据提供器系统认证用户并由虚拟数据提供器系统授权用户访问该场所的虚拟数据增强。在步骤746，个人A/V装置将如上所述那样确定其场所和定向和注视点。在步骤752，个人A/V装置向中央控制和信息服务器422发送请求关于用户的当前场所和用户正在看什么的信息以及该中央控制和信息服务器的场所、定向和注视点数据的请求。
在步骤756，虚拟数据提供器系统访问从个人A/V装置接收的针对场所数据中所指示的场所的虚拟数据。该场所数据将包括该场所的事实、建议、图像、视频。在步骤758，虚拟数据提供器系统上的信息显示应用414包括：基于该场所、定向、注视点数据和该场所的3D映射确定用户正在看什么。例如，步骤758可以确定：该用户正在看着历史地点处的特定人工制品。在步骤760，虚拟数据提供器系统被用户设定许可时访问用户简档（197，322）以确定当前场所处的过去经历。在步骤762，虚拟数据提供器系统基于用户在该场所处如在步骤760所访问的用户简档数据所指示的过去经历来选择表示该场所的信息的虚拟数据的子集。在步骤764，基于用户简档数据的表示所选信息的虚拟数据的子集供A/V装置来显示。所选的虚拟数据的子集可以包括文本事实、图像、视频和观看该区域中的较不出名的事物的建议。
在步骤766，虚拟数据提供器将保存表示什么信息已被准备并发送给用户的指示。该信息将保存在用户简档中，使得下次该用户处于该场所时，可以提供新信息。在步骤772，个人A/V装置将所发送的信息显示在个人A/V装置的近眼扩增现实显示器中。
当参观某地点时，人们希望能够问在他们的体验期间产生的问题。图8B是描述用于提供交互式导游的过程的实施例的流程图。在步骤782，信息显示应用414显示导游的3D虚拟数据。例如，在近眼AR显示器中显示的动画骑士可以看上去为与人一起走过城堡地面。信息显示应用414从语音识别引擎194接收所识别的单词以及表示问题已经发布的通知，并且在步骤784基于至少包括语音数据的自然用户界面输入数据来标识出个人A/V装置的佩带者的问题。可以执行关于问题的关键字搜索以便标识出包括该问题的答案的电子数据。信息显示应用414可以包括在个人A/V装置上执行的自然语言呈现软件子模块，其将搜索结果中的关键字制定成句子。此外，在景点处，存在经常问的问题以及相应的答案，其可以被存储并随后被搜索。附加地，人类可以位于任何场所（例如位于主参观者中心处），该人类监控景点处的各个用户的不同音频数据，并且可以在基于检索到的数据没有解决参观者的问题时实时地插入答案以供虚拟导游进行响应。在步骤786，输出导游响应于该问题的3D视听虚拟数据。
受欢迎的景点常常是拥挤的，并且尤其是在使用光学透视显示器时，另一参观者可能会挡住供在用户的显示器中呈现的虚拟数据所要配准的现实物体的视图。用户也可以请求擦除一虚拟物体，以可能更好地聚焦于另一虚拟物体。擦除计算机生成的图像是通过不显示该图像来完成的。擦除现实物体更复杂一点。图9A是描述了用于从显示器视野中擦除用户选择的现实物体（例如另一参观者）的方法的一实施例的流程图。在步骤792，信息显示应用414标识出如下用户输入：该用户输入指示从显示器视野中擦除用户选择的现实物体的请求。信息显示应用414向虚拟数据引擎195标识出要擦除的现实物体。在步骤794，虚拟数据引擎195检索显示器视野中的用户选择的现实物体之后的每个现实物体和虚拟物体在未被遮挡状态下的图像数据。
如上所述，在一些实施例中，虚拟数据提供器系统实时地捕捉景点的图像。图像数据以及深度数据（如果可用的话）可以是从其他个人A/V装置8或者从该场所处的固定点处用于以一定范围的视点捕捉图像数据及深度数据（如果深度敏感的话）（优选地为用于提供该场所中的现实物体的360度视图）的其他捕捉设备上传的数据。所捕捉的数据提供了未被遮挡的现实物体根据不同视点的图像数据的源，并且具有在时间上与要擦除的物体之后的现实物体在擦除时的外观接近的外观。图像数据上的时间戳可以用于找出要被擦除的物体之后的未被遮挡的现实物体根据用户视角的图像数据（例如在依赖于视图的坐标系中处于比要擦除的物体更大的深度）。个别现实物体的图像数据可以被剪切，使得这些现实物体可以被转移、缩放、旋转和深度调整以用于适应用户视角。
在步骤796，例如基于所捕捉或所导出的现实物体的深度数据以及由应用标识出的虚拟物体的位置，标识出显示器视野中的用户选择的现实物体之后的每个现实物体和每个虚拟物体的深度位置。网络可访问3D映射还可以用于标识出所述深度位置。用户通常想要擦除某物或某人，使得在显示器中使虚拟数据合适地与可能处于该虚拟物体之后的现实物体配准。在步骤798，虚拟数据引擎195在Z缓存器中基于用户选择的现实物体之后的每个现实物体和每个虚拟物体的相应视角深度位置从显示器视野中的最远位置到最近位置对这些物体在未被遮挡状态下的图像数据进行排序。由图像数据来表示处于要被擦除物体之后的体中的现实物体并且将这些现实物体置于出现在它们的合适深度位 置处同时还遮挡要擦除的现实物体的层中。在使用光学透视显示器的一些实施例中，该显示器可以在如下模式中操作，在该模式中，现实和虚拟物体的显示器视野如在视频观看模式中那样被显示为图像数据。在其他实施例中，显示器的在要被擦除物体之后的体的部分将现实物体显示为图像数据，而显示器的其他部分仍然让从现实物体反射的光穿过，使得用户用自然光看见它们。
在步骤800，以Z缓存器的从显示器视野中的具有最远深度位置的物体到具有最近深度位置的物体的次序来显示图像数据。对要擦除物体的跟踪、Z缓存器中的排序、以及将图像数据显示在合适的深度位置处被重复地执行，而供擦除的现实物体仍然处于用户显示器视野中。
图9B是描述用于选择性过滤现实音频数据的方法的实施例的流程图。由于人们将观看他们自己选择的虚拟数据和时间帧，因此大多数人都将使用放置在人的耳朵中（通常称为耳机或耳塞）或放置在耳朵上（比如头戴式耳机）的音频输出设备。这些音频输出设备在用户调高对虚拟数据呈现的音量时往往会阻挡现实世界声音。用户可能希望欣赏呈现，但是还希望听到诸如朋友或家庭成员之类的另一人在他们在旁边观看虚拟数据时说些什么。在步骤804，信息显示应用414标识出指示针对物理场所处的音频数据的一个或多个所允许的源的用户输入。例如，可以显示指示缺省选择（比如从景点处的现实安全人员处播放音频数据）的菜单。在步骤806，信息显示应用414通过一个或多个网络与所允许的源的个人A/V装置进行通信以便进行配准以从所允许的用户源接收音频数据。来自所允许的用户源的音频数据是如下的数据：该数据由源个人A/V装置的话筒110检测，并且被语音识别引擎194标识为所允许的用户源的语音数据。用于识别的语音数据可以存储在用户简档数据中。在许多实施例中，配准过程包括以下步骤：检查配准用户是否被授权接收该源的音频数据。
在步骤808，从一个或多个所允许的源接收针对该物理场所的现实声音音频数据，在步骤810，3D音频引擎播放来自所述一个或多个所允许的源的现实声音音频数据。来自所允许的用户源的现实声音还可以从用户自己的话筒采集，并且通过可访问的用户简档中的所存储的语音数据被标识为所允许的源的现实声音。
用户可能希望在不向感兴趣的物体移动的情况下看到该物体的特写，或者 希望看到后面更远处以得到场景内物体的更宽的视角，例如看到当前需要修复的雕刻的复原版本的虚拟数据。然而，由于必须等待同伴或者安排在某个时间在某个地点会面或者不想要穿过人群，可能阻止用户移动到物理场所以得到所期望的有利点。
图10A是用于将显示器视野改变为具有不同细节水平的另一显示器视野的方法的另一实施例的流程图。在步骤822，如上面针对图6A所述那样，信息显示应用414基于个人A/V装置检测到的场所数据自动地标识出个人A/V装置处于物理场所内。在步骤824，物体识别引擎192基于该物理场所中的物体的三维（3D）映射自动地标识出在近眼扩增现实显示器的第一显示器视野中的一个或多个物体。在步骤826，标识出指示选择以前的时间段的用户输入。
在步骤828，基于与第一显示器视野相关联的用户视角来显示与以前时间段相关联的三维（3D）虚拟数据。在步骤830，标识出指示对第二显示器视野的请求的用户输入，所述第二显示器视野具有与第一显示器视野不同的细节水平，并且包括第一显示器视野的至少一个感兴趣的物体。例如，在处于该场所的两个不同区域的两个物体之间来回的注视模式可以导致从更远的虚拟视角显示所述物体，使得两个物体都出现在相同显示器视野中。在另一示例中，平移相机效果可用于在两个物体距离过远以至于人眼在显示器视野中不能看见它们时将显示器视野从聚焦于一个物体改变为聚焦于另一个物体。
在步骤832，将第一显示器视野改变为第二显示器视野，所述第二显示器视野具有不同的细节水平并且包括所述至少一个感兴趣的物体。例如，对物体超过注视时长时间准则的注视时长可以被标识为指示相机特写效果的用户输入。
可用于改变显示器视野的相机效果的其他示例包括：变焦效果，比如变焦放大和变焦缩小；以及飞行相机效果，其中显示器视野通过各中间显示器视野来逐渐改变。例如，在飞入效果中，通过插入各中间显示器视野来从感兴趣物体的较远视角逐渐改变为该感兴趣物体的较近视角。飞出效果是相反的效果，其表现为逐渐移动得离感兴趣物体越来越远。
图10B是用于将第一显示器视野改变为具有不同细节水平的第二显示器视野的过程的流程图。在步骤842，基于第二显示器视野的不同细节水平和物 理场所处的物体的3D映射，信息现实应用414标识出要在第二显示器视野中显示的任何现实和虚拟物体，包括所述至少一个感兴趣的物体。在步骤844，例如从之前下载的数据的本地临时存储中、或者从虚拟数据提供器系统404中检索表示包括所述至少一个感兴趣物体在内的要在第二显示器视野中显示的任何现实和虚拟物体的虚拟数据。在步骤846，由近眼AR显示器从第二显示器视野的用户视角显示由虚拟数据引擎195检索到的虚拟数据，所述第二显示器视野的用户视角是基于作为参考点的、与第一显示器视野相关联的用户视角来确定的。
图10C是用于更新与第二显示器视野相关联的用户视角的过程的流程图。在步骤852，基于眼睛数据和来自惯性感测单元132的数据，场景映射引擎306标识出近眼AR显示器的注视改变或定向改变中的至少之一，并且在步骤854，基于所标识出的注视改变或定向改变中的至少之一以及参考点（即，与第二显示器视野相关联的用户视角）来更新与第二显示器视野相关联的用户视角。在步骤856，响应于基于与第二显示器视野相关联的用户视角的更新而要在第二显示器视野中显示的至少一个不同的物体，信息显示应用414检索表示所述至少一个不同的物体的虚拟数据，并且虚拟数据引擎195在步骤858从经更新的与第二显示器视野相关联的用户视角来更新近眼AR显示器对所检索的虚拟数据的显示。
图11A示出了虚拟数据利用虚拟数据的共享观看来扩增现实场所的示例。在该说明性示例中，出于说明目的，从近眼扩增现实显示设备2（在该例中为光学透视显示设备）后面来看的Bob 30、他的两个孩子Susan 19和Joe 18以及他的妻子Mary（未示出）一家人正在参观称为“Hastings城堡”的经翻修的城堡。Bob的个人A/V装置8体现为上述眼镜类型的光学透视显示设备2和手腕支承伴随处理模块。Susan佩戴图1B所示那样的个人A/V装置8，其中近眼AR显示设备2不使用单独的伴随处理模块4，并且Joe的近眼显示设备2与他的智能电话4通信，该智能电话4包含了伴随处理模块的功能。
在该实施例中，家庭成员已经决定进入共享模式或社区模式，使得第一用户可以在与处于社区模式的第二用户已经下载并已经显示的相同的虚拟数据也处于第一用户的显示器视野中时看见该相同的虚拟数据。尽管每个用户看见 相同的虚拟数据，但是如在下面描述的剑示例中那样，该虚拟数据是从与每个近眼扩增现实显示器相关联的用户视角显示的。每个共享的成员都已经例如通过手指指在所显示的时间线45中针对公元1250年的圆圈处选择了共享模式以及来自时间线的公元1250年左右的时间段，其中公元1250年是Hastings城堡在公元1229年建成后的几十年。可以通过选择代表性的时间段（比如公元1450年、公元1550年、公元1935年或今天、或者如Hastings城堡在公元1229年的首次建造、该城堡在1487年的首次毁坏、该城堡在1490年重建、然后是在1940年的闪电战中的第二次毁坏以及然后是如今的重建等事件）从时间线45中选择其他的以前时间段。
当Mary在城堡前的山上休息并且欣赏城堡在公元1250年的正视图时，她注意到她的孩子Susan 19和Joe 18正在计划继续战斗，但是至少这次是用相应的虚拟剑43和44进行的，所述虚拟剑是可从与Hastings城堡相关联的虚拟数据提供器系统4040处得到的虚拟数据。Susan和Joe的剑的移动是由物理学引擎308根据它们相应的物理学模型来控制的，所述物理学模型基于剑的各个属性。尽管Joe看见剑44在他的脸附近，但是Susan看见Joe的剑在他脸上方附近，并且Mary从山上的视角看见Susan将她的剑43较低地握住并且看见Joe将剑握在他的脸附近。从与Mary的显示设备2相关联的用户视角来看，Susan的虚拟剑43部分地遮挡Susan的身体，并且Joe的现实头部分地遮挡他的虚拟剑。像视图的其他方面那样，遮挡随着现实和虚拟物体移动以及用户视角的改变而改变。
在当前时刻，Mary正注视着虚拟导游32的脚34，该虚拟导游32正听着Bob关于城堡在公元1250年左右的材料使用物的询问并对该询问作出响应。虚拟导游32是虚拟物体，其看上去是穿着所选时间段的女服的宫廷女性，并且Mary从她在山上的视角来看她。Mary的眼睛跟踪系统134和软件196向信息显示应用414通知：Mary已经对感兴趣的一个或多个物体（即虚拟导游的脚）超过了注视时长准则。信息显示应用414可以通过所显示的消息请求Mary是否希望更近地观看所述脚，或者可以使用作为参考线的Mary的视线或注视线来缓慢地改变显示器视野，沿着该参考线，显示器视野位于各中间显示器视野的中心并终止于是脚的特写。
图11B示出了由用户对虚拟物体的元素的注视触发的特写显示视图的示例。如所示那样，虚拟导游32是赤脚的，这是Mary所想象的并且之前还未注意到的。如箭头41所指示的那样，Mary已经将她的头稍稍向右移动，使得所述脚已经稍稍向她的左边移动并且更加位于他视野的中心。特写示出了：如代表性的脚趾甲35所示出那样的脚趾甲是不整洁的。除了疣37以外，在导游的右脚34r上还存在看上去是感染割伤36的东西。该割伤是Mary的当前焦点。对脚的注视时长和到它们的特写的改变可以已经提示信息显示应用414下载所存储的关于所述脚的陈述并且具有使这些陈述被音频引擎304输出的虚拟导游32的音频数据。附加地，来自Mary的诸如“你是赤脚吗？”之类的问题可以已经触发了响应。例如，在改变为特写的期间，虚拟导游32可以陈述“是的，我是赤脚。在天气暖和时，即使宫廷女性也是赤脚的，因为鞋子仍然是昂贵的奢侈品”。在注意到感染割伤的焦点时，关于因感染而死亡在该时间段是常见的存储数据可以在虚拟导游32看上去在讲出所存储数据的音频时被输出。
在一些实施例中，表示来自事件的可替代结局的结果的虚拟数据也可用于显示。对可替代结局的选择可以选自时间线，或者可以响应于确定用户问题是询问“如果那件事没发生或发生了会怎样”而被显示。在皮克特冲锋的情况下，示出结局相关数据的虚拟数据可以是具有虚拟辅助的虚拟覆盖图，该虚拟辅助示出在未发起冲锋的情况下南部地区的不同场景。还可以示出不同攻击计划的虚拟覆盖图。关于为什么那个方面对战役重要以及如果他们使用了不同的策略会发生什么的预定视频序列可以被播放。可以显示本可以使用的可替代计划的虚拟重现。
与城堡示例中类似，如果在公元1265年在城堡已经存在战役，在该战役中，AngloNorman勉强获胜，则可以选择可替代的历史分支来示出：在随后的100年里，城堡的生活在文化不同的新所有者统治下可能如何发生改变。例如，农民、骑士和女士在Saxon方获胜的情况下将如何穿着，或者在战役中发生包围的情况下城堡的可能的物理状态。还可以存在所显示的关于一个或多个史学家推测的数据，所述史学家推测是关于可替代结局对于国家势力平衡可能有多重要。
在此所述的许多实施例包括存储关于用户、物体和地点的数据。然后，该 数据被用于在透视个人A/V装置时扩增现实。为了允许有效地存储这样的数据和交换这样的数据，所构思的是具有用于存储该数据的预定标准格式。这样的格式的示例被称为全息文件格式。使用全息文件格式将允许数据在平台之间的便携性（portability）、压缩数据、使用智能物体、以及促进现实世界物体的虚拟表示。关于全息文件格式的一些实施例的更多信息，参见Geisner等人的于2012年4月27日提交的名称为“Personal Audio/Visual Systemwith HolographicObjects（具有全息物体的个人音频/视觉系统）”的美国专利申请号13/430,972，该申请通过引用并入本申请。
图12是计算系统的一个实施例的框图，该计算系统可用于实现一个或多个网络可访问计算机系统12或伴随处理模块4，所述伴随处理模块4可以托管计算环境54的软件组件中的至少一些或者图3A所描绘的其他元素。参考图12，示例性系统包括计算设备，诸如计算设备900。在大多数基本配置中，计算设备900通常包括一个或多个处理单元902，包括一个或多个中央处理单元（CPU）和一个或多个图形处理单元（GPU）。计算设备900还包括存储器904。取决于计算设备的确切配置和类型，存储器904可以包括易失性存储器905（如RAM）、非易失性存储器907（如ROM、闪存等）或是两者的某种组合。该最基本配置在图11中由虚线906来示出。另外，设备900还可具有附加特征/功能。例如，设备900还可包含附加存储（可移动和/或不可移动），包括但不限于磁盘、光盘或磁带。这样的附加存储在图12中由可移动存储908和不可移动存储910示出。
设备900还可以包含允许该设备与其他设备通信的通信连接912，比如一个或多个网络接口和收发器。设备900还可以具有诸如键盘、鼠标、笔、语音输入设备、触摸输入设备等输入设备914。还可以包括诸如显示器、扬声器、打印机等输出设备916。这些设备在本领域是公知的，因此不在此详细讨论。
附图中示出的示例计算机系统包括计算机可读存储设备的示例。计算机可读存储设备也是处理器可读存储设备。这样的设备包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任意方法或技术来实现的易失性和非易失性、可移动和不可移动存储器设备。处理器或计算机可读存储设备的一些是RAM、ROM、EEPROM、高速缓存、闪存或其他存储器技术、 CD-ROM、数字多功能盘（DVD）或其他光盘存储、记忆棒或卡、磁带盒、磁带、媒体驱动器、硬盘、磁盘存储或其他磁性存储设备、或能用于存储信息且可以由计算机访问的任何其他设备。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。上述具体特征和动作是作为实现权利要求的示例形式公开的。
Claims (10)
1.一种用于用三维(3D)虚拟数据来表示以前时间段时的物理场所的方法，所述三维(3D)虚拟数据由个人视听(A/V)装置的近眼扩增现实(AR)显示器来显示，该方法包括：
基于所述个人视听(A/V)装置检测到的场所数据自动地标识出所述个人视听(A/V)装置处于所述物理场所内；
基于所述物理场所中的物体的三维映射自动地标识出处于所述近眼扩增现实显示器的显示器视野中的一个或多个物体；
标识出指示选择以前时间段的用户输入,其中标识出指示选择以前时间段的用户输入还包括：从个人视听(A/V)装置的至少一个捕捉设备所捕捉的数据中标识出至少一个身体部位的至少一个用户身体动作的、指示从所述虚拟数据中选择所述以前时间段自然用户界面(NUI)输入；
基于所述显示器视野中的所述一个或多个物体并且基于与所述显示器视野相关联的用户视角显示与所述以前时间段相关联的三维(3D)虚拟数据；
标识出所述显示器视野的改变；以及
基于所述显示器视野的改变更新与所述以前时间段相关联的3D虚拟数据的显示。
2.如权利要求1所述的方法，其特征在于，还包括：
由所述近眼扩增现实显示器显示指示多个以前时间段的虚拟数据。
3.如权利要求1所述的方法，其特征在于，基于所述物理场所中的物体的三维映射自动地标识出处于所述近眼扩增现实显示器的显示器视野中的一个或多个物体进一步包括：
确定佩戴所述近眼扩增现实显示器的用户的、指示在所述物理场所中的至少两个物体之间来回的短注视时间段的注视模式；
确定示出所述至少两个物体之间的关系的虚拟数据可用以供下载；以及
响应于示出所述至少两个物体之间的关系的虚拟数据为可用的，检索和显示示出所述至少两个物体之间的关系的虚拟数据。
4.如权利要求1所述的方法，其特征在于，还包括：
基于至少一个现实物体与至少一个虚拟物体在所述近眼扩增现实显示器的显示视野中的3D空间位置标识出所述至少一个现实物体与所述至少一个虚拟物体之间的碰撞；
基于所述至少一个虚拟物体的一个或多个物理属性和所述碰撞的物理相互作用特性来确定对所述至少一个虚拟物体的至少一个物体属性的由于所述碰撞的至少一个效果；
修改所述至少一个虚拟物体的图像数据以用于表示对所述至少一个虚拟物体的至少一个物体属性的至少一个效果；以及
基于与所述显示器视野相关联的用户视角来显示所述至少一个虚拟物体的经修改的图像数据。
5.一种用于用三维(3D)虚拟数据表示以前时间段的物理场所的个人视听(A/V)装置，包括：
近眼扩增现实显示器，所述近眼扩增现实显示器具有显示器视野并且被近眼支承结构支承；
一个或多个处理器，所述一个或多个处理器可通信地耦合到网络可访问系统以用于访问一个或多个存储器，所述一个或多个存储器存储与所述物理场所中的一个或多个物体相关联的3D虚拟数据，并且所述3D虚拟数据表示在至少一个以前时间段时在所述物理场所中的所述一个或多个物体；
所述一个或多个处理器接收所述物理场所的3D映射，所述3D映射标识出所述物理场所中的现实和虚拟物体的一个或多个3D空间位置；
自然用户界面(NUI)，所述自然用户界面(NUI)用于将至少一个身体部位的一个或多个用户身体动作解释成指示供由3D虚拟数据来表示的以前时间段的用户输入、以及选择供用所述3D虚拟数据来扩增的、所述物理场所中的至少一个物体的用户输入；以及
所述一个或多个处理器控制所述个人视听(A/V)装置的近眼扩增现实显示器以用于从与所述显示器视野相关联的用户视角显示所述至少一个物体的3D虚拟数据。
6.如权利要求5所述的装置，其特征在于，还包括：
所述一个或多个处理器标识出如下用户输入：所述用户输入指示从所述显示器视野中擦除用户选择的现实物体的请求；
所述一个或多个处理器检索在所述显示器视野中的用户选择的现实物体之后的每个现实物体和虚拟物体在未被遮挡状态下的图像数据；
标识出在所述显示器视野中的用户选择的现实物体之后的每个现实物体和每个虚拟物体的深度位置；
在Z缓存器中，基于在所述显示器视野中的用户选择的现实物体之后的每个现实物体和每个虚拟物体的相应深度位置从所述显示器视野中的最远深度位置到所述显示器视野中的最近深度位置对这些物体在未被遮挡状态下的图像数据进行排序；以及
根据从所述显示器视野中的最远深度位置到所述显示器视野中的最近深度位置的排序显示所述Z缓存器中的所述图像数据。
7.如权利要求5所述的装置，其特征在于，还包括：
所述一个或多个处理器将用户标识数据发送给所述网络可访问计算机系统；
所述一个或多个处理器接收与所述用户标识数据相关联虚拟标签、以及所述物理场所中与所述虚拟标签相关联的物体的通知；
响应于基于物体标识符标识出所述物体处于所述近眼扩增现实显示器的显示器视野中，显示与所述虚拟标签相关联的虚拟数据。
8.一种用于用三维(3D)虚拟数据来表示以前时间段时的物理场所的方法，所述三维(3D)虚拟数据由个人视听(A/V)装置的近眼扩增现实显示器来显示，该方法包括：
基于所述个人视听(A/V)装置检测到的场所数据自动地标识出所述个人视听(A/V)装置处于所述物理场所中；
基于所述物理场所中的物体的三维(3D)映射自动地标识出所述近眼扩增现实显示器的第一显示视野中的一个或多个物体；
标识出指示选择以前时间段的用户输入；
基于与所述第一显示器视野相关联的用户视角来显示与所述以前时间段相关联的三维(3D)虚拟数据；
标识出指示请求第二显示器视野的用户输入，所述第二显示器视野具有与所述第一显示器视野不同的细节水平，并且包括所述第一显示器视野中的至少一个感兴趣的物体；以及
将所述第一显示器视野改变为具有所述不同的细节水平并且包括所述至少一个感兴趣的物体的所述第二显示器视野。
9.如权利要求8所述的方法，其特征在于，将所述第一显示器视野改变为具有所述不同的细节水平并且包括所述至少一个感兴趣的物体的所述第二显示器视野包括：
基于所述第二显示器视野的不同细节水平和所述物理场所中的物体的3D映射，标识出要在第二显示器视野中显示的包括至少一个感兴趣的物体在内的任何现实和虚拟物体；
检索表示要在所述第二显示器视野中显示的、包括至少一个感兴趣的物体在内的任何现实和虚拟物体的虚拟数据；以及
由近眼扩增现实显示器从所述第二显示器视野的用户角度显示所检索的虚拟数据，所述用户角度是基于作为参考点的、与所述第一显示器视野相关联的用户角度来确定的。
10.如权利要求9所述的方法，其特征在于，还包括：
标识出所述近眼扩增现实显示器的注视改变或取向改变中的至少之一；
基于所标识的注视改变或取向改变中的至少之一以及为所述参考点的、与第一显示器视野相关联的用户视角来更新与所述第二显示器视野相关联的用户视角；
响应于基于与所述第二显示器视野相关联的用户视角的更新而要在所述第二显示器视野中显示的至少一个不同物体，检索表示所述至少一个不同物体的虚拟数据；以及
由所述近眼扩增现实显示器从经更新的与所述第二显示器视野相关联的用户视角更新所检索的虚拟数据的显示。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/250,878 | 2011-09-30 | ||
| US13/250,878 US20130083003A1 (en) | 2011-09-30 | 2011-09-30 | Personal audio/visual system |
| US13/535,213 | 2012-06-27 | ||
| US13/535,213 US9286711B2 (en) | 2011-09-30 | 2012-06-27 | Representing a location at a previous time period using an augmented reality display |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103186922A CN103186922A (zh) | 2013-07-03 |
| CN103186922B true CN103186922B (zh) | 2016-08-17 |
Family
ID=47992124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210378687.3A Active CN103186922B (zh) | 2011-09-30 | 2012-10-08 | 使用扩增现实显示器表示以前时间段时的场所的方法以及个人视听(a/v)装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9286711B2 (zh) |
| CN (1) | CN103186922B (zh) |
| WO (1) | WO2013049755A1 (zh) |
Families Citing this family (120)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150154799A1 (en) * | 2013-11-29 | 2015-06-04 | At&T Intellectual Property I, L.P. | Replacing A Physical Object Perception With A Modified Perception |
| US10972680B2 (en) * | 2011-03-10 | 2021-04-06 | Microsoft Technology Licensing, Llc | Theme-based augmentation of photorepresentative view |
| BR112014010230A8 (pt) | 2011-10-28 | 2017-06-20 | Magic Leap Inc | sistema e método para realidade virtual e aumentada |
| US20130158965A1 (en) * | 2011-12-14 | 2013-06-20 | Christopher V. Beckman | Physics Engine Systems Using "Force Shadowing" For Forces At A Distance |
| US9117303B2 (en) | 2012-03-25 | 2015-08-25 | Membit Inc. | System and method for defining an augmented reality view in a specific location |
| US9571822B2 (en) * | 2012-08-28 | 2017-02-14 | Samsung Electronics Co., Ltd. | Display system with display adjustment mechanism for viewing aide and method of operation thereof |
| US9589000B2 (en) * | 2012-08-30 | 2017-03-07 | Atheer, Inc. | Method and apparatus for content association and history tracking in virtual and augmented reality |
| KR20140035713A (ko) * | 2012-09-14 | 2014-03-24 | 한국전자통신연구원 | 실감 미디어 저작 방법 및 장치, 이를 이용하는 휴대형 단말 장치 |
| US20150237300A1 (en) * | 2012-09-25 | 2015-08-20 | Indika Charles Mendis | On Demand Experience Sharing for Wearable Computing Devices |
| JP6041604B2 (ja) * | 2012-09-27 | 2016-12-14 | 京セラ株式会社 | 表示装置、制御システムおよび制御プログラム |
| US10620902B2 (en) * | 2012-09-28 | 2020-04-14 | Nokia Technologies Oy | Method and apparatus for providing an indication regarding content presented to another user |
| KR20140045801A (ko) * | 2012-10-09 | 2014-04-17 | 삼성전자주식회사 | 투명 디스플레이 장치 및 그 제어 방법 |
| CN103873840B (zh) * | 2012-12-12 | 2018-08-31 | 联想(北京)有限公司 | 显示方法及显示设备 |
| US20140168258A1 (en) * | 2012-12-13 | 2014-06-19 | David Alexander Dearman | Method and apparatus for augmenting an image of a location with a representation of a transient object |
| US8571851B1 (en) * | 2012-12-31 | 2013-10-29 | Google Inc. | Semantic interpretation using user gaze order |
| US8955002B2 (en) * | 2013-01-16 | 2015-02-10 | Comcast Cable Communications, Llc | Tracking and responding to distracting events |
| CN103970258B (zh) * | 2013-01-28 | 2018-08-07 | 联想(北京)有限公司 | 穿戴式电子设备以及显示方法 |
| TW201430385A (zh) * | 2013-01-31 | 2014-08-01 | Hon Hai Prec Ind Co Ltd | 眼鏡播放裝置 |
| JP6250024B2 (ja) * | 2013-02-19 | 2017-12-20 | ミラマ サービス インク | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 |
| US9500865B2 (en) * | 2013-03-04 | 2016-11-22 | Alex C. Chen | Method and apparatus for recognizing behavior and providing information |
| EP4193906A1 (en) | 2013-03-11 | 2023-06-14 | Magic Leap, Inc. | Method for augmented and virtual reality |
| CN107656618B (zh) | 2013-03-15 | 2021-03-23 | 奇跃公司 | 显示系统和方法 |
| US9378590B2 (en) | 2013-04-23 | 2016-06-28 | Microsoft Technology Licensing, Llc | Augmented reality auction platform |
| US9552675B2 (en) * | 2013-06-03 | 2017-01-24 | Time Traveler App Llc | Display application and perspective views of virtual space |
| DE102013013698A1 (de) * | 2013-08-16 | 2015-02-19 | Audi Ag | Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille |
| KR102165818B1 (ko) | 2013-09-10 | 2020-10-14 | 삼성전자주식회사 | 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체 |
| US10269074B1 (en) | 2013-10-23 | 2019-04-23 | Allstate Insurance Company | Communication schemes for property claims adjustments |
| US9824397B1 (en) | 2013-10-23 | 2017-11-21 | Allstate Insurance Company | Creating a scene for property claims adjustment |
| US9454840B2 (en) * | 2013-12-13 | 2016-09-27 | Blake Caldwell | System and method for interactive animations for enhanced and personalized video communications |
| CN103760973B (zh) * | 2013-12-18 | 2017-01-11 | 微软技术许可有限责任公司 | 增强现实的信息细节 |
| JP6393986B2 (ja) * | 2013-12-26 | 2018-09-26 | セイコーエプソン株式会社 | 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法 |
| US9370718B2 (en) * | 2014-01-02 | 2016-06-21 | Ubitus Inc. | System and method for delivering media over network |
| KR102182161B1 (ko) * | 2014-02-20 | 2020-11-24 | 엘지전자 주식회사 | Hmd 및 그 제어 방법 |
| CN103942049B (zh) * | 2014-04-14 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 增强现实的实现方法、客户端装置和服务器 |
| CA2945842C (en) * | 2014-04-14 | 2020-09-22 | Tremolant Inc. | Augmented reality communications |
| US9918176B2 (en) * | 2014-05-13 | 2018-03-13 | Lenovo (Singapore) Pte. Ltd. | Audio system tuning |
| JP6329840B2 (ja) * | 2014-07-30 | 2018-05-23 | 東芝テック株式会社 | 認識辞書管理装置及びプログラム |
| CN104243955B (zh) * | 2014-09-09 | 2017-05-03 | 武汉恩倍思科技有限公司 | 远程3d数据图像的控制方法 |
| EP3219100A1 (en) * | 2014-09-15 | 2017-09-20 | Dmitry Gorilovsky | A system comprising multiple digital cameras viewing a large scene |
| US11054893B2 (en) | 2014-11-15 | 2021-07-06 | Vr Exit Llc | Team flow control in a mixed physical and virtual reality environment |
| US11030806B2 (en) * | 2014-11-15 | 2021-06-08 | Vr Exit Llc | Combined virtual and physical environment |
| WO2016079960A1 (en) * | 2014-11-18 | 2016-05-26 | Seiko Epson Corporation | Image processing apparatus, control method for image processing apparatus, and computer program |
| US9754416B2 (en) * | 2014-12-23 | 2017-09-05 | Intel Corporation | Systems and methods for contextually augmented video creation and sharing |
| US9728010B2 (en) * | 2014-12-30 | 2017-08-08 | Microsoft Technology Licensing, Llc | Virtual representations of real-world objects |
| US11468639B2 (en) * | 2015-02-20 | 2022-10-11 | Microsoft Technology Licensing, Llc | Selective occlusion system for augmented reality devices |
| US10838207B2 (en) | 2015-03-05 | 2020-11-17 | Magic Leap, Inc. | Systems and methods for augmented reality |
| EP3265866B1 (en) | 2015-03-05 | 2022-12-28 | Magic Leap, Inc. | Systems and methods for augmented reality |
| US10216982B2 (en) * | 2015-03-12 | 2019-02-26 | Microsoft Technology Licensing, Llc | Projecting a virtual copy of a remote object |
| CN106157236A (zh) * | 2015-04-20 | 2016-11-23 | 王安 | 现实显示全息影像 |
| US9690374B2 (en) | 2015-04-27 | 2017-06-27 | Google Inc. | Virtual/augmented reality transition system and method |
| US11245939B2 (en) | 2015-06-26 | 2022-02-08 | Samsung Electronics Co., Ltd. | Generating and transmitting metadata for virtual reality |
| KR102400900B1 (ko) * | 2015-10-26 | 2022-05-23 | 엘지전자 주식회사 | 시스템 |
| US9711046B2 (en) * | 2015-11-20 | 2017-07-18 | Electro-Motive Diesel, Inc. | Train status presentation based on aggregated tracking information |
| CA3007367A1 (en) | 2015-12-04 | 2017-06-08 | Magic Leap, Inc. | Relocalization systems and methods |
| US9690534B1 (en) | 2015-12-14 | 2017-06-27 | International Business Machines Corporation | Wearable computing eyeglasses that provide unobstructed views |
| CN106899860B (zh) * | 2015-12-21 | 2019-10-11 | 优必达公司 | 通过网络传送媒体的系统及方法 |
| IL272891B2 (en) | 2016-01-19 | 2023-09-01 | Magic Leap Inc | Collection, selection and combination of an eye image |
| CA3019535A1 (en) * | 2016-03-31 | 2017-10-05 | JIBO, Inc. | Persistent companion device configuration and deployment platform |
| US10362429B2 (en) * | 2016-04-28 | 2019-07-23 | California Institute Of Technology | Systems and methods for generating spatial sound information relevant to real-world environments |
| US10469976B2 (en) * | 2016-05-11 | 2019-11-05 | Htc Corporation | Wearable electronic device and virtual reality system |
| US10416725B2 (en) * | 2016-07-27 | 2019-09-17 | Tobii Ab | Wearable device having a display, lens, illuminator, and image sensor |
| CA3032567A1 (en) | 2016-08-02 | 2018-02-08 | Magic Leap, Inc. | Fixed-distance virtual and augmented reality systems and methods |
| CN206178658U (zh) * | 2016-08-10 | 2017-05-17 | 北京七鑫易维信息技术有限公司 | 视频眼镜的眼球追踪模组 |
| WO2018039076A1 (en) * | 2016-08-22 | 2018-03-01 | Vantedge Group, Llc | Immersive and merged reality experience / environment and data capture via virtural, agumented, and mixed reality device |
| US10109073B2 (en) * | 2016-09-21 | 2018-10-23 | Verizon Patent And Licensing Inc. | Feature tracking and dynamic feature addition in an augmented reality environment |
| JP2018097160A (ja) * | 2016-12-14 | 2018-06-21 | セイコーエプソン株式会社 | 表示システム、表示装置、及び、表示装置の制御方法 |
| CN114390350B (zh) * | 2017-01-18 | 2023-08-01 | 交互数字Vc控股公司 | 用于选择场景以在增强现实界面中浏览历史记录的系统和方法 |
| US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
| US11205426B2 (en) | 2017-02-27 | 2021-12-21 | Sony Corporation | Information processing device, information processing method, and program |
| EP3596702A4 (en) | 2017-03-17 | 2020-07-22 | Magic Leap, Inc. | MIXED REALITY SYSTEM WITH MULTI-SOURCE VIRTUAL CONTENT COMPOSITION AND ASSOCIATED VIRTUAL CONTENT GENERATION PROCESS |
| KR20230149347A (ko) | 2017-03-17 | 2023-10-26 | 매직 립, 인코포레이티드 | 컬러 가상 콘텐츠 워핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법 |
| EP3596703A4 (en) | 2017-03-17 | 2020-01-22 | Magic Leap, Inc. | VIRTUAL CONTENT DEFORMATION MIXED REALITY SYSTEM AND VIRTUAL CONTENT GENERATION METHOD USING THE SAME |
| US10379606B2 (en) | 2017-03-30 | 2019-08-13 | Microsoft Technology Licensing, Llc | Hologram anchor prioritization |
| US10466953B2 (en) | 2017-03-30 | 2019-11-05 | Microsoft Technology Licensing, Llc | Sharing neighboring map data across devices |
| US11054272B2 (en) | 2017-05-11 | 2021-07-06 | Disney Enterprises, Inc. | Physical navigation guided via story-based augmented and/or mixed reality experiences |
| IT201700058961A1 (it) | 2017-05-30 | 2018-11-30 | Artglass S R L | Metodo e sistema di fruizione di un contenuto editoriale in un sito preferibilmente culturale o artistico o paesaggistico o naturalistico o fieristico o espositivo |
| CN107230237A (zh) * | 2017-06-19 | 2017-10-03 | 歌尔科技有限公司 | 信息处理方法及装置 |
| CN107274438B (zh) * | 2017-06-28 | 2020-01-17 | 山东大学 | 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法 |
| US11250264B2 (en) | 2017-08-04 | 2022-02-15 | Civic Resource Group International Incorporated | Geographic address query with associated time of inquiry |
| US11288869B2 (en) * | 2017-08-09 | 2022-03-29 | Sony Corporation | Information processing device, and information processing method |
| US10617933B2 (en) | 2017-08-14 | 2020-04-14 | International Business Machines Corporation | Sport training on augmented/virtual reality devices by measuring hand-eye coordination-based measurements |
| US20190057180A1 (en) * | 2017-08-18 | 2019-02-21 | International Business Machines Corporation | System and method for design optimization using augmented reality |
| US11487988B2 (en) | 2017-08-31 | 2022-11-01 | Ford Global Technologies, Llc | Augmenting real sensor recordings with simulated sensor data |
| US11455565B2 (en) | 2017-08-31 | 2022-09-27 | Ford Global Technologies, Llc | Augmenting real sensor recordings with simulated sensor data |
| US10602117B1 (en) | 2017-09-11 | 2020-03-24 | Bentley Systems, Incorporated | Tool for onsite augmentation of past events |
| US20190129038A1 (en) * | 2017-10-27 | 2019-05-02 | Osram Opto Semiconductors Gmbh | Monitoring System for a Mobile Device and Method for Monitoring Surroundings of a Mobile Device |
| US10921127B2 (en) * | 2017-11-02 | 2021-02-16 | Sony Corporation | Augmented reality based electronic device to provide location tagging assistance in an indoor or outdoor area |
| CN111372779B (zh) * | 2017-11-20 | 2023-01-17 | 皇家飞利浦有限公司 | 针对三维打印对象的打印缩放 |
| WO2019104548A1 (zh) * | 2017-11-29 | 2019-06-06 | 深圳前海达闼云端智能科技有限公司 | 图像显示方法、智能眼镜及存储介质 |
| EP3495771A1 (en) * | 2017-12-11 | 2019-06-12 | Hexagon Technology Center GmbH | Automated surveying of real world objects |
| US11126846B2 (en) | 2018-01-18 | 2021-09-21 | Ebay Inc. | Augmented reality, computer vision, and digital ticketing systems |
| WO2019143117A1 (en) * | 2018-01-18 | 2019-07-25 | Samsung Electronics Co., Ltd. | Method and apparatus for adjusting augmented reality content |
| US10977871B2 (en) * | 2018-04-25 | 2021-04-13 | International Business Machines Corporation | Delivery of a time-dependent virtual reality environment in a computing system |
| WO2020023383A1 (en) | 2018-07-23 | 2020-01-30 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
| CN112639579B (zh) | 2018-08-31 | 2023-09-15 | 奇跃公司 | 用于增强现实装置的空间分辨的动态调暗 |
| US10855978B2 (en) * | 2018-09-14 | 2020-12-01 | The Toronto-Dominion Bank | System and method for receiving user input in virtual/augmented reality |
| EP3629584A1 (en) * | 2018-09-25 | 2020-04-01 | Koninklijke Philips N.V. | Apparatus and method for generating and rendering a video stream |
| US10867061B2 (en) | 2018-09-28 | 2020-12-15 | Todd R. Collart | System for authorizing rendering of objects in three-dimensional spaces |
| CN109453518A (zh) * | 2018-10-29 | 2019-03-12 | 安徽畅感网络科技有限公司 | Vr游戏体验多元化数据采集分析系统 |
| US11645561B2 (en) | 2019-03-18 | 2023-05-09 | International Business Machines Corporation | Question answering system influenced by user behavior and text metadata generation |
| WO2020214897A1 (en) | 2019-04-18 | 2020-10-22 | Beckman Coulter, Inc. | Securing data of objects in a laboratory environment |
| CN111953922B (zh) * | 2019-05-16 | 2022-05-27 | 南宁富联富桂精密工业有限公司 | 视频会议的人脸辨识方法、服务器及计算机可读存储介质 |
| US11470017B2 (en) * | 2019-07-30 | 2022-10-11 | At&T Intellectual Property I, L.P. | Immersive reality component management via a reduced competition core network component |
| US11593411B2 (en) | 2019-09-13 | 2023-02-28 | International Business Machines Corporation | Historical augmentation of electronic maps |
| JP7384014B2 (ja) * | 2019-12-06 | 2023-11-21 | トヨタ自動車株式会社 | 表示システム |
| US11816757B1 (en) * | 2019-12-11 | 2023-11-14 | Meta Platforms Technologies, Llc | Device-side capture of data representative of an artificial reality environment |
| US20230119814A1 (en) | 2020-03-23 | 2023-04-20 | Signant Health Global Llc | System and method for immutable virtual pre-site study |
| US11625973B2 (en) * | 2020-04-22 | 2023-04-11 | Igt | Multi-user gaze detection at electronic gaming devices |
| CN111640171B (zh) * | 2020-06-10 | 2023-09-01 | 浙江商汤科技开发有限公司 | 一种历史场景的讲解方法、装置、电子设备及存储介质 |
| US11195341B1 (en) * | 2020-06-29 | 2021-12-07 | Snap Inc. | Augmented reality eyewear with 3D costumes |
| US11481177B2 (en) * | 2020-06-30 | 2022-10-25 | Snap Inc. | Eyewear including multi-user, shared interactive experiences |
| US11315334B1 (en) * | 2021-02-09 | 2022-04-26 | Varjo Technologies Oy | Display apparatuses and methods incorporating image masking |
| US11645819B2 (en) | 2021-03-11 | 2023-05-09 | Quintar, Inc. | Augmented reality system for viewing an event with mode based on crowd sourced images |
| US20220295139A1 (en) * | 2021-03-11 | 2022-09-15 | Quintar, Inc. | Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model |
| US11527047B2 (en) | 2021-03-11 | 2022-12-13 | Quintar, Inc. | Augmented reality system for viewing an event with distributed computing |
| US11657578B2 (en) | 2021-03-11 | 2023-05-23 | Quintar, Inc. | Registration for augmented reality system for viewing an event |
| US20230102034A1 (en) * | 2021-09-29 | 2023-03-30 | Lawrence Livermore National Security, Llc | Scenario development for an incident exercise |
| FR3130057A1 (fr) * | 2021-12-06 | 2023-06-09 | Orange | Réglage temporel en réalité augmentée |
| TWI833148B (zh) * | 2022-01-11 | 2024-02-21 | 崑山科技大學 | 擴增實境導覽系統、擴增實境導覽及更新資料庫的方法及程式 |
| DE102022107027A1 (de) * | 2022-03-24 | 2023-09-28 | Eto Gruppe Technologies Gmbh | Ortsbezogenes Content Management Verfahren zur Ausgabe von digitalen Inhalten an einen Nutzer und ortsbezogenes Content Management System |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101470102A (zh) * | 2007-12-18 | 2009-07-01 | 通用电气公司 | 用于增强的现实检查和数据可视化的系统及方法 |
| CN101515198A (zh) * | 2009-03-11 | 2009-08-26 | 上海大学 | 一种虚拟物体抓取与抛掷的人机交互方法及系统 |
Family Cites Families (101)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5246232A (en) | 1992-01-22 | 1993-09-21 | Colorado Time Systems | Method and apparatus for determining parameters of the motion of an object |
| US5333874A (en) | 1992-05-06 | 1994-08-02 | Floyd L. Arnold | Sports simulator |
| US5826578A (en) | 1994-05-26 | 1998-10-27 | Curchod; Donald B. | Motion measurement apparatus |
| US6430997B1 (en) | 1995-11-06 | 2002-08-13 | Trazer Technologies, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
| US6217444B1 (en) | 1996-09-24 | 2001-04-17 | Konami Co., Ltd. | Simulative golf game system and a method for providing a simulative golf game and a storage medium for storing a simulative golf game program |
| US5762561A (en) | 1996-10-30 | 1998-06-09 | Electric Scorecards, Inc. | Custom golf scorecard design automation |
| US5728006A (en) | 1996-11-12 | 1998-03-17 | Vr Sports, Inc. | Magnetic golf club swing sensor and golf simulator |
| US5826874A (en) | 1996-11-12 | 1998-10-27 | Vr Sports, Inc. | Magnetic golf club swing sensor and golf simulator |
| US7073129B1 (en) | 1998-12-18 | 2006-07-04 | Tangis Corporation | Automated selection of appropriate information based on a computer user's context |
| US6466232B1 (en) | 1998-12-18 | 2002-10-15 | Tangis Corporation | Method and system for controlling presentation of information to a user based on the user's condition |
| US6224387B1 (en) | 1999-02-11 | 2001-05-01 | Michael J. Jones | Pictorial tour process and applications thereof |
| AU5132200A (en) | 1999-05-14 | 2000-12-05 | Arthur R. Stipan | Tiltable golf platform |
| US6120461A (en) | 1999-08-09 | 2000-09-19 | The United States Of America As Represented By The Secretary Of The Army | Apparatus for tracking the human eye with a retinal scanning display, and method thereof |
| US6623370B1 (en) | 2000-01-31 | 2003-09-23 | Rudolf H. Willer | Golf training facility |
| US7057582B2 (en) | 2000-03-15 | 2006-06-06 | Information Decision Technologies, Llc | Ruggedized instrumented firefighter's self contained breathing apparatus |
| US6567536B2 (en) | 2001-02-16 | 2003-05-20 | Golftec Enterprises Llc | Method and system for physical motion analysis |
| JP4028708B2 (ja) | 2001-10-19 | 2007-12-26 | 株式会社コナミデジタルエンタテインメント | ゲーム装置及びゲームシステム |
| US7190331B2 (en) | 2002-06-06 | 2007-03-13 | Siemens Corporate Research, Inc. | System and method for measuring the registration accuracy of an augmented reality system |
| US7693702B1 (en) | 2002-11-01 | 2010-04-06 | Lockheed Martin Corporation | Visualizing space systems modeling using augmented reality |
| SE0203908D0 (sv) | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
| US7401920B1 (en) | 2003-05-20 | 2008-07-22 | Elbit Systems Ltd. | Head mounted eye tracking and display system |
| WO2005013174A2 (en) | 2003-07-28 | 2005-02-10 | Bergantino Paul V | Method and apparatus for managing a user’s health |
| US20050227791A1 (en) | 2004-03-18 | 2005-10-13 | Hbl Ltd. | Virtual caddy system and method |
| US7671916B2 (en) | 2004-06-04 | 2010-03-02 | Electronic Arts Inc. | Motion sensor using dual camera inputs |
| US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
| US7458894B2 (en) | 2004-09-15 | 2008-12-02 | Microsoft Corporation | Online gaming spectator system |
| US7657101B2 (en) | 2005-01-19 | 2010-02-02 | Dermaspect, Llc | Devices and methods for identifying and monitoring changes of a suspect area on a patient |
| US7922586B2 (en) | 2005-03-22 | 2011-04-12 | Heckendorf Iii Francis Aicher | Active play interactive game system |
| US7917401B2 (en) | 2005-04-04 | 2011-03-29 | Trent Baker | Systems and methods for obtaining health and financial information with a handheld device |
| US20060230123A1 (en) | 2005-04-07 | 2006-10-12 | Simmons Bonnie J | Online Shopping and Item Selection System and Method |
| US20060250322A1 (en) | 2005-05-09 | 2006-11-09 | Optics 1, Inc. | Dynamic vergence and focus control for head-mounted displays |
| US8207843B2 (en) | 2005-07-14 | 2012-06-26 | Huston Charles D | GPS-based location and messaging system and method |
| US7836192B2 (en) | 2005-07-15 | 2010-11-16 | Microsoft Corporation | Parental controls for a media console |
| WO2007009225A1 (en) | 2005-07-22 | 2007-01-25 | Kangaroo Media Inc. | System and methods for enhancing the experience of spectators attending a live sporting event |
| US20070024438A1 (en) | 2005-08-01 | 2007-02-01 | Mike Chen | Portable radar alarm device having water and weather resistance |
| US20070035563A1 (en) | 2005-08-12 | 2007-02-15 | The Board Of Trustees Of Michigan State University | Augmented reality spatial interaction and navigational system |
| CN101243392A (zh) | 2005-08-15 | 2008-08-13 | 皇家飞利浦电子股份有限公司 | 用于终端用户编程的增强现实眼镜的系统、设备和方法 |
| US7815516B1 (en) | 2005-12-02 | 2010-10-19 | Mortimer Bruce J P | Method and apparatus for golf club swing training |
| KR101309176B1 (ko) | 2006-01-18 | 2013-09-23 | 삼성전자주식회사 | 증강 현실 장치 및 방법 |
| US7847808B2 (en) | 2006-07-19 | 2010-12-07 | World Golf Tour, Inc. | Photographic mapping in a simulation |
| US20080073430A1 (en) | 2006-09-22 | 2008-03-27 | Sickenius Louis S | Sense and Respond Purchase Restriction Management System |
| US20080082465A1 (en) | 2006-09-28 | 2008-04-03 | Microsoft Corporation | Guardian angel |
| US20080147325A1 (en) | 2006-12-18 | 2008-06-19 | Maassel Paul W | Method and system for providing augmented reality |
| US9589380B2 (en) | 2007-02-27 | 2017-03-07 | International Business Machines Corporation | Avatar-based unsolicited advertisements in a virtual universe |
| US20090144081A1 (en) | 2007-10-08 | 2009-06-04 | Harlan Timothy S | Methods and systems for dynamic meal plan generation |
| US8180396B2 (en) * | 2007-10-18 | 2012-05-15 | Yahoo! Inc. | User augmented reality for camera-enabled mobile devices |
| US20110218839A1 (en) | 2007-10-22 | 2011-09-08 | Ravi Vijay Shamaiengar | Methods and systems for enabling the purchase of deliverable goods & services |
| US7853296B2 (en) | 2007-10-31 | 2010-12-14 | Motorola Mobility, Inc. | Mobile virtual and augmented reality system |
| US8264505B2 (en) | 2007-12-28 | 2012-09-11 | Microsoft Corporation | Augmented reality and filtering |
| US8786675B2 (en) | 2008-01-23 | 2014-07-22 | Michael F. Deering | Systems using eye mounted displays |
| KR100963238B1 (ko) | 2008-02-12 | 2010-06-10 | 광주과학기술원 | 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법 |
| GB2458388A (en) | 2008-03-21 | 2009-09-23 | Dressbot Inc | A collaborative online shopping environment, virtual mall, store, etc. in which payments may be shared, products recommended and users modelled. |
| US20100149073A1 (en) | 2008-11-02 | 2010-06-17 | David Chaum | Near to Eye Display System and Appliance |
| US8234124B2 (en) | 2008-04-16 | 2012-07-31 | International Business Machines Corporation | Allergy prevention |
| US8170222B2 (en) | 2008-04-18 | 2012-05-01 | Sony Mobile Communications Ab | Augmented reality enhanced audio |
| US20090300551A1 (en) | 2008-06-03 | 2009-12-03 | French Barry J | Interactive physical activity and information-imparting system and method |
| US20110087137A1 (en) | 2008-06-16 | 2011-04-14 | Reed Hanoun | Mobile fitness and personal caloric management system |
| US20100035726A1 (en) | 2008-08-07 | 2010-02-11 | John Fisher | Cardio-fitness station with virtual-reality capability |
| EP2156869A1 (en) | 2008-08-19 | 2010-02-24 | Sony Computer Entertainment Europe Limited | Entertainment device and method of interaction |
| US20100045701A1 (en) | 2008-08-22 | 2010-02-25 | Cybernet Systems Corporation | Automatic mapping of augmented reality fiducials |
| US9569001B2 (en) | 2009-02-03 | 2017-02-14 | Massachusetts Institute Of Technology | Wearable gestural interface |
| US20100208033A1 (en) | 2009-02-13 | 2010-08-19 | Microsoft Corporation | Personal Media Landscapes in Mixed Reality |
| KR100923066B1 (ko) | 2009-03-13 | 2009-10-22 | (주) 골프존 | 골프 실연 시뮬레이터 및 그 제어방법 |
| US20100238161A1 (en) | 2009-03-19 | 2010-09-23 | Kenneth Varga | Computer-aided system for 360º heads up display of safety/mission critical data |
| US20100257252A1 (en) | 2009-04-01 | 2010-10-07 | Microsoft Corporation | Augmented Reality Cloud Computing |
| US8839121B2 (en) | 2009-05-06 | 2014-09-16 | Joseph Bertolami | Systems and methods for unifying coordinate systems in augmented reality applications |
| US7744482B1 (en) | 2009-09-08 | 2010-06-29 | Michael Watson | Putt sensor training device |
| US20110065496A1 (en) | 2009-09-11 | 2011-03-17 | Wms Gaming, Inc. | Augmented reality mechanism for wagering game systems |
| US8202161B2 (en) | 2009-10-23 | 2012-06-19 | Disney Enterprises, Inc. | Virtual game instructor |
| US20110112904A1 (en) | 2009-11-12 | 2011-05-12 | Steven Elliot Stupp | Providing a recommendation based on a dietary preference |
| US8843857B2 (en) | 2009-11-19 | 2014-09-23 | Microsoft Corporation | Distance scalable no touch computing |
| US20110270135A1 (en) | 2009-11-30 | 2011-11-03 | Christopher John Dooley | Augmented reality for testing and training of human performance |
| WO2011072044A2 (en) | 2009-12-09 | 2011-06-16 | Icelero Llc | Method, system and apparatus for advertisement delivery from electronic data storage devices |
| US20110151955A1 (en) | 2009-12-23 | 2011-06-23 | Exent Technologies, Ltd. | Multi-player augmented reality combat |
| KR101096392B1 (ko) | 2010-01-29 | 2011-12-22 | 주식회사 팬택 | 증강 현실 제공 시스템 및 방법 |
| US8477425B2 (en) | 2010-02-28 | 2013-07-02 | Osterhout Group, Inc. | See-through near-eye display glasses including a partially reflective, partially transmitting optical element |
| KR20130000401A (ko) | 2010-02-28 | 2013-01-02 | 오스터하우트 그룹 인코포레이티드 | 대화형 머리장착식 아이피스 상의 지역 광고 컨텐츠 |
| US8467133B2 (en) * | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
| US9366862B2 (en) * | 2010-02-28 | 2016-06-14 | Microsoft Technology Licensing, Llc | System and method for delivering content to a group of see-through near eye display eyepieces |
| US20120242698A1 (en) * | 2010-02-28 | 2012-09-27 | Osterhout Group, Inc. | See-through near-eye display glasses with a multi-segment processor-controlled optical layer |
| US20120212499A1 (en) * | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | System and method for display content control during glasses movement |
| US8908043B2 (en) * | 2010-04-12 | 2014-12-09 | Symbol Technologies, Inc. | System and method for location-based operation of a head mounted display |
| US20110318717A1 (en) | 2010-06-23 | 2011-12-29 | Laurent Adamowicz | Personalized Food Identification and Nutrition Guidance System |
| US9292565B2 (en) | 2010-06-30 | 2016-03-22 | International Business Machines Corporation | Template-based recognition of food product information |
| US8296194B2 (en) | 2010-09-21 | 2012-10-23 | Microsoft Corporation | Method, medium, and system for ranking dishes at eating establishments |
| JP5800484B2 (ja) | 2010-09-22 | 2015-10-28 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 |
| US8625200B2 (en) | 2010-10-21 | 2014-01-07 | Lockheed Martin Corporation | Head-mounted display apparatus employing one or more reflective optical surfaces |
| US8814754B2 (en) | 2010-11-01 | 2014-08-26 | Nike, Inc. | Wearable device having athletic functionality |
| US20120113223A1 (en) | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| KR20120057799A (ko) | 2010-11-29 | 2012-06-07 | 삼성전자주식회사 | 휴대단말에서 사전 기능 제공 방법 및 장치 |
| KR20120087287A (ko) * | 2010-12-28 | 2012-08-07 | 주식회사 팬택 | 증강현실 히스토리 정보를 이용하여 소셜 네트워킹 서비스를 제공하는 단말기, 서버 및 이를 이용한 증강현실 제공 시스템 |
| US20120233002A1 (en) | 2011-03-08 | 2012-09-13 | Abujbara Nabil M | Personal Menu Generator |
| US20120299962A1 (en) * | 2011-05-27 | 2012-11-29 | Nokia Corporation | Method and apparatus for collaborative augmented reality displays |
| US8442500B2 (en) | 2011-06-21 | 2013-05-14 | Qualcomm Incorporated | Relevant content delivery |
| US8217856B1 (en) * | 2011-07-27 | 2012-07-10 | Google Inc. | Head-mounted display that displays a visual representation of physical interaction with an input interface located outside of the field of view |
| WO2013036233A1 (en) | 2011-09-08 | 2013-03-14 | Intel Corporation | Augmented reality based on imaged object characteristics |
| US9155964B2 (en) | 2011-09-14 | 2015-10-13 | Steelseries Aps | Apparatus for adapting virtual gaming with real world information |
| US8998414B2 (en) | 2011-09-26 | 2015-04-07 | Microsoft Technology Licensing, Llc | Integrated eye tracking and display system |
| US20130139082A1 (en) * | 2011-11-30 | 2013-05-30 | Google Inc. | Graphical Interface Having Adjustable Borders |
| US8235529B1 (en) * | 2011-11-30 | 2012-08-07 | Google Inc. | Unlocking a screen using eye tracking information |
| US20130246967A1 (en) * | 2012-03-15 | 2013-09-19 | Google Inc. | Head-Tracked User Interaction with Graphical Interface |
-
2012
- 2012-06-27 US US13/535,213 patent/US9286711B2/en active Active
- 2012-09-30 WO PCT/US2012/058169 patent/WO2013049755A1/en active Application Filing
- 2012-10-08 CN CN201210378687.3A patent/CN103186922B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101470102A (zh) * | 2007-12-18 | 2009-07-01 | 通用电气公司 | 用于增强的现实检查和数据可视化的系统及方法 |
| CN101515198A (zh) * | 2009-03-11 | 2009-08-26 | 上海大学 | 一种虚拟物体抓取与抛掷的人机交互方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103186922A (zh) | 2013-07-03 |
| US9286711B2 (en) | 2016-03-15 |
| WO2013049755A1 (en) | 2013-04-04 |
| US20130083011A1 (en) | 2013-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103186922B (zh) | 使用扩增现实显示器表示以前时间段时的场所的方法以及个人视听(a/v)装置 | |
| AU2023200357B2 (en) | System and method for augmented and virtual reality | |
| CN103472909B (zh) | 用于头戴式、增强现实显示器的逼真遮挡 | |
| US9183676B2 (en) | Displaying a collision between real and virtual objects | |
| US9292085B2 (en) | Configuring an interaction zone within an augmented reality environment | |
| CN105188516B (zh) | 用于增强和虚拟现实的系统与方法 | |
| NZ748087B2 (en) | System and method for augmented and virtual reality | |
| NZ718380B2 (en) | System and method for augmented and virtual reality | |
| NZ764226B2 (en) | System and method for augmented and virtual reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150728 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20150728 Address after: Washington State Applicant after: Micro soft technique license Co., Ltd Address before: Washington State Applicant before: Microsoft Corp. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |