CN114236837A - 用于显示交互式增强现实展示的系统、方法和介质 - Google Patents

用于显示交互式增强现实展示的系统、方法和介质 Download PDF

Info

Publication number
CN114236837A
CN114236837A CN202111486591.4A CN202111486591A CN114236837A CN 114236837 A CN114236837 A CN 114236837A CN 202111486591 A CN202111486591 A CN 202111486591A CN 114236837 A CN114236837 A CN 114236837A
Authority
CN
China
Prior art keywords
content
display
user
location
head mounted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111486591.4A
Other languages
English (en)
Inventor
马克·A·格里斯沃尔德
埃琳·亨宁格
杰夫·姆拉卡
亨利·伊斯门
罗伯特·戈特沙尔
凯瑟琳·休·希克
盖伦·廷格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Case Western Reserve University
Original Assignee
Case Western Reserve University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Case Western Reserve University filed Critical Case Western Reserve University
Publication of CN114236837A publication Critical patent/CN114236837A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Abstract

本发明提供了用于显示交互式增强现实展示的系统、方法和介质。在一些实施方式中，一种系统包括多个头戴式显示器，第一头戴式显示器包括：透明显示器；以及至少一个处理器，其中所述至少一个处理器被编程为：确定头戴式显示器的物理环境中的多个实际位置中的第一实际位置最靠近头戴式显示器；接收包括第一三维模型的第一内容；接收包括第二三维模型的第二内容；使用透明显示器在第一时间展示第一三维模型的第一视图；以及基于从服务器接收到的一个或多个指令使用透明显示器在第一时间之后的第二时间展示第二三维模型的第一视图。

Description

用于显示交互式增强现实展示的系统、方法和介质
本申请是国际申请号为PCT/US2017/064781，国际申请日为2017年12月05日，进入国家阶段申请号为201780085576.4，发明名称为“用于显示交互式增强现实展示的系统、方法和介质”的发明专利申请的分案申请。
相关申请的交叉引用
本申请基于2016年12月5日提交的美国临时申请第62/430,179号、2017年3月30日提交的美国临时申请第62/479,214号、2017年5月1日提交的美国临时申请第62/492,832号、2017年9月20日提交的美国临时申请第62/560,869号，并要求这些申请的权益以及优先权。出于各种目的，前述申请中的每一个通过引用以其整体被并入本文。
关于联邦政府资助研究的声明
不适用
背景技术
用于展示增强现实内容和/或虚拟现实内容的设备最近变得更加盛行。将虚拟现实内容展示给可能共享或可能不共享物理空间的一组个体是相对容易的，因为体验是完全沉浸式的，并且内容可以在可以插入一个或多个用户的共同的参考框架中展示。例如，虚拟现实展示可以包括由一个或多个摄像机拍摄的场景(例如，自然场景、体育赛事等)，并且访问内容的多个用户可以被放置在内容中的同一位置，但是根据用户选择的取向，可以以不同的视野向这些用户展示。作为另一个例子，虚拟现实展示可以包括计算机生成的内容，并且用户可以参与交互式体验，其中不同用户可以在计算机生成的内容内处于不同位置，并且可以能够彼此交互。在这样的例子中，内容可以具有通用的参考框架，并且展示给用户的内容可以基于用户相对于通用参考框架的位置和取向。尽管虚拟现实内容具有允许内容场景内的用户之间交互的可能，但是由于虚拟现实的完全沉浸式本质，用户在其物理空间中的交互受到严重限制。相比之下，虽然展示增强现实内容的设备可以允许用户相对容易地与物理环境以及彼此交互，但是向多个用户展示同一内容更困难，因为同一房间中的用户使用的不同增强现实设备可能不是使用同一坐标系。因此，即使不同的用户正在观看同一增强现实内容，内容也可能不与同一物理空间对应地展示，可能具有不同的取向等。此外，增强现实设备通常不被配置为根据来自展示者的指令配合以展示内容。
因此，需要用于显示交互式增强现实展示的新系统、方法和介质。
发明内容
根据所公开主题的一些实施方式，提供了用于显示交互式增强现实展示的系统、方法和介质。
根据所公开主题的一些实施方式，提供了一种用于显示交互式增强现实展示的系统，该系统包括：多个头戴式显示器，其中所述多个头戴式显示器的第一头戴式显示器包括：透明显示器；以及至少一个处理器，其中所述至少一个处理器被编程为：确定所述头戴式显示器的物理环境中的多个实际位置中的第一实际位置最靠近所述头戴式显示器；接收包括第一三维模型的第一内容；接收包括第二三维模型的第二内容；使用所述透明显示器在第一时间展示所述第一三维模型的第一视图；以及基于从服务器接收到的一个或多个指令使用所述透明显示器在所述第一时间之后的第二时间展示所述第二三维模型的第一视图。
在一些实施方式中，所述至少一个处理器还被编程为在所述第一时间之后且在所述第二时间之前的第三时间从所述服务器接收所述指令，其中所述一个或多个指令包括响应于接收到所述一个或多个指令而使所述第一头戴式显示器停止展示所述第一内容并开始展示所述第二内容的至少一个指令。
在一些实施方式中，该系统还包括服务器，其中所述服务器：接收要展示所述第二内容的指示；以及响应于接收到要展示所述第二内容的指示，将所述一个或多个指令发送到至少所述第一头戴式显示器。
在一些实施方式中，该系统还包括所述多个头戴式显示器中的第二头戴式显示器，其中所述第二头戴式显示器包括至少一个第二处理器，其中所述至少一个第二处理器被编程为使所述第二头戴式显示器充当所述服务器。
在一些实施方式中，在展示所述第一内容之前，将所述第一内容和所述第二内容接收作为内容资料库的一部分。
在一些实施方式中，在所述第一时间之前接收所述第一内容，并且在所述第一时间之后接收所述第二内容。
在一些实施方式中，所述至少一个处理器还被编程为响应于接收到要展示所述第二内容的指示而请求所述第二内容。
在一些实施方式中，所述至少一个处理器还被编程为从所述服务器接收所述第二内容作为要展示的推送内容，而不发送对所述第二内容的请求。
在一些实施方式中，该系统还包括头部跟踪系统，其中所述至少一个硬件处理器还被编程为：接收要在所述第一头戴式显示器的物理环境的多个实际位置中的第一实际位置处展示所述第一内容的指示；接收要在所述第一头戴式显示器的所述物理环境的多个实际位置中的第二实际位置处展示所述第二内容的指示；至少部分地基于根据所述头部跟踪系统输出的信息确定的相对于所述第一实际位置的第一头部位置，使用所述透明显示器在所述第一实际位置处展示所述第一三维模型的所述第一视图；基于所述头部跟踪系统输出的信息，确定相对于所述第一实际位置的第二头部位置，所述第二头部位置与所述第一头部位置不同；响应于确定了所述第二头部位置，基于所述第二头部位置展示所述第一三维模型的第二视图；从所述多个实际位置中确定所述头戴式显示器的所述物理环境的所述多个实际位置中的所述第二实际位置最靠近所述头戴式显示器；响应于从所述多个实际位置中确定所述第二实际位置最靠近所述头戴式显示器，展示锚定在所述第二实际位置的所述第二三维模型。
在一些实施方式中，所述至少一个硬件处理器还被编程为响应于从所述多个实际位置中确定所述第二实际位置位于最靠近所述头戴式显示器，禁止在所述第一实际位置处展示所述第一三维模型。
在一些实施方式中，所述头部跟踪系统包括惯性测量单元。
在一些实施方式中，所述至少一个处理器还被编程为响应于确定所述头戴式显示器移动到更靠近所述第二实际位置而从所述服务器请求所述第二内容。
在一些实施方式中，所述至少一个处理器还被编程为从所述服务器接收所述第二内容作为要展示的推送内容，而不发送对所述第二内容的请求。
在一些实施方式中，该系统还包括：计算设备，其包括：至少一个输入设备；以及至少一个第三处理器，其被编程为：从所述输入设备接收指示将所述第一内容与所述第一实际位置相关联并且将所述第二内容与所述第二实际位置相关联的输入；以及将指示将所述第一内容与所述第一实际位置相关联并且将所述第二内容与所述第二实际位置相关联的信息发送到服务器，其中，所述信息被格式化为可扩展标记语言(XML)文档。
在一些实施方式中，该系统还包括：用户输入设备，其被配置为与所述第一头戴式显示器通信，其中，所述用户输入设备包括：第二惯性测量单元；以及至少一个第四处理器，其被编程为：将指示所述用户输入设备的物理运动的信息发送到所述第一头戴式显示器；并且其中所述第一头戴式显示器的所述至少一个处理器还被编程为：在基于指示所述用户输入设备的物理运动的信息的位置结合所述第一三维模型展示第一用户界面元素；以及将指示所述用户界面元素相对于所述第一三维模型的所述位置的信息发送到服务器；并且所述多个头戴式显示器中的第二头戴式显示器包括至少一个第五处理器，所述第五处理器被编程为：从所述服务器接收一个或多个指令，所述指令指示相对于所述第一三维模型展示所述用户界面元素的位置；基于从所述服务器接收到的与所述用户界面元素相对于所述第一三维模型的位置有关的信息，在相对于所述第一三维模型的位置处展示所述用户界面元素。
在一些实施方式中，所述用户界面元素在所述位置处被展示为点。
在一些实施方式中，该系统还包括至少一个图像俘获设备，其中，所述至少一个处理器还被编程为：俘获由移动计算设备显示的代码的图像；以及将在所述图像中编码的信息发送到服务器，以使所述第一头戴式显示器与所述移动计算设备配对。
在一些实施方式中，所述至少一个处理器还被编程为：提示用户使用所述移动计算设备登录至少部分地由所述服务器提供的服务；以及提示所述用户俘获所述代码的图像以在所述第一头戴式显示器中登录到所述服务。
在一些实施方式中，所述第一实际位置至少与所述物理环境中的屏障的第一侧的所述物理环境的第一部分和所述屏障的所述第一侧的所述物理环境的第二部分相关联，并且所述第二实际位置至少与所述屏障的第二侧的所述物理环境的第三部分和所述屏障的所述第二侧的所述物理环境的第四部分相关联，所述第二部分在所述物理环境中设置在所述第一部分和所述第三部分之间，并且其中所述至少一个硬件处理器被配置为：确定所述第一头戴式显示器设置在所述第一部分内；响应于确定所述第一头戴式显示器设置在所述第一部分内，在所述第一实际位置展示所述第一内容；确定所述第一头戴式显示器已经移动到所述第三部分中；以及响应于确定所述第一头戴式显示器已经移动到第三部分中，在所述第二实际位置展示所述第二内容。
在一些实施方式中，所述至少一个硬件处理器被配置为：接收包括第三三维模型的第三内容；确定所述第一头戴式显示器已经移动到所述第四部分中；响应于确定所述第一头戴式显示器已经移动到第四部分中，将所述第三内容加载到所述第一头戴式显示器的工作存储器中；确定所述第一头戴式显示器已经从所述第四部分移动到所述第一部分；以及响应于确定所述第一头戴式显示器已经从所述第四部分移动到所述第一部分，展示加载在所述第一头戴式显示器的工作存储器中的所述第三内容。
在一些实施方式中，该系统还包括服务器，其中所述服务器被编程为：在第一时间段期间，在由所述第一头戴式显示器展示所述第一内容期间接收关于所述第一头戴式显示器的位置的信息；接收与在所述第一时间段期间俘获的所述第一头戴式显示器的佩戴者的视野对应的视频；记录关于所述第一头戴式显示器的位置的信息；记录与所述第一时间段期间所述第一头戴式显示器的视场对应的视频；在所述第一时间段期间，在由所述第二头戴式显示器展示所述第一内容期间接收关于所述第二头戴式显示器的位置的信息；接收与在所述第一时间段期间俘获的所述第二头戴式显示器的佩戴者的视野对应的视频；记录关于所述第二头戴式显示器的位置的信息；记录与所述第一时间段期间所述第二头戴式显示器的视场对应的视频；从第一计算设备接收展示在所述第一时间段期间记录的内容的请求；以及使所述第一计算设备同时：展示所述第一内容；基于所记录的关于所述第一头戴式显示器的位置的信息，在关于所述第一内容的第一位置展示第一化身；基于所记录的关于所述第二头戴式显示器的位置的信息，在关于所述第一内容的第二位置展示第二化身；当所述第一头戴式显示器处于所述第一位置时，第一窗口显示由所述第一头戴式显示器俘获的所述视频的一部分；以及当所述第二头戴式显示器处于所述第二位置时，第二窗口显示由所述第二头戴式显示器俘获的所述视频的一部分。
在一些实施方式中，所述服务器还被编程为：结合所述第一化身展示指示所述第一头戴式显示器的佩戴者的视线的第一用户界面元素；以及结合所述第二化身展示指示所述第二头戴式显示器的佩戴者的视线的第二用户界面元素。
在一些实施方式中，所述多个头戴式显示器中的第二头戴式显示器包括：虚拟现实显示器；以及至少一个处理器，其中所述至少一个处理器被编程为：接收所述第一内容；接收所述第二内容；使用所述虚拟现实显示器在所述第一时间展示所述第一三维模型的所述第一视图；以及使用所述虚拟现实显示器在所述第一时间之后的所述第二时间展示所述第二三维模型的所述第一视图。
根据所公开主题的一些实施方式，提供了另一种用于显示交互式增强现实展示的系统，该系统包括：多个头戴式显示器，其中所述多个头戴式显示器中的每一个头戴式显示器都被配置为：从服务器接收包括第一内容和第二内容的内容；至少部分地基于所述头戴式显示器与物理环境中的第一实际位置的靠近度来展示所述第一内容，其中在第一时间位于所述第一实际位置附近的所述多个头戴式显示器中的第一头戴式显示器和所述多个头戴式显示器中的第二头戴式显示器基于与所述第一实际位置的靠近度，在所述第一实际位置处以相对于所述第一实际位置相同的取向同时展示所述第一内容；以及至少部分地基于所述第一头戴式显示器与所述物理环境中的第二实际位置的靠近度展示所述第二内容，其中在所述第一时间位于所述第二实际位置附近的所述多个头戴式显示器中的第三头戴式显示器和所述多个头戴式显示器中的第四头戴式显示器基于与所述第二实际位置的靠近度，在所述第二实际位置处以相对于所述第二实际位置相同的取向同时展示所述第二内容。
根据所公开主题的一些实施方式，提供了一种用于显示交互式内容的系统，该系统包括：头戴式显示器，其包括虚拟现实显示器，其中所述头戴式显示器被配置为：接收包括第一内容、第二内容和第三内容的内容；接收第一展示信息和第二展示信息；至少部分地基于所述头戴式显示器的位置与环境中的所述第一位置的靠近度，基于所述第一展示信息在第一位置处展示所述第一内容；至少部分地基于所述头戴式显示器与所述环境中的所述第二位置的靠近度，基于所述第一展示信息在第二位置处展示所述第二内容；以及至少部分地基于所述头戴式显示器的位置与环境中的所述第一位置的靠近度，基于所述第二展示信息在第一位置处展示所述第三内容。
根据所公开主题的一些实施方式，提供了一种用于显示交互式增强现实展示的方法，该方法包括：确定头戴式显示器的物理环境中的多个实际位置中的第一实际位置最靠近所述头戴式显示器；接收包括第一三维模型的第一内容；接收包括第二三维模型的第二内容；使用透明显示器在第一时间展示所述第一三维模型的第一视图；以及基于从服务器接收到的一个或多个指令使用所述透明显示器在所述第一时间之后的第二时间展示所述第二三维模型的第一视图。
根据所公开主题的一些实施方式，提供了另一种用于显示交互式增强现实展示的方法，该方法包括：从服务器接收包括第一内容和第二内容的内容；头戴式显示器至少部分地基于所述头戴式显示器与物理环境中的第一实际位置的靠近度来展示所述第一内容，其中在第一时间位于所述第一实际位置附近的所述多个头戴式显示器中的第一头戴式显示器和所述多个头戴式显示器中的第二头戴式显示器基于与所述第一实际位置的靠近度，在所述第一实际位置处以相对于所述第一实际位置相同的取向同时展示所述第一内容；以及所述头戴式显示器至少部分地基于所述第一头戴式显示器与所述物理环境中的第二实际位置的靠近度展示所述第二内容，其中在所述第一时间位于所述第二实际位置附近的所述多个头戴式显示器中的第三头戴式显示器和所述多个头戴式显示器中的第四头戴式显示器基于与所述第二实际位置的靠近度，在所述第二实际位置处以相对于所述第二实际位置相同的取向同时展示所述第二内容。
根据所公开主题的一些实施方式，提供了一种用于显示交互式内容的方法，该方法包括：接收包括第一内容、第二内容和第三内容的内容；接收第一展示信息和第二展示信息；至少部分地基于所述头戴式显示器的位置与环境中的所述第一位置的靠近度，基于所述第一展示信息并使用头戴式显示器的虚拟现实显示器在第一位置处展示所述第一内容；至少部分地基于所述头戴式显示器与所述环境中的所述第二位置的靠近度，基于所述第一展示信息并使用所述虚拟现实显示器在第二位置处展示所述第二内容；以及至少部分地基于所述头戴式显示器的位置与环境中的所述第一位置的靠近度，基于所述第二展示信息并使用所述虚拟现实显示器在第一位置处展示所述第三内容。
根据所公开主题的一些实施方式，提供了包含计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令在由处理器执行时使得处理器执行用于显示交互式增强现实展示的方法，该方法包括：确定头戴式显示器的物理环境中的多个实际位置中的第一实际位置最靠近所述头戴式显示器；接收包括第一三维模型的第一内容；接收包括第二三维模型的第二内容；使用透明显示器在第一时间展示所述第一三维模型的第一视图；以及基于从服务器接收到的一个或多个指令使用所述透明显示器在所述第一时间之后的第二时间展示所述第二三维模型的第一视图。
根据所公开主题的一些实施方式，提供了包含计算机可执行指令的另一种非暂时性计算机可读介质，所述计算机可执行指令在由处理器执行时使处理器执行用于显示交互式增强现实展示的方法，该方法包括：从服务器接收包括第一内容和第二内容的内容；头戴式显示器至少部分地基于所述头戴式显示器与物理环境中的第一实际位置的靠近度来展示所述第一内容，其中在第一时间位于所述第一实际位置附近的所述多个头戴式显示器中的第一头戴式显示器和所述多个头戴式显示器中的第二头戴式显示器基于与所述第一实际位置的靠近度，在所述第一实际位置处以相对于所述第一实际位置相同的取向同时展示所述第一内容；以及所述头戴式显示器至少部分地基于所述第一头戴式显示器与所述物理环境中的第二实际位置的靠近度展示所述第二内容，其中在所述第一时间位于所述第二实际位置附近的所述多个头戴式显示器中的第三头戴式显示器和所述多个头戴式显示器中的第四头戴式显示器基于与所述第二实际位置的靠近度，在所述第二实际位置处以相对于所述第二实际位置相同的取向同时展示所述第二内容。
根据所公开主题的一些实施方式，提供了一种包含计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令在由处理器执行时使处理器执行用于显示交互式内容的方法，该方法包括：接收包括第一内容、第二内容和第三内容的内容；接收第一展示信息和第二展示信息；至少部分地基于所述头戴式显示器的位置与环境中的所述第一位置的靠近度，基于所述第一展示信息并使用头戴式显示器的虚拟现实显示器在第一位置处展示所述第一内容；至少部分地基于所述头戴式显示器与所述环境中的所述第二位置的靠近度，基于所述第一展示信息并使用所述虚拟现实显示器在第二位置处展示所述第二内容；以及至少部分地基于所述头戴式显示器的位置与环境中的所述第一位置的靠近度，基于所述第二展示信息并使用所述虚拟现实显示器在第一位置处展示所述第三内容。
附图说明
参照下面结合下列附图考虑时对所公开主题的详细描述，可以更充分地理解所公开主题的各种目的、特征和优点，附图中相同的附图标记表示相同的元件。
图1示出了根据所公开主题的一些实施方式可以使用的头戴式显示器的例子。
图2示出了根据所公开主题的一些实施方式的联网的头戴式显示器的系统的例子。
图3A示出了根据所公开主题的一些实施方式的用于与展示的图像交互的系统的例子。
图3B示出了根据所公开主题的一些实施方式的用于与展示的图像交互的另一个系统的例子。
图4示出了根据所公开主题的一些实施方式的可用于实现至少一个头戴式显示器、至少一个服务器和至少一个用户输入设备的硬件的例子。
图5示出了根据所公开主题的一些实施方式的选择和/或上传内容和/或展示给服务器的用户计算设备和接收内容并根据展示来展示内容的头戴式显示器之间的信息流的例子。
图6示出了根据所公开主题的一些实施方式的用于将内容分配到一个或多个头戴式显示器的过程的例子。
图7示出了根据所公开主题的一些实施方式的用于使用头戴式显示器生成增强现实展示的过程的例子。
图8示出了根据所公开主题的一些实施方式的用户设备和与服务器执行配对操作的头戴式显示器的例子。
图9示出了根据所公开主题的一些实施方式的在登录和/或上面结合图8描述的配对操作期间用户设备、服务器和头戴式显示器之间的信息流的例子。
图10示出了根据所公开主题的一些实施方式的用于将3D模型与第一头戴式显示器的用户(例如，作为化身)相关联并通过第二头戴式显示器展示3D模型的第一头戴式显示器、服务器和第二头戴式显示器之间的信息流的例子。
图11示出了根据所公开主题的一些实施方式的用于按顺序展示各种模型的显示空间的例子。
图12示出了根据所公开主题的一些实施方式的用于在有限物理空间中展示一系列内容的过程的例子。
图13A示出了根据所公开主题的一些实施方式的第一查阅模式的例子，其中第一头戴式显示器的用户和第二头戴式显示器的用户与虚拟事故受害者交互。
图13B示出了根据所公开主题的一些实施方式的图13A中所示场景在不同时间点的另一个视图的例子。
图13C示出了根据所公开主题的一些实施方式的图13A和图13B所示的场景在又一个时间点的鸟瞰图的例子。
图13D示出了根据所公开主题的一些实施方式的增强现实会话的重放的例子。
图14示出了根据所公开主题的一些实施方式的用于查阅由一个或多个头戴式显示器记录的介质的过程的例子。
具体实施方式
在详细说明所公开主题的任何实施方式之前，应理解的是，所公开主题在其应用方面不限于以下描述中阐述的或以下附图中所示的组件的构造和设置的细节。所公开主题能够具有其他实施方式并且能够以各种方式实践或执行。此外，应该理解，本文使用的措辞和术语是出于描述的目的，不应该被认为是限制性的。本文中“包括”、“包含”或“具有”及它们的变体的使用旨在涵盖其后列出的项目及其等同物以及附加项目。除非另有说明或限制，否则术语“安装”、“连接”、“支撑”和“耦合”及其变体被广泛使用并且包括直接和间接的安装、连接、支撑和耦合。此外，“连接”和“耦合”不限于物理和机械的连接或耦合。
给出以下讨论以使得本领域技术人员能够制造和使用所公开主题的实施方式。对于本领域技术人员来说，对所示实施方式的各种修改是显而易见的，并且在不脱离所公开主题的实施方式的情况下，本文的一般原理可以应用于其他实施方式和应用。因此，所公开主题的实施方式不旨在限于所示的实施方式，而是与符合本文公开的原理和特征的最宽范围相一致。下面的详细描述将参考附图来阅读，其中不同附图中的相同元件具有相同的附图标记。不一定按比例绘制的附图描绘了所选择的实施方式，并且不旨在限制所公开主题的实施方式的范围。技术人员将认识到，本文提供的例子具有许多有用的替代方式并且落入所公开主题的实施方式的范围内。
根据所公开主题的一些实施方式，提供了用于显示交互式增强现实展示的机制(其可包括系统、方法和/或介质)。在一些实施方式中，用户可以生成将使用增强现实设备来展示的交互式展示。例如，教师可以创建和/或选择用于显示各种全息图(例如，3D模型、图表、2D图形等)的内容，以帮助理解教师试图向学生传达的概念。在更具体的例子中，教师可以创建显示人体解剖结构的不同方面的各种不同的全息图。
在一些实施方式中，用户可以选择交互式展示的不同部分以在不同的实际位置、不同的虚拟位置和/或不同的时间进行展示。例如，教师可以将图示不同概念(或以不同方式图示相同概念)的人体解剖结构的不同3D模型接入有序的展示，和/或可以将人体解剖结构的不同3D模型分配到不同的实际位置(例如，下面结合图2所描述的站点)和/或虚拟位置(例如，下面结合图10和图11所述的虚拟博物馆内的展示空间)。在更具体的例子中，教师可以讨论在一系列3D模型中(例如，以与幻灯片放映类似的方式)显示的内容，同时学生在听取教师和/或与教师互动时有机会围绕模型自由地移动。在完成展示之后，可以在不同的物理和/或虚拟位置展示不同的模型(例如，根据教师在构建展示时输入的指令)，并且学生可以在不同的模型之间自由地移动以进一步探索课堂上讨论的概念。
在一些实施方式中，用户可以使用一个或多个用户输入设备来突显通过用户佩戴的增强现实设备展示的内容中的一个或多个位置。可以通过向一个或多个其他用户展示相同内容的其他增强现实设备来突显一个或多个相同的位置。例如，教师可以使用增强现实设备来观看3D模型，并且可以使用增强现实设备和/或单独的设备作为虚拟的“激光指示器”来突显由教师佩戴的增强现实设备展示的3D模型中的一个或多个特征。在这样的例子中，可以由教师的学生佩戴的其他增强现实设备在相同3D模型上的相同位置处复制对应的指示器。
在一些实施方式中，多个增强现实设备可以与公共的一个或多个服务器联网以基于时间和/或增强现实设备的位置来提供相关内容。例如，如上所述，教师可以将不同的3D模型分配到不同的物理空间。在这样的例子中，服务器可以仅发送最靠近特定学生的空间的内容。这能够允许教师制作大量可用的内容，而不压垮各个增强现实设备。附加地或替代地，通过使第一用户(例如，通过教师使用的“激光指示器”)提供的输入可在由第二用户的设备(例如，学生的增强现实设备)投射的全息图上看到，这能够允许不同学生(或其他用户)之间的协作。此外，从服务器向类似位置的增强现实设备提供内容和/或指令可以通过确保各种增强现实设备都展示相同内容来促进不同的增强现实设备的佩戴者的协作。
尽管这里描述的机制大体上是结合在教室环境中的用途来描述的，但是这些机制可以被配置用于各种应用。例如，这里描述的机制可以被配置为提供交互式增强现实博物馆显示、提供多玩家增强现实游戏体验、在创建具有大量细节的3D设计时提供协作工作空间等。
图1示出了根据所公开主题的一些实施方式可以使用的头戴式显示器(HMD)的例子100。如图1所示，头戴式显示器100可包括显示处理器104和透明显示器102，透明显示器102可用于向HMD 100的佩戴者的眼睛展示诸如全息物体的图像。在一些实施方式中，透明显示器102可以被配置为向通过透明显示器102观看物理环境的佩戴者在视觉上增强物理环境的外观。例如，在一些实施方式中，可以通过经由透明显示器102展示的图形内容(例如，各自具有相应的颜色和亮度的一个或多个像素)来增强物理环境的外观，以创建增强的现实环境。附加地或替代地，在一些实施方式中，透明显示器102可以被配置为渲染完全不透明的虚拟环境(例如，通过使用一种或多种技术来阻止物理环境通过HMD 100可见)。在一些这样的实施方式中，HMD 100可用于展示虚拟现实环境。
如图1所示，在一些实施方式中，透明显示器102可包括位于透镜106(例如，透视的有机发光二极管(OLED)显示器的像素)内的一个或多个图像产生元件(例如，显示像素)。附加地或替代地，在一些实施方式中，透明显示器102可包括位于透镜106的边缘的光调制器。
在一些实施方式中，HMD 100可包括各种传感器和/或其他相关系统。例如，HMD100可以包括凝视跟踪系统108，凝视跟踪系统108可以包括一个或多个图像传感器，图像传感器可以生成表示佩戴者眼睛的凝视方向的凝视跟踪数据。在一些实施方式中，凝视跟踪系统108可包括任何合适数量和任何合适布置的光源和/或图像传感器。例如，如图1所示，HMD 100的凝视跟踪系统108可以利用至少一个朝内的传感器109。在一些实施方式中，可以提示用户允许获取和使用注视信息来跟踪用户眼睛的位置和/或运动。
在一些实施方式中，HMD 100可包括头部跟踪系统110，头部跟踪系统110可利用一个或多个运动传感器(例如，图1中所示的运动传感器112)，以例如通过确定佩戴者头部的方向和/或取向来俘获可用于跟踪佩戴者头部位置的头部姿势数据。在一些实施方式中，头部跟踪系统110可包括被配置为三轴线或三自由度的位置传感器系统的惯性测量单元。
在一些实施方式中，头部跟踪系统110还可以支持其他合适的定位技术，例如全球定位系统(GPS)或其他全球导航系统。此外，虽然已经描述了位置传感器系统的具体例子，但是应当理解，可以使用任何其他合适的位置传感器系统。例如，可以基于来自安装在佩戴者身上和/或佩戴者外部的传感器的任何合适的组合的传感器信息来确定头部姿势和/或运动数据，这些传感器包括但不限于任何数量的陀螺仪、加速度计、惯性测量单元(IMU)、GPS设备、气压计、磁力计、摄像机(例如，可见光摄像机、红外光摄像机、飞行时间深度摄像机、结构光深度摄像机等)、通信设备(例如，Wi-Fi天线/接口、蓝牙等)等。
在一些实施方式中，HMD 100可包括光学传感器系统，光学传感器系统可利用一个或多个朝外的传感器(例如，光学传感器114)来俘获环境的图像数据。在一些实施方式中，俘获的图像数据可以用于检测图像数据中俘获的运动，例如由佩戴HMD 100的用户、光学传感器114的视场中的另一个人或光学传感器114的视场内的物理对象进行的基于手势的输入和/或任何其他合适的运动。另外，在一些实施方式中，一个或多个朝外的传感器可以俘获来自物理环境和/或环境内的物理对象的2D图像信息和/或深度信息。例如，朝外的传感器可包括深度摄像机、可见光摄像机、红外光摄像机、位置跟踪摄像机和/或任何其他合适的图像传感器或图像传感器的组合。
在一些实施方式中，结构化光深度摄像机可以被配置为投射结构化红外照明，并且生成从投射照明的场景反射的照明的图像数据。在这样的实施方式中，可以基于成像场景的各个区域中的特征之间的间隔来构建场景的深度图。附加地或替代地，在一些实施方式中，可以将飞行时间深度摄像机结合在HMD 100中，该飞行时间深度摄像机被配置为将脉冲红外照明投射到场景上并检测从场景反射的照明。在一些实施方式中，可以通过红外光源116提供照明。
在一些实施方式中，HMD 100可以包括麦克风系统，该麦克风系统可以包括可以俘获音频数据的一个或多个麦克风，例如麦克风118。在其他例子中，可以通过一个或多个扬声器(例如，扬声器120)将音频展示给佩戴者。
在一些实施方式中，HMD 100可包括控制器，例如控制器122，该控制器例如可以包括与HMD 100的各种传感器和系统通信的处理器和存储器(如下面结合图4所述)。在一些实施方式中，控制器可以在存储器中存储指令，该指令可由处理器执行以接收来自传感器的信号输入、确定HMD 100的姿势以及调整使用透明显示器102显示的内容的显示属性。
在一些实施方式中，HMD 100可以具有任何其他合适的特征或特征的组合，例如授予微软技术授权有限责任公司(Microsoft Technology Licensing，LLC)的美国专利第9,495,801号中描述的特征，该专利在此通过引用以其整体并入本文。这里对HMD 100的描述仅用于说明可以与所公开主题结合使用的硬件。然而，所公开主题可以与任何合适的增强现实设备一起使用，例如由
Figure BDA0003397742240000141
制造的
Figure BDA0003397742240000142
和/或在美国专利第8,847,988号、美国专利第8,941,559号、美国专利申请公开第2014/0160001号中描述的设备，这些专利和专利申请公开中的每一个在此通过引用以其整体并入本文。
图2示出了根据所公开主题的一些实施方式的联网的HMD 100的系统的例子200。如图2所示，系统200可以包括位于同一物理空间(例如，在同一房间中)的各种HMD 100-1至100-5。系统200可以包括各种站点202-1至202-3，这些站点可以对应于物理空间中的点，将通过HMD 100显示在这些点处的一个或多个图像。例如，每个站点202可以被HMD 100用作一个或多个图像的预定空间锚。在更具体的例子中，在HMD(例如，HMD 100)被指示展示与站点202对应的图像时，只要该站点在视场中，即使该HMD移动到距离该站点相对较远(例如，距离该站点超过5米)，站点202也可以定义要通过该HMD显示的图像的空间锚。作为另一个例子，每个站点202都可用于定义HMD 100可放置一个或多个图像的坐标系。在更具体的例子中，站点202可以定义全局坐标系的原点，其中HMD(例如，HMD 100)被指示仅在用户相对靠近特定站点时和/或HMD被指示仅展示与视场中的最近的站点对应的一个或多个图像时(例如，下面结合系统200并结合图6所述)展示与该站点对应的图像。在一些实施方式中，每个站点202可以是无源的和/或有源的。例如，一个或多个站点202可以是具有可通过HMD 100识别的特定符号(例如，字母、数字、图标、QR码等)的纸张(例如，来自由光学传感器114俘获的图像)。作为另一个例子，一个或多个站点202可以是可由HMD 100识别的特定对象或对象的一部分(例如，家具、动作人物、玩具等)(例如，来自由光学传感器114俘获的图像)。作为又一个例子，一个或多个站点202可以是可以与HMD100通信的有源设备，例如，蓝牙设备(例如，蓝牙低能耗信标)。作为又一个示例，站点202可以是可以与HMD 100通信的有源或无源的RFID设备。在一些实施方式中，可以通过HMD 100-1至100-5在视觉上突显站点202的位置，以帮助用户移动到各个站点。例如，用户视野中的一个或多个站点202可以由球的图像、文本、结合该站点展示的内容的概述和/或任何其他合适的视觉辅助来表示。
在一些实施方式中，系统200可以包括服务器204，服务器204可以控制将结合每个站点展示的内容。在一些实施方式中，服务器204可以使用任何合适的计算设备来实现，例如服务器计算机、HMD、平板计算机、智能电话、个人计算机、膝上型计算机等。在一些实施方式中，每个HMD 100可以经由通信链路208连接至通信网络206，并且服务器204可以经由通信链路212连接至通信网络206。在一些这样的实施方式中(例如，其中站点202是有源设备的实施方式)，站点202可以经由通信链路210连接至通信网络206。在一些实施方式中，用户计算设备220可以经由通信链路222连接至通信网络206。通信网络206可以是任何合适的通信网络或通信网络的组合。例如，通信网络206可以是Wi-Fi网络(其可以包括一个或多个无线路由器、一个或多个交换机等)、对等网络(例如，蓝牙网络、Zigbee网状网络等)、蜂窝网络(例如，符合诸如CDMA、GSM、LTE、LTE Advanced、WiMAX等任何合适的标准的3G网络、4G网络等)、有线网络等。通信链路208、210和212各自可以是任何合适的通信链路或通信链路的组合，例如Wi-Fi链路、蓝牙链路、蜂窝链路等。
在一些实施方式中，用户可以经由用户计算设备220与服务器204交互以选择将结合每个站点202展示的内容。例如，用户可以在没有某些其他解剖特征的情况下(例如，在没有肌肉的情况下、在没有骨架系统的情况下等)指示服务器204使站点202-2附近的HMD展示表示人类血管系统的交互式3D模型的图像，同时用户可以指示服务器204使站点202-3附近的HMD展示表示示出血管系统如何整合到某些主要肌肉群中的交互式3D模型的图像。注意，这些仅作为例子给出，并且用户可以选择将结合每个站点展示的任何合适的内容。在一些实施方式中，用户可以指示服务器204针对每个站点展示不同的内容，使得服务器204使HMD100针对每个站点202展示不同的内容。在一些这样的实施方式中，HMD 100的佩戴者可以在站点之间移动以观察用户可能已经选择来展示不同的概念的每个站点处的不同内容。附加地或替代地，在一些实施方式中，用户可以指示服务器204在每个站点处展示相同的内容。例如，在这样的实施方式中，无论每个HMD 100位于哪个站点附近，当教师讨论由系统200中的所有HMD 100都显示的某个内容时，课堂中的学生都可以跟得上。在一些实施方式中，用户可以指定一个或多个站点202相对于一个或多个参考点(例如，房间中的位置、相对于特定设备的参考点等)的位置。
在一些实施方式中，用户可以通过用户计算设备220和/或服务器204生成将结合一个或多个站点202展示的展示。例如，这样的展示可以包括将要在每个站点处展示的内容、将要在站点处展示内容的时间(例如，时长、展示期间的时间段等)、将要在每个站点处(和/或跨越所有站点)展示内容的顺序、哪个内容将被要展示给哪个HMD 100和/或哪个用户与HMD 100相关联和/或任何其他合适的信息。在一些实施方式中，这样的展示可以在展示时作为引用将要展示的内容、将要展示内容的顺序、将要展示内容的时间、将要结合每个站点展示哪个内容等的文档由服务器204传送到每个HMD 100。例如，服务器204可以发送XML文件，HMD 100可以使用该XML文件来根据已经加载在HMD 100上的内容生成展示。
在一些实施方式中，用户可以将要通过HMD 100展示的内容和/或内容的识别信息从用户计算设备220上传到服务器204。例如，用户可以将解剖模型从用户计算设备220上传到服务器204，该解剖模型可以用于(例如，通过HMD 100)生成一个或多个解剖特征的3D表示。作为另一个例子，用户可以提供可以访问一个或多个解剖模型的位置信息(例如，URL)。在一些实施方式中，HMD 100可以在任何合适的时间下载和/或保存内容。例如，管理员可以下载、侧载和/或以其他方式将内容传输到每个HMD 100，以在增强现实内容的展示和/或这种内容的其他展示期间使用。在更具体的例子中，如果HMD 100由机构所有，则与该机构相关联的用户可以在每个HMD 100上预载内容。作为另一个例子，在一些实施方式中，HMD 100的用户可以下载可以用于展示内容的应用程序。在这样的例子中，上传内容的用户可以将该内容与应用程序相关联，并且可以将该内容与应用程序一起下载和/或在应用程序安装在HMD上之后通过该应用程序下载内容。作为又一个例子，在一些实施方式中，HMD 100的用户可以选择要下载的内容和/或可以基于关于用户的已知信息自动下载内容。在更具体的例子中，可以允许用户基于用户的注册来下载内容以参与与内容相关联的事件(例如，上课)。在另一个更具体的例子中，可以基于用户与期间展示内容的事件(例如，上课)的关联性来自动下载内容。作为又一个例子，当HMD 100需要内容时，可以通过按需方式流式传输和/或下载内容。在一些实施方式中，可以提示用户为内容付费和/或签约订阅内容。
在一些实施方式中，用户计算设备220可以是任何合适的计算设备或设备的组合，诸如个人计算机、膝上型计算机、平板计算机、智能电话、可佩戴计算机、头戴式显示器(例如，HMD 100)等。在一些实施方式中，用户可以使用用户计算设备220和/或服务器204使用任何合适的技术或技术组合来选择内容、生成展示、上传内容等。例如，用户计算设备220可以执行来自存储器的展示应用程序，该展示应用程序被配置为针对任何合适数量的站点和/或任何合适数量的HMD生成和/或编辑内容的展示。作为另一个例子，用户计算设备220可以经由由计算设备220执行的web浏览器或者促进与远程执行的展示应用程序交互的其他应用程序通过网络206与由另一个计算设备(例如，服务器204、云服务器等)执行的展示应用程序交互。
在一些实施方式中，每个HMD 100可以执行可以与服务器204(例如，通过通信网络206)交互的应用程序以展示与每个站点相关联的内容。当特定的HMD 100进入站点的预定距离内时(例如，当HMD 100-2接近站点202-2时)，服务器204可以提供与站点202-2相关联的内容。将HMD 100与服务器204联网可以促进HMD 100展示比HMD 100能够从存储器展示的内容更多的内容。此外，将HMD 100与服务器204联网可以促进展示者(例如，HMD 100-1的用户)在交互式展示期间控制由各种其他HMD 100展示的内容。
在一些实施方式中，系统200可以使用任何合适的技术或技术组合来确定特定HMD100将展示哪个内容。例如，HMD 100可以确定它最靠近哪个站点(或哪些站点)，并且可以从服务器204请求与该站点相关联的内容和/或可以从存储器展示与该站点相关联的内容。在这样的例子中，HMD 100可以使用任何合适的技术来确定哪个站点(或哪些站点)最近，例如通过分析由朝外的摄像机(例如，光学传感器114)俘获的图像数据、分析从各个站点202接收到的各种信号(例如，蓝牙信号)的强度、分析使用GPS接收器确定的HMD100的GPS坐标等。作为另一个例子，HMD 100可以向服务器204提供信息(例如，一个或多个图像、各种信号的信号强度、GPS坐标等)，该信息可以确定哪个站点(或哪些站点)最靠近HMD 100。作为又一个例子，服务器204可以接收来自站点202的信息(例如，作为比其他附近站点更靠近该站点的HMD的列表、作为从站点到各种HMD的距离等)，该信息基于任何合适的数据(例如，由站点从各种HMD接收的蓝牙信号的信号强度)指示哪些HMD最靠近站点。在这样的例子中，每个站点可以与附近的其他站点协作，使得每个HMD仅由单个站点列出指示。可以确定哪些HMD。
在一些实施方式中，HMD 100可以确定在任何合适的时间展示不同的内容。例如，HMD 100-2可以确定HMD 100-2已经离开站点202-2的附近并且接近站点202-3，并且可以基于该确定，响应于确定HMD 100-2已接近站点202-3而向站点202-3展示和/或请求内容。附加地或替代地，在一些实施方式中，服务器204可以在任何合适的时间向HMD 100-2推送指令和/或内容。例如，服务器204可以确定HMD 100-2已经离开站点202-2的附近并且接近站点202-3，并且响应于确定HMD 100-2已接近站点202-3，可以向HMD推送展示与站点202-3相关联的内容的指令(和/或可以推送内容本身)。作为另一个例子，服务器204可以接收改变通过任何一个或多个合适的站点202(例如，来自展示者)正在展示的内容的指令。响应于这样的指令，服务器204可以向适当的HMD 100推送展示新内容的指令(和/或新内容本身)。作为又一个例子，服务器204可以接收指定特定的HMD 100以在特定时间接收特定内容的指令。在这样的例子中，在从服务器204接收到将内容与站点相关联的指示之后(和/或在接收到内容本身之后)，可以提示特定的HMD 100的佩戴者移动到HMD 100正在展示内容的指定站点。
在一些实施方式中，展示者可以使用一个或多个站点202来控制由其他站点附近的HMD正在展示的内容。例如，在一些实施方式中，HMD 100-1的佩戴者可以使用任何合适的用户接口设备来与在站点202-1处展示的内容交互，以控制在站点202-2和202-3(和/或任何其他合适的站点)中的一个或多个处正在展示的内容。在这样的例子中，HMD 100-1的佩戴者可以使用任何合适的输入设备或设备的组合，例如，语音识别系统的语音输入端、作为手势识别系统(例如，集成到HMD 100-1中)的输入的手势、另一计算设备的输入设备(例如，诸如智能电话、平板电脑、膝上型计算机等计算设备的触摸屏；诸如膝上型计算机、个人计算机等计算设备的鼠标和/或键盘)、专用输入设备(例如，下面结合图3A所述)等。在一些实施方式中，服务器204可以在内容展示期间向HMD 100传送附加信息，例如用于一个或多个HMD 100的关于如何展示要展示的内容和/或附加内容的指令。例如，如下面结合图3A和图3B所示，第一HMD 100-1的用户可以使用输入设备指向(例如，通过空间线、内容上的点、用户的手等)由HMD 100-1正在展示的内容的特定部分，并且服务器204可以向展示相同内容的一个或多个其他HMD 100发送指令，该指令使那些HMD中的每一个展示补充内容，该补充内容表明HMD 100-1的用户正在指向内容的特定部分。在一些实施方式中，这样的附加信息可用于控制HMD 100对内容的展示。例如，HMD 100-1的用户可以通过向HMD 100-1(和/或任何其他合适的设备)的输入来控制展示，并且一个或多个其他HMD 100可以从服务器204接收使一个或多个其他HMD 100根据来自HMD 100-1的用户的输入改变正在展示的某个内容的指令和/或内容。在一些实施方式中，HMD 100可以访问展示的记录(例如，包括对展示内容的改变)，并且在展示期间由服务器204发送的指令可以与记录(其可以包括例如指示要展示哪个内容的文档)包括在一起(例如，作为文件)和/或可以在HMD 100展示记录时流式传输指令。例如，HMD 100可以根据展示的第一部分展示特定的3D模型，并且在展示期间可以基于在3D模型展示期间由服务器204发送的指令与3D模型相关联地展示指示器。在这样的例子中，在展示期间记录的音频也可以展示给用户(例如，通过扬声器120)。这可以促进体验展示的用户如同给予展示时在场的用户体验展示一样。
在一些实施方式中，音频信息也可以与每个站点相关联，其可以由HMD100结合可视内容展示。附加地或替代地，在一些实施方式中，可以在每个站点处记录音频(例如，通过作为站点202的一部分的硬件和/或通过一个或多个HMD 100的麦克风118)。在一些实施方式中，可以根据特定HMD 100的佩戴者的请求记录音频以供稍后访问(例如，作为学习辅助)。
尽管上面将HMD 100-1至100-5描述为彼此距离近(例如，在同一房间中)，但是系统200中的HMD可以定位为彼此距离近和/或彼此距离远。例如，系统200可用于与位于一个或多个远程位置的HMD 100的一个或多个佩戴者协作和/或交互。在一些实施方式中，如果两个HMD 100之间没有视线，则它们可以是彼此距离远。例如，如果两个HMD 100位于不同的房间中，不论它们连接至同一个局域网(LAN)还是连接至不同的网络，都可以认为它们彼此距离远。作为另一个例子，可以认为连接至不同LAN的两个HMD 100彼此距离远。作为又一个例子，可以认为连接至不同子网的两个HMD 100彼此距离远。在一些实施方式中，例如，如下面结合图3B所述，彼此距离远的两个HMD 100可以用于通过结合由两个HMD 100中的至少一个展示的全息图而用化身表示远程用户来进行协作。
在一些实施方式中，服务器204可以与HMD 100近距离地或远距离地定位。另外，在一些实施方式中，可以使用多个服务器204(它们可以位于不同的实际位置)以提供不同的内容、提供冗余功能等。在一些实施方式中，系统200中的一个HMD可以执行本文描述的服务器204的一个或多个操作，例如指示其他HMD何时通过展示移动以分发更新信息等。例如，系统200中的本地HMD 100可以互连以形成网状网络，并且充当服务器204的HMD(例如，HMD100-1)可以通过提供更新信息来控制其他HMD的操作。另外，在一些实施方式中，充当服务器204的HMD可以是网状网络中的节点，并且可以通过另一个网络(例如，LAN、蜂窝等)进行通信以接收其他信息，例如与远程用户相关的信息(例如，下面结合图3B所述)。在一些这样的实施方式中，充当服务器204的HMD可以确定将信息分发给哪个或哪些HMD，该信息指示远程用户的化身将结合全息图展示、化身的放置信息等。
在一些实施方式中，任何合适的HMD(例如，HMD 100-1)的用户可以通过向HMD提供输入来控制内容的展示(例如，以与幻灯片放映类似的方式)。例如，为了通过增强现实展示前进，用户可以轻击用户输入端(例如，按钮、触摸传感器等)，和/或执行可以由图像传感器(例如，光学传感器114)俘获的手势。作为另一个例子，为了通过增强现实展示后退，用户可以轻击并保持用户输入端(例如，保持按钮、按压并保持在触摸传感器上等)和/或执行不同的手势。在一些实施方式中，HMD 100-1可以生成通过增强现实展示向前(或向后)移动的指令，并且将指令发送到服务器204(其可以是另一个HMD)，这可以使其他HMD根据在HMD 100-1处接收到的用户输入而展示新内容。附加地或替代地，在一些实施方式中，如果HMD 100-1充当服务器204，则HMD 100-1可以响应于接收到输入而使其他HMD根据在HMD 100-1处接收到的用户输入来展示新内容。尽管大体结合在增强现实设备上展示物理环境中的增强现实展示来描述系统200，但是该系统可以被配置为展示任何类型的混合现实(例如，增强虚拟现实展示)或完全虚拟现实展示。例如，不是站点202对应于物理环境中的位置，而是站点可以对应于虚拟环境中的点。附加地或替代地，在一些实施方式中，系统200中的一个或多个HMD可以是增强现实设备，而其他HMD是虚拟现实设备。例如，远程定位的用户可以使用虚拟现实设备在特定站点处加入组。在这样的例子中，虚拟现实设备可以展示3D模型、在位置上相对于表示用户的3D模型的当前视图的3D模型与其他用户(例如，位于实际接近站点的增强现实设备的用户，和/或虚拟现实设备的其他用户)对应的化身等。在一些实施方式中，虚拟现实设备的用户可以使用任何技术来使展示的3D模型的视图改变，例如使用由用户输入设备(例如，游戏控制器、触摸板等)接收到的输入、指示用户的身体运动的输出(例如，旋转、平移等)或任何其他合适的信息。附加地或替代地，在一些实施方式中，虚拟现实设备的用户可以采用正在观察相同3D模型的增强现实设备的视点。在一些实施方式中，用于加入特定站点周围的组的虚拟现实设备可以展示在站点处和/或附近俘获的视频的一个或多个部分(例如，通过俘获站点周围环境的360度视频的摄像机)以生成混合现实展示，可以在可以与站点的物理环境相似或不相似的虚拟环境(例如，虚拟房间，其可以包括其他站点)中展示3D模型，或者仅展示3D模型和关于其他用户的信息(例如，在空白环境中展示3D模型(例如，使用单个背景色))。
图3A示出了根据所公开主题的一些实施方式的用于与展示的图像交互的系统的例子300。如图3A所示，用户输入设备302可以经由通信链路304与HMD 100-1通信。在一些实施方式中，通信链路304可以是可以促进用户输入设备302和HMD 100-1之间的通信的任何合适的通信链路。例如，通信链路304可以是有线链路(例如，USB链路、以太网链路、专用有线通信链路等)和/或无线链路(例如，蓝牙链路、Wi-Fi链路等)。在一些实施方式中，用户输入设备302可以包括用于确定用户输入设备302相对于一个或多个其他设备和/或对象(例如，HMD 100-1、站点202、HMD 100-1的佩戴者的特定身体部位等)的位置、和/或位置的相对变化(例如，基于指示用户输入设备302已在特定方向上加速、用户输入设备302已在某个方向上旋转等的传感器输出)的任意合适的传感器。例如，在一些实施方式中，用户输入设备302可包括一个或多个加速度计、一个或多个陀螺仪、一个或多个电子罗盘、一个或多个图像传感器、惯性测量单元等。
在一些实施方式中，用户输入设备302可以被HMD 100-1的佩戴者用作指示设备，以突显由HMD 100正在展示的内容的特定部分(例如，全息图306-1的一部分)，以选择全息图306-1的特定部分、使全息图306-1的特定部分以特定方式移动(例如，在“点击和拖动”型动作中)等。例如，可以在基于用户输入设备302相对于全息图306-1指向的方向的位置结合全息图306-1展示突显全息图306-1的特定区域的用户界面元素308。如图3A所示，展示包括正在全息图306-1中展示的相同内容的第二全息图306-2的第二HMD 100-2也可以展示用户界面元素308(例如，基于从服务器204接收到的指令，其可以通过诸如HMD 100-1、HMD 100-2的HMD和/或另一个HMD来实现)。
在一些实施方式中，HMD 100-1和/或服务器204可以从用户输入设备302接收指示用户输入设备302的运动和/或位置数据的数据。基于来自用户输入设备302的数据，HMD100-1和/或服务器204可以确定要作为全息图306-1的一部分(以及作为由展示与全息图306-2相同内容的另一个HMD 100展示的任何其他全息图的一部分)展示的用户界面元素308的位置和/或方向。
在一些实施方式中，用户输入设备302可以是HMD 100-1的组成部分，其可以确定HMD 100-1相对于全息图306-1(如上面结合图2所述，其可以锚定在站点202-1或任何其他合适位置处)指向的方向。关于HMD 100-1正指向哪个方向的信息可以用于推断佩戴者的眼睛正在看的方向(例如，在某些情况下，其可以基于凝视信息来增强)。在一些实施方式中，HMD 100的佩戴者正在看的推断位置可以用作相对于全息图306-1定位用户界面元素308的输入(例如，作为表明HMD 100-1的佩戴者正在看的位置的线、点、多个点等)。
在一些实施方式中，用户输入设备302可以是可以将位置信息传送到HMD 100-1和/或服务器204的独立设备，然后位置信息可以用于生成用户界面元素308以表明HMD100-1的佩戴者指向的位置。可以使用任何合适的技术或技术组合来基于用户输入设备302的位置信息来生成用户界面元素。例如，在一些实施方式中，HMD 100-1和/或服务器204可以确定用户输入设备302相对于佩戴者身体的一部分(例如，用户身体的中心，例如其可以基于HMD100-1的位置而被推断出)的位置，并且可以绘制与佩戴者的身体的该部分和用户输入设备302相交的线。作为另一个例子，在一些实施方式中，HMD 100-1和/或服务器204可以确定用户输入设备302相对于全息图306-1的位置和/或取向，并且可以基于该位置和取向从用户输入设备302绘制线。在这样的例子中，用户输入设备302的位置可能需要比先前例子中更精确地校准，并且可以在全息图的局部坐标中计算。因此，在这样的例子中，展示用户界面元素308的位置的准确度可以基于校准的准确度、离全息图306-1的锚定点(或其他位置参考)的距离(因为可能不太准确地确定离锚定点更远的距离)等而变化。
作为又一个例子，在一些实施方式中，HMD 100-1和/或服务器204可以从用户输入设备302接收第一输入，该第一输入可以通过信号通知HMD 100-1的佩戴者发起在全息图306上生成用户界面元素308。在接收到第一用户输入(例如，第一按钮按下)时，HMD 100-1和/或服务器204可以基于佩戴者相对于全息图306-1的当前位置在默认位置生成用户界面元素308(例如，从用户的身体朝向全息图306-1的中心的直线)。在第一按钮按下之后，HMD100和/或服务器204可以基于从用户输入设备302接收到的输出而改变用户界面元素的方向(例如，线穿过全息图306-1的点和/或线与全息图306-1相交的方向)。在这样的例子中，在第一按钮按下之后，佩戴者可以平移用户界面设备302以升高/降低和/或向左/向右移动线与全息图306-1相交的点，并且可以使用户输入设备302旋转来改变线与全息图306-1相交的取向。在接收到第二用户输入时，HMD 100-1和/或服务器204可以相对于全息图306-1冻结用户界面元素308的位置和/或取向。线在全息图306-1中展示的这种控制方案可以与用于控制2D图形用户界面中的指示器(例如，光标)的鼠标的操作具有一些相似性。
在一些实施方式中，HMD 100可用于管理HMD 100的用户的考试。例如，服务器204的用户可以创建使内容展示给HMD 100的展示，使得没有两个HMD在相同位置以相同取向展示相同内容。也就是说，在这样的例子中，不是促进协作，而是可以分发内容以便向每个用户展示个性化的内容。在一些实施方式中，可以允许给管理用户(例如，考试的教师或监考者)展示与展示考试内容的任何HMD 100相同的内容。在一些实施方式中，用户(例如，学生)可以使用诸如用户输入设备302的指示设备来指向全息图中的特定位置以提供考试问题的答案。另外，在一些实施方式中，HMD 100和/或服务器204可以确定用户使用指示设备突显的全息图中的位置，以自动确定用户是否正确地回答了考试问题。例如，可以提示用户在解剖全息图上定位特定肌肉，并且服务器204可以确定用户使用用户输入设备302指向的位置是否对应于该肌肉。
图3B示出了根据所公开主题的一些实施方式的用于与展示的图像交互的另一个系统的例子310。如图3B所示，在第一位置的第一用户312佩戴的第一HMD 100-1可以展示全息图306-1。在一些实施方式中，HMD 100-1可以跟踪用户312的手314相对于全息图306-1的位置。在一些实施方式中，HMD100-1可以使用任何合适的技术或技术组合来跟踪用户手的位置和/或取向。例如，HMD 100-1可以使用由一个或多个图像传感器(例如，光学传感器114)产生的图像和/或任何其他合适的数据(例如，场景中的深度信息)来可视地跟踪用户的手的位置。作为另一个例子，HMD 100-1可以使用一个或多个传感器来跟踪用户的手的位置，以感测由用户的手握持(或以其他方式附接于用户的手)的设备的位置。
在一些实施方式中，HMD 100-1可以向服务器204发送指示HMD 100-1和用户的手相对于全息图306-1的位置的信息。如图3B所示，服务器204可以向展示全息图306-2的第二HMD 100-2发送信息，该全息图306-2包括与全息图306-1相同的内容，其中该信息可以指示要相对于全息图306-2展示表示HMD 100-1的用户312的化身316的位置。HMD 100-2可以使用这样的信息来向第二用户320用全息图306-2展示化身316和手持元件318。在一些实施方式中，可以使HMD 100-1结合全息图306-1(未被示出)来展示用户320的化身。
图4示出了根据所公开主题的一些实施方式的可用于实现HMD 100、服务器204和用户输入设备302中的至少一个的硬件的例子400。如图4所示，在一些实施方式中，HMD 100可以包括处理器402、显示器404、一个或多个输入装置406、一个或多个通信系统408和/或存储器410。在一些实施方式中，处理器402可以是任何合适的硬件处理器或处理器的组合，例如中央处理单元(CPU)、图形处理单元(GPU)等。在一些实施方式中，显示器404可包括任何合适的显示设备，例如上面结合图1所述的透明显示器。在一些实施方式中，输入装置406可包括可用于接收用户输入的任何合适的输入设备和/或传感器，诸如注视跟踪系统108、头部跟踪系统110、运动传感器112、光学传感器114、麦克风118等。
在一些实施方式中，通信系统408可包括用于通过通信网络206和/或任何其他合适的通信网络传送信息的任何合适的硬件、固件和/或软件。例如，通信系统408可以包括一个或多个收发器、一个或多个通信芯片和/或芯片组等。在更具体的例子中，通信系统408可以包括可以用于建立Wi-Fi连接、蓝牙连接、蜂窝连接等的硬件、固件和/或软件。
在一些实施方式中，存储器410可以包括用于存储指令、值等的任何一个或多个合适的存储设备，指令、值等可以例如由处理器402用于使用显示器404展示内容、通过一个或多个通信系统408与服务器204通信等。存储器410可包括任何合适的易失性存储器、非易失性存储器、存储器、任何其他合适类型的存储介质或它们的任何合适的组合。例如，存储器410可以包括RAM、ROM、EEPROM、一个或多个闪存驱动器、一个或多个硬盘、一个或多个固态驱动器、一个或多个光驱等。在一些实施方式中，存储器410可以在其上编码有用于控制HMD100的操作的计算机程序。在一些这样的实施方式中，处理器402可以执行计算机程序的至少一部分以展示内容(例如，一个或多个全息图)、从服务器204接收内容、将信息发送到服务器204等。在一些实施方式中，HMD 100可以使用任何合适的硬件和/或软件来渲染从服务器204接收到的内容，例如可从Unity Technologies获得的Unity 3D。另外，在一些实施方式中，可以使用任何合适的通信协议来在HMD 100和服务器204之间传送控制数据、图像数据、音频等，这样的网络软件可从Unity Technologies获得。
在一些实施方式中，服务器204可包括处理器412、显示器414、一个或多个输入装置416、一个或多个通信系统418和/或存储器420。在一些实施方式中，处理器412可以是任何合适的硬件处理器或处理器的组合，例如中央处理单元、图形处理单元等。在一些实施方式中，显示器414可包括任何合适的显示设备，例如计算机监视器、触摸屏、电视等。在一些实施方式中，输入装置416可包括可用于接收用户输入的任何合适的输入设备和/或传感器，例如键盘、鼠标、触摸屏、麦克风等。
在一些实施方式中，通信系统418可以包括用于通过通信网络206和/或任何其他合适的通信网络传送信息的任何合适的硬件、固件和/或软件。例如，通信系统418可以包括一个或多个收发器、一个或多个通信芯片和/或芯片组等。在更具体的例子中，通信系统418可以包括可以用于建立Wi-Fi连接、蓝牙连接、蜂窝连接等的硬件、固件和/或软件。
在一些实施方式中，存储器420可以包括可以用于存储指令、值等的任何一个或多个合适的存储设备，指令、值等例如可以由处理器412用于使用显示器414展示内容、与一个或多个HMDs 100通信等。存储器420可包括任何合适的易失性存储器、非易失性存储器、存储器、任何其他合适类型的存储介质或它们的任何合适的组合。例如，存储器420可以包括RAM、ROM、EEPROM、一个或多个闪存驱动器、一个或多个硬盘、一个或多个固态驱动器、一个或多个光驱等。在一些实施方式中，存储器420可以在其上编码有用于控制服务器204的操作的服务器程序。在这样的实施方式中，处理器412可以执行计算机程序的至少一部分以将内容(例如，一个或多个全息图)发送到一个或多个HMD 100、从一个或多个HMD 100接收内容、从一个或多个设备(例如，HMD100-1、用户输入设备302、另一个服务器、个人计算机、膝上型计算机、平板计算机、智能电话等)接收指令。
在一些实施方式中，用户输入设备302可以包括处理器422、一个或多个输入装置224、一个或多个通信系统426和/或存储器428。在一些实施方式中，处理器422可以是任何合适的硬件处理器或处理器的组合，例如中央处理单元、图形处理单元等。在一些实施方式中，输入装置424可包括可用于接收用户输入的任何合适的输入设备和/或传感器，例如一个或多个实体按钮或软件按钮、一个或多个运动传感器、麦克风、触摸板等。
在一些实施方式中，通信系统426可以包括用于通过通信链路304和/或任何其他合适的通信链路传送信息的任何合适的硬件、固件和/或软件。例如，通信系统426可以包括一个或多个收发器、一个或多个通信芯片和/或芯片组等。在更具体的例子中，通信系统426可以包括可以用于建立Wi-Fi连接、蓝牙连接、蜂窝连接等的硬件、固件和/或软件。
在一些实施方式中，存储器428可以包括可以用于存储指令、值等的任何一个或多个合适的存储设备，指令、值等例如可以由处理器422用于确定何时接收到用户输入、记录传感器数据、与一个或多个HMD 100互通传感器数据等。存储器428可包括任何合适的易失性存储器、非易失性存储器、存储器、任何其他合适类型的存储介质或它们的任何合适的组合。例如，存储器428可以包括RAM、ROM、EEPROM、一个或多个闪存驱动器、一个或多个硬盘、一个或多个固态驱动器、一个或多个光驱等。在一些实施方式中，存储器428可以在其上编码有用于控制用户输入设备302的操作的计算机程序。在这样的实施方式中，处理器422可以执行计算机程序的至少一部分以将数据(例如，表示传感器输出)发送到一个或多个HMD100、将数据(例如，表示传感器输出)发送到一个或多个服务器204，等等。
图5示出了根据所公开主题的一些实施方式的选择和/或上传内容和/或展示给服务器204的用户计算设备220和接收内容并根据展示来展示内容的HMD 100之间的信息流的例子500。
如图5所示，在502处，在一些实施方式中，用户计算设备220可以选择用于创建一个或多个展示所根据的内容资料库。在一些实施方式中，用户计算设备220的用户可以使用任何合适的技术或技术组合来选择内容资料库。例如，在一些实施方式中，用户可以使用至少部分地由用户计算设备220执行的任何合适的应用程序或应用程序的组合来创建内容。作为另一个例子，用户计算设备220的用户可以从与内容的创建者和/或发布者相关联的网页中选择内容，并且可以将内容下载到用户计算设备220和/或服务器204。作为又一个例子，用户计算设备220的用户可以使用至少部分地由用户计算设备220执行的、提供对这样的内容的访问的应用程序来选择内容。作为又一个例子，用户计算设备220的用户可以从与用户计算设备220耦合的存储介质(例如，USB驱动器、外部硬盘驱动器、光学存储介质等)中选择内容。
在一些实施方式中，内容资料库可以包括由内容发布者生成的预选的内容集合，例如人体解剖结构的3D解剖模型的集合，用户可以从该3D解剖模型的集合中选择要展示的特征的特定组合。附加地或替代地，在一些实施方式中，内容资料库可以包括由用户计算设备220的用户从各种来源收集的3D模型。
在504，在一些实施方式中，用户计算设备220可以将内容资料库和/或指示可以在何处访问内容的信息上传到服务器204。在一些实施方式中，用户计算设备220可以使用任何合适的技术或技术组合来将内容和/或位置信息上传到服务器204。例如，用户计算设备220可以通过与服务器204相关联的应用程序接口(API)上传内容和/或位置信息。作为另一个例子，用户计算设备220可以通过与服务器204相关联的网页和/或其他应用程序上传内容和/或位置信息。作为又一个例子，用户计算设备220可以使用任何其他合适的技术或技术的组合(例如，文件传输协议(ftp))来上传内容和/或位置信息。附加地或替代地，在一些实施方式中，用户计算设备220可以在本地存储内容资料库(例如，使用耦合到用户计算设备220的硬盘驱动器)。
在506，在一些实施方式中，服务器204可以接收由用户计算设备220上传的内容和/或可以从由用户计算设备220识别的位置下载内容，并且可以将内容存储在与服务器204相关联的存储器中，使得用户计算设备220的用户可以访问它(例如，通过网页、API等)。
在508，在一些实施方式中，服务器204可以向一个或多个HMD提供所选内容的资料库，所述HMD将在展示期间至少展示内容的一部分。在一些实施方式中，服务器204可以使用任何合适的技术或技术组合将一部分内容资料库或整个资料库加载到HMD上。例如，服务器204可以提供资料库的至少一部分作为下载到HMD的应用程序的一部分。作为另一个例子，服务器204可以响应于来自HMD的请求而提供资料库的至少一部分。作为又一个例子，服务器204可以按需提供内容和/或可以在需要时将内容流式传输到HMD。在更具体的例子中，在展示开始之前，服务器204可以将展示中使用的内容提供给HMD。
在510，在一些实施方式中，用户计算设备220的用户可以使用本地执行的展示应用程序从所选的内容生成展示，展示应用程序在本地和/或远程地(例如，从服务器204)访问内容资料库。在一些实施方式中，展示应用程序可以促进包括来自内容资料库的内容子集的场景的创建。例如，展示应用程序可以允许用户选择要在人体解剖结构的3D模型中展示的一个或多个特定的身体部位和层(例如，皮肤、肌肉、骨骼、神经等)以及展示各个部位和/或层的顺序。另外，在这样的例子中，展示应用程序可以允许用户在展示的一部分中突显3D模型的特定部分，例如特定的肌肉或神经。
在一些实施方式中，在510处，用户计算设备220的用户可以针对各个站点(例如，站点202)中的每一个、各种用户或用户组(例如，HMD 100的学生用户)中的每一个、各种展示空间中的每一个等选择特定内容。
在512，在一些实施方式中，用户计算设备220可以将指示在展示中使用哪个内容、内容展示的顺序、要展示的补充内容(例如，文本，音频等)等的展示信息上传到服务器204。在一些实施方式中，可以通过任何合适的格式来格式化展示信息。例如，展示信息可以作为可扩展标记语言(XML)文档从用户计算设备220上传。作为另一个例子，可以将展示作为包括内容本身的介质文件上传(在这种情况下，可能不需要将内容资料库上传到服务器204)。注意，在一些实施方式中，服务器204可以被省略和/或可以执行比图5中所示的功能更少的功能。例如，在一些实施方式中，可以将内容从用户计算设备220(或任何其他源)加载到HMD100，而不先将内容上传到服务器204。作为另一个例子，在一些实施方式中，可以将展示信息从用户计算设备220发送到HMD 100，而不通过服务器204发送(尽管在展示信息的传输中可能涉及一个或多个其他服务器，例如因特网上的节点、一个或多个电子邮件服务器、一个或多个存储服务器等)。
另外或作为替代，为了使用由用户计算设备220执行的应用程序生成展示，用户计算设备220可以与服务器204交互以使用至少部分地由服务器204执行的应用程序来生成展示。例如，用户计算设备220可以用于为由服务器204执行的应用程序提供图形用户界面，并且用户计算设备220接收到的输入可以用于控制应用程序的操作。在一些实施方式中，如果使用至少部分地由服务器204执行的应用程序来生成展示，则服务器204可以生成展示信息(例如，作为XML文档)，而不从用户计算设备220接收这样的信息。
在516处，在一些实施方式中，服务器204可以向HMD 100提供用于至少特定展示的展示信息，展示信息将用于体验展示。在一些实施方式中，服务器204可以在任何合适的时间提供展示信息。例如，服务器204可以在向与用户相关联的任何HMD创建展示信息之后提供对展示信息的访问，该用户包括在将要给予展示的特定班级或组(例如，由用户计算设备220的用户识别的)中。作为另一个例子，服务器204可以在向特定位置的HMD、与包括在将要给予展示的特定班级或组(例如，由用户计算设备220的用户识别的)中的用户相关联的HMD等展示的开始(例如，由用户计算设备220的用户、HMD100-1等指示的)时提供对展示信息的访问。在一些实施方式中，可以结合内容接收展示信息。例如，展示信息可以是作为内容的一部分被传输到HMD 100的文件。
在518处，在一些实施方式中，已经接收到展示信息的HMD可以根据展示信息来展示内容(例如，来自508处加载到HMD上的内容)。例如，如上面结合图2所述，HMD(例如，HMD100-2)可以基于在展示信息中接收到的指令结合第三站点展示特定的3D模型，该指令指示HMD结合第三站点展示特定的3D模型。
附加地或替代地，在一些实施方式中，在520处，服务器204可以基于展示信息以及基于从HMD接收到的信息将内容流式传输到一个或多个HMD。例如，如上面结合图2所述，HMD可以提供关于哪个站点最靠近HMD和/或在HMD的佩戴者的视野内的信息，并且服务器204可以将适当的内容流式传输到HMD。作为另一个例子，HMD可以提供服务器204可以用来确定哪个(哪些)站点最靠近HMD和/或哪个(哪些)站点位于HMD的佩戴者的视野内的信息，并且服务器204可以将适当的内容流式传输到HMD。作为又一个例子，服务器204可以从第一HMD(例如，HMD 100-2)和/或用户输入设备(例如，用户输入设备302)接收指示HMD 100-2的佩戴者指向3D模型的特定部分的信息，并且服务器204可以将该信息流式传输到观看相同内容的另一个HMD(例如，HMD 100-1)作为将由第二HMD集成到内容中的补充内容。
在522处，在一些实施方式中，HMD 100可以展示从服务器204接收到的流式传输内容。在一些实施方式中，在522处展示的流式传输的内容可以是任何合适的流式传输的内容，例如整个3D模型、对3D模型的改变、补充内容等。
图6示出了根据所公开主题的一些实施方式的用于将内容分发到一个或多个头戴式显示器的过程的例子600。如图6所示，在602处，过程600可以接收将用于HMD创建一个或多个增强现实展示的内容。在一些实施方式中，可以通过任何合适的格式和/或从任何合适的源接收内容。例如，用户计算设备(例如，用户计算设备220)的用户可以上传内容(例如，上传到服务器204)。作为另一个例子，用户可以提交可用于检索内容的地址和/或凭证的识别信息。在一些实施方式中，内容可以包括任何合适的视觉信息，该视觉信息可以用于创建可以由HMD展示的一个或多个3D模型(例如，作为全息图)。例如，在一些实施方式中，内容可以包括人体解剖结构的各种3D模型，其可以由HMD用于生成显示来自人体解剖结构的各种系统的全息图。
在604处，过程600可以接收可以用于将至少一部分内容作为增强现实展示来展示的一个或多个指令。例如，指令可以识别要展示的内容的不同部分、展示内容的不同部分的顺序、展示特定内容的位置(例如，在房间中、结合站点等)等。在一些实施方式中，可以通过任何合适的格式和/或使用任何合适的技术或技术组合来接收指令。例如，在一些实施方式中，指令可以作为在接收表示指令的用户输入的用户设备上生成的XML文件被接收。作为另一个例子，指令可以通过网页或其他合适的可以通过用户设备展示并且可以接收用于表示增强现实展示的用户输入的用户界面从用户设备接收。在这样的例子中，可以将用户输入传送到与网页相关联的服务器，该服务器可以生成指令(例如，作为XML文档)。
在606处，过程600可以接收来自头戴式显示器对内容的请求。例如，如上所述，响应于来自用户的输入，与特定用户相关联的HMD(例如，这种关联性可以由用户登录到由HMD执行的应用程序来创建)可以基于与用户相关联的信息(例如，指示用户与指定了内容的班级相关联的信息)和/或使用任何其他合适的技术或技术的组合来请求内容。在一些实施方式中，可以使用任何合适的技术或技术组合来接收请求。例如，HMD可以导航到与内容相关联的特定地址(例如，IP地址、URL等)。作为另一个例子，HMD可以访问应用程序的存储库，并提交下载(和/或可以下载)包括内容的应用程序的请求。
在608处，过程600可以确定HMD是否被授权接收内容。例如，过程600可以确定HMD是否登录到已被授权接收内容的用户帐户。作为另一个例子，过程600可以确定由HMD执行的应用程序是否登录到已被授权接收内容的用户帐户。如果过程600在608处确定HMD未被授权接收内容(在608处为“否”)，则过程600可以移动到620并提示用户登录以访问内容(例如，通过展示登录屏幕、通过下面结合图8所述的提示用户俘获的适当的可视代码的图像等)，并且可以在用户成功使HMD登录到适当的帐户时返回到608。
否则，如果过程600在608处确定HMD被授权接收内容(在608处为“是”)，则过程600可以移动到610。在610处，过程600可以将内容发送到请求内容的HMD。在一些实施方式中，可以使用任何合适的协议以任何合适的格式和/或使用应用的任何合适的压缩来发送内容。
在612处，过程600可以将令牌发送到授权的HMD，令牌可以用于访问用于从内容生成增强现实展示的指令(和/或以其他方式访问内容和/或与内容相关联的服务)。在一些实施方式中，令牌可以采用任何合适的形式。另外，在一些实施方式中，令牌可以被配置为在预定时长之后失效。
在614处，过程600可以基于头戴式显示器先前获得的内容接收对增强现实展示的请求。在一些实施方式中，HMD可以响应于任何合适的输入而发送请求。例如，用户可以提供指示HMD要请求增强现实展示的用户输入。作为另一个例子，HMD可被配置为当在特定位置和/或特定时间使用时，自动请求增强现实展示(例如，在没有用户干预的情况下、在仅需要用户输入来授权请求的情况下等)。作为又一个例子，HMD可被配置为响应于接收到(例如，来自蓝牙信标)特定信号和/或响应于俘获到特定视觉提示(例如，QR码)的一个或多个图像而自动请求增强现实展示(例如，在没有用户干预的情况下、在仅需要用户输入来授权请求的情况下等)。在一些实施方式中，可以在612处利用发送到HMD的令牌来发送请求。在一些实施方式中，在614处接收到的请求可以是对特定增强现实展示的指令的请求。替代地，在一些实施方式中，在614处接收到的请求可以是对增强现实展示的指令的通用请求，并且返回的指令可以是管理员选择的指令。
在616处，过程600可以确定请求用于增强现实展示的指令的HMD是否被授权接收增强现实展示。例如，过程600可以确定HMD是否提交了有效令牌和/或HMD是否登录到授权的用户帐户。如果过程600确定HMD被授权接收增强现实展示(在616处为“是”)，则过程600可以移动到618，并且向HMD提供用于使用至少一部分内容来展示增强现实展示的指令。否则，如果过程600确定HMD未被授权接收增强现实展示(在616处为“否”)，则过程600可以移动到620并提示HMD的用户登录、指示用户未被授权接收展示、展示错误消息等。在一些实施方式中，过程600的一个或多个部分可以由服务器204(或多个服务器204)执行。
图7示出了根据所公开主题的一些实施方式的使用头戴式显示器生成增强现实展示的过程的例子700。如图7所示，在702处，过程700可以接收表示用户识别信息的输入。例如，用户可以使用由HMD 100展示的虚拟键盘来键入用户名和/或密码。作为另一个例子，用户可以说出可以用于识别用户的信息，并且过程700可以使用任何合适的语音识别技术或技术组合来验证用户的身份。作为又一个例子，在一些实施方式中，用户可以将另一个设备(例如，智能电话、平板电脑、键盘)与HMD配对(例如，使用蓝牙)，并使用配对设备的输入来输入用户识别信息。作为又一个例子，如下面结合图8所述，HMD可以俘获可以用于识别用户的图像。
在704处，过程700可以请求用于生成增强现实展示的内容。在一些实施方式中，可以使用任何合适的技术或技术组合来生成请求。例如，执行过程700的HMD可以基于用户输入来导航到特定地址(例如，IP地址、URL等)，并且可以在该地址请求内容(例如，通过选择网页上的链接、自动响应于地址信息请求等)。作为另一个例子，HMD可以使用由HMD执行的应用程序来请求内容，该应用程序可以基于其他信息(例如，指示在702处指定的用户报名使用该内容的课程的信息)自动下载内容。
在706处，过程700可以接收并存储要在生成增强现实展示中使用的内容。在一些实施方式中，内容可以存储在任何合适的位置，例如存储器410。
在708处，过程700可以在请求进一步信息(例如，用于根据内容生成特定增强现实展示的指令)时接收将用于认证正在执行过程700的HMD的令牌。在一些实施方式中，可以通过任何合适的格式接收令牌，并且令牌可以包括任何合适的信息，该信息可以被例如服务器204用于确定HMD被授权访问增强现实展示。
在710处，过程700可以发送对可以用于根据内容生成增强现实展示的信息的请求(和/或令牌)。如上面结合图6的614所述，过程700可以响应于任何合适的输入而发送对增强现实展示的请求。例如，HMD可以被导航到特定地址(例如，URL)，该地址可以用作对增强现实展示的请求。作为另一个例子，在满足某些条件(例如，HMD在特定时间处于特定的地理围栏内、HMD正接收来自另一个设备的特定信号等)时，HMD可以自动地(例如，在没有用户干预的情况下、在仅需要用户输入来授权请求的情况下等)请求增强现实展示。
在712处，过程700可以接收可以用于生成增强现实展示的信息(例如，指令)。在一些实施方式中，可以通过任何合适的格式接收信息。例如，该信息可以是指示要展示哪个内容、以何种顺序展示内容、在哪个或哪些位置展示某个内容等的XML文档。
在714处，过程700可以基于所接收到的指令根据内容生成增强现实展示。例如，过程700可以确定哪个站点最靠近执行过程700的HMD，并且可以基于在712处接收到的信息展示与该站点对应的全息图。在一些实施方式中，过程700可以使HMD将指示当前正在向用户展示增强现实展示的哪个部分的信息发送到服务器(例如，服务器204)。在一些实施方式中，服务器可以使用这样的信息来传送关于所展示的特定内容的更新信息。替代地，服务器可以发送更新信息，该更新信息具有关于更新信息对应增强现实展示的哪个部分的识别信息，并且HMD可以解释识别信息以确定更新信息是否与当前展示的内容相关。
在716处，过程700可以确定是否已经接收到任何更新信息。在一些实施方式中，更新信息可以包括来自服务器(例如，服务器204)的任何合适的信息，其具有改变作为增强现实展示的一部分正在展示的内容的展示的指令。如果过程700确定尚未接收到更新信息(在716处为“否”)，则过程700可以返回到716(和/或714)以继续确定是否已经接收到更新信息(和/或确定是否将要生成和/或展示增强现实展示的另一个部分)。否则，如果过程700确定已经接收到更新信息(在716处为“是”)，则过程700可以移动到718。
在718处，过程700可以基于更新信息生成更新增强现实展示。在一些实施方式中，更新信息可包括可影响增强现实展示的任何合适的信息。例如，更新信息可以是与指示设备的方向对应的用户界面元素的位置的指示(例如，上面结合图3B所述)。在这样的例子中，过程700可以将用户界面元素插入当前正在展示的全息图中(在用户界面元素可以从正在观看全息图的角度看到时)。作为另一个例子，更新信息可以是改变由HMD生成的增强现实展示的部分的指令，诸如通过展示向前移动或通过展示向后移动的指令。作为又一个例子，更新信息可以是另一个HMD(例如，与执行过程700的HMD远程定位)的用户的3D模型(例如，化身)和指示化身相对于正在展示的全息图将在何处展示的位置信息。
图8示出了根据所公开主题的一些实施方式的执行与服务器204的配对操作的用户设备220和HMD 100-1的例子800。如图8所示，用户设备802(例如，可以或不可以用作用户计算设备220的智能电话、平板电脑、个人计算机、膝上型计算机等)展示可视代码(更具体地，QR码)。在一些实施方式中，用户设备802可用于登录与本文描述的内容和/或增强现实展示相关联的应用或服务。在一些这样的实施方式中，响应于选择链路(或任何其他合适的用户作用)，用户设备802可以用于通过通信链路804(例如，其可以包括LAN连接、蜂窝连接等)来检索QR码(例如，从服务器204)。在一些实施方式中，用户设备802可以用于检索具有到QR码的链接的电子邮件，可以接收具有到QR码的链接的推送通知(和/或QR码本身)，可以接收具有到QR码的链接的文本消息(和/或QR码本身)，可以访问通过其可以从服务器204检索QR码的应用程序等。HMD 100-1可以俘获QR码的图像(例如，使用光学传感器114)，这可以使HMD 100-1通过通信链路806提交请求(例如，提交到服务器204)，该请求可以指示HMD100-1将与用户802配对。在一些实施方式中，服务器204可以将用户设备802与HMD 100-1关联任何合适的持续时间(例如，课程的持续时间、一天、一周、一个月、一个学期、无限期的时间等)，并且可以通过用户设备802提供补充内容。例如，服务器204可以向用户设备802推送(或以其他方式提供)补充当前由HMD 100-1展示的增强现实展示的一部分的内容。在更具体的例子中，用户设备802可以展示与增强现实展示相关的补充文本。在另一个更具体的例子中，用户设备802可以提供与增强现实展示相关的考试问题。作为另一个例子，用户可以使用用户设备802来做笔记(例如，使用虚拟键盘、语音识别等)，该笔记可以自动地与当前展示的增强现实展示的部分相关联。作为又一个例子，用户设备802可以从HMD 100-1接收信息(例如，在展示期间俘获的图像、文本、视频、音频等)，该信息可以由用户用来补充笔记、作为记忆辅助等。
图9示出了根据所公开主题的一些实施方式的在如上结合图9所述的登录和/或配对操作期间用户设备802、服务器204和HMD 100之间的信息流的例子900。如图9所示，用户设备802可以接收用于登录HMD 100的用户输入。例如，在902处，用户设备802可以导航到网页和/或执行与使用HMD 100-1相关联的应用以生成增强现实展示。在这样的例子中，用户设备802可以用于提供登录凭证(例如，用户名、密码、生物识别信息等)。
在904处，用户设备802可以从服务器204请求通过HMD 100-1扫描的可视代码。例如，如上面结合图8所述，用户设备802可以在服务器204处请求HMD 100-1可以扫描的QR码，以将HMD 100-1与用户设备802配对，和/或向服务器204认证HMD 100-1。
在906处，如果确定用户设备802被授权，则服务器204可以提供所请求的可视代码。在一些实施方式中，服务器204可以通过任何合适的格式和/或任何合适类型的数据提供可视代码。例如，尽管上面结合图8描述了QR码，但是这仅仅是例子，并且可以使用任何合适的机器可读的视觉代码，例如条形码、具有简写(stegenographically)编码信息的图像等。另外，在一些实施方式中，除了可视代码之外或代替可视代码，服务器204可以使用户设备802发出可由HMD 100-1用于与用户设备802配对(和/或登录)的编码声音。
在908处，用户设备802可以展示视觉代码并且可以提示用户将HMD100-1的图像传感器(例如，光学传感器114)瞄准可视代码(例如，如图8中所示)。在910处，HMD 100-1可以俘获由用户设备802展示的可视代码的图像，并且可以在912处对包括在可视代码中的信息进行解码。
在914处，HMD 100-1可以基于从可视代码的图像解码的信息向服务器204发送信息。例如，HMD 100-1可以响应于俘获到可视代码的图像而导航到特定网页和/或向特定地址发送请求。
在916处，服务器204可以响应于在914处接收到由HMD 100-1发送的信息而将用户设备802和HMD 100-1配对，和/或可以登录HMD 100-1。在一些实施方式中，两个设备配对的指示可以使用任何合适的技术或技术组合来指示，例如通过数据库204中保持的设备的数据库中的条目。
在918处，例如，当HMD 100-1的佩戴者移动到不同的站点时，HMD 100-1可以展示来自增强现实展示的内容。在920处，HMD 100-1可以发送指示HMD100-1当前正在展示来自增强现实展示的哪个内容的信息。附加地或替代地，服务器204可以跟踪正在展示哪个内容(例如，基于用于通过展示进行的更新指令、基于HMD 100-1的位置等)。
在922处，服务器204可以基于HMD 100-1当前正在展示的内容将补充内容和/或指令推送到用户设备802。附加地或替代地，用户设备802可以周期性地从服务器204(如果有的话)请求更新信息。在924处，用户设备802可以在922处展示由服务器204发送的补充内容。
图10示出了根据所公开主题的一些实施方式的用于将3D模型与HMD100-1的用户(例如，作为化身)相关联并且通过HMD 100-2展示3D模型的第一HMD 100-1、服务器204和第二HMD 100-2之间的信息流的例子1000。如图10所示，HMD 100-1可以接收指示将特定3D模型与100-1的用户相关联的输入。在一些实施方式中，HMD 100-1可展示任何数量的3D模型，用户可从该3D模型中选择特定的3D模型以与用户相关联。例如，3D模型可以是通过其他HMD在用户的面部和/或头部展示的面罩。作为另一个例子，3D模型可以是3D化身，该3D化身可以被另一个HMD用作用户的代表。在一些实施方式中，用户可以具有用户界面以定制和/或设计3D模型。附加地或替代地，在一些实施方式中，配对的用户设备(例如，如上结合图8和图9所述的用户设备802)可用于选择、定制、设计3D模型等，该3D模型可以由HMD100-1展示以供用户查阅。
在1004处，HMD 100-1(和/或配对的用户设备)可以向服务器204提交将所选择的3D模型与用户相关联的请求。在一些实施方式中，该请求可以包括3D模型、3D模型的识别信息、3D模型的地址等。在1006处，服务器204可以将HMD 100-1的用户与所选择的3D模型相关联，使得结合用户使用3D模型。
在1008处，HMD 100-2可以请求与HMD 100-1相关联的3D模型。替代地，服务器204可以将3D模型推送到HMD 100-2。在一些实施方式中，可以通过将HMD 100-1的用户提供的可视代码扫描给HMD 100-2的用户来请求3D模型。例如，HMD 100-1的用户可以展示可视代码以由HMD 100-2进行扫描(例如，使用配对的用户设备)。作为另一个例子，HMD 100-1的用户可以与HMD 100-2的用户共享可视代码(例如，通过从与每个HMD相关联的配对的用户设备之间发送的消息，例如文本消息)。在1010处，服务器204可以将HMD 100-1的用户的3D模型信息发送到HMD 100-2。
在1012处，HMD 100-2可以渲染与HMD 100-1的用户相关联的3D模型。在一些实施方式中，HMD 100-2可以结合用户的实际存在来渲染3D模型。例如，3D模型可以是HMD 100-2可以叠加在用户100-1的一部分上以提供增强现实效果的面罩、头盔、装备等。附加地或替代地，HMD 100-2可以将3D模型渲染为HMD 100-1的用户的化身。
尽管图10中示出了HMD 100-1的用户，当选择3D模型时，HMD 100-2的用户可以选择要结合HMD 100-1的用户使用的3D模型。
图11示出了根据所公开主题的一些实施方式的用于按顺序展示各种模型的显示空间的例子1100。如图11所示，显示空间1100可以包括物理区域1102，其可以与建筑物的结构(例如房间)共同延伸或不共同延伸。在一些实施方式中，屏障1104可以将物理区域1102划分为两个或更多个区域。尽管屏障1104被示出为将物理区域1102大致分成两半的笔直屏障，但这仅仅是例子，并且屏障1104可以具有可以将物理区域1102细分为任何合适数量的区域的任何合适的形状。例如，屏障1104可以形成更复杂的形状，例如阶梯图案、“U”形等。在一些实施方式中，屏障1104可以是由在物理空间1102中竖立的永久或临时的结构形成的物理屏障，例如墙壁、窗帘等。替代地，在一些实施方式中，屏障1104可以是由HMD(例如，HME100-1)展示的完全虚拟的屏障，但是其不与物理屏障对应。
在一些实施方式中，屏障1104可以创建多个显示空间1106和1108，它们可以例如充当由屏障1104创建的虚拟房间的焦点。注意，尽管示出了两个显示空间，但这仅仅是例子，并且可以将任何合适数量的显示空间与屏障相关联，其中可能多个显示空间在屏障的同一侧，而另一组显示空间位于屏障的另一侧。
在一些实施方式中，物理空间1102可以被细分为各个部分1110-1116，这些部分各自可以对应于虚拟传感器。例如，物理空间1102内的一个或多个物理点可以被指定为用于确定HMD 100位于哪个部分中的参考点。在这样的例子中，HMD 100可以确定到一个或多个点的距离以确定HMD 100的当前部分。在这样的例子中，虚拟传感器可以由HMD 100实现。作为另一个例子，来自诸如蓝牙信标的一个或多个有源设备的信号可用于确定HMD 100的当前部分。在一些实施方式中，当HMD 100-1存在于部分1110内时，它可以针对显示空间1106加载内容，并且可以在显示空间1106位于用户312的视野内时展示该内容。当用户312从部分1110移动到部分1112时，HMD 100-1可以在准备用户在屏障1104周围移动时针对显示空间1108加载内容。在一些实施方式中，在显示空间中展示内容的顺序可以基于任何合适的信息，例如由用户计算设备220的用户生成的展示信息，如上面结合图2和图5所述。在一些实施方式中，当佩戴HMD 100-1的用户312移动到部分1114中使得显示空间1108处于用户312的视野内时，HMD 100-1可以在用户进入第1112部分时开始展示结合显示空间1108加载的内容。
在一些实施方式中，当用户312从部分1114移动到部分1116中时，HMD100-1可以针对空间1106加载下一部分内容，以替换先前加载的与该空间相关联的内容，使得当用户312围绕屏障1104运动时，HMD 100-1在显示空间1106中展示新内容。然而，如果用户312再次移回到部分1114，则HMD 100-1可以针对显示空间1106加载先前的内容，使得用户可以通过展示向后移动。在一些实施方式中，展示中的一系列内容可以在用户围绕屏障1104顺时针移动时向前移动，并且可以在用户开始围绕屏障逆时针移动时向后移动。然而，这仅仅是例子。
在一些实施方式中，可以在HMD首次进入部分1110(或任何其他指定部分)时指定开始展示，使得无论用户在何处进入物理空间1102，都在相同的显示空间中展示相同的内容。替代地，在一些实施方式中，当用户首次进入物理空间1102时，可以在最靠近用户的显示空间中进行展示。
在一些实施方式中，在用户已经在屏障1104周围移动相同次数时，与围绕屏障1104移动的用户相关联的HMD一起可以在显示空间1106和1108中展示相同的内容。这可以促进不同用户之间的共享体验。在一些这样的实施方式中，未在屏障1104周围移动相同次数的两个不同的HMD可在显示空间1106和1108中展示不同内容。附加地或替代地，在一些实施方式中，两个或更多个不同的HMD可以链接在一起，使得它们在显示空间1106和/或1108中展示相同的内容。例如，可以指定特定的HMD作为主HMD，并且与主HMD配对的HMD即使没有与主HMD一起围绕屏障1104移动，也可以在显示空间1106和/或1108中展示相同的内容。作为另一个例子，链接的HMD可以共同地确定要显示哪个内容(例如，基于大多数HMD所在的位置、基于已经围绕屏障1104移动最多次数的HMD、基于已经围绕屏障1104移动最少次数的HMD，等等)。在一些实施方式中，可以使用任何合适的技术或技术组合将两个或更多个不同的HMD链接在一起。例如，要链接的HMD可以基于指定HMD与一个或多个其他HMD链接的配置文件的存在。作为另一个例子，当最初进入物理空间1102时，在启动与物理空间1102相关联的应用程序等时，可以提示用户选择组作为设置例程的一部分。在这样的例子中，希望具有共享体验的用户可以指示他们是同一组的一部分。作为又一个例子，要链接在一起的每个HMD可以俘获特定的可视代码(例如，QR代码)的图像，该图像可以使HMD被链接。作为又一个例子，可以使用与HMD配对的设备(例如，智能电话、平板电脑等)来选择要加入的组，和/或可以选择要链接的一个或多个其他HMD。
在一些实施方式中，当佩戴者围绕屏障移动以导航到特定内容时，HMD100-1可以跳过在其他情况下会展示的内容。例如，用户可以使菜单由HMD100-1展示在HMD 100-1上(例如，通过按下硬件按钮)，并且从菜单中用户可以选择展示特定内容的命令，以通过该内容前进等。作为另一个例子，用户可以访问配对的设备(例如，配对的智能手机)上的应用程序以选择要展示的内容、通过该内容前进等。作为又一个例子，HMD 100-1可以从服务器(例如，服务器204)接收指示哪个内容将在显示空间1106和/或1108中展示的指令和/或内容，该指令和/或内容可以使HMD 100-1展示特定的内容。
在一些实施方式中，可以使用任何合适的技术或技术组合来生成当用户围绕屏障移动时在显示空间中展示内容的顺序。例如，如上面结合图2的站点所述，管理用户可以使用应用程序来组装包括要在显示空间中展示的内容的有序列表的展示。作为另一个例子，可以随机展示内容的顺序。作为又一个例子，可以根据在内容资料库中的存储顺序来确定内容的展示顺序。在一些实施方式中，要在显示空间1106和/或1108中展示的内容可以预载在HMD上和/或可以在佩戴者移动通过物理空间1102时被接收。例如，在HMD开始展示内容之前，可以将要展示的所有内容下载、上传、侧载到HMD等。作为另一个例子，可以在HMD上预载内容的一部分，并且当预载内容被展示时，HMD可以获取附加内容(例如，通过从服务器204下载内容、通过从服务器204流式传输内容等)。作为又一个例子，HMD可以根据需要实时地流式传输内容。
图12示出了根据所公开主题的一些实施方式的用于在有限的物理空间中展示一系列内容的过程的例子1200。如图12所示，在1202处，过程1200可以从屏障(例如，屏障1104)周围的各个部分中确定HMD(例如，HMD 100-1)所在的初始部分。在一些实施方式中，过程1200可以使用任何合适的技术或技术组合来确定HMD的初始部分，例如基于来自一个或多个信标(例如，蓝牙信标)的信号、由HMD的图像传感器俘获的图像、HMD的GPS位置等。在一些实施方式中，1202处的确定可以由HMD和/或由诸如服务器(例如，服务器204)的另一个计算设备进行。
在1204处，过程200可以访问用于与至少初始部分和另一个部分对应的第一显示空间的内容。例如，如上面结合图11所述，两个部分可以与一个显示空间相关联。在一些实施方式中，要在第一显示空间中展示的内容例如可以是一系列内容中的第一部分内容。在更具体的例子中，要在第一显示空间中展示的内容可以是一系列展示中的第一展示。
在1206处，过程1200可以展示用于第一显示空间的内容。例如，如上面结合图11所述，当第一显示空间处于用户的视野内时，过程1200可以使用于第一显示空间的内容被展示。
在1208处，过程1200可以确定HMD是否已经移动到与第一显示空间对应的最后部分。在一些实施方式中，每个显示空间可以与可以看见显示空间的一个或多个部分相关联。过程1200可以使用任何合适的技术或技术的组合(例如，上面结合图11和1202描述的技术)来确定HMD何时移动到与第一显示空间对应的最后部分。在一些实施方式中，各部分可以以特定的顺序限定，使得当HMD移动到与从对应于第一显示空间的最后部分无法看到的下一个显示空间对应的部分时，在第一方向上移动通过各部分使来自展示的下一部分内容被展示。例如，可以将最后部分确定为从其可从第一部分顺时针观察到第一显示空间的最后部分。在这样的例子中，当用户围绕屏障顺时针移动时，展示可以通过诸如3D场景的顺序的顺序向前前进。
在1210处，如果过程1200确定HMD已经移动到与第一显示空间对应的最后区域(在1210处为“是”)，则过程1200可以移动到1212。在1212处，过程1200可以访问用于下一个显示空间的内容。在一些实施方式中，过程1200可以从内部存储器和/或从远程存储器访问内容(例如，通过从诸如服务器204的服务器下载内容)。在一些实施方式中，过程1200可以预载内容(使得当下一个显示空间进入HMD的佩戴者的视野时准备展示它)。
在1214处，过程1200可以确定HMD是否已经移动到与下一个显示空间对应的部分(例如，用户是否已经围绕屏障1104移动)。如果过程1200确定HMD已经移动到下一个显示空间(在1214处为“是”)，则过程1200可以在下一个显示空间在HMD的佩戴者的视野中时在1216处使与下一个显示空间对应的内容被展示。
在1210处，如果过程1200确定HMD尚未移动到与第一显示空间对应的最后区域(在1210处为“否”)，或者如果过程1200确定HMD尚未移动到下一个显示空间(在1214处为“否”)，则过程1200可以移动到1218，并确定HMD是否已经移回到与第一显示空间相关联的第一部分。另外，在1216处展示用于下一个显示空间的内容时，用户可以移回到与第一显示空间相关联的部分，并且过程1200可以移动到1218。
如果过程1200确定HMD没有移回到与第一空间对应的第一部分(在1218处为“否”)，则过程1200可以返回到1208，其中它可以确定HMD是否已经移动到与当前显示空间(即，当HMD处于与第一显示空间对应的部分中时的下一个显示空间)相关联的最后部分。否则，如果过程1200确定HMD已经移回到与第一空间对应的第一部分(在1218处为“是”)，则过程1200可以在1220处访问当前展示的内容之前的一部分内容，使得在HMD向后移动到先前显示空间(其可以是与下一个显示空间相同的物理空间)时HMD可以展示该内容。在一些实施方式中，过程1200可以确保当用户移动到下一个或前一个显示空间时(例如，在任一方向上在屏障1104的另一侧)，HMD总是准备好展示与该显示空间对应的内容。
在一些实施方式中，过程1200可以由HMD或服务器执行。附加地或替代地，过程1200的某些部分可以由HMD执行，而其他部分由一个或多个其他设备(例如服务器、传感器)等执行。
图13A至图13D示出了根据所公开主题的一些实施方式的来自用于展示要使用的内容的HMD的记录会话的重放的场景的例子。在一些实施方式中，HMD 100和/或服务器204可以记录描绘一个或多个用户的动作的介质(例如，音频、视频和/或计算机生成图形)，并且可以访问该介质以进行查阅(例如，通过一个用户、教师等)。图13A示出了根据所公开主题的一些实施方式的第一查阅模式的例子，其中由化身1302(HLA)表示的第一用户和由化身1304(HLB)表示的第二用户与虚拟事故受害者1306(AI)交互。在图13A所示的模式中，表示对话的抄本的文本1308可以随着场景的进展而被展示。另外，窗口1310和1312可以分别显示来自第一用户1302和第二用户1304所佩戴的HMD的第一人视图。在一些实施方式中，不同的用户可以由不同的彩色化身(和/或个性化身)表示，并且窗口1310和1312可以被颜色编码(和/或以其他方式标记)以阐明哪个用户正在观察场景的哪个部分。在一些实施方式中，正在被查阅的内容可以表示虚拟现实会话，并且可以包括在正被查阅的会话期间通过由用户佩戴的HMD展示给用户的场景的图形和/或图像。附加地或替代地，正在被查阅的内容可以表示增强现实(或其他混合现实)会话，并且可以不包括超出由HMD俘获的图像数据的用户所处的广阔环境的图像日期(例如，窗口1310和1312所示)。
在一些实施方式中，可以使用任何合适的计算设备来查阅在会话期间记录的内容。例如，个人计算机、膝上型计算机、平板计算机等可用于将查阅内容作为二维图像展示。作为另一个例子，内容可以由HMD展示(例如，作为增强现实或虚拟现实体验)，并且HMD的佩戴者可以通过物理地移动穿过场景而导航到记录的内容周围(例如，从不同的视点观看内容)，并且由HMD展示的内容可以基于用户的当前位置和视野。作为另一个示例，HMD的佩戴者可以发出一个或多个命令来控制会话的哪个部分正被展示(即，通过时间导航)，或者进入不同的查阅模式(例如，展示鸟瞰图)，以完全身临其境的查阅模式(即，以第一人模式展示与HMD的佩戴者的视野对应的图像)展示由HMD记录的视频内容(和/或HMD未记录的与HMD的视点相关联的重放内容，例如，用于虚拟现实查阅会话)。
在一些实施方式中，在查阅内容期间，查阅者可以选择特定的化身(例如，化身1302或1304)和/或特定的窗口(例如，窗口1310或1312)以进入第一人查阅模式，其中与内容对应的与特定用户相关联的第一人视图作为主视图被展示(例如，不是图13A中所示的第三人视图)。在这样的第一人视图中，与其他用户对应的窗口可能会或可能不会被展示。
图13B示出了根据所公开主题的一些实施方式的在不同时间点的图13A中所示场景的另一个视图的例子。在一些实施方式中，查阅记录的用户可以导航到记录的任何部分，例如通过快进或倒带、沿着清除条(scrubber)1316拖动用户界面元素1314、搜索关键字(例如，从副本)等。图13C示出了根据所公开主题的一些实施方式的在又一个时间的图13A和图13B中所示的场景的鸟瞰图的例子。在一些实施方式中，用户可以使用任何合适的技术或技术组合导航到内容中的特定点(时间)，并且可用的技术可以取决于用于展示内容的硬件。例如，如果内容由2D显示器(例如，通过个人计算机或平板计算机)展示，则用户可以通过选择用户界面元素(例如，使用鼠标、触摸板、触摸屏、游戏控制器等)使用结合内容(未被示出)展示的用户界面元素来进行暂停、播放、快进、倒带、跳过等。作为另一个例子，如果内容正在由2D显示器或HMD展示，则用户可以使用触摸命令(例如，在配对的设备的触摸板上、配对的设备的触摸屏上、HMD上的触敏输入)通过内容导航(例如，轻击播放/暂停、滑动一个方向进行快进、滑动另一个方向进行倒带等)。作为又一个例子，如果内容正在由2D显示器或HMD展示，则用户可以使用语音命令来通过内容导航。
图13D示出了根据所公开主题的一些实施方式的增强现实会话的重放的例子。如图13D所示，更广泛的周围物理环境的视频可能不能用于重放，但是可以展示用户的化身、全息图1318和表示由HMD记录的视频的窗口，而在视频内容的记录期间有或没有表示对话的音频和/或文本。
在一些实施方式中，可以用于在查阅期间展示内容的信息可以由计算设备在任何合适的时间使用任何合适的技术或技术组合来接收。在一些实施方式中，可以在任何合适的时间从任何合适的源接收在会话期间展示的内容(例如，3D模型、一个或多个虚拟环境或虚拟环境的部分等)。例如，可以在展示期间使用内容的时间之前、在展示期间和/或在展示之后将内容下载、上传、侧载到计算设备等。作为另一个例子，至少一部分内容可以已经由计算设备存储(例如，在计算设备用于准备在会话被查阅期间展示的展示的情况下、在计算设备是被配置为展示在展示期间展示的内容的HMD的情况下等)。在一些实施方式中，可以在任何合适的时间接收关于会话的动态部分的信息(例如，HMD的位置、音频、补充内容等)。例如，响应于展示特定会话的请求(例如，来自诸如服务器204的服务器)，计算设备可以接收关于HMD相对于展示的内容、环境和/或其他HMD的位置的记录信息。作为另一个例子，计算设备可以在要查阅的会话期间(例如，计算设备可以记录会话期间的信息)接收关于HMD相对于展示的内容、环境和/或其他HMD的位置的信息。作为又一个例子，计算设备可以在会话的查阅期间(例如，当需要查阅会话时，可以流式传输或以其他方式传送内容)接收关于HMD相对于展示的内容、环境和/或其他HMD的位置的信息。在一些实施方式中，可以使用不同格式来传送动态内容的部分。例如，关于HMD的位置、展示的内容、补充内容等的信息可以作为XML文件传送，并且音频内容和/或视频内容可以作为介质文件被接收。
图14示出了根据所公开主题的一些实施方式的用于查阅由一个或多个HMD记录的介质的过程的例子1400。如图14所示，在1402处，过程1400可以接收要查阅的内容的选择。在一些实施方式中，要查阅的内容可以与其中HMD用于观看增强现实展示的特定会话对应。例如，要查阅的内容可以与对全都使用HMD来跟随讲座的一组学生进行的讲座对应。在一些实施方式中，可以通过任何合适的方式(例如按日期、标题、用户等)组织内容。
在1404处，过程1400可以下载、流式传输、加载和/或以其他方式访问所选择的内容。在一些实施方式中，记录的内容可以通过任何合适的计算设备存储在任何合适的位置。例如，记录的内容可以通过用户计算设备(例如，用户计算设备220)、本地网络上的服务器、远程服务器、网络连接存储器等存储。在一些实施方式中，在1404处可以从存储器检索所选内容以进行展示。
在1406处，过程1400可以通过选择的或默认(例如，如果没有做出选择)的模式来展示来自所选会话的记录内容。例如，过程1400可以从鸟瞰视角、从地平面视角、从记录会话的一个HMD的视角等展示所记录的内容。在一些实施方式中，过程1400可以展示副本的文本。
在1408处，过程1400可以确定观看模式和/或一个或多个设置是否已被更新。例如，用户可以选择新的观看模式，可以打开或关闭文本，可以打开或关闭音频，可以打开或关闭来自特定HMD的视图等。如果过程1400确定观看模式和/或一个或多个设置已被更新(在1408处为“是”)，则过程1400可以移动到1410并且可以基于新的观看模式和/或设置展示更新内容。否则，如果过程1400确定观看模式和/或一个或多个设置尚未更新(在1408处为“否”)，则过程1400可以移动到1412。
在1412处，过程1400可以确定是否已经接收到用于在记录的内容内导航的输入。例如，用户可以搜索特定时间或关键字，可以选择快进用户界面元素，可以沿着清除条移动进度指示器等。如果过程1400确定已经接收到用于在记录的内容内导航的输入(在1412处为“是”)，则过程1400可以移动到1414，并且可以基于接收到的导航输入来改变内容的展示。否则，如果过程1400确定尚未接收到用于在记录的内容内导航的输入(在1412处为“否”)，则过程1400可以返回到1406并继续通过当前设置以当前观看模式展示内容。
在一些实施方式中，任何合适的计算机可读介质都可用于存储用于执行本文描述的功能和/或过程的指令。例如，在一些实施方式中，计算机可读介质可以是暂时的或非暂时的。例如，非暂时性计算机可读介质可以包括诸如磁介质(例如硬盘、软盘等)、光学介质(例如压缩盘、数字视频盘、蓝光盘等)、半导体介质(例如RAM、闪存、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)等)的介质、在传输过程中不是短暂的或没有任何永久相似的任何合适的介质和/或任何合适的有形介质。作为另一个例子，暂时性计算机可读介质可以包括网络、导线、导体、光纤、电路、在传输过程中短暂且没有任何永久相似的任何其他合适的介质和/或任何合适的无形介质上的信号。
本领域技术人员将理解，尽管上面结合特定的实施方式和例子描述了所公开主题，但是本发明不一定受此限制，并且许多其他实施方式、例子、用途、修改以及与实施方式、例子和用途的偏离旨在由所附权利要求书涵盖。本文引用的每个专利和出版物的全部公开内容都通过引用结合到本文中，如同每个这样的专利或出版物通过引用单独地并入本文。
在以下权利要求中阐述了本发明的各种特征和优点。

Claims (17)

1.一种用于显示交互式增强现实展示的系统，其包括：
增强现实设备，其包括：
显示器；以及
至少一个处理器，其中所述至少一个处理器被编程为：
确定与增强现实设备相关联的物理环境内的多个预定内容显示位置中的哪一些位于头戴式显示器的视场内；以及
从增强现实设备的视场内的多个内容显示位置中选择多个预定内容显示位置中的最靠近增强现实设备的内容显示位置；以及
使得要由增强现实设备显示的内容锚定在所选择的内容显示位置处。
2.根据权利要求1所述的系统，其中，所述至少一个处理器还被编程为：
接收包括第一三维模型的第一内容，其中所述内容包括第一内容；
接收包括第二三维模型的第二内容；
使用显示器在第一时间展示锚定在所选择的内容显示位置处的第一三维模型的第一视图；以及
使用显示器在第一时间之后的第二时间展示第二三维模型的第一视图。
3.根据权利要求2所述的系统，其中，所述至少一个处理器还被编程为：
在第一时间之后且在第二时间之前的第三时间从服务器接收一个或多个指令，其中所述一个或多个指令包括使得头戴式显示器停止在所选择的内容显示位置展示第一内容以及开始展示锚定在所选择的内容显示位置的第二内容的至少一个指令。
4.根据权利要求2所述的系统，其中，在展示所述第一内容之前，将所述第一内容和所述第二内容接收作为内容资料库的一部分。
5.根据权利要求4所述的系统，其中，在所述至少一个处理器确定与头戴式显示器相关联的物理环境内的多个预定内容显示位置中的哪一些位于头戴式显示器的视场内之前，预加载内容资料库。
6.根据权利要求2所述的系统，其中，在所述第一时间之前接收所述第一内容，并且在所述第一时间之后接收所述第二内容。
7.根据权利要求2所述的系统，其还包括设备取向跟踪系统，其中所述至少一个硬件处理器还被编程为：
接收要在所述多个预定内容显示位置中的第一预定内容显示位置处展示所述第一内容的指示，其中所述第一预定内容显示位置与所选择的内容显示位置相对应；
接收要在所述多个预定内容显示位置中的第二预定内容显示位置处展示所述第二内容的指示；
基于所述设备取向跟踪系统输出的信息，确定第二视场；
确定多个预定内容显示位置中的哪一些位于第二视场中；
从增强现实设备的第二视场内的多个内容显示位置中选择多个预定内容显示位置中的最靠近增强现实设备的第二内容显示位置，其中第二内容显示位置与第二预定内容显示位置对应；以及
响应于选择所述第二预定内容显示位置，展示锚定在所述第二预定内容显示位置的所述第二三维模型。
8.根据权利要求1所述的系统，其中所述至少一个处理器还被编程为：
接收关于第二增强现实设备在第一时间段期间相对于第二增强现实设备的物理环境中的第二增强现实设备正在显示内容所在的位置的定位的信息，其中第二增强现实设备远离所述增强现实设备；
基于关于第二增强现实设备的位置信息，使用所述显示器，展示第二增强现实设备的使用者位于靠近内容显示位置处的表示，使得关于所述内容定位使用者的表示，以反映第二增强现实设备在第一时间段期间相对于第二增强现实设备的物理环境中的位置的定位。
9.根据权利要求8所述的系统，其中所述至少一个处理器还被编程为：
接收关于使用者的手部相对于第二增强现实设备正在展示内容所在的位置的定位的信息，
使用显示器，基于关于手部位置的信息，展示手部的表示。
10.根据权利要求8所述的系统，其中所述至少一个处理器还被编程为：
接收由第二增强现实设备记录的音频；以及
在展示内容期间通过扬声器展示音频。
11.根据权利要求1所述的系统，其中所述增强现实设备是头戴式显示器。
12.根据权利要求11所述的系统，其中所述显示器是透明显示器。
13.一种用于显示交互式内容的系统，其包括：
第一头戴式显示器，其中所述第一头戴式显示器被配置为：
接收包括第一内容和第二内容的内容；
至少部分基于头戴式显示器的位置相对于与环境中的第一位置的靠近度，在第一时间段期间在环境中的第一位置处展示第一内容；
接收指示第二头戴式显示器正在第一时间段期间在第二头戴式显示器的物理环境中的第一位置处展示第一内容的信息；
接收第二头戴式显示器在第一时间段期间相对于第二头戴式显示器的物理环境中的第一位置的定位的信息；
在第一时间段期间基于关于第二头戴式显示器的位置信息，展示第二头戴式显示器的使用者位于靠近环境中的第一位置处的表示，使得关于环境中的所述第一内容定位使用者的表示，以反映第二头戴式显示器在第一时间段期间相对于第二头戴式显示器的物理环境中的第一位置的定位；
至少部分基于头戴式显示器与环境中的第二位置的靠近度展示环境中的第二位置处的第二内容。
14.根据权利要求13所述的系统，其中所述头戴式显示器包括透明显示器。
15.根据权利要求13所述的系统，其中所述头戴式显示器包括虚拟现实显示器。
16.根据权利要求13所述的系统，其中所述头戴式显示器还被配置为：
确定环境中的多个预定内容显示位置中的哪一些位于头戴式显示器的视场内；以及
从头戴式显示器的视场内的多个内容显示位置中选择多个预定内容显示位置中的最靠近头戴式显示器的内容显示位置；以及
使得要由头戴式显示器显示的第一内容锚定在所选择的内容显示位置处。
17.根据权利要求16所述的系统，其中所述至少一个处理器还被编程为：
接收使用者的手部相对于第二增强现实设备正在展示内容所在的位置的定位的信息；以及
基于关于手部位置的信息，使用显示器展示手部的表示。
CN202111486591.4A 2016-12-05 2017-12-05 用于显示交互式增强现实展示的系统、方法和介质 Pending CN114236837A (zh)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201662430179P 2016-12-05 2016-12-05
US62/430,179 2016-12-05
US201762479214P 2017-03-30 2017-03-30
US62/479,214 2017-03-30
US201762492832P 2017-05-01 2017-05-01
US62/492,832 2017-05-01
US201762560869P 2017-09-20 2017-09-20
US62/560,869 2017-09-20
PCT/US2017/064781 WO2018106735A1 (en) 2016-12-05 2017-12-05 Systems, methods, and media for displaying interactive augmented reality presentations
CN201780085576.4A CN110300909B (zh) 2016-12-05 2017-12-05 用于显示交互式增强现实展示的系统、方法和介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780085576.4A Division CN110300909B (zh) 2016-12-05 2017-12-05 用于显示交互式增强现实展示的系统、方法和介质

Publications (1)

Publication Number Publication Date
CN114236837A true CN114236837A (zh) 2022-03-25

Family

ID=62491351

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111486591.4A Pending CN114236837A (zh) 2016-12-05 2017-12-05 用于显示交互式增强现实展示的系统、方法和介质
CN201780085576.4A Active CN110300909B (zh) 2016-12-05 2017-12-05 用于显示交互式增强现实展示的系统、方法和介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780085576.4A Active CN110300909B (zh) 2016-12-05 2017-12-05 用于显示交互式增强现实展示的系统、方法和介质

Country Status (10)

Country Link
US (3) US10937391B2 (zh)
EP (1) EP3548958A4 (zh)
JP (3) JP2020501265A (zh)
KR (2) KR20190088545A (zh)
CN (2) CN114236837A (zh)
AU (2) AU2017373858B2 (zh)
CA (1) CA3046077A1 (zh)
IL (1) IL267052A (zh)
MX (2) MX2019006567A (zh)
WO (1) WO2018106735A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8314790B1 (en) * 2011-03-29 2012-11-20 Google Inc. Layer opacity adjustment for a three-dimensional object
US9589000B2 (en) * 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
CN114236837A (zh) 2016-12-05 2022-03-25 凯斯西储大学 用于显示交互式增强现实展示的系统、方法和介质
WO2019032967A1 (en) * 2017-08-10 2019-02-14 Google Llc HAND INTERACTION SENSITIVE TO THE CONTEXT
GB2569785B (en) * 2017-12-20 2022-07-13 Sony Interactive Entertainment Inc Data processing
US10990755B2 (en) * 2017-12-21 2021-04-27 International Business Machines Corporation Altering text of an image in augmented or virtual reality
US10567321B2 (en) 2018-01-02 2020-02-18 Snap Inc. Generating interactive messages with asynchronous media content
US10523606B2 (en) 2018-01-02 2019-12-31 Snap Inc. Generating interactive messages with asynchronous media content
JP2019145008A (ja) * 2018-02-23 2019-08-29 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
US11741845B2 (en) * 2018-04-06 2023-08-29 David Merwin Immersive language learning system and method
GB2572786B (en) * 2018-04-10 2022-03-09 Advanced Risc Mach Ltd Image processing for augmented reality
US10916065B2 (en) * 2018-05-04 2021-02-09 Facebook Technologies, Llc Prevention of user interface occlusion in a virtual reality environment
US10768426B2 (en) * 2018-05-21 2020-09-08 Microsoft Technology Licensing, Llc Head mounted display system receiving three-dimensional push notification
US11063889B2 (en) 2018-06-08 2021-07-13 Snap Inc. Generating interactive messages with entity assets
CN112639731A (zh) 2018-07-24 2021-04-09 奇跃公司 应用共享
US10581940B1 (en) * 2018-08-20 2020-03-03 Dell Products, L.P. Head-mounted devices (HMDs) discovery in co-located virtual, augmented, and mixed reality (xR) applications
JP6754815B2 (ja) * 2018-11-07 2020-09-16 スカパーＪｓａｔ株式会社 拡張現実システム、拡張現実端末および方法
FR3091399A1 (fr) * 2018-12-28 2020-07-03 Orange Procédé de commande d’un système de réalité virtualisée, et système pour la mise en œuvre du procédé
US11137875B2 (en) * 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Mixed reality intelligent tether for dynamic attention direction
US10890992B2 (en) * 2019-03-14 2021-01-12 Ebay Inc. Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces
US11150788B2 (en) * 2019-03-14 2021-10-19 Ebay Inc. Augmented or virtual reality (AR/VR) companion device techniques
US11012390B1 (en) 2019-03-28 2021-05-18 Snap Inc. Media content response in a messaging system
US11206505B2 (en) 2019-05-06 2021-12-21 Universal City Studios Llc Systems and methods for dynamically loading area-based augmented reality content
US10665036B1 (en) * 2019-08-03 2020-05-26 VIRNECT inc. Augmented reality system and method with dynamic representation technique of augmented images
US11704874B2 (en) * 2019-08-07 2023-07-18 Magic Leap, Inc. Spatial instructions and guides in mixed reality
WO2021049791A1 (ko) * 2019-09-09 2021-03-18 장원석 증강현실과 가상현실을 이용한 문서의 처리 시스템 및 그 방법
CN110908504B (zh) * 2019-10-10 2021-03-23 浙江大学 一种增强现实博物馆协作交互方法与系统
US11743064B2 (en) * 2019-11-04 2023-08-29 Meta Platforms Technologies, Llc Private collaboration spaces for computing systems
US11468605B2 (en) * 2019-12-12 2022-10-11 Sony Interactive Entertainment Inc. VR real player capture for in-game interaction view
US11386652B2 (en) * 2019-12-26 2022-07-12 Paypal, Inc. Tagging objects in augmented reality to track object data
JP2023514572A (ja) 2020-02-14 2023-04-06 マジック リープ， インコーポレイテッド セッションマネージャ
US11265274B1 (en) 2020-02-28 2022-03-01 Snap Inc. Access and routing of interactive messages
US11262588B2 (en) * 2020-03-10 2022-03-01 Magic Leap, Inc. Spectator view of virtual and physical objects
CN111610861A (zh) * 2020-05-25 2020-09-01 歌尔科技有限公司 跨平台交互方法、ar装置及服务器和vr装置及服务器
CN111744189B (zh) * 2020-07-27 2022-02-01 腾讯科技（深圳）有限公司 画面更新方法、装置、计算机设备和存储介质
US20220392172A1 (en) * 2020-08-25 2022-12-08 Scott Focke Augmented Reality App and App Development Toolkit
US11373375B2 (en) * 2020-08-27 2022-06-28 Micron Technology, Inc. Augmented reality product display
CN113313812A (zh) * 2020-09-16 2021-08-27 阿里巴巴集团控股有限公司 家具展示、交互方法、装置、电子设备和存储介质
JP2022110509A (ja) * 2021-01-18 2022-07-29 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11620796B2 (en) * 2021-03-01 2023-04-04 International Business Machines Corporation Expert knowledge transfer using egocentric video
CN113141346B (zh) * 2021-03-16 2023-04-28 青岛小鸟看看科技有限公司 基于串流的vr一拖多系统及方法
US11769134B2 (en) * 2021-03-22 2023-09-26 International Business Machines Corporation Multi-user interactive ad shopping using wearable device gestures
CN113761776B (zh) * 2021-08-24 2023-03-14 中国人民解放军总医院第一医学中心 基于增强现实的心脏出血与止血模型的仿真系统和方法
WO2023087005A1 (en) * 2021-11-12 2023-05-19 Case Western Reserve University Systems, methods, and media for controlling shared extended reality presentations
WO2024062590A1 (ja) * 2022-09-22 2024-03-28 マクセル株式会社 仮想現実システム及びそれに用いるヘッドマウントディスプレイ

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015011360A (ja) * 2013-06-26 2015-01-19 株式会社デジタル・スタンダード 情報処理装置およびプログラム
US20160041388A1 (en) * 2014-08-11 2016-02-11 Seiko Epson Corporation Head mounted display, information system, control method for head mounted display, and computer program
CN105393158A (zh) * 2013-06-18 2016-03-09 微软技术许可有限责任公司 共享的和私有的全息物体
US20160260251A1 (en) * 2015-03-06 2016-09-08 Sony Computer Entertainment Inc. Tracking System for Head Mounted Display

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879994B2 (en) * 2009-10-02 2014-11-04 Blackberry Limited Methods and devices for facilitating Bluetooth pairing using a camera as a barcode scanner
KR101329882B1 (ko) * 2010-08-12 2013-11-15 주식회사 팬택 Ａｒ 정보창 표시를 위한 사용자 장치 및 그 방법
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
JP5675470B2 (ja) * 2011-04-01 2015-02-25 オリンパス株式会社 画像生成システム、プログラム及び情報記憶媒体
KR101072395B1 (ko) * 2011-07-21 2011-10-11 한국해양연구원 천정 이동형 투명 디스플레이를 이용한 선박용 증강현실 시스템 및 그 구현 방법
US8847988B2 (en) 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
US9977492B2 (en) 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
AU2014248874B2 (en) * 2013-03-11 2019-07-11 Magic Leap, Inc. System and method for augmented and virtual reality
US9390561B2 (en) * 2013-04-12 2016-07-12 Microsoft Technology Licensing, Llc Personal holographic billboard
US9452354B2 (en) * 2013-06-07 2016-09-27 Sony Interactive Entertainment Inc. Sharing three-dimensional gameplay
US9256987B2 (en) 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
KR101627169B1 (ko) * 2013-09-27 2016-06-07 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템
US20150097719A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
WO2015097792A1 (ja) * 2013-12-25 2015-07-02 富士通株式会社 ペアリング処理装置、ペアリング処理方法及びペアリング処理プログラム
KR20150084200A (ko) 2014-01-13 2015-07-22 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
US9524588B2 (en) * 2014-01-24 2016-12-20 Avaya Inc. Enhanced communication between remote participants using augmented and virtual reality
US9495801B2 (en) 2014-05-01 2016-11-15 Microsoft Technology Licensing, Llc Pose tracking an augmented reality device
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
JP2018505730A (ja) * 2015-01-21 2018-03-01 スミスズ メディカル エーエスディー，インコーポレイティド 医療デバイスの制御方法
WO2016187477A1 (en) * 2015-05-20 2016-11-24 Daqri, Llc Virtual personification for augmented reality system
US10339382B2 (en) * 2015-05-31 2019-07-02 Fieldbit Ltd. Feedback based remote maintenance operations
US10242643B2 (en) * 2016-07-18 2019-03-26 Microsoft Technology Licensing, Llc Constrained head-mounted display communication
CN114236837A (zh) 2016-12-05 2022-03-25 凯斯西储大学 用于显示交互式增强现实展示的系统、方法和介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105393158A (zh) * 2013-06-18 2016-03-09 微软技术许可有限责任公司 共享的和私有的全息物体
JP2015011360A (ja) * 2013-06-26 2015-01-19 株式会社デジタル・スタンダード 情報処理装置およびプログラム
US20160041388A1 (en) * 2014-08-11 2016-02-11 Seiko Epson Corporation Head mounted display, information system, control method for head mounted display, and computer program
US20160260251A1 (en) * 2015-03-06 2016-09-08 Sony Computer Entertainment Inc. Tracking System for Head Mounted Display

Also Published As

Publication number Publication date
US20240005892A1 (en) 2024-01-04
MX2022010708A (es) 2022-09-27
WO2018106735A1 (en) 2018-06-14
KR20190088545A (ko) 2019-07-26
JP2022046670A (ja) 2022-03-23
EP3548958A1 (en) 2019-10-09
US10937391B2 (en) 2021-03-02
CA3046077A1 (en) 2018-06-14
JP2020501265A (ja) 2020-01-16
JP7409692B2 (ja) 2024-01-09
US20220013084A1 (en) 2022-01-13
EP3548958A4 (en) 2020-07-29
AU2017373858A1 (en) 2019-06-27
US11915670B2 (en) 2024-02-27
US20190304406A1 (en) 2019-10-03
MX2019006567A (es) 2020-09-07
US11580935B2 (en) 2023-02-14
JP2024037868A (ja) 2024-03-19
CN110300909A (zh) 2019-10-01
AU2017373858B2 (en) 2022-09-29
CN110300909B (zh) 2021-12-24
AU2022291565A1 (en) 2023-02-02
KR20240033136A (ko) 2024-03-12
IL267052A (en) 2019-07-31

Similar Documents

Publication Publication Date Title
CN110300909B (zh) 用于显示交互式增强现实展示的系统、方法和介质
Schmalstieg et al. Augmented reality: principles and practice
US20210312887A1 (en) Systems, methods, and media for displaying interactive augmented reality presentations
US20180324229A1 (en) Systems and methods for providing expert assistance from a remote expert to a user operating an augmented reality device
US20190019011A1 (en) Systems and methods for identifying real objects in an area of interest for use in identifying virtual content a user is authorized to view using an augmented reality device
US20230062951A1 (en) Augmented reality platform for collaborative classrooms
US20160320833A1 (en) Location-based system for sharing augmented reality content
US11656682B2 (en) Methods and systems for providing an immersive virtual reality experience
EP4252195A1 (en) Real world beacons indicating virtual locations
KR101770188B1 (ko) 혼합 현실 체험 공간 제공 방법 및 시스템
Broschart et al. ARchitecture–Augmented Reality Techniques and Use Cases in Architecture and Urban Planning
US20230237731A1 (en) Scalable parallax system for rendering distant avatars, environments, and dynamic objects
US20230334791A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230334790A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230298250A1 (en) Stereoscopic features in virtual reality
Lattin et al. EXTENDED REALITY (XR) 360 SYSTEM AND TOOL SUITE
WO2019105002A1 (en) Systems and methods for creating virtual 3d environment
WO2023215637A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2023212571A1 (en) Systems, methods, and media for displaying interactive extended reality content
WO2024039887A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
CN117897677A (zh) 人工现实设备采集控制和共享
WO2024039885A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
KR20200031255A (ko) 인터랙션 콘텐츠에 대한 영상 데이터 공유 시스템 및 그 방법
KR20200031259A (ko) 인터랙션 콘텐츠에 대한 영상 데이터 공유 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination