CN109069935B - 用于生成立体的、增强的和虚拟现实图像的系统和方法 - Google Patents

Abstract

一种骑乘系统包括被配置成由用户穿戴的眼佩戴物34。该眼佩戴物包括具有立体特征的显示器37、38，该显示器被配置成准许查看外部投影的立体显示图像。该骑乘系统包括通信地耦合到眼佩戴物34的计算机图形生成系统32，并且被配置成基于经由眼佩戴物的相机40、42捕获的图像数据生成现实世界环境的流媒体、生成叠加在现实世界环境的流媒体上的一个或多个虚拟增强，以及传输现实世界环境的流媒体连同要显示在眼佩戴物34的显示器上的一个或多个叠加的虚拟增强，以及将立体图像投影到现实世界环境中。

Description

用于生成立体的、增强的和虚拟现实图像的系统和方法

相关申请的交叉引用

本申请要求2016年5月5日提交的题为“SYSTEMS AND METHODS FOR GENERATINGSTEREOSCOPIC, AUGMENTED, AND VIRTUAL REALITY IMAGES（用于生成立体的、增强的和虚拟现实图像的系统和方法）”的美国临时申请号62/332,299的权益，为了全部目的将该临时申请的公开内容通过引用并入本文。

技术领域

本文中所公开的主题涉及游乐园景点，更具体地，涉及在游乐园景点中提供增强的刺激因素和感兴趣的组件。

背景技术

游乐园和/或主题公园可以包括各种娱乐景点、餐馆和骑乘（ride），其在向游乐园的顾客（例如，所有年龄段的家庭和/或人）提供娱乐方面是有用的。例如，景点可以包括针对儿童的传统骑乘（诸如旋转木马），以及针对寻求刺激者的传统骑乘（诸如过山车）。现在认识到的是，向这样的景点添加感兴趣的组件和刺激因素可能是困难而且是限制性的。常规地，例如，在提供越来越复杂的陡峭、扭曲和卷绕过山车轨道的系统之外，这样的过山车和/或其他类似的刺激骑乘的刺激因素可能受限于刺激骑乘本身的现有路线或物理性质。现在认识到的是，以相对于传统技术是灵活且有效的方式在这些景点中包括感兴趣的组件和刺激因素是合期望的。

发明内容

下面概述了与本公开的范围相称的某些实施例。这些实施例不意图限制本公开的范围，而是这些实施例仅意图提供本实施例的可能形式的简要概述。实际上，本实施例可以涵盖可以与下面阐述的实施例类似或不同的各种各样的形式。

在一个实施例中，一种骑乘系统包括被配置成由用户穿戴的眼佩戴物，其中，该眼佩戴物包括具有立体特征的显示器，该显示器被配置成准许查看外部生成的立体显示图像。该骑乘系统包括计算机图形生成系统，该计算机图形生成系统通信地耦合到眼佩戴物，并且被配置成基于经由眼佩戴物的相机所捕获的图像数据生成现实世界环境的流媒体、生成叠加在现实世界环境的流媒体上的一个或多个虚拟增强、传输现实世界环境的流媒体连同要在眼佩戴物的显示器上显示的一个或多个叠加的虚拟增强、以及将立体图像投影到现实世界环境中。

在第二实施例中，可穿戴电子设备包括：框架，其包括框架前部；左眼显示透镜和右眼显示透镜，其耦合到框架前部；左眼显示透镜上的第一滤光器；右眼显示透镜上的第二滤光器，其中，第一滤光器与第二滤光器不同；以及处理电路，其被配置成：接收来自计算机图形生成系统的信号，其中，该信号包括现实世界环境的虚拟化的视频流连同包括在该视频流中的至少一个增强现实（AR）图像或至少一个虚拟现实（VR）图像；并且使左眼显示器和右眼显示器显示该视频流。

在第三实施例中，一种方法包括：经由计算机图形生成系统接收或访问环境图像数据，基于该环境图像数据生成游乐园的现实世界环境的虚拟化；将增强现实（AR）图像或虚拟现实（VR）图像叠附到现实世界环境的虚拟化上；在游乐园骑乘的周期期间向眼佩戴物传输叠附的AR图像或VR图像连同现实世界环境的虚拟化；向眼佩戴物传输信号以准许通过眼佩戴物的显示器进行查看；在传输信号之后将立体图像投影到现实世界环境的表面上；以及使立体图像通过眼佩戴物中的滤光器被反射到用户的左眼和右眼中，以生成3D图像的错觉。

附图说明

在参考附图阅读以下详细描述的情况下将更好地理解本公开的这些和其他特征、方面和优点，附图中相同的附图标记遍及附图表示相同的部分，其中：

图1图示了根据本发明实施例的包括一个或多个景点的游乐园的实施例；

图2是根据本实施例的立体增强现实（AR）或虚拟现实（VR）眼佩戴物和计算机图形生成系统的实施例的图示；

图3是立体增强现实（AR）或虚拟现实（VR）眼佩戴物的实施例的图示；

图4是根据本实施例的图1的刺激骑乘的透视图，其包括借助于图2的立体AR/VR眼佩戴物所提供的各种AR和VR图像；以及

图5是图示了根据本实施例的通过使用图2的计算机图形生成系统在骑乘期间的AR体验、VR体验或混合现实体验内创建立体图像方面有用的过程的实施例的流程图。

具体实施方式

下面将描述本公开的一个或多个具体实施例。为了提供这些实施例的简明描述，可能不在说明书中描述实际实现方式的全部特征。应当领会的是，在任何这样的实际实现方式的开发中，如在任何工程或设计项目中那样，必须做出许多实现方式特定的决策以实现开发者的具体目标，例如遵守系统相关和业务相关的约束，该约束可以从一个实现方式到另一个而不同。此外，应当领会的是，这样的开发努力可能是复杂且耗时的，但是对受益于本公开的普通技术人员而言将仍是设计、制作和制造的例行工作。

本实施例涉及提供作为游乐园或主题公园中的景点（诸如刺激骑乘）的部分的立体混合或增强现实（AR）体验、虚拟现实（VR）体验或其组合的系统和方法。在某些实施例中，可以为每个骑乘乘客（例如，第一乘客、第二乘客等）提供眼佩戴物，诸如在刺激骑乘的周期期间要穿戴的一对电子护目镜或眼佩戴物。该眼佩戴物可以便于AR体验、VR体验或两种体验的组合。因此，眼佩戴物可以被称为立体眼佩戴物或立体AR/VR眼佩戴物。立体AR/VR眼佩戴物提供查看立体图像的能力，其生成3D图像的错觉。此外，立体AR/VR眼佩戴物被配置为用于显示叠附在用户的现实世界环境的图像上的增强或虚拟现实图像，其生成叠附图像是现实世界环境的部分的错觉。因此，利用显示透镜实现立体AR/VR眼佩戴物，该显示透镜能够显示从中央控制器传输的叠附的AR/VR图像，还能够准许用户查看包括任何立体显示图像的现实世界环境。例如，显示透镜可以利用偏振层、主动快门、色移能力或者准许立体查看并且与眼佩戴物的AR/VR能力兼容的其他技术来实现。以这种方式，可以在环境中使用单个眼佩戴物设备来渲染各种各样不同类型的视觉体验。在基础层面，眼佩戴物还可以在某些情况下准许无辅助、非立体或未增强的查看，例如，在主题公园骑乘的开始时准许用户自己适应环境。

立体AR/VR眼佩戴物能够担任针对图像的显示器，该图像被创建以利用增强图像反映现实世界环境。在这样的实施例中，用户以下述方式来查看显示在眼佩戴物的透镜上的显示图像，该方式为创建一种增强图像是实时查看的现实世界环境的错觉。可以提前记录现实世界环境的图像，例如，该现实世界的图像可以存储在系统的存储器中，或者在某些实施例中，可以由用户实时收集。具体地，在一个实施例中，眼佩戴物包括至少两个相机，其可以分别与骑乘乘客的相应视点（例如，右眼和左眼视图）相对应并且可以被用来捕获骑乘乘客和/或刺激骑乘的现实世界环境（例如，物理游乐园的外貌）的实时视频数据（例如，在直播使用期间捕获的并且基本上实时传输的视频）。眼佩戴物还可以包括显示器。例如，眼佩戴物可以包括至少两个显示器，其分别与使用眼佩戴物的骑乘乘客的每只眼睛相对应。

在某些实施例中，还可以提供计算机图形生成系统。计算机图形生成系统可以接收来自眼佩戴物的实时视频数据（例如，基本上实时传输的直播视频），并且可以在骑乘周期期间向骑乘乘客的相应眼佩戴物的相应显示器渲染现实世界环境的视频流连同各种AR、VR或组合的AR和VR（AR/VR）图形图像。例如，在一个实施例中，计算机图形生成系统可以基于例如在刺激骑乘的周期期间骑乘乘客车辆沿过山车的轨道的方位或位置、在刺激骑乘的周期期间由乘客骑乘车辆行进的预先确定的距离、或者在刺激骑乘的周期中经过预先确定的时间流逝之后向眼佩戴物呈现AR/VR图形图像。以这种方式，通过使用眼佩戴物和图形生成系统来创建AR体验、VR体验或混合现实体验，眼佩戴物和计算机图形生成系统可以增强刺激骑乘的刺激因素，并且通过扩展，可以增强骑乘乘客在他们骑乘该刺激骑乘时的体验。然而，应当领会的是，本文中所描述的技术可以不限于刺激骑乘和/或游乐园景点应用，而是也可以扩展到各种应用中的任何应用，例如医疗应用（例如，图像引导手术、无创成像分析）、工程设计应用（例如，工程模型开发）、制造、建造和维护应用（例如，产品制造、新建筑建造，汽车维修）、学术和/或职业培训应用、运动应用（例如，健美和减肥模型）、电视（TV）应用（例如，天气和新闻）等等。

利用上述想法，可能有用的是描述游乐园的实施例，诸如如在图1中描绘的示例游乐园10。如图示的，游乐园10可以包括刺激骑乘12、游乐园设施的大型购物区14（例如，餐馆、纪念品商店等等）和附加的娱乐景点16（例如，摩天轮、黑暗骑乘或其他景点）。在某些实施例中，刺激骑乘12可以包括过山车或其他类似的刺激骑乘，并且因此可以进一步包括闭环轨道或闭环轨道的系统18（例如，数英里的轨道18）。轨道18可以作为基础设施提供，例如当骑乘乘客22、24、26、28骑乘刺激骑乘12时，乘客骑乘车辆20可以在该基础设施上通过。轨道18因此可以限定骑乘车辆20的运动。然而，在另一实施例中，例如，轨道18可以由受控路径代替，其中可以经由电子系统、磁系统或除了轨道18之外的其他类似系统基础设施来控制骑乘车辆20的移动。应当领会的是，虽然乘客骑乘车辆20可以被图示为4个乘客的车辆，但是在其他实施例中，乘客骑乘车辆20可以包括任何数量的乘客空间（例如，1、2、4、8、10、20或更多个空间）以容纳单组或多组骑乘乘客22、24、26、28。应当理解的是，虽然在骑乘车辆20的情境中描述了刺激骑乘12，但是设想到其他实施例（例如，坐着的舞台环境、步行或自由运动的表演场环境等）并且可以与所公开的实施例结合使用。

当乘客骑乘车辆20通过轨道18时，可以在刺激骑乘12周围或附近的区域中为骑乘乘客22、24、26、28提供风景的移动游览（例如，设施14、附加的娱乐景点16等）。例如，这可以包括刺激骑乘12周围的环境（例如，完全或部分容纳刺激骑乘12的建筑物）。虽然骑乘乘客22、24、26、28可以发现刺激骑乘12是非常愉快的体验，但在某些实施例中，可能有用的是通过增强例如刺激骑乘12的刺激因素来增强在骑乘乘客22、24、26、28骑乘刺激骑乘12时骑乘乘客22、24、26、28的体验。具体地，代替仅具有游乐园10内的设施14（例如，餐馆、纪念品商店等）、附加的娱乐景点16（例如，摩天轮或其他景点）或其他顾客或行人的物理视图，可能有用的是在骑乘车辆20通过轨道18时向骑乘乘客22、24、26、28提供增强现实（AR）体验或虚拟现实（VR）体验。

例如，现在转向图2，可以为骑乘乘客22、24、26、28中的每一个提供一对立体AR/VR眼佩戴物34，在某些实施例中其可以包括眼佩戴物。在其他实施例中，可以作为头盔、面罩、头带、一对眼罩、一个或多个眼垫和/或可以由骑乘乘客22、24、26、28穿戴的其他头饰或眼佩戴物的部分包括立体AR/VR眼佩戴物34。如描绘的，立体AR/VR眼佩戴物34可以经由无线网络48（例如，无线局域网[WLAN]、无线广域网[WWAN]、近场通信[NFC]）通信地耦合到计算机图形生成系统32（例如，在游乐园10内）。立体AR/VR眼佩戴物34可以被用来创建超现实环境30，其可以包括AR体验、VR体验、混合现实体验、AR和VR体验的组合、计算机介导的现实体验、其组合或者在骑乘乘客22、24、26、28骑乘刺激骑乘12时针对该骑乘乘客22、24、26、28的其他类似的超现实环境。具体地，骑乘乘客22、24、26、28可以在整个骑乘期间穿戴立体AR/VR眼佩戴物34，以使得骑乘乘客22、24、26、28可以感觉完全被环境30环绕，并且可以将环境30感知为现实世界的物理环境。具体地，如将进一步领会的，环境30可以是包括与一个或多个AR或VR图像45（例如，虚拟增强）电子地合并的现实世界图像44的实时视频，该现实世界图像44即使在骑乘乘客22、24、26、28没有穿戴立体AR/VR眼佩戴物34时也将看得到。术语“实时”指示在基本上接近实际观察时间的时间帧内获得和/或提供图像。在替换的实施例中，所获得的图像可以是环境的历史图像。

在某些实施例中，立体AR/VR眼佩戴物34可以是各种可穿戴电子设备中的任何一种，该可穿戴电子设备在创建AR体验、VR和/或其他计算机介导体验方面可能是有用的，用以增强刺激骑乘12的刺激因素，并且通过扩展，增强骑乘乘客22、24、26、28在刺激骑乘12上时的体验。应当领会的是，如本文所讨论的立体AR/VR眼佩戴物34的眼佩戴物实施例可以与诸如头戴式显示器（HMD）和/或平视显示器（HUD）之类的传统设备不同，并且可以提供优于它们的许多优点。例如，如将进一步领会的，立体AR/VR眼佩戴物34可以包括可以被用来在刺激骑乘12的周期期间跟踪骑乘乘客22、24、26、28的方位、取向和运动的多个取向和方位传感器（例如，加速度计、磁力计、陀螺仪、全球定位系统[GPS]接收器）。

类似地，立体AR/VR眼佩戴物34的特征（例如，几何外貌或标记）可以由监控系统（例如，一个或多个相机）进行监控，以确定立体AR/VR眼佩戴物34的方位、位置、取向等，并且进而确定穿戴者的方位、位置、取向等。仍然，骑乘乘客22、24、26、28可以由监控系统33（例如，相机）进行监控，该监控系统33可以通信地耦合到计算机图形生成系统32并且被用来识别骑乘者乘客22、24、26、28的方位、位置、取向等。骑乘车辆20还可包括一个或多个传感器（例如，重量传感器、质量传感器、运动传感器、超声波传感器），该一个或多个传感器在为图形生成系统32监控相应骑乘乘客22、24、26、28以确定相应骑乘乘客22、24、26、28的视点方面可能是有用的。此外，如将进一步领会的，因为立体AR/VR眼佩戴物34可以包括个体相机（例如，相机40和42）和个体显示器（例如，显示器37和38），所以可以由立体AR/VR眼佩戴物34捕获关于骑乘乘客22、24、26、28的每只眼睛的相应视点的数据。使用诸如传统HMD和/或HUD之类的设备可能不能得到全部这些优点。

在某些实施例中，为了支持创建环境30，立体AR/VR眼佩戴物34可以包括处理电路，诸如处理器35和存储器36。处理器35可以可操作地耦合到存储器36以执行用于实行当前公开的技术的指令，该当前公开的技术生成与一个或多个AR/VR图像45合并的现实世界图像44以增强刺激骑乘12的刺激因素，并且通过扩展增强骑乘乘客22、24、26、28在刺激骑乘12上时的体验。这些指令可以编码在被存储在有形非临时性计算机可读介质（诸如存储器36和/或其他存储装置）中的程序或代码中。处理器35可以是通用处理器、片上系统（SoC）设备、专用集成电路（ASIC）或一些其他类似的处理器配置。在替换的实施例中，可以作为由用户携带的（例如，夹在腰部或在口袋中携带）、与立体AR/VR眼佩戴物34有线连接或无线通信的辅助包来提供处理器35和存储器36。在其他实施例中，立体AR/VR眼佩戴物34与计算机图形生成系统32无线通信，并且不实行机载图像处理。

在某些实施例中，如进一步图示的，立体AR/VR眼佩戴物34还可包括分别与骑乘乘客22、24、26、28的每只眼睛相对应的一对显示器37和38（例如，该一对显示器可以在立体AR/VR眼佩戴物34的框架前部39中提供，在该框架前部39中否则将出现眼镜镜片）。在其他实施例中，可以采用统一的显示器。相应显示器37和38均可以包括覆盖查看表面的至少一部分或仅一些的显示器。显示器37、38可以是不透明的液晶显示器（LCD）、不透明的有机发光二极管（OLED）显示器、或在向骑乘乘客22、24、26、28显示现实世界图像44和AR/VR图形图像45方面有用的其他类似的显示器。在另一实施例中，相应的显示器37和38可以均包括透视LCD或透视OLED显示器，其在允许例如骑乘乘客22、24、26、28查看出现在相应显示器37和38上的现实世界图像44和AR/VR图形图像45，同时保持通过相应显示器37和38看到实际和物理现实世界环境（例如，游乐园10）的能力方面是有用的。在又一个实施例中，显示器37和38准许查看立体图像43。显示器37、38还可以包括光场显示器。在某些实施例中，取决于期望的视觉环境，显示器37、38可以在不透明与透明配置之间切换。

相机40和42可以分别与骑乘乘客22、24、26、28的相应视点相对应，并且可以被用来捕获现实世界环境的实时视频数据（例如，直播视频）。在一些实施例中，可以采用单个相机。具体地，在图示的实施例中，立体AR/VR眼佩戴物34的相机40、42可以被用来捕获由相应骑乘乘客22、24、26、28从相应骑乘乘客22、24、26、28的视点感知的现实世界物理环境（例如，物理游乐园10）的实时图像。如将进一步领会的，立体AR/VR眼佩戴物34然后可以将经由相应相机40和42捕获的实时视频数据（例如，经由包括在立体AR/VR眼佩戴物34中的一个或多个通信接口34无线地）传输到计算机图形生成系统32以用于处理。然而，在其他实施例中，可以在立体AR/VR眼佩戴物34上经由处理器35处理经由相应相机40和42捕获的实时视频数据。附加地，立体AR/VR眼佩戴物34还可以传输基于经由可以包括在立体AR/VR眼佩戴物34中的取向和方位传感器（例如，加速度计、磁力计、陀螺仪、全球定位系统[GPS]接收器等）、运动跟踪传感器（例如，电磁和固态运动跟踪传感器）等所获得的数据而获得和/或导出的取向数据、方位数据、视点数据（例如，焦距、取向、姿势等）、运动跟踪数据等。此外，在其中先前获取并访问了环境（例如，骑乘12）的现实世界图像数据的实施例中，可以在没有相机40和42的情况下实现立体AR/VR眼佩戴物。

在某些实施例中，如先前提到的，计算机图形生成系统32（其还可以包括诸如处理器46（例如，通用处理器或其他处理器）和存储器47之类的处理电路）可以处理实时视频数据（例如，直播视频）和接收于立体AR/VR眼佩戴物34或监控系统33的取向和方位数据和/或视点数据。具体地，计算机图形生成系统32可以使用该数据来生成参照系以将实时视频数据与所生成的现实世界图像44和AR/VR图形图像4配准。具体地，使用基于取向数据、方位数据、视点数据、运动跟踪数据等生成的参照系，图形生成系统32然后可以渲染现实世界图像44的视图，该视图在时间上和空间上与相应骑乘乘客22、24、26、28如果没有穿戴立体AR/VR眼佩戴物34时所将要感知到的视图相称。图形生成系统32可以不断（例如，实时地）更新现实世界图像的渲染以反映相应骑乘乘客22、24、26、28的相应取向、方位和/或运动上的变化。

例如，在某些实施例中，图形生成系统32可以以大于或等于大约20每秒帧数（FPS）、大于或等于大约30 FPS、大于或等于大约40 FPS、大于或等于大约50 FPS、大于或等于大约60 FPS、大于或等于大约90 FPS或者大于或等于大约120 FPS的实时速率渲染图像（例如，现实世界图像44和AR/VR图像45）。此外，图形生成系统32可以为由相应骑乘乘客22、24、26、28穿戴的相应立体AR/VR眼佩戴物34中的每一个生成现实世界图像44（例如，针对相应骑乘乘客22、24、26和28的相应取向、方位和视点进行调整）。

在某些实施例中，如先前所讨论的，计算机图形生成系统32还可以生成和渲染叠加在现实世界图像44上的一个或多个AR/VR图形图像45，以创建完整的AR体验、VR体验、混合现实和/或针对骑乘乘客22、24、26、28的其他计算机介导的体验。例如，在某些实施例中，计算机图形生成系统32可以利用所讨论的视频合并和/或光学合并技术中的一个或多个，将AR/VR图形图像45叠加到现实世界图像44上，使得在乘客骑乘车辆20通过轨道18时，骑乘乘客22、24、26、28感知到游乐园10的现实世界物理环境（例如，经由相应显示器37和38被提供为经渲染的视频数据）连同AR/VR图形图像45（例如，虚拟增强）。具体地，如上面关于现实世界图像44的渲染所讨论的，图形生成系统32可以渲染AR/VR图形图像45的视图，该视图在时间上和空间上与现实世界图像44相称，使得现实世界图像44可以显现为叠附有AR/VR图形图像45的背景。实际上，模型可以为任何可用的视点提供计算机生成的图像，并且基于所检测到的立体AR/VR眼佩戴物34的取向，可以向立体AR/VR眼佩戴物34提供具体图像以用于显示。

在某些实施例中，图形生成系统32还可以生成一个或多个亮度、照明或阴影模型，和/或其他照片般真实的渲染模型，以生成现实世界图像44和AR/VR图形图像45，其被调整成在渲染现实世界图像44和AR/VR图形图像45时准确地反映现实世界物理环境的对比度和亮度（例如，晴天、少云、多云、傍晚、夜晚）。例如，为了增加现实世界图像44和AR/VR图形图像45的照片般真实感（photorealism），在一些实施例中，图形生成系统32可以接收来自一个或多个天气预报和/或预测系统（例如，全球预报系统、多普勒雷达等）的天气相关的数据。然后，图形生成系统32可以使用天气相关的数据或其他类似数据来调整现实世界图像44和/或AR/VR图形图像45的对比度、亮度和/或其他照明效果。

在其他实施例中，图形生成系统32可以基于从包括在立体AR/VR眼佩戴物34中的一个或多个光传感器检测到的照明或者基于由相机40、42捕获的实时视频数据来调整现实世界图像44和/或AR/VR图形图像45的对比度、亮度和/或其他照明效果。此外，如先前提到的，图形生成系统32可以不断更新（例如，实时）AR/VR图形图像45的渲染以反映相应骑乘乘客22、24、26、28的相应取向、方位、视点和/或运动上的变化。例如，如关于图3将进一步领会的，图形生成系统32可以在由相应骑乘乘客22、24、26、28所穿戴的相应立体AR/VR眼佩戴物34中的每一个的相应显示器37和38上呈现AR/VR图形图像45，该AR/VR图形图像45针对相应骑乘乘客22、24、26、28的可变的相应位置、视点和运动而进行调整。

如将进一步领会的，图形生成系统32还可以在乘客骑乘车辆20沿轨道18的预先确定的点处穿过时生成AR/VR图形图像45。因此，在某些实施例中，图形生成系统32可以使用所接收到的方位数据、视点数据、运动数据连同GPS数据或地理信息系统（GIS）数据来导出例如刺激骑乘12和轨道18的照明图，以及针对刺激骑乘12的整个周期的刺激骑乘12周围的紧邻环境。然后，图形生成系统32可以使用该图来在乘客骑乘车辆24通过轨道18时在某些预先确定的点（例如，基于位置、距离或时间的点）处引入AR/VR图形图像45。此外，在某些实施例中，图形生成系统32可以使用经由相机40、42捕获的视频或图像数据以确定骑乘车辆20的位置点以及何时引入AR/VR图形图像45。例如，图形生成系统32可以实行一个或多个几何识别算法（例如，形状或物体识别）或光度计识别算法（例如，面部识别或特定物体识别）以确定骑乘车辆20的方位或位置以及骑乘乘客22、24、26、28的查看方位。

图3是立体AR/VR眼佩戴物34的图示，其示出了立体AR/VR眼佩戴物34包括还准许查看外部投影的立体图像的特征的实施例。例如，显示器37和38可以包括诸如偏振涂层或偏振层之类的偏振特征，以允许用户将立体投影的图像解析为是处于3D中的。偏振特征可以涂覆在显示器37的外表面57和显示器38的外表面上。替换地，偏振特征可以形成到显示器37和38的相对表面内、嵌入在显示器37和38的相对表面中或者形成在显示器37和38的相对表面上。右眼显示器37上的偏振特征具有与左眼显示器38上的偏振特征不同的偏振特性，以准许每个相应显示器37和38担任仅允许具有适当特性的偏振光传过的滤光透镜。以这种方式，可以立体地查看叠加投影到屏幕上的两个图像。在某些实施例中，相应显示器中的偏振特征可以是相对于彼此正交取向的线性偏振滤光器。在另一实施例中，显示器37和38的偏振滤光器可以是相对于彼此具有相反旋向性的圆偏振滤光器。在另一实施例中，立体AR/VR眼佩戴物34具有色移滤光器，使得相应显示器37和38包括相对于彼此过滤不同波长的滤色器。在具体实施例中，可以利用Inficolor 3D技术或者利用Infitec® 3D技术（Infitec GmbH，巴登符腾堡州，德国）实现立体AR/VR眼佩戴物34。

还构想了其他实现方式。例如，光谱AR/VR眼佩戴物34可以具有主动立体能力，诸如使每个显示器37和38交替地打开和关闭的主动快门。构想的是改变快门速率可以被用来在不同用户之间提供个体化内容。例如，如果以不同速率控制具有相应眼佩戴物34的第一用户和第二用户的主动快门，则它们可以具有不同的组装内容。控制可以基于从系统32接收到的信号，包括嵌入到所显示的帧内的信号。在其他实施例中，可以在设备上预设快门控制。主动立体实现方式可能在较暗的骑乘中是有利的，因为在显示器37和38担任用于立体查看的透镜时，缺少彩色或偏振滤光器可以允许更多光传过显示器37和38。还应当理解的是，当立体AR/VR眼佩戴物34正以AR/VR模式使用时，显示器37和38可以被用来生成内部3D或立体图像。即，在某些实施例中，用户查看可以立体地实现的传输图像或视频流。例如，左眼显示器38可以显示与右眼显示器37分离的视频通道。基于左眼/右眼视图之间的显示图像或视频流上的透视差异或微小差异，类似于在投影立体图像上生成的那些，可以在所显示的内容中内部生成3D错觉。

图4图示了AR/VR图像45的各种示例，该AR/VR图像45可以由图形生成系统32生成，或者在其他实施例中可以经由立体AR/VR眼佩戴物34生成。具体地，如在图3中图示的，在惊险骑乘12的周期期间，图形生成系统32可以通过骑乘乘客22、24、26、28的相应立体AR/VR眼佩戴物34（例如，经由相应显示器37和38）来渲染立体图像43、现实世界图像44以及各种AR/VR图形图像45。为了渲染立体图像，图形生成系统32可以与立体投影仪53结合使用。现实世界图像44可以包括即使骑乘乘客22、24、26、28没有穿戴立体AR/VR眼佩戴物34，骑乘乘客22、24、26、28骑乘刺激骑乘12时也将看到的轨道18、设施14和/或其他顾客或物体（包括其他乘客22、24、26、28）的图像。然而，如先前关于图2讨论的，在某些实施例中，可能有用的是通过将各种AR/VR图形图像45渲染到骑乘乘客22、24、26和28的相应立体AR/VR眼佩戴物34的相应显示器37和38来增强刺激骑乘12的刺激因素。

例如，如在图3中进一步描绘的，图形生成系统32可以渲染AR/VR图形图像45（经由虚线图示），其可以包括例如游乐园设施49的第二大型购物区的AR/VR图像、一个或多个虚构角色50的AR/VR图像、轨道18的缺口52的AR/VR图像和/或附加的AR/VR图像54、56和58。在一个实施例中，如在图3中图示的，AR/VR图像50可以包括当乘客骑乘车辆20通过轨道18时仿佛（例如，从穿戴立体AR/VR眼佩戴物34的骑乘乘客22、24、26、28的视点来看）阻挡轨道18的一部分的怪物或其他类似虚构角色的图像。应当领会的是，除了包括添加图像的AR/VR图形图像45（例如，虚拟增强）之外，图形生成系统32还可以渲染某些AR/VR图形图像45，其包括在骑乘乘客22、24、26、28穿戴立体AR/VR眼佩戴物34的同时不再出现的一个或多个现实世界物理对象的删除。例如，设施49的AR/VR图像可以出现在其中景点16放置在现实世界环境中的地方。

如先前讨论的，在某些实施例中，图形生成系统32可以基于在刺激骑乘12的周期期间的任何给定时间处乘客骑乘车辆20沿轨道18的方位或位置、在刺激骑乘12的周期期间由乘客骑乘车辆20行进的预先确定的距离、或者在预先确定的时间流逝之后来渲染AR/VR图形图像45。例如，在一个实施例中，一旦乘客骑乘车辆行进到点60（例如，由轨道18上的特定距离62或位置限定），虚构角色50的AR/VR图像可以经由立体AR/VR眼佩戴物34显现于骑乘乘客22、24、26、28，好像阻挡了在刺激骑乘12的给定周期期间尚未由乘客骑乘车辆20通过的轨道18上的地方。类似地，一旦乘客骑乘车辆20行进到点62（例如，由轨道18上的特定距离62或位置限定），则轨道18的缺口52的AR/VR图像（例如，破损轨道的外观）可以经由立体AR/VR眼佩戴物34显现于骑乘乘客22、24、26、28，好像乘客骑乘车辆20将遇到没有支撑轨道18的地方。图形生成系统32可以基于眼佩戴物34的各个用户的身份来渲染AR/VR图形图像45。每个眼佩戴物34可以与RFID标签或者将标识信号传输到图形生成系统32的其他识别元素相关联。系统32可以基于骑乘乘客（例如，骑乘乘客22、24、26、28）的身份从存储在存储器47中的若干个选项当中选择叠附图像。以这种方式，骑乘车辆20中的每个乘客可以接收与骑乘车辆20中的其他乘客所接收到的内容不同的定制内容。例如，在包括角色内容的骑乘中，穿戴特定眼佩戴物34的某些乘客可以与特定角色相关联。在这样的实施例中，叠附的AR/VR图像可以与特定角色相关联。骑乘乘客（例如，骑乘乘客22、24、26、28）可以具有经由眼佩戴物34显示的、基于先前的公园体验、奖励、角色、乘客年龄或兴趣、从中央服务器获取的乘客档案信息等的个体化交互内容。在一个实施例中，交互式表演场中的客人可以看到仅在他们成功实行物理动作（例如，冲击障碍物或打开门）时才显示的特定叠附图像。

此外，在某些实施例中，由图形生成系统32生成的照明图可以允许图形生成系统32在轨道18的每一英里、轨道18的每一码、轨道18的每一英尺、轨道18的每一英寸、轨道18的每一厘米、或轨道18的每一毫米处包括一个或多个检测点和/或触发点（例如，为其引入AR/VR图像45的触发点）。以这种方式，图形生成系统32可以在具有足够的准确度和效率的情况下检测何时开始基于在刺激骑乘12的周期期间的方位或位置、行进的距离和/或流逝的时间来渲染AR/VR图形图像45。此外，某些图像54、56图示了一个或多个AR/VR图形图像45，其可以显现于骑乘乘客22、24、26、28好像彼此相互作用（例如，叠附或接触）。在一个实施例中，图像（例如，图像54A和54B）可以是立体图像。类似地，AR/VR图像58图示了可以出现在骑乘乘客22、24、26、28的视线或视点之外（例如，盲点）的AR/VR图形图像45的示例，如果骑乘乘客22、24、26、28中的任何骑乘乘客看到AR/VR图像58的方向中，则可以感知到该AR/VR图形图像45。应当注意的是，也可以向不同骑乘乘客22、24、26、28提供完全不同的图像，使得骑乘乘客22、24、26、28中的一个或多个具有部分或完全不同的骑乘体验或者甚至骑乘主题。

在某些实施例中，如上面关于图2讨论的，因为图形生成系统32可以将现实世界图像44和AR/VR图像45渲染到由每个相应骑乘乘客22、24、26、28穿戴的立体AR/VR眼佩戴物34的每个相应显示器37和38，因此骑乘乘客22、24、26、28可以均感知到现实世界图像44（例如，设施14、刺激骑乘12等）和在时间上和空间上与他们相应视点相称的AR/VR图像45（例如，AR/VR图像或虚拟增强49、50、52、54、56和58），从而在乘客骑乘车辆20通过轨道18时产生照片般真实的效果。此外，在其他实施例中，除了AR/VR图像45（例如，AR/VR图像或虚拟增强49、50、52、54、56和58）之外，图形生成系统32还可以在立体AR/VR眼佩戴物34上触发可以与AR/VR图像45的显现相符合的一个或多个声音效果、触觉反馈效果、芳香效果等。在一些实施例中，图形生成系统32与立体AR/VR眼佩戴物34是一体的。

以这种方式，通过提供立体AR/VR眼佩戴物34和图形生成系统32以创建AR体验、VR体验和/或其他计算介导的现实体验，立体AR/VR眼佩戴物34和图形生成系统32可以增强刺激骑乘12的刺激因素，并且通过扩展增强骑乘乘客22、24、26、28在刺激骑乘12上时的体验。此外，通过作为AR/VR眼佩戴物提供立体AR/VR眼佩戴物34，与诸如传统头戴式显示器（HMD）之类的更笨重且更繁琐的设备相反的是，骑乘乘客22、24、26、28可以被提供有更大的移动自由度，以及更照片般真实的照片。例如，即使在穿戴立体AR/VR眼佩戴物34时，每个骑乘乘客22、24、26、28可以能够彼此看到骑乘乘客22、24、26、28以及乘客骑乘车辆20本身。此外，因为立体AR/VR眼佩戴物34可以包括个体相机40、42和个体显示器37、38，所以可以由立体AR/VR眼佩戴物34捕获关于骑乘乘客22、24、26、28的每只眼睛的相应视点的数据。因此，图形生成系统32可以在立体AR/VR眼佩戴物34的显示器37、38上渲染与骑乘乘客22、24、26、28的相应视点相一致的现实世界图像44和AR/VR图像45。使用诸如传统HMD之类的设备可能无法得到这样的优点。在其他实施例中，系统32可以使用音频水印来同步骑乘12内的AR内容，例如，以使播放的媒体与AR图像同步。

现在转向图5，呈现了流程图，其图示了过程80的实施例，该过程80在例如在图2中描绘的计算机图形生成系统32在刺激骑乘期间创建立体体验、AR体验、VR体验和/或其他计算介导体验方面是有用的。过程80可以表示存储在非暂时性计算机可读介质（例如，存储器47）中的启动代码或指令，并且例如由包括在计算机图形生成系统32中的处理器46执行。过程64可以开始于处理器46接收针对穿戴眼佩戴物34的用户的方位信息（框82）。如讨论的，可以通过每个设备上的RFID标签、通过相机、GPS等来评估眼佩戴物方位。基于该方位，系统32可以确定穿戴眼佩戴物34的用户定位在期望的立体事件附近（框84）。因此，系统32可以启动或维持立体图像的投影以供显示和由用户查看（框86）。

如果眼佩戴物34的用户是骑乘车辆上的乘客（参见图4）或以其他方式相对于环境移动的乘客，则方法80可以接收更新的方位信息（框88）以反映用户已经移动到与期望的混合或AR/VR效果相关联的新位置（框90）。为了生成AR/VR效果，该方法可以访问预扫描的图像数据或者接收实时捕获的图像数据（框92）。例如，处理器46可以接收经由立体AR/VR眼佩戴物34的相机40、42捕获的实时视频数据（例如，直播视频）。然后，过程64可以继续进行，其中处理器46基于现实世界图像数据生成现实世界环境的可视化。例如，处理器46可以生成要显示在立体AR/VR眼佩戴物34的显示器37、38上的现实世界环境（例如，游乐园10）的视频数据流。

然后，过程64可以继续进行，其中处理器46将一个或多个增强或虚拟现实图像叠附（框92）或叠加到所生成的现实世界环境的可视化上。例如，处理器46可以生成现实世界图像44（例如，设施14、刺激骑乘12）的视频数据流，并且使用一种或多种视频合并和/或光学合并技术将AR/VR图像45（例如，AR/VR图像或虚拟增强49、50、52、54、56和58）叠附或叠加到现实世界图像44上。如上文先前讨论的，在某些实施例中，例如，图形生成系统32的处理器46可以基于例如在刺激骑乘12的周期期间的任何给定时间处乘客骑乘车辆20沿轨道18的方位或位置、在刺激骑乘12的周期期间由乘客骑乘车辆20行进的预先确定的距离、或者在预先确定的时间流逝之后来渲染AR/VR图形图像45。在其他实施例中，图形生成系统32可以对经由相机40、42捕获的视频或图像数据实行一个或多个几何或光度识别算法，以确定骑乘车辆20的位置点以及何时引入AR/VR图形图像45。然后，过程64可以结束，其中处理器46传输（框94）要显示在立体AR/VR眼佩戴物34的显示器37、38上的叠附的增强或虚拟现实图像数据（例如，AR/VR图像45）以及现实世界环境数据（例如，现实世界图像44），以增强刺激骑乘12的刺激因素，并且通过扩展，增强骑乘乘客22、24、26、28在刺激骑乘12上时的体验。系统32被配置成准许眼佩戴物34在不同查看模式之间切换，例如AR/VR、立体的、以及现实世界（例如，没有效果）。该切换可以基于用户在骑乘12内的时间或方位，并且可以由来自系统32的控制信号调节。系统32还可以例如经由眼佩戴物上的输入按钮或开关接收用户输入。例如，某些用户可能对立体图像显示敏感。这样的用户可以具有关闭3D立体查看的选项，并且系统32可以提供在立体效果附近的替换的视频数据。

本实施例的技术效果涉及作为游乐园或主题公园的刺激骑乘的部分提供增强现实（AR）体验、虚拟现实（VR）体验、混合现实（例如，AR和VR的组合）体验或其组合的系统和方法。在某些实施例中，每个骑乘乘客可以被提供有要在刺激骑乘的周期期间穿戴的眼佩戴物（例如，被配置成用作AR/VR眼佩戴物的立体AR/VR眼佩戴物34）。在一个实施例中，眼佩戴物既具有AR/VR能力，又能够便于查看所投影的立体图像。为了便于AR/VR或混合现实体验，眼佩戴物可以被配置成显示叠附在现实世界呈现上的虚拟图像。为此，眼佩戴物可以包括至少两个相机，其可以分别与骑乘乘客的相应视点相对应，并且可以被用来捕获骑乘乘客和/或刺激骑乘的现实世界环境（例如，物理游乐园）的实时视频数据（例如，直播视频）。眼佩戴物还可包括分别与骑乘乘客的每只眼睛相对应的至少两个显示器。在某些实施例中，还可以提供计算机图形生成系统。计算机图形生成系统可以在刺激骑乘的周期期间向骑乘乘客的相应立体眼佩戴物的相应显示器渲染现实世界环境连同各种AR/VR图形图像的视频流。例如，在一个实施例中，图形生成系统32可以基于例如在刺激骑乘的周期期间的任何给定时间处乘客骑乘车辆沿轨道的方位或位置、在刺激骑乘的周期期间由乘客骑乘车辆行进的预先确定的距离、或者在预先确定的时间流逝之后向眼佩戴物渲染AR/VR图形图像。以这种方式，通过使用眼佩戴物和图形生成系统来创建AR体验、VR体验和/或混合现实体验，眼佩戴物和计算机图形生成系统可以增强刺激骑乘的刺激因素，并且通过扩展，可以增强骑乘乘客在骑乘刺激骑乘时的体验。

尽管在本文中仅说明和描述了本发明实施例的某些特征，但是本领域技术人员将想到许多修改和变化。因此，要理解的是，所附权利要求意图覆盖落入本公开的真实精神内的全部这样的修改和变化。另外，应当理解的是，所公开实施例的某些元件可以彼此组合或交换。

Claims (24)

1.一种骑乘系统，其包括：

被配置成由用户穿戴的眼佩戴物，其中，所述眼佩戴物包括具有立体特征的透视显示器，所述透视显示器被配置成准许查看外部生成的立体图像，所述外部生成的立体图像由所述眼佩戴物外部的源生成并且被投射到现实世界环境上，其中通过所述用户对所述显示器进行透视来使得能够实现查看所述外部生成的立体图像；以及

计算机图形生成系统，其通信地耦合到所述眼佩戴物，所述计算机图形生成系统包括立体投影仪，并且被配置成：

基于所述现实世界环境的图像数据生成所述现实世界环境的流媒体；

生成叠加在所述现实世界环境的流媒体上的一个或多个虚拟增强；

传输所述现实世界环境的流媒体连同要在所述眼佩戴物的显示器上显示的一个或多个叠加的虚拟增强；

使用所述立体投影仪将立体图像投影到所述现实世界环境中；

基于所述眼佩戴物的取向、所述用户的方位、所述用户的视点或其组合而停止生成所述现实世界环境的流媒体，以及

开始以下述模式进行操作：该模式允许经由穿过所述显示器的与所述外部生成的立体图像的相对应的光来查看所述外部生成的立体图像。

2.根据权利要求1所述的骑乘系统，其中，所述眼佩戴物的显示器包括第一显示器和第二显示器，并且其中，所述第一显示器被配置成向用户的第一只眼睛显示所述流媒体，并且所述第二显示器被配置成向所述用户的第二只眼睛显示所述流媒体。

3.根据权利要求2所述的骑乘系统，其中，所述第一显示器和所述第二显示器中的每一个包括光场显示器、液晶显示器（LCD）或有机发光二极管（OLED）显示器。

4.根据权利要求2所述的骑乘系统，其包括在所述第一显示器之上或之中的第一偏振滤光器，所述第一偏振滤光器与在所述第二显示器之上或之中的第二偏振滤光器不同地进行取向。

5.根据权利要求2所述的骑乘系统，其包括在所述第一显示器之上或之中的第一滤色器，所述第一滤色器被配置成过滤与在所述第二显示器之上或之中的第二滤色器不同波长的光。

6.根据权利要求1所述的骑乘系统，其中，所述眼佩戴物包括一个或多个相机，所述一个或多个相机被配置成获得所述现实世界环境的图像数据。

7.根据权利要求1所述的骑乘系统，其中，所述用户是骑乘车辆中的乘客，并且其中，所述计算机图形生成系统被配置成在骑乘周期期间，当所述骑乘车辆行进到预先确定的位置、行进预先确定的距离、在预先确定的时间流逝之后或其任何组合时，生成所述一个或多个虚拟增强。

8.根据权利要求7所述的骑乘系统，其包括过山车，所述过山车包括轨道，并且其中，所述计算机图形生成系统被配置成当所述骑乘车辆沿着所述轨道行进到预先确定的位置、沿着所述轨道行进预先确定的距离、在预先确定的时间流逝之后或其任何组合时，生成所述一个或多个虚拟增强。

9.根据权利要求1所述的骑乘系统，其中，所述计算机图形生成系统被配置成基于所述眼佩戴物的取向、所述用户的方位、所述用户的视点、所述用户的档案信息、与所述用户相关联的角色或其组合生成所述现实世界环境的流媒体。

10.根据权利要求9所述的骑乘系统，其包括在所述眼佩戴物内的用于检测所述眼佩戴物的取向的定位传感器。

11.根据权利要求9所述的骑乘系统，包括监控系统，所述监控系统被配置成监控所述眼佩戴物的物理属性以确定所述眼佩戴物的取向。

12.根据权利要求9所述的骑乘系统，包括传感器，所述传感器被配置成检测所述用户在所述骑乘系统内的方位，其中，所述骑乘系统包括骑乘车辆或表演场。

13.根据权利要求1所述的骑乘系统，包括被配置成由第二用户穿戴的第二眼佩戴物，其中，所述第二眼佩戴物包括具有立体特征的显示器，所述显示器被配置成准许查看外部生成的立体显示图像。

14.根据权利要求1所述的骑乘系统，其中，所述计算机图形生成系统被配置成：

接收与所述现实世界环境相关联的照明、对比度、亮度或其组合的指示；以及

生成所述现实世界环境的流媒体和一个或多个叠加的虚拟增强，所述虚拟增强被调整以反映所述现实世界环境的照明、对比度、亮度或其组合。

15.一种可穿戴电子设备，包括：

框架，其包括框架前部；

具有左眼显示透镜和右眼显示透镜的显示器，所述左眼显示透镜和右眼显示透镜耦合到所述框架前部，所述显示器具有立体特征，所述立体特征被配置成准许查看立体图像，所述立体图像由所述可穿戴电子设备外部的源生成并且被投射到现实世界环境上，其中通过用户对所述显示器进行透视来使得能够实现查看所述立体图像；

所述左眼显示透镜上的第一滤光器；

所述右眼显示透镜上的第二滤光器，其中，所述第一滤光器与所述第二滤光器不同；以及

处理电路，其被配置成：

接收来自计算机图形生成系统的信号，其中，所述信号包括现实世界环境的虚拟化的视频流连同包括在所述视频流中的至少一个增强现实（AR）图像或至少一个虚拟现实（VR）图像；以及

使所述左眼显示器和所述右眼显示器显示所述视频流。

16.根据权利要求15所述的可穿戴电子设备，其包括相机，所述相机耦合到所述框架前部并且被配置成实时捕获所述现实世界环境的图像数据。

17.根据权利要求15所述的可穿戴电子设备，其中，所述处理电路被配置成将所述视频流传输到所述左眼显示器和所述右眼显示器，以产生包括所述增强现实（AR）图像的立体视频显示。

18.根据权利要求15所述的可穿戴电子设备，其包括取向传感器、方位传感器、加速度计、磁力计、陀螺仪或其任何组合。

19.根据权利要求15所述的可穿戴电子设备，其中，所述现实世界环境的图像数据由定位在所述现实世界环境中的相机生成，或者是历史图像数据。

20.一种操作包括游乐园骑乘的游乐园骑乘系统的方法，包括：

经由计算机图形生成系统接收或访问环境图像数据，

基于所述环境图像数据生成游乐园的现实世界环境的虚拟化；

将增强现实（AR）图像或虚拟现实（VR）图像叠附到所述现实世界环境的虚拟化上；

在游乐园骑乘的周期期间向眼佩戴物传输叠附的增强现实 图像或虚拟现实 图像连同所述现实世界环境的虚拟化；

提供包括显示器的眼佩戴物，所述显示器具有立体特征，所述立体特征被配置成准许查看立体图像，所述立体图像由所述眼佩戴物外部的源生成并且被投射到现实世界环境上，其中通过用户对所述显示器进行透视来使得能够实现查看所述立体图像；

向所述眼佩戴物传输信号以准许通过所述眼佩戴物的显示器进行查看；

在传输所述信号之后将立体图像投影到所述现实世界环境的表面上；以及

使所述立体图像通过所述眼佩戴物中的滤光器被反射到用户的左眼和右眼中，以生成3D图像的错觉。

21.根据权利要求20所述的方法，包括接收与所述游乐园骑乘的骑乘乘客的方位、所述骑乘乘客的取向、所述骑乘乘客的视点或其组合相关联的数据。

22.根据权利要求20所述的方法，接收与所述眼佩戴物相关联的标识信号，并且其中，基于所述标识信号选择叠附的增强现实 图像或虚拟现实 图像。

23.根据权利要求20所述的方法，接收与第二眼佩戴物相关联的第二标识信号，并且在所述游乐园骑乘的周期期间向所述眼佩戴物传输第二叠附的增强现实 图像或虚拟现实图像连同所述现实世界环境的虚拟化，其中，基于所述第二标识信号选择第二叠附的增强现实 图像或虚拟现实 图像。

24.根据权利要求20所述的方法，接收或访问环境图像数据包括接收来自耦合到所述眼佩戴物的相机的实时图像数据。

Images