CN108572722A - 用于在运输交通工具上支持增强现实应用的系统和方法 - Google Patents

Abstract

提供了用于在例如飞机、火车、公共汽车、机动车等的运输交通工具上提供和支持增强现实应用的运行的系统、设备和方法。该系统包括被配置为安装在交通工具上的交通工具装载管理系统。该交通工具装载管理系统包括具有处理器、存储器、存储设备和管理软件的计算机系统。该管理软件包括被配置为与计算机系统上的增强现实应用对接的应用编程接口(API)，该计算机系统被配置为执行增强现实应用以及显示增强现实体验。该交通工具装载管理系统被配置为获取交通工具数据，并且响应于来自增强现实应用的呼叫、经由API将交通工具位置、定向、海拔高度和环境数据中的一个或更多个提供给计算机系统。然后计算机系统可以在增强现实应用的运行中使用该数据。

Description

用于在运输交通工具上支持增强现实应用的系统和方法

技术领域

本发明总体上涉及增强现实应用，并且特别地涉及用于在例如飞机、火车、公共汽车、机动车等的运输交通工具上提供和支持增强现实应用的系统和方法。

背景技术

增强现实是至少部分地复制真实世界环境的计算机技术，其中真实世界环境的元素通过例如计算机的信息处理设备被增强和/或补充。特别地，计算机生成的模拟提供诸如视频、声音、图形和/或触觉反馈的感官输入，并且模拟用户在环境中的存在以允许用户与环境交互。当前形式的增强现实是被显示在计算机显示器上，或者用佩戴在用户眼睛上的专用虚拟现实头戴式装置来显示，提供虚拟现实体验的视觉和声音模拟。一些模拟还包括另外的感官输入，例如向用户的触感/触觉反馈，以模拟与虚拟现实的各种交互。用户可以使用例如键盘和鼠标的标准计算机输入设备与增强现实交互，并且还可以通过多模设备与增强现实交互，多模设备例如是具有检测运动和力的传感器以及/或者检测用户的位置和运动的外部运动传感器的手套或其他可穿戴设备。

目前的增强现实系统和软件应用一般使用一种或更多种追踪技术来追踪增强现实设备的位置和/或定向或者用户的位置和运动。这样的追踪技术可以包括GPS接收器(接收来自全球定位系统的地理定位数据的设备)、加速度计、光学相机、陀螺仪和/或其他传感器。

增强现实应用可以是视频游戏、信息性内容或者仅仅是娱乐。目前流行的增强现实应用的示例是用于智能电话和平板计算机的视频游戏POKEMON GO，在该游戏中，角色由应用生成、被叠加在由智能电话的相机拍摄的相机图像上并且被显示在智能电话的显示器上。然后用户可以通过使用例如触摸屏的智能电话的输入设备与增强现实环境交互来玩游戏。

增强现实应用可以通过使用乘客的个人电子设备(PED)来在交通工具上运行，或者在安装在每个乘客的座位处的座位内显示系统上运行。例如，乘客可以将他们的个人电子设备带到交通工具上，并且然后在个人电子设备上运行增强现实应用。可替选地，交通工具的座位内显示系统可以具有在座位内显示系统上运行的增强现实应用。

然而，当在例如飞机、机动车、客运列车、公共汽车、游轮等的运输交通工具上时，例如GPS接收器的某些追踪设备不可用。例如，当例如智能电话或平板计算机的个人电子设备在飞行模式下时，GPS模块是禁用的。而且，在交通工具内可以阻挡或衰减GPS信号，使得GPS模块不能从GPS系统接收到足够的信号以提供精确的地理定位数据。因此，当在交通工具上时，利用GPS位置数据来追踪设备位置的AR系统可能不具有完整的功能。

另外，增强现实应用可以利用由智能电话或平板计算机拍摄的相机图像作为通过计算机生成的模拟来增强的真实世界环境的图像。当在交通工具上时，智能电话或平板计算机通常不会具有交通工具周围的环境的无阻挡景象，并且因此不能捕获良好的周围环境的相机图像以用在增强现实应用中。

因此，本发明涉及用于支持增强现实应用的系统和方法，其能够向在交通工具上的电子设备上运行的增强现实应用提供追踪数据、相机图像以及其他数据。

发明内容

总体上，本公开内容涉及用于在例如飞机、火车、公共汽车、机动车等的运输交通工具上提供和支持增强现实应用的运行的系统和方法。增强现实应用是可在如下计算设备上执行的软件程序：该计算设备具有处理器、存储器、操作系统软件以及显示器，显示器例如是LCD(液晶显示器)显示器或其他合适的显示器。例如，计算设备可以是乘客的PED，或者安装在交通工具上的座位内娱乐系统。计算设备与可在计算设备上执行的增强现实应用的组合表示增强现实系统(“AR系统”)。因此，如在本文中所使用的，术语“AR系统”是指具有处理器、存储器、显示器和可在计算设备上运行的增强现实应用的计算设备。

在一个实施方式中，本发明涉及一种用于支持在AR系统上运行增强现实应用的系统。该系统包括被配置为安装在交通工具上的交通工具装载管理系统。例如，该交通工具装载管理系统可以是交通工具装载娱乐系统，例如机上娱乐系统(IFE)或者用于管理交通工具上的交通工具装载计算功能的运行的其他计算系统。交通工具装载管理系统包括具有处理器、存储器、存储设备和管理软件的计算机系统。管理软件包括被配置为与AR系统上的增强现实应用对接的应用编程接口(API)。交通工具装载管理系统还具有传感器或者与至少一个交通工具传感器进行通信，例如GPS模块或者可操作地与安装在交通工具上的交通工具GPS模块进行通信。交通工具装载管理系统被配置为获取交通工具传感器数据，并且响应于来自在AR系统上运行的增强现实应用的呼叫(call)、经由API将数据提供给AR系统。例如，增强现实应用具有指示AR系统与交通工具装载管理系统进行通信并请求例如GPS位置数据的传感器数据的例程、子例程、协议等。交通工具装载管理系统的API接收请求并且通过将传感器数据传送给AR系统来进行响应。然后AR系统可以在增强现实应用的运行中利用该传感器数据。

在另一方面，如上所述，AR系统可以是乘客的PED、安装在交通工具的乘客座位处的座位内显示系统、或者具有增强现实应用的其他合适的计算设备。

在另一特征中，交通工具装载管理系统可以具有无线通信模块，该无线通信模块被配置为与PED建立无线链路，例如建立Wi-Fi网络、蓝牙网络或其他合适的无线通信网络。然后，交通工具装载管理系统被配置为经由无线链路和API将交通工具传感器数据提供给PED。

在另一方面，交通工具装载管理系统还可以被配置为访问与安装在交通工具上的传感器有关的交通工具传感器数据，例如交通工具速度数据、交通工具加速度数据、交通工具海拔高度数据、交通工具推力(thrust)数据、交通工具控制数据(例如飞机上的方向舵位置)、外部温度数据、实际的天气数据和预测的天气数据等。然后交通工具装载管理系统可以响应于来自AR系统的对API的呼叫、经由API将交通工具传感器数据提供给AR系统。

在又一方面，交通工具装载管理系统还可以被配置为接收由安装在交通工具上的相机所拍摄的图像，相机例如是旨在拍摄交通工具周围的环境或交通工具内的环境的图像的相机。然后，交通工具装载管理系统可以响应于来自AR系统的对API的呼叫，经由API将图像提供给AR系统。

在另一实施方式中，本发明涉及一种用于在交通工具上运行增强现实应用、即显示增强现实图像的设备或系统。该设备包括乘客的PED，PED具有处理器、存储器、无线通信模块、显示器和可在PED上执行的增强现实应用，PED例如是智能电话、平板计算机等。增强现实应用被配置为与交通工具装载管理系统的API(与上述API相同或相似)对接。PED被配置为执行包括以下操作的处理：执行增强现实应用；使用无线通信模块与交通工具装载管理系统建立无线链路；通过来自增强现实应用的对API的呼叫，经由无线链路从交通工具装载管理系统获取交通工具传感器数据；从PED的视角获取真实世界环境的相机图像；基于从交通工具装载管理系统或从交通工具内的PED的位置数据获取的GPS位置数据来生成叠加图像；将叠加图像叠加到相机图像上；以及在PED的显示器上显示具有叠加图像的相机图像。

在另一方面，PED可以通过使用PED的相机捕获相机图像来获取相机图像。例如智能电话和平板计算机的许多PED具有用于拍摄图像(例如视频和静态图像)的数字相机。在另一个特征中，PED可以借助于通过来自增强现实应用的对API的呼叫，经由无线链路从交通工具的相机接收相机图像来获取相机图像，以将相机图像从交通工具装载管理系统传送到AR系统。

在又一特征中，PED可以通过来自增强现实应用的对API的呼叫，经由无线链路来获取与安装在交通工具上的传感器有关的交通工具传感器数据所对应的交通工具信息。

在又一方面，运行增强现实应用的PED可以模拟控制交通工具，并且与对交通工具的模拟控制对应地在PED的显示器上显示周围环境的图像。在又一特征中，周围环境的图像的显示可以至少部分地基于PED的定向。例如，PED可以具有加速度计，使用该加速度计，PED可以感测和确定设备的定向，例如面向前方、后方、左方或右方，并且所显示的图像将与PED正面向的方向对应。

本发明的又一实施方式涉及一种方法，该方法用于当在交通工具上时支持在PED上运行增强现实应用。该方法包括安装在交通工具上的交通工具装载管理系统，与PED建立无线链路。交通工具装载管理系统例如使用上述设备和方法来获取交通工具数据。然后，交通工具装载管理系统响应于来自在PED上运行的增强现实应用的对API的呼叫，经由交通工具装载管理系统的API和无线链路将所获取的数据提供给PED。

在另外的方面和特征中，用于当在交通工具上时支持在PED上运行增强现实应用的方法可以包括本文中针对本发明的其他实施方式描述的可适用的另外的方面中的任何方面。

本发明的又一实施方式涉及一种用于在AR系统上运行增强现实应用的系统，该系统包括交通工具装载管理系统和AR系统两者的组合。例如，该系统可以包括用于安装在交通工具上的交通工具装载管理系统。该交通工具装载管理系统包括具有处理器、存储器、存储设备、用于建立通信网络的网络适配器以及管理软件的计算机系统。管理软件具有被配置为与AR系统上的增强现实应用对接的API。交通工具装载管理系统还具有一个或更多个传感器或者与交通工具传感器进行通信，以获取交通工具位置、定向、海拔高度和环境数据中的一个或更多个。交通工具装载管理系统被配置为获取传感器数据，并且响应于来自在AR系统上运行的增强现实应用的呼叫、将传感器数据提供给AR系统上的增强现实应用。该系统还包括AR系统，该AR系统包括处理器、存储器、操作系统软件、网络模块、显示器以及增强现实应用，增强现实应用被配置为经由交通工具装载管理系统的API与交通工具的交通工具装载管理系统对接。AR系统被配置为执行包括以下操作的处理：使用网络模块与交通工具装载管理系统建立网络链接；通过来自增强现实应用的对API的呼叫，经由无线链路从交通工具装载管理系统获取数据；从AR系统的视角获取真实世界环境的相机图像；基于从交通工具装载管理系统获取的数据生成叠加图像；将叠加图像叠加到相机图像上；以及在AR系统的显示器上显示具有叠加图像的相机图像。

包括交通工具装载管理系统和AR系统的系统还可以包括本文中针对本发明的其他实施方式描述的另外的特征和方面中的任何特征和方面，包括交通工具装载管理系统、AR系统、PED和/或所描述的方法的另外的特征和方面。

附图说明

参照附图进一步详细地描述实施方式的上述以及其他方面，其中类似的附图标记指代类似的元素(例如，具有相同数字的元素被认为是类似的元素，例如50a和50b)，并且针对类似元素的描述应该可适用于所描述的所有相关实施方式：

图1是根据本发明的一个实施方式的、用于当在飞机上时在增强现实系统上运行增强现实应用的系统的示意性俯视图；以及

图2是示出根据本发明的一个实施方式的图1的系统的操作方法的流程图。

具体实施方式

参照图1，示出了用于当在交通工具12上时在增强现实系统上运行增强现实应用的系统10的一个实施方式，在该示例性实施方式中，交通工具12是飞机12。虽然本文描述的实施方式针对用于飞机12的系统10，但是本发明不限于特定类型的运输交通工具，并且可以在例如机动车、卡车、公共汽车、火车、船等的任何其他类型的交通工具上使用。

系统10包括安装在飞机12中的交通工具装载管理系统14以及一个或更多个AR系统16a和16b。AR系统16a是乘客的PED 16a，并且AR系统16b是安装在飞机12的座位18处的座位内显示系统16b。交通工具装载管理系统14是用于在飞机12上运行各种功能的计算系统，并且交通工具装载管理系统14包括计算机系统20，该计算机系统20具有一个或更多个计算机处理器22、存储器24、数据存储设备26以及系统软件28，系统软件28用于对计算机系统20进行编程以执行交通工具装载管理系统14的功能。例如，交通工具装载管理系统14可以是用于向AR系统16a和16b提供音频/视频娱乐的机上娱乐系统，提供诸如固定安全带消息的飞机消息、厕所占用状态指示器和/或其他机内功能的交通工具装载网络服务系统。

系统软件28包括API 30，其被配置为与在相应AR系统16a和16b上的增强现实应用32a和32b对接。API 30被配置为响应于来自在AR系统16上运行的增强现实应用32的对API的呼叫，将请求的数据从交通工具装载管理系统14提供给AR系统16。交通工具装载管理系统14还具有一个或更多个网络适配器34(也被称为“通信模块”)，以用于与AR系统16a和16b建立通信网络36。网络适配器34a可以是作为用于与AR系统16a和/或16b建立无线通信网络36a的无线网络模块的无线网络适配器34a。网络适配器34a可以是用于建立Wi-Fi无线网络的Wi-Fi模块、用于建立蓝牙无线网络的蓝牙模块、用于建立无线USB网络的无线USB模块或其他合适的无线网络模块。网络适配器34b是用于与AR系统16a和/或16b建立有线通信网络36b的有线网络模块，有线通信网络36b例如是以太网通信网络、USB通信网络等。例如，交通工具装载管理系统14可以有线连接至每个AR系统16b，使得其使用有线网络适配器34b来与每个AR系统16b建立有线通信链路，同时交通工具装载管理系统14使用无线网络适配器34a来与每个AR系统16a建立无线通信链路。

交通工具装载管理系统14还可以访问交通工具数据。交通工具数据包括来自一个或更多个交通工具传感器的数据或者从其他来源提供给交通工具的数据，例如可以从卫星或地面站传送到交通工具的天气数据和/或其他的环境数据。在一个示例中，交通工具装载管理系统14包括可操作地耦接至计算机系统20的GPS接收器38(也被称为“GPS模块38”)。应当理解的是，GPS接收器模块38、网络适配器34a和34b以及/或者处理器22中的任何一个或更多个可以集成到单个多功能微处理器上。可替选地，交通工具装载管理系统14可以可操作地与安装在飞机12上的与交通工具装载管理系统14分离的GPS接收器40进行通信，GPS接收器40例如是作为飞机12的航空电子设备42的部件的GPS接收器40。交通工具装载管理系统14还可以访问飞机操作/状态数据，例如与飞机12的一个或更多个传感器44有关的飞机传感器数据和/或各种飞机系统的操作/状态。交通工具装载管理系统14可以与传感器44和/或飞机系统直接通信，或者交通工具装载管理系统14可以经由与诸如航空电子设备42的其他飞机系统的通信链路来访问交通工具传感器数据和/或飞机系统的状态。交通工具传感器44可以包括例如飞机速度传感器44a、海拔高度传感器44b、推力传感器44c、外部温度传感器(未示出)、内部温度传感器(未示出)等，以及/或者交通工具系统状态例如是交通工具控制数据(例如，方向舵位置、推力控制位置、交通工具定向和位置、加速度、速度等)、厕所占用状态、固定安全带指示器状态、飞行路径和飞行状态信息等。交通工具装载管理系统14可以经由数据总线39接收至少一些来自传感器44的数据，数据总线39例如是根据ARINC(航空无线电公司)429标准的或者可比的飞机传感器通信/分配方法的数据总线。例如，交通工具装载管理系统14可以经由数据总线39接收风速、温度、海拔高度、航向、以及真实的天气数据与预测的天气数据以及其他数据。ARINC 429P1-18包括附件1-1，列出经由根据ARINC 429(也被称为Mark33数字信息传输系统(DITS))的数据总线39可用的数据。

交通工具装载管理系统14还可以访问由安装在飞机12上和/或飞机12中的一个或更多个相机46所拍摄的相机图像。相机46被配置和定位成捕获飞机12周围(例如在飞机12的前方、侧方、下方、上方和/或后方)的环境的图像，包括视频和静态图像。例如，一个或更多个相机46可以是具有360度视野的全向相机。另外，一个或更多个相机46可以被配置和定位成拍摄飞机12的内部(例如在驾驶舱、机舱、厨房和/或关注的飞机12中的其他区域内)的相机图像。与飞机操作/状态数据类似，交通工具装载管理系统14可以直接访问相机以接收相机图像，或者交通工具装载管理系统14可以与访问来自相机46的相机图像的其他飞机系统进行通信。

如上所述，交通工具装载管理系统14的API 30被配置为响应于来自在AR系统16上运行的增强现实应用32的对API的呼叫，与AR系统16对接，并且将请求的数据从交通工具装载管理系统14提供给AR系统16。因此，API 30可以响应于来自增强现实应用的针对请求的数据的呼叫，向AR系统16提供GPS位置数据、飞机操作/状态数据、来自飞机相机46的相机图像、环境数据以及其他数据中的一个或更多个。交通工具装载管理系统14经由例如无线通信网络36a或有线通信网络36b的合适的通信网络来提供请求的数据。

AR系统16a包括乘客的PED 16a，例如智能电话、平板计算机、个人计算机、或其他合适的计算设备。PED 16a被配置为执行软件应用(计算机程序)，包括增强现实应用。PED16a具有处理器48a、存储器50a、无线通信模块52a、显示器54a、存储设备56a以及存储在存储设备56上的增强现实应用32a。PED 16a还可以具有被配置为允许PED 16a确定其相对于基准的定向和位置的运动传感器60a以及用于拍摄相机图像的相机62a。无线通信模块52a被配置为建立到交通工具装载管理系统14的无线网络适配器34a的无线通信网络36a的无线链路。显示器54a可以是触摸屏显示器，例如触摸屏LCD、触摸屏LED、或其他合适的触摸屏显示器，以允许用户向PED 16a提供输入以与增强现实应用32a交互。可替选地或另外地，PED 16a可以具有用于与增强现实应用32a交互的用户输入设备，例如按钮、控制杆、触摸板等。

增强现实应用32a被配置为对PED 16a进行编程以在PED 16a的显示器54a上提供增强现实体验，例如增强现实游戏或增强现实信息内容。增强现实应用32a具有对API 30的一个或更多个呼叫，以用于从交通工具装载管理系统14获取GPS位置数据、飞机操作/状态数据、和/或相机图像。在运行增强现实应用32a时，PED 16a通过来自增强现实应用32a的对API 30的呼叫、经由API 30和无线链路从交通工具装载管理系统14获取数据。增强现实应用32a还被配置为在生成显示在显示器54a上的增强现实体验中利用来自交通工具装载管理系统14的GPS位置数据、飞机操作/状态数据、和/或相机图像。例如，PED 16a获取来自PED相机62a的真实世界环境的相机图像，或者使用对API 30的呼叫、经由交通工具装载管理系统14获取来自交通工具相机46的真实世界环境的相机图像；基于从交通工具装载管理系统14获取的GPS位置数据和/或其他数据生成叠加图像；并且然后将叠加图像叠加到相机图像上并且在显示器54a上显示具有叠加的相机图像。

AR系统16b与AR系统16a类似，除了AR系统16b是安装在飞机12的座位18处的座位内显示系统16b之外。座位内显示系统16b可以安装在座椅靠背中或者其可以安装在单独的控制台中，例如在商务舱或头等舱座位模块中(例如，在图1中的前排座位中示出了座位模块)。座位内显示系统16b包括一个或更多个处理器48b、存储器50b、通信模块52b(其可以是无线通信模块和/或有线通信模块)、显示器54b、存储设备56b、以及存储在存储设备56b上的增强现实应用32b。座位内显示系统16b还可以具有被配置为允许座位内显示系统16b确定其相对于基准的定向和位置的运动传感器60b以及用于拍摄相机图像的相机62b。通信模块52b被配置为建立到有线通信网络36b和/或无线通信网络36a中至少之一的通信链路。显示器54b可以是触摸屏显示器，例如触摸屏LCD、触摸屏LED、或其他合适的触摸屏显示器，以允许用户向座位内显示系统16b提供输入以用于与增强现实应用32b交互。可替选地或另外地，座位内显示系统16b可以具有用于与增强现实应用32b交互的用户输入设备，例如按钮、控制杆、触摸板、远程控件等。

增强现实应用32b被配置为对座位内显示系统16b进行编程，以在座位内显示系统16b的显示器54b上提供增强现实体验，例如增强现实游戏或增强现实信息内容。增强现实应用32b具有对API 30的一个或更多个呼叫，以用于从交通工具装载管理系统14获取GPS位置数据、飞机操作/状态数据、和/或相机图像(统称为“交通工具数据”或简称为“数据”)。在运行增强现实应用32b时，座位内显示系统16b通过来自增强现实应用32b的对API 30的呼叫、经由API 30以及通信网络36a和/或36b从交通工具装载管理系统14获取数据。增强现实应用32b还被配置为在生成显示在显示器54b上的增强现实体验中利用来自交通工具装载管理系统14的GPS位置数据、飞机操作/状态数据、和/或相机图像。例如，座位内显示系统16b使用对API 30的呼叫、经由交通工具装载管理系统14获取来自乘客的相机或来自交通工具相机46的真实世界环境的相机图像；基于从交通工具装载管理系统14获取的GPS位置数据和/或其他数据生成叠加图像；并且然后将叠加图像叠加到相机图像上并且在显示器54b上显示具有叠加的相机图像。

在一个实施方式中，增强现实应用32被配置为模拟对飞机12或者其他交通工具12的控制。例如，诸如经由触摸屏显示器54的用户输入可以模拟操纵飞机，包括转向、上升、下降、起飞、着陆等，并且增强现实应用32对AR系统16进行编程，与对飞机12的模拟控制和操纵对应地在显示器54上显示飞机12周围的环境的图像，周围的环境例如是天空、云、如其他飞机、鸟等的天空中的其他对象以及飞机下方的风景。在另外的特征中，或在其他实施方式中，增强现实应用32可以在显示器54上显示完整的飞机三维(3D)位置信息，例如飞机路径、定向，并且也可以显示叠加到相机图像上的示出飞行路径的视觉轨迹。

在另一实施方式中，增强现实应用32被配置为相对于交通工具12的一个或更多个部分(诸如维护或安全设备或设施)在交通工具12中的位置、在显示器54上示出交通工具12的一个或更多个部分，例如向乘客示出厕所的位置和状态。增强现实应用32还可以类似X射线的图片的形式在显示器54上示出安全特征，例如，紧急出口在飞行器内部平面中的位置以及通过飞机舱壁的描述紧急出口如何在机翼上方打开的景象。天气数据可以综合来自地面的真实的天气数据和预测的天气数据两者，例如冷锋、风切变、风向等，并且被显示在显示器54上且在周围的云的相机图像之上。

现在将参照图2描述用于操作系统10以及系统10的部件(例如交通工具装载管理系统14、PED 16a和座位内显示系统16b)的方法100。在步骤102，AR系统16(其可以是PED16a或座位内显示系统16b)执行增强现实应用32。在步骤104，如本文所述，交通工具装载管理系统14和AR系统16建立通信网络36(无线通信网络36a或者有线通信网络36b)。在步骤106，如本文所述，交通工具装载管理系统14获取交通工具数据，包括GPS位置数据、飞机操作/状态数据、和/或来自飞机相机46的相机图像中的一个或更多个。

在步骤108，增强现实应用32经由通信网络36针对交通工具数据执行对交通工具装载管理系统14的API 30的呼叫，交通工具数据包括GPS位置数据、飞机操作/状态数据、和/或来自飞机相机46的相机图像中的一个或更多个。在步骤110，交通工具装载管理系统14的API 30经由API 30向AR系统16提供请求的交通工具数据。在步骤112，AR系统16接收请求的交通工具数据。在步骤114，AR系统16获取相机图像，该相机图像可以是由AR系统16所捕获的相机图像(例如，由AR系统16的相机62所拍摄的相机图像)或者经由API 30从交通工具装载管理系统14接收到的相机图像)。在步骤116，AR系统16至少部分地基于交通工具数据生成叠加图像。在步骤118，AR系统16将叠加图像叠加到相机图像上，并且在步骤120，AR系统在AR系统16的显示器54上显示具有叠加图像的相机图像。

在增强现实应用32的特定的实施方式中，在步骤122，AR系统16在AR系统16上模拟对飞机12的控制。例如，AR系统16可以允许用户使用触摸屏和/或其他用户输入设备来模拟操纵飞机。在步骤124，AR系统16与对飞机12的控制的模拟对应地在显示器54上显示周围环境的相机图像。相机图像可以从AR系统16的相机62获得，或者从经由API30从交通工具装载管理系统14获得的由相机46拍摄的相机图像中获得。

要理解的是，方法100的步骤不需要按照所示出和描述的顺序执行，除非逻辑或功能需要一定的顺序。例如，如本文所述，用于执行增强现实应用32的步骤102可以在建立无线通信网络36a或有线通信网络36b的步骤104之前或之后执行。

虽然已经示出和描述了特定的实施方式，但是要理解的是，上述描述并非旨在限制这些实施方式的范围。尽管在本文中已经公开和描述了本发明的许多方面的实施方式和变型，然而仅出于解释和说明的目的而提供这样的公开内容。因此，在不脱离权利要求的范围的情况下，可以进行各种改变和修改。例如，并非实施方式中描述的所有部件均是必需的，并且本发明可以包括所描述部件的任何合适的组合，并且可以修改本发明的部件的一般形状和相对尺寸。因此，实施方式旨在举例说明可能落入权利要求范围内的替换、修改和等同物。因此，除了所附权利要求以及其等同物之外，本发明不应该受限制。

Claims (20)

1.一种用于支持在交通工具上的增强现实系统AR系统上运行的增强现实应用的系统，所述系统包括：

用于安装在交通工具上的交通工具装载管理系统，所述交通工具装载管理系统包括具有处理器、存储器、存储设备和管理软件的计算机系统，所述管理软件具有被配置为与所述增强现实系统上的增强现实应用对接的应用编程接口API，所述交通工具装载管理系统具有传感器或者与至少一个交通工具传感器进行通信，以获取交通工具位置、定向、海拔高度和环境数据中至少之一；

其中，所述交通工具装载管理系统被配置为获取交通工具传感器数据，并且响应于来自在所述增强现实系统上运行的所述增强现实应用的呼叫，经由所述API将所述数据提供给所述增强现实系统。

2.根据权利要求1所述的系统，其中，所述增强现实系统包括下述中之一：乘客的个人电子设备；以及安装在所述交通工具的座位处的座位内显示系统。

3.根据权利要求1所述的系统，其中，所述增强现实系统包括乘客的个人电子设备PED，所述个人电子设备上运行有所述增强现实应用，并且其中：

所述交通工具装载管理系统还包括被配置为与所述个人电子设备建立无线链路的无线通信模块；并且

所述交通工具装载管理系统被配置为经由所述无线链路将所述交通工具传感器数据提供给所述个人电子设备。

4.根据权利要求1所述的系统，其中，所述交通工具装载管理系统被配置为访问与安装在所述交通工具上的传感器有关的交通工具传感器数据，并且响应于来自在所述增强现实系统上运行的所述增强现实应用的对所述API的呼叫，经由所述API将与所述交通工具传感器数据对应的交通工具信息提供给所述增强现实系统。

5.根据权利要求1所述的系统，其中，所述交通工具装载管理系统被配置为接收由安装在所述交通工具上的朝外指向或朝内指向的相机或安装在所述交通工具内的相机拍摄的图像，并且响应于来自在所述增强现实系统上运行的所述增强现实应用的对所述API的呼叫，经由所述API将所述图像提供给所述增强现实系统。

6.根据权利要求1所述的系统，其中，所述交通工具装载管理系统被配置为经由所述API提供与所述交通工具穿过周围环境的3D行进路径对应的数据。

7.根据权利要求1所述的系统，其中，所述增强现实系统包括安装在所述交通工具的座位处的座位内显示系统，所述座位内显示系统上运行有所述增强现实应用，并且其中：

所述交通工具装载管理系统还包括与所述座位内显示系统的有线或无线通信链路；并且

所述交通工具装载管理系统被配置为经由所述有线或无线通信链路将所述交通工具数据提供给所述座位内显示系统。

8.根据权利要求7所述的系统，其中，所述交通工具装载管理系统被配置为访问与安装在所述交通工具上的传感器有关的交通工具传感器数据，并且响应于来自在所述增强现实系统上运行的所述增强现实应用的对所述API的呼叫，经由所述API将与所述交通工具传感器数据对应的交通工具信息提供给所述增强现实系统。

9.根据权利要求8所述的系统，其中，所述交通工具装载管理系统被配置为接收由安装在所述交通工具上的朝外指向或朝内指向的相机或安装在所述交通工具内的相机拍摄的图像，并且响应于来自在所述增强现实系统上运行的所述增强现实应用的对所述API的呼叫，经由所述API将所述图像提供给所述增强现实系统。

10.一种用于在交通工具上显示增强现实图像的设备，其中，所述交通工具包括具有应用编程接口API的交通工具装载管理系统，所述设备包括：

个人电子设备PED，其包括处理器、存储器、操作系统软件、无线通信模块、显示器和增强现实应用，所述增强现实应用被配置为经由所述交通工具装载管理系统的API与所述交通工具的交通工具装载管理系统对接；所述个人电子设备被配置为执行包括以下操作的处理：

执行所述增强现实应用；

使用所述无线通信模块与所述交通工具装载管理系统建立无线链路；

通过来自所述增强现实应用的对所述API的呼叫，经由所述无线链路从所述交通工具装载管理系统获取交通工具传感器数据；

获取真实世界环境的相机图像；

基于从所述交通工具装载管理系统或从所述交通工具内的个人电子设备的位置数据获取的位置数据来生成叠加图像；

将所述叠加图像叠加到所述相机图像上；以及

在所述个人电子设备的显示器上显示具有所述叠加图像的相机图像。

11.根据权利要求10所述的设备，其中，所述个人电子设备通过以下中之一获取所述相机图像：使用所述个人电子设备的相机来捕获相机图像；以及通过来自所述增强现实应用的对所述API的呼叫、经由所述网络链路来接收来自所述交通工具的相机的所述相机图像，以将来自所述交通工具装载管理系统的所述相机图像传送至所述增强现实系统。

12.根据权利要求10所述的设备，其中，所述处理还包括通过来自所述增强现实应用的对所述API的呼叫，经由所述无线链路来获取与安装在所述交通工具上的传感器有关的交通工具传感器数据所对应的交通工具信息。

13.根据权利要求10所述的设备，其中，所述处理还包括在所述个人电子设备上模拟对所述交通工具的控制。

14.根据权利要求13所述的设备，其中，所述处理还包括与对所述交通工具的模拟控制对应地、在所述个人电子设备的显示器上显示周围环境的图像。

15.一种用于在交通工具上的增强现实系统上运行增强现实应用的系统，所述系统包括：

交通工具装载管理系统，其用于安装在所述交通工具上，所述交通工具装载管理系统包括具有处理器、存储器、存储设备、网络适配器和管理软件的计算机系统，所述网络适配器用于建立通信网络，所述管理软件具有被配置为与所述增强现实系统上的增强现实应用对接的应用编程接口API，所述交通工具装载管理系统具有至少一个传感器或者与交通工具传感器进行通信，以获取交通工具位置、定向、海拔高度和环境数据中至少之一；

其中，所述交通工具装载管理系统被配置为获取传感器数据，以响应于来自在所述增强现实系统上运行的增强现实应用的呼叫而将所述传感器数据提供给所述增强现实系统上的所述增强现实应用；

增强现实系统，其包括处理器、存储器、操作系统软件、网络模块、显示器和增强现实应用，所述增强现实应用被配置为经由交通工具的交通工具装载管理系统的API与所述交通工具装载管理系统对接，所述API被配置为与所述增强现实系统上的增强现实应用对接；所述增强现实系统被配置为执行包括以下操作的处理：

使用所述网络模块与所述交通工具装载管理系统建立网络链路；

通过来自所述增强现实应用的对所述API的呼叫，经由所述网络链路从所述交通工具装载管理系统获取传感器数据；

从所述增强现实系统的视角获取真实世界环境的相机图像；

基于从所述交通工具装载管理系统或从所述交通工具内的个人电子设备PED的位置数据获取的GPS位置数据来生成叠加图像；

将所述叠加图像叠加到所述相机图像上；以及

在所述增强现实系统的显示器上显示具有所述叠加图像的相机图像。

16.根据权利要求15所述的系统，其中，所述增强现实系统包括下述中之一：乘客的个人电子设备；以及安装在所述交通工具的座位处的座位内显示系统。

17.根据权利要求15所述的系统，其中：

所述交通工具装载管理系统被配置为访问与安装在所述交通工具上的传感器有关的交通工具传感器数据，并且响应于来自在所述增强现实系统上运行的所述增强现实应用的对所述API的呼叫，经由所述API和所述网络链路，将与所述交通工具传感器数据对应的交通工具信息提供给所述增强现实系统；以及

由所述增强现实系统执行的处理还包括：通过来自所述增强现实应用的对所述API的呼叫，经由所述网络链路来获取与安装在所述交通工具上的传感器有关的交通工具传感器数据所对应的交通工具信息。

18.根据权利要求15所述的系统，其中：

所述交通工具装载管理系统被配置为接收由安装在所述交通工具上的相机拍摄的图像，并且响应于来自在所述增强现实系统上运行的所述增强现实应用的对所述API的呼叫，经由所述API和网络链路将所述图像提供给所述增强现实系统；以及

所述增强现实系统通过来自所述增强现实应用的对所述API的呼叫，经由所述网络链路获取来自所述交通工具的相机的所述相机图像，以将所述相机图像从所述交通工具装载管理系统传送至所述增强现实系统。

19.根据权利要求15所述的系统，其中，所述增强现实系统通过使用所述增强现实系统上的相机捕获所述相机图像来获取所述相机图像。

20.根据权利要求15所述的系统，其中，所述处理还包括：

在所述增强现实系统上模拟对所述交通工具的控制；以及

与对所述交通工具的模拟控制对应地，在所述增强现实系统的显示器上显示周围环境的图像。