CN114510146A - 基于传感器数据的增强现实可视化的系统和方法 - Google Patents

基于传感器数据的增强现实可视化的系统和方法 Download PDF

Info

Publication number
CN114510146A
CN114510146A CN202111337158.4A CN202111337158A CN114510146A CN 114510146 A CN114510146 A CN 114510146A CN 202111337158 A CN202111337158 A CN 202111337158A CN 114510146 A CN114510146 A CN 114510146A
Authority
CN
China
Prior art keywords
vehicle
route
data
location
headset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111337158.4A
Other languages
English (en)
Inventor
J·J·邦南
W·J·伍德
T·J·斯特普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/098,620 external-priority patent/US11200749B2/en
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN114510146A publication Critical patent/CN114510146A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/191—Highlight information
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及基于传感器数据的增强现实可视化的系统和方法。一种设备被配置为基于交通工具传感器数据和耳机传感器数据估计增强现实耳机的用户的凝视目标。该设备被配置为基于凝视目标生成可视化数据。响应于确定凝视目标在第一交通工具内部，可视化数据包括在第一交通工具外部的第一兴趣点的第一视觉描绘。第一兴趣点包括特定交通工具的特定路线的至少一部分。特定交通工具包括第一交通工具或第二交通工具。响应于确定凝视目标在第一交通工具外部，可视化数据包括在第一交通工具内部的第二兴趣点的第二视觉描绘。

Description

基于传感器数据的增强现实可视化的系统和方法
技术领域
本公开总体上涉及增强现实可视化。
背景技术
增强现实(AR)正在迅速改变人们与计算机系统和环境交互的方式。预计该技术将广泛影响航空航天和国防。机组人员(例如商用飞行器、军用飞行器、轮船和地面交通工具(vehicle)的机组人员)通常在两种不同的情境之间保持态势感知：主要在固定的二维计算机显示器上呈现的信息以及三维外部环境。机组人员通过重定向他们的凝视或通过在控制台和窗口之间进行物理移动来在这两个情境之间进行转变。例如，当机组人员试图在二维图形和三维地形之间进行映射时，也会发生精神转变。尺寸和重量约束可能限制固定显示器的数量，因此某些机组人员可能无法根据需要或在需要时访问信息。
发明内容
在一个特定实施方式中，一种用于增强现实可视化的设备包括接口和一个或多个处理器。该接口被配置为从耦合到第一交通工具的一个或多个交通工具传感器接收交通工具传感器数据。该接口还配置为从耦合到增强现实耳机(headset)的一个或多个耳机传感器接收耳机传感器数据。一个或多个处理器被配置为基于交通工具传感器数据和耳机传感器数据确定增强现实耳机相对于第一交通工具的取向和位置。一个或多个处理器还被配置为基于耳机传感器数据以及增强现实耳机相对于第一交通工具的取向和位置来估计增强现实耳机的用户的凝视目标。一个或多个处理器还被配置为基于凝视目标生成可视化数据。响应于确定凝视目标在第一交通工具内部，可视化数据包括在第一交通工具外部的第一兴趣点的第一视觉描绘。第一兴趣点包括特定交通工具的特定路线的至少一部分。特定交通工具包括第一交通工具或第二交通工具。响应于确定凝视目标在第一交通工具外部，可视化数据包括在第一交通工具内部的第二兴趣点的第二视觉描绘。一个或多个处理器还被配置为将可视化数据发送到增强现实耳机的显示器。
在另一特定实施方式中，一种增强现实可视化的方法包括在设备处从耦合到第一交通工具的一个或多个交通工具传感器接收交通工具传感器数据。该方法还包括在设备处从耦合到增强现实耳机的一个或多个耳机传感器接收耳机传感器数据。该方法还包括基于交通工具传感器数据和耳机传感器数据确定增强现实耳机相对于第一交通工具的取向和位置。该方法还包括在设备处基于耳机传感器数据以及增强现实耳机相对于第一交通工具的取向和位置来估计增强现实耳机的用户的凝视目标。该方法还包括在设备处基于凝视目标生成可视化数据。响应于确定凝视目标在第一交通工具内部，可视化数据包括在第一交通工具外部的第一兴趣点的第一视觉描绘。第一兴趣点包括特定交通工具的特定路线的至少一部分。特定交通工具包括第一交通工具或第二交通工具。响应于确定凝视目标在第一交通工具外部，可视化数据包括在第一交通工具内部的第二兴趣点的第二视觉描绘。该方法还包括将可视化数据从设备发送到增强现实耳机的显示器。
在另一特定实施方式中，一种计算机可读存储设备存储指令，这些指令在由一个或多个处理器执行时，使一个或多个处理器从耦合到第一交通工具的一个或多个交通工具传感器接收交通工具传感器数据。这些指令在由一个或多个处理器执行时，还使一个或多个处理器从耦合到增强现实耳机的一个或多个耳机传感器接收耳机传感器数据。这些指令在由一个或多个处理器执行时，还使一个或多个处理器基于交通工具传感器数据和耳机传感器数据确定增强现实耳机相对于第一交通工具的取向和位置。这些指令在由一个或多个处理器执行时，还使一个或多个处理器基于耳机传感器数据以及增强现实耳机相对于第一交通工具的取向和位置来估计增强现实耳机的用户的凝视目标。这些指令在由一个或多个处理器执行时，还使一个或多个处理器基于凝视目标生成可视化数据。响应于确定凝视目标在第一交通工具内部，可视化数据包括在第一交通工具外部的第一兴趣点的第一视觉描绘。第一兴趣点包括特定交通工具的特定路线的至少一部分。特定交通工具包括第一交通工具或第二交通工具。响应于确定凝视目标在第一交通工具外部，可视化数据包括在第一交通工具内部的第二兴趣点的第二视觉描绘。这些指令在由一个或多个处理器执行时，还使一个或多个处理器将可视化数据发送到增强现实耳机的显示器。
在另一特定实施方式中，一种用于增强现实可视化的设备包括接口和一个或多个处理器。该接口被配置为从耦合到交通工具的一个或多个交通工具传感器接收交通工具传感器数据。该接口还被配置为从耦合到增强现实耳机的一个或多个耳机传感器接收耳机传感器数据。一个或多个处理器被配置为基于交通工具传感器数据确定交通工具的移动。一个或多个处理器还被配置为基于耳机传感器数据确定增强现实耳机的移动。一个或多个处理器还被配置为基于交通工具的移动与增强现实耳机的移动的比较来估计增强现实耳机的移动的用户部分，该用户部分由增强现实耳机的用户的头部的移动引起，而不是由交通工具的移动引起。一个或多个处理器还被配置为基于增强现实耳机的移动的用户部分来确定增强现实耳机相对于交通工具的取向和位置。一个或多个处理器还被配置为基于耳机传感器数据以及增强现实耳机相对于交通工具的取向和位置来估计用户的凝视目标。一个或多个处理器还被配置为基于凝视目标生成可视化数据。响应于确定凝视目标在交通工具内部，可视化数据包括在交通工具外部的第一兴趣点的第一视觉描绘。响应于确定凝视目标在交通工具外部，可视化数据包括在交通工具内部的第二兴趣点的第二视觉描绘。一个或多个处理器还被配置为将可视化数据发送到增强现实耳机的显示器。
在另一特定实施方式中，一种增强现实可视化的方法包括在设备处从耦合到交通工具的一个或多个交通工具传感器接收交通工具传感器数据。该方法还包括在设备处从耦合到增强现实耳机的一个或多个耳机传感器接收耳机传感器数据。该方法还包括基于交通工具传感器数据和耳机传感器数据确定增强现实耳机相对于交通工具的取向和位置。该方法还包括至少部分地基于增强现实耳机相对于交通工具的取向和位置来估计增强现实耳机的用户的凝视目标。该方法还包括在设备处基于凝视目标生成可视化数据。响应于确定凝视目标在交通工具内部，可视化数据包括在交通工具外部的第一兴趣点的第一视觉描绘。响应于确定凝视目标在交通工具外部，可视化数据包括在交通工具内部的第二兴趣点的第二视觉描绘。该方法还包括将可视化数据从设备发送到增强现实耳机的显示器。
在另一特定实施方式中，一种计算机可读存储设备存储指令，该指令在由处理器执行时使处理器执行操作，该操作包括从耦合到交通工具的一个或多个交通工具传感器接收交通工具传感器数据。该操作还包括从耦合到增强现实耳机的一个或多个耳机传感器接收耳机传感器数据。该操作还包括基于交通工具传感器数据和耳机传感器数据估计增强现实耳机的用户的凝视目标。该操作还包括基于凝视目标生成可视化数据。响应于确定凝视目标在交通工具内部，可视化数据包括在交通工具外部的第一兴趣点的第一视觉描绘。响应于确定凝视目标在交通工具外部，可视化数据包括在交通工具内部的第二兴趣点的第二视觉描绘。该操作还包括将可视化数据发送到增强现实耳机的显示器。
本文描述的特征、功能和优点可以在各种实施方式中独立地实现，或者可以在其他实施方式中进行组合，其更多细节可以参考以下描述和附图来找到。
附图说明
图1是示出可操作用于执行增强现实可视化的系统的框图；
图2A是示出增强现实可视化的示例的图。
图2B是示出增强现实可视化的另一示例的图；
图3A是示出增强现实可视化的另一示例的图；
图3B是示出增强现实可视化的另一示例的图；
图4A是示出增强现实可视化的另一示例的图；
图4B是示出增强现实可视化的另一示例的图；
图5A是示出增强现实可视化的另一示例的图；
图5B是示出增强现实可视化的另一示例的图；
图6是示出可操作以执行增强现实可视化的另一系统的示例的图；
图7是示出增强现实可视化的方法的示例的流程图；
图8是示出增强现实可视化的方法的另一示例的流程图；并且
图9是描绘包括计算设备的计算环境的框图，该计算设备被配置为支持根据本公开的计算机实施的方法和计算机可执行程序指令(或代码)的各方面。
具体实施方式
本文描述的实施方式针对增强现实可视化。在一个特定示例中，交通工具中的用户佩戴增强现实(AR)耳机。一种设备从耦合到AR耳机的一个或多个耳机传感器接收耳机传感器数据。该设备还从耦合到交通工具的一个或多个交通工具传感器接收交通工具传感器数据。该设备的用户移动估计器确定由用户的头部的移动引起的而不是由交通工具的移动引起的AR耳机的移动的用户部分。在一个特定示例中，用户转过5度以朝交通工具中的仪表板的方向看，并且交通工具向左转。在该示例中，交通工具传感器数据指示交通工具已经转过90度。耳机传感器数据指示AR耳机已转过95度(由于交通工具的移动引起的90度+由于用户移动引起的5度)。用户移动估计器基于AR耳机的移动(例如95度)和交通工具的移动(例如90度)的比较来确定AR耳机的移动的用户部分。例如，用户移动估计器基于确定AR耳机的移动和交通工具的移动的净值是5度来确定用户部分指示相对于交通工具的5度移动。在另一示例中，用户移动估计器基于确定AR耳机的移动与交通工具的移动相匹配来确定用户部分指示没有移动。
凝视目标估计器基于AR耳机的移动的用户部分来估计用户的凝视目标。凝视目标指示用户在特定时间正在看哪里。在一个特定示例中，凝视目标估计器基于AR耳机的移动的用户部分来确定AR耳机相对于交通工具的取向和位置。凝视目标估计器基于AR耳机的取向和位置来确定用户正在朝交通工具的仪表板的方向看。在一些实施方式中，耳机传感器数据包括图像传感器数据。在这样的实施方式中，凝视目标估计器对图像传感器数据执行图像识别，以确定凝视目标包括仪表板的特定仪表。在另一个示例中，凝视目标可以指示用户朝交通工具外部的位置(例如，窗外)的方向看。
可视化数据生成器基于凝视目标和特定时间的情境为AR耳机生成可视化数据。例如，情境指示用户是在交通工具中还是在交通工具外部。在一些示例中，情境指示用户的角色。对于同一凝视目标，可视化数据可以基于情境而不同。例如，针对用户从飞机内部看船，可视化数据可以包括标识船的指示符，并且针对用户(例如，伞兵)从飞机外部看船，可视化数据可以包括风速计的视觉描绘。作为另一示例，当用户凝视目标在交通工具内部时，可视化数据可以包括具有对象的视觉描绘的三维可旋转地图，并且当用户凝视目标在交通工具外部时，可视化数据可以包括标记对象的位置的指示符。
在一些示例中，可视化数据可以包括标记在交通工具外部的对象的位置的指示符，尽管该对象对于用户不可见(例如，在云层后面或另一个对象后面)。
在一些示例中，可视化数据指示交通工具的路线的至少一部分。例如，可视化数据可以包括三维可旋转地图，其具有当用户凝视目标在交通工具内部时一个或多个交通工具的路线的视觉描绘。作为另一示例，可视化数据可以包括当用户凝视目标在交通工具外部时标记一个或多个交通工具的路线的指示符。
在一个特定示例中，可视化数据减少了用户在视觉上从一个情境移动到另一个情境时的精神工作量。例如，可视化数据在第一情境(例如，在交通工具内部显示的地图)中包括对象(例如，船、船的路线的一部分或两者)的视觉描绘，并且在第二情境(例如，交通工具外部)中包括用于标记对象(例如，船、船的路线的一部分或两者)位置的指示符。指示符与视觉描绘共同包括至少一个视觉元素，诸如颜色、图像、视频、动画、符号、文本、图案，或其组合。对于同一对象具有相似的视觉元素帮助用户在不同的情境中检测相应的对象。
附图和以下描述示出了特定示例性实施例。应当理解，本领域技术人员将能够设计出尽管未在本文中明确描述或示出但体现本文所述原理并且包括在该说明书随附的权利要求的范围内的各种布置。此外，本文描述的任何示例旨在帮助理解本公开的原理，并且应被解释为没有限制。因此，本公开不限于以下描述的特定实施例或示例，而是由权利要求书及其等同物限制。
本文参考附图描述特定实施方式。在说明书中，贯穿附图，由共同的附图标记表示共同的特征。如本文中所使用的，各种术语仅出于描述特定实施方式的意图进行使用而并非旨在进行限制。例如，单数形式的“一”，“一个”和“该/所述”也旨在包括复数形式，除非上下文另外明确指出。此外，本文描述的一些特征在一些实施方式中是单数，并且在其他实施方式中是复数。为了说明，图1描绘了包括一个或多个处理器(图1中的“(一个或多个)处理器”134)的设备102，其指示在一些实施方式中，设备102包括单个处理器134，并且在其他实施方式中，设备102包括多个处理器134。为了在本文中易于参考，通常将这样的特征介绍为“一个或多个”特征，并且随后以单数形式提及，除非描述了与多个特征有关的方面。
术语“包含”及其变体与“包括”及其变体可互换地使用。另外，术语“其中”与术语“在…情况中”可互换地使用。如本文所使用的，“示例性”指示示例、实施方式和/或方面，并且不应被解释为限制或指示优选物或优选的实施方式。如本文所使用的，用于修饰诸如结构、组件、操作等的元素的序数术语(例如，“第一”、“第二”、“第三”等)本身并不指示元素相对于另一个元素的任何优先级或顺序，而仅仅是将元素与具有相同名称(除了使用序数词)的另一个元素区分开。如本文所使用的，术语“集合”是指一个或多个元素的分组，并且术语“多个”是指多个元素。
如本文所使用的，除非上下文另外指出，否则“生成”、“计算”、“使用”、“选择”、“访问”和“确定”是可互换的。例如，“生成”、“计算”或“确定”参数(或信号)可以指主动生成、计算或确定参数(或信号)，或者可以指使用、选择或访问已经诸如由其他组件或设备生成的参数(或信号)。如本文所使用的，“耦合”可以包括“通信耦合”、“电耦合”或“物理耦合”，并且还可以(或可替代地)包括其任何组合。两个设备(或组件)可以直接或经由一个或多个其他设备、组件、电线、总线、网络(例如，有线网络、无线网络，或其组合)等间接耦合(例如，通信耦合、电耦合或物理耦合)。作为说明性非限制性示例，电耦合的两个设备(或组件)可以被包括在同一设备或不同设备中，并且可以经由电子件、一个或多个连接器或感应耦合进行连接。在一些实施方式中，通信耦合(诸如，以电通信方式)的两个设备(或组件)可以直接或间接地(例如，经由一根或多根电线、总线、网络等)发送和接收电信号(数字信号或模拟信号)。如本文所使用的，“直接耦合”用于描述在没有中间组件的情况下耦合(例如，通信耦合、电耦合或物理耦合)的两个设备。
图1是可操作用于执行增强现实可视化的系统100的框图。系统100包括经由网络190耦合到增强现实(AR)耳机108和交通工具104的设备102。网络190包括有线网络、无线网络或两者。AR耳机108包括(或耦合到)一个或多个耳机传感器131。耳机传感器131包括加速度计、陀螺仪、磁力计、惯性测量单元、图像传感器、全球定位系统(GPS)接收器、信标，或其组合。耳机传感器131被配置为生成耳机传感器(HS)数据141。交通工具104包括(或耦合到)一个或多个交通工具传感器162。交通工具传感器162包括雷达接收器、声纳水听器、海面搜索雷达接收器、声学传感器、地震传感器、地面监视雷达接收器、无源声纳水听器、无源雷达接收器、多普勒雷达接收器、加速度计、陀螺仪、磁力计、惯性测量单元、图像传感器、GPS接收器、信标，或其组合。交通工具传感器162被配置为生成交通工具传感器(VS)数据159。
应当注意，在下面的描述中，由图1的系统100执行的各种功能被描述为由某些组件或模块执行。然而，组件和模块的这种划分仅用于说明。在替代方面，本文描述的由特定组件或模块执行的功能被划分在多个组件或模块之中。此外，在替代方面，图1的两个或更多个组件或模块被集成到单个组件或模块中。图1中所示的每个组件或模块可以使用硬件(例如，现场可编程门阵列(FPGA)设备、专用集成电路(ASIC)、数字信号处理器(DSP)、控制器等)、软件(例如，可由处理器执行的指令)或其任何组合来实现。
设备102包括存储器132、一个或多个处理器134和接口130。接口130包括通信接口、网络接口、应用程序接口，或其组合。存储器132被配置为存储由处理器134使用(例如，生成)的数据103。在一些方面，数据103的一部分在任何给定时间被存储在存储器132中。接口130被配置为与网络190通信。处理器134包括用户移动估计器140、凝视目标估计器142、路线估计器144、情境估计器152、可视化数据生成器154，或其组合。用户移动估计器140被配置为基于HS数据141估计AR耳机108的耳机移动109，并且基于VS数据159估计交通工具104的交通工具移动105。用户移动估计器140被配置为基于耳机移动109和交通工具移动105的比较来估计用户移动111。用户移动111对应于由AR耳机108的用户101的头部的移动引起的而不是由交通工具移动105引起的耳机移动109的用户部分。
凝视目标估计器142被配置为基于用户移动111来估计用户101的凝视目标127(例如，凝视的地点)。在一个特定示例中，凝视目标估计器142被配置为基于用户移动111确定AR耳机108相对于交通工具104的耳机取向115、耳机位置113或两者。为了说明，用户移动111指示AR耳机108相对于交通工具104移动了特定角度(例如，5度)、特定距离或两者。耳机取向115指示用户101朝相对于交通工具104(例如，距交通工具104的前方10度)的特定方向看。耳机位置113指示AR耳机108相对于交通工具104(例如，在交通工具104中)的位置。
在一个特定方面，凝视目标估计器142被配置为基于耳机取向115、耳机位置113或两者来确定凝视目标127。例如，凝视目标估计器142确定凝视目标127包括交通工具104的特定仪表板。作为另一个示例，凝视目标估计器142确定凝视目标127包括交通工具104的窗户。
在一个特定方面，凝视目标估计器142被配置为通过对HS数据141执行图像识别来确定(例如，细化)凝视目标127。例如，凝视目标估计器142被配置为基于图像识别来确定凝视目标127包括仪表板的特定仪表。作为另一个示例，凝视目标估计器142被配置为基于图像识别来确定凝视目标127包括交通工具104外部的特定对象，该特定对象可通过窗户看到。
路线估计器144被配置为确定交通工具104的一条或多条路线178、交通工具106的一条或多条路线，或其组合。例如，路线178包括一条或多条计划路线180、一条或多条经过(traversed)路线182、一条或多条内插路线184、一条或多条预测路线186、一条或多条推荐路线188，或其组合。例如，交通工具打算行驶从原点到目的地计划路线180。检测到交通工具已行驶从第一位置到第二位置的经过路线182。在一些示例中，第一位置包括原点，并且第二位置位于原点和目的地之间。在其他示例中，在交通工具由于各种原因(诸如交通、天气、障碍物等)已经从计划路线180重新路由的情况下，第二位置不在原点和目的地之间。在一个特定示例中，VS数据159(例如，GPS数据、雷达数据、声纳数据，或其组合)指示在估计位置处检测到交通工具。为交通工具从第二位置到估计位置确定内插路线184。交通工具的预测路线186指示交通工具从估计位置到计划路线180上的预测位置的预期路线。交通工具的推荐路线188满足路线目的194。路线目的194包括障碍物避免、碰撞避免、恶劣天气避免、区域避免、时间目的、燃料消耗目的、成本目的，或其组合。
情境估计器152被配置为确定情境137。例如，情境137包括用户101的用户角色139、用户位置情境121(例如，用户101在交通工具104内部还是外部)、凝视目标情境123(例如，用户正在看的对象的位置)，或其组合。可视化数据生成器154被配置为基于凝视目标127(例如，用户101正在看什么)、情境137、路线178，或其组合来生成可视化数据155。例如，可视化数据155包括一个或多个视觉元素163(例如，虚拟元素)，其基于凝视目标127、情境137、路线178，或其组合被选择。可视化数据生成器154被配置为将可视化数据155发送到AR耳机108的显示器。
在操作期间，用户101激活(例如，加电)AR耳机108。耳机传感器131生成HS数据141。例如，耳机传感器131在第一时间范围期间生成HS数据141。为了说明，耳机传感器131中的一个或多个传感器在第一时间范围期间连续地、以各种时间间隔、响应于检测到事件，或其组合而生成数据。事件可以包括从设备102接收请求、接收用户输入、检测到AR耳机108的移动，或其组合。
设备102从AR耳机108接收HS数据141。例如，AR耳机108连续地、以各种时间间隔、响应于检测到事件，或其组合而将HS数据141发送到设备102。事件可以包括从设备102接收请求、接收用户输入、检测到AR耳机108的移动、检测到HS数据141的更新，或其组合。
交通工具传感器162生成VS数据159。例如，交通工具传感器162在第二时间范围期间生成VS数据159。在一个特定方面，第二时间范围与第一时间范围相同、交叠或在第一时间范围的阈值持续时间(例如，5分钟)内。为了说明，交通工具传感器162的一个或多个传感器在第二时间范围期间连续地、以各种时间间隔、响应于检测到事件，或其组合而生成数据。事件可以包括从设备102接收请求、接收用户输入、检测到交通工具104的移动，或其组合。
设备102从交通工具104接收VS数据159。例如，交通工具104连续地、以各种时间间隔、响应于检测到事件，或其组合而将VS数据159发送到设备102。事件可以包括从设备102接收请求、接收用户输入、检测到交通工具104的移动、检测到VS数据159的更新，或其组合。
在一个特定方面，设备102经由接口130从一个或多个数据源192、交通工具104、交通工具106，或其组合接收计划路线数据191、位置数据193，或其组合。一个或多个数据源192、交通工具104、交通工具106，或其组合连续地、以各种时间间隔、响应于检测到事件，或其组合，向设备102发送计划路线数据191、位置数据193，或其组合。事件可以包括从设备102接收请求、接收用户输入，或其组合。在一个特定方面，一个或多个数据源192包括岸站、卫星、飞行器通信寻址和报告系统(ACARS)、蓝军跟踪器(BFT)，或其组合。
在一个特定示例中，设备102从交通工具104、经由用户输入(例如，来自交通工具104的操作员)，或两者，接收交通工具104的计划路线数据191A。计划路线数据191A指示交通工具104从第一时间(例如，预计出发时间)下的第一原点到第二时间(例如，预计到达时间)下的第一目的地的计划路线180A。例如，计划路线180A指示预计交通工具104在第一时间处于第一原点、在特定时间处于第二位置、在一个或多个附加时间处于一个或多个附加位置、在第二时间处于第一目的地，或其组合。在一个特定方面，设备102在交通工具104离开第一原点之前接收计划路线数据191A。
在一个特定方面，设备102经由网络190从数据源192A接收计划路线数据191B。计划路线数据191B指示交通工具106从第一时间(例如，预计出发时间)下的第二原点到第二时间(例如，预计到达时间)下的第二目的地的计划路线180B。例如，计划路线180B指示预计交通工具106在第一时间处于第二原点、在特定时间处于第二位置、在一个或多个附加时间处于一个或多个附加位置、在第二时间处于第二目的地，或其组合。第一原点可以与第二原点或第二目的地相同或不同。第一目的地可以与第二原点或第二目的地相同或不同。
在一个特定方面，路线估计器144向数据源192A发送计划路线数据请求，并接收响应于计划路线数据请求的计划路线数据191B。在一个特定实施方式中，计划路线数据请求指示交通工具104的计划路线180A，并且数据源192A发送预计在沿计划路线180A的交通工具104的阈值距离内的一个或多个交通工具106的计划路线数据191。例如，数据源192A基于计划路线180A和计划路线180B的比较来确定交通工具106A预计在交通工具104的阈值距离内。数据源192A响应于确定交通工具106A预计在交通工具104的阈值距离内，将计划路线数据191B发送到设备102。在特定实施方式中，计划路线数据请求指示与计划路线180A相关联(例如，穿过)的一个或多个域，并且数据源192A响应于确定计划路线180B与一个或多个域中的至少一个相关联(例如，穿过一个或多个区域)而发送计划路线180B。
在一个特定方面，设备102从交通工具104接收交通工具104的位置数据193A。位置数据193A指示在特定时间检测到的交通工具104的特定位置。在一个特定实施方式中，设备102向数据源192A发送指示特定位置和特定时间的计划路线数据请求，并且数据源192A发送预计在特定时间的阈值时间内处于特定位置的阈值距离内的一个或多个交通工具106的计划路线数据191。
在一个特定方面，路线估计器144确定交通工具104从第一位置到特定位置的经过路线182A。例如，路线估计器144以各种时间间隔从交通工具104接收位置数据193A。为了说明，路线估计器144在第一时间接收指示在第一位置检测到交通工具104的位置数据193A，在第二时间接收指示在第二位置检测到交通工具104的位置数据193A，在一个或多个附加时间接收指示在一个或多个附加位置检测到交通工具104的位置数据193A，在特定时间接收指示在特定位置检测到(例如，最近检测到)交通工具104的位置数据193A，或其组合。路线估计器144确定交通工具104从第一位置经由第二位置、一个或多个附加位置，或其组合到特定位置的经过路线182A。在一个特定方面，经过路线182A指示沿交通工具104从第一位置到特定位置经过的路线的点(和对应的时间)。在一个特定实施方式中，经过路线182A包括交通工具104的成对检测位置之间的直线路线段。在一个示例中，经过路线182包括曲线路线，该曲线路线由一系列以特定比例呈现曲线的直线路线段组成。在一个特定示例中，第一位置包括原点，并且特定位置处于原点和目的地之间。
在一个特定方面，设备102从数据源192B接收一个或多个交通工具106的位置数据193。例如，交通工具106以各种时间间隔(例如，以15分钟间隔)传输交通工具106的交通工具位置信息，并且数据源192B存储交通工具位置信息。为了说明，交通工具位置信息由岸站接收，岸站经由卫星将交通工具位置信息转发到数据源192B。
在一个特定方面，路线估计器144基于位置数据193确定一个或多个交通工具106的一条或多条经过路线182。例如，位置数据193B指示检测到交通工具106在第一时间处于第一位置，在一个或多个附加时间处于一个或多个位置，在特定时间处于特定位置(例如，最近检测到的位置)，或其组合。路线估计器144确定交通工具106从第一位置经由一个或多个附加位置到特定位置的经过路线182B。在一个特定方面，经过路线182B指示沿交通工具106从第一位置到特定位置经过的路线的点(和对应的时间)。在一个特定实施方式中，经过路线182B包括交通工具104的成对检测位置之间的直线路线段、曲线路线段，或其组合。
在一个特定方面，路线估计器144确定一个或多个交通工具106的一条或多条内插路线184。例如，在交通工具106传输指示交通工具106的特定位置(例如，最近检测到的位置)的交通工具位置信息和设备102接收交通工具位置信息之间可能存在延迟。交通工具106可能在延迟期间已经从特定位置移动。例如，VS数据159(例如，雷达数据、声纳数据或两者)指示交通工具106的估计位置。在一个特定方面，路线估计器144响应于确定由VS数据159指示的估计位置和由位置数据193指示的特定位置(例如，最近检测到的位置)之间的差大于阈值距离，来确定交通工具106的内插路线184。在一个特定方面，确定交通工具106的内插路线184包括基于特定位置(例如，最近检测到的位置)和估计位置执行内插。在一个特定方面，内插路线184对应于特定位置和估计位置之间的最短可经过路径、最快可经过路径或两者。在一些示例中，内插路线184对应于特定位置和估计位置之间的直线。在其他示例中，内插路线184对应于特定位置和估计位置之间的非线性路径。为了说明，内插路线184遵循交通工具106正在行驶的弯曲路径(例如，道路或河流)、避免障碍物(例如，绕过岛屿、山脉或建筑物)、遵循合法可进入的路径(例如，避免受限区域、错误方向的单向街道等)，或其组合。
在一个特定方面，由交通工具104的位置数据193A指示的特定位置与由交通工具104的VS数据159指示的估计位置相同。例如，设备102从交通工具104接收位置数据193A、VS数据159，或其组合。位置数据193A、VS数据159，或其组合指示交通工具104的相同交通工具位置信息(例如，GPS坐标)。
在一个特定方面，路线估计器144确定交通工具104的一条或多条预测路线186、交通工具106的一条或多条预测路线186，或其组合。例如，路线估计器144确定从估计位置到计划路线上的预测位置的预测路线186。预测路线186基于估计位置(例如，由VS数据159指示)、交通工具状态(例如，由VS数据159指示)、交通工具能力(例如，由交通工具能力数据指示)、外部条件(例如，由外部条件数据指示)，或其组合。为了说明，路线估计器144确定交通工具104从估计位置到交通工具104的计划路线180A上的预测位置的预测路线186A。预测路线186A基于交通工具104的估计位置、交通工具104的交通工具状态(例如，方向、速度、加速度，或其组合)、交通工具104的交通工具能力(例如，平均速度、最大速度、转弯半径、平均加速度、最大加速度、平均减速度、最大减速度)、外部条件(例如，天气条件、风速、风流、水流、障碍物、受限区域)，或其组合。在一个特定方面，给定交通工具状态、交通工具能力、外部条件或其组合，路线估计器144确定交通工具104从估计位置回到计划路线180A可能采取的预测路线186A。在一个特定方面，路线估计器144从一个或多个数据源192、交通工具104，或其组合接收交通工具能力数据、外部条件数据，或其组合。
在一个特定方面，路线估计器144确定交通工具106从估计位置到交通工具106的计划路线180B上的预测位置的预测路线186B。预测路线186B基于交通工具106的估计位置(例如，由VS数据159指示)、交通工具106的交通工具状态(例如，由VS数据159指示，诸如方向、速度、加速度，或其组合)、交通工具106的交通工具能力(例如，由交通工具能力数据指示，诸如平均速度、最大速度、转弯半径、平均加速度、最大加速度、平均减速度、最大减速度)、外部条件(例如，由外部条件数据指示，诸如天气条件、风速、风流、水流、障碍物、受限区域)，或其组合。在一个特定方面，给定交通工具状态、交通工具能力、外部条件或其组合，路线估计器144确定交通工具106从估计位置回到计划路线180B可能采取的预测路线186B。在一个特定方面，路线估计器144从一个或多个数据源192、交通工具104、交通工具106，或其组合接收交通工具能力数据、外部条件数据或其组合。
在一个特定方面，路线估计器144确定交通工具104的一条或多条推荐路线188。例如，路线估计器144确定从估计位置到计划路线上的推荐位置的推荐路线188。推荐路线188满足路线目的194。例如，路线目的194包括障碍物避免、碰撞避免、恶劣天气避免、区域避免、时间目的、燃料消耗目的、成本目的，或其组合。在一个特定方面，路线目的194基于用户输入、默认数据、配置设置，或其组合。在一个特定方面，推荐路线188基于交通工具104的估计位置(例如，由VS数据159指示)、交通工具104的交通工具状态(例如，由VS数据159指示)、交通工具104的交通工具能力(例如，由交通工具能力数据指示)、外部条件(例如，由外部条件数据指示)、一条或多条预测路线186、路线目的194，或其组合。为了说明，路线估计器144确定交通工具104从估计位置到交通工具104的计划路线180A上的推荐位置的推荐路线188A。推荐路线186A基于交通工具104的估计位置、交通工具104的交通工具状态(例如，方向、速度、加速度，或其组合)、交通工具104的交通工具能力(例如，平均速度、最大速度、转弯半径、平均加速度、最大加速度、平均减速度、最大减速度)、外部条件(例如，天气条件、风速、风流、水流、障碍物、受限区域)、一个或多个交通工具106的一条或多条预测路线186、路线目的194，或其组合。在一个特定方面，给定交通工具状态、交通工具能力、外部条件、一个或多个交通工具106可能采取的路线或其组合，路线估计器144确定交通工具104从估计位置到达计划路线180A并满足路线目的194的推荐路线188A。
在一个特定方面，路线估计器144响应于确定预测路线186未能满足路线目的194，生成满足路线目的194的推荐路线188。推荐路线188指示推荐航向、推荐速度、推荐高度，或其组合，其不同于由预测路线186指示的预测航向、预测速度、预测高度或其组合。
在一个特定示例中，路线估计器144基于交通工具104的预测路线186A和交通工具106的预测路线186B的比较来检测交通工具104和交通工具106之间的预估碰撞。为了说明，路线估计器144响应于确定在由预测路线186A指示的第一预测时间处的交通工具104第一预测位置在由预测路线186B指示的第二预测时间处的交通工具106的第二预测位置的阈值距离内，并且第一预测时间在第二预测时间的阈值持续时间内，而检测预估碰撞。路线估计器144响应于确定路线目的194包括碰撞避免和检测预估碰撞，生成避免预估碰撞的交通工具104的推荐路线188A，生成指示预估碰撞的警报181和推荐路线188A，或两者。例如，推荐路线188A包括推荐速度、推荐方向、推荐高度或其组合，其不同于在预估碰撞的预估位置之前由预测路线186A指示的预测速度、预测方向、预测高度或其组合。
在一个特定方面，路线估计器144确定交通工具104的多条推荐路线188。例如，路线估计器144确定满足路线目的194A(例如，碰撞避免)的推荐路线188A、满足路线目的194B(例如，时间目的)的推荐路线188B、满足路线目的194C(例如，碰撞避免和成本目的)的推荐路线188C，或其组合。在一个特定方面，路线估计器144将指示一条或多条路线178、路线目的194、警报181、计划路线数据191、位置数据193，或其组合的数据存储在存储器132中。
情境估计器152从存储器132中检索与第一时间范围(例如，上午10:10–上午10:11)相对应的HS数据141。例如，HS数据141包括用第一时间范围期间的时间(例如，上午10:10:03)加时间戳的传感器数据。情境估计器152从存储器132中检索与第二时间范围(例如，上午10:09–上午10:11)相对应的VS数据159。例如，VS数据159包括用第二时间范围期间的时间(例如，上午10:10:07)加时间戳的传感器数据。响应于确定第一时间范围与第二时间范围匹配(例如，交叠)，情境估计器152确定HS数据141与VS数据159相对应。在一个特定示例中，响应于确定第一时间范围与第二时间范围相同，情境估计器152确定第一时间范围与第二时间范围匹配。在另一个示例中，响应于确定第一时间范围与第二时间范围交叠，情境估计器152确定第一时间范围与第二时间范围匹配。在一个特定示例中，响应于确定第一时间范围或第二时间范围中的一个的结束与第一时间范围或第二时间范围中的另一个的开始之间的持续时间在阈值持续时间(例如，10秒或1分钟)内，情境估计器152确定第一时间范围与第二时间范围匹配。
情境估计器152基于HS数据141、VS数据159或两者来确定情境137。例如，响应于确定HS数据141对应于VS数据159，情境估计器152基于HS数据141和VS数据159确定情境137。在一个特定方面，情境估计器152确定指示用户101是否在任何交通工具中的用户位置情境121。在一个特定实施方式中，响应于确定VS数据159指示在交通工具104中的第一传感器的附近(例如，小于6英寸)检测到与用户101相关联的标签，情境估计器152生成指示用户101在交通工具104中的用户位置情境121。可替代地，响应于确定VS数据159指示在交通工具104外部(例如，在交通工具104的外部表面上)的第二传感器的附近(例如，小于6英寸)检测到与用户101相关联的标签，情境估计器152生成指示用户101不在交通工具104中的用户位置情境121。在一个替代实施方式中，响应于确定由HS数据141指示的用户101的第一用户位置在由VS数据159指示的交通工具104的第一交通工具位置的阈值距离(例如，6英寸)内、对HS数据141的图像传感器数据执行的图像识别与交通工具104的内部匹配或两者，情境估计器152生成指示用户101在交通工具104中的用户位置情境121。
在一个特定方面，当交通工具104的移动很可能独立于由用户101引起的任何移动来引起由用户101佩戴的AR耳机108的移动时，用户101被认为是在交通工具104“中”。在一个特定示例中，用户101站在交通工具104的车顶上并且被认为是在交通工具104“中”。在另一个示例中，用户101用脚站在交通工具104外部的地面上并且用头部通过打开的窗户朝交通工具104内部看，并且用户101被认为不在交通工具104“中”。
情境估计器152确定用户101的用户角色139。在一个特定示例中，用户角色139是相对静态的，并且由情境配置数据167指示。在一个特定方面，情境配置数据167基于默认数据、配置数据、用户输入或其组合。在替代示例中，用户角色139是动态的，并且至少部分地基于用户位置情境121。为了说明，情境配置数据167指示用户101具有交通工具104内部的第一角色，以及交通工具104外部的第二角色。
响应于确定用户位置情境121指示用户101在交通工具104中，用户移动估计器140基于HS数据141和VS数据159的比较来确定用户移动111。在一个特定示例中，用户移动估计器140确定由HS数据141指示的耳机移动109。例如，HS数据141指示AR耳机108相对于环境(例如，地理坐标)沿特定方向、特定距离、特定旋转角度或其组合移动。耳机移动109指示特定方向、特定距离、特定旋转角度或其组合。在一个特定方面，特定旋转角度指示用户101的头部相对于环境的偏航、俯仰、滚转或其组合。用户移动估计器140确定由VS数据159指示的交通工具移动105。例如，VS数据159指示交通工具104相对于环境(例如，地理坐标)沿特定方向、特定距离、特定旋转角度或其组合移动。在一个特定方面，特定旋转角度指示交通工具104相对于环境的偏航、俯仰、滚转或其组合。交通工具移动105指示特定方向、特定距离、特定旋转角度或其组合。
响应于确定用户位置情境121指示用户101在交通工具104中，用户移动估计器140基于耳机移动109和交通工具移动105的比较来确定用户移动111。例如，用户移动估计器140基于耳机移动109和交通工具移动105的净值来确定用户移动111。在一个特定方面，耳机移动109包括由用户101的移动引起的第一部分和由交通工具104的移动引起的第二部分。例如，佩戴AR耳机108的用户101移动其头部(例如，向左转过5度)，并且交通工具104转动(例如，向左转过90度)。耳机移动109指示AR耳机108相对于环境移动(例如，95度)。用户移动111(例如，向左5度)指示第一部分(例如，由用户101的头部的移动引起而不是由交通工具移动105引起)。
在一个特定方面中，响应于确定用户位置情境121指示用户101不在交通工具104中(例如，不在任何交通工具中)，用户移动估计器140基于HS数据141且独立于VS数据159确定用户移动111。例如，响应于确定用户位置情境121指示用户101不在交通工具104中(例如，不在任何交通工具中)，用户移动估计器140将耳机移动109指定为用户移动111。
响应于确定用户位置情境121指示用户101在交通工具104中，用户移动估计器140确定AR耳机108相对于交通工具104的耳机取向115和耳机位置113。例如，用户移动估计器140基于用户移动111来确定耳机取向115、耳机位置113或两者。在一个特定示例中，用户移动111指示相对于交通工具104的特定旋转角度(例如，净值旋转角度)，并且用户移动估计器140基于特定旋转角度确定耳机取向115。为了说明，响应于确定AR耳机108先前具有相对于交通工具104的第一耳机取向(例如，用户101朝着交通工具104的前方看)，用户移动估计器140通过将特定旋转角度(例如，向左5度)应用于第一耳机取向(例如，0度)来确定耳机取向115(例如，-5度或355度)。在一个特定示例中，用户移动111指示相对于交通工具104的特定距离、特定方向或两者，并且用户移动估计器140基于特定距离、特定方向或两者来确定耳机位置113。为了说明，响应于确定AR耳机108先前具有相对于交通工具104的第一耳机位置(例如，第一坐标)，用户移动估计器140通过将特定距离、特定方向或两者(例如，坐标增量)应用于第一耳机位置(例如，第一坐标)来确定相对于交通工具104的耳机位置113(例如，第二坐标)。用户移动估计器140将耳机位置113、耳机取向115或两者存储在存储器132中。
在一个特定示例中，HS数据141指示用户101正在第一全球方向(例如，西)上看，并且VS数据159指示交通工具104被定向在第二全球方向(例如，北)上。用户移动估计器140基于第一全球方向和第二全球方向的比较来确定用户101正在相对于交通工具104(例如，朝向交通工具104左侧)的特定用户-交通工具方向上看。耳机取向115指示特定用户-交通工具方向。
在一个特定示例中，HS数据141指示用户101位于第一全球位置，并且VS数据159指示交通工具104的中心位于第二全球位置。用户移动估计器140基于第一全球位置和第二全球位置的比较来确定用户101位于相对于交通工具104的中心的特定用户-交通工具位置。耳机位置113指示该特定用户-交通工具位置。
响应于确定用户位置情境121指示用户101不在交通工具104中，凝视目标估计器142基于HS数据141、用户移动111或两者来确定凝视目标127。在一个特定示例中，HS数据141指示用户101的全球位置(例如，GPS坐标)、用户101正在看的全球方向(例如，指南针方向、仰角或两者)或两者。在另一个示例中，HS数据141指示用户移动111。在该示例中，凝视目标估计器142通过将用户移动111应用于用户101的先前的全球位置、先前的全球方向或两者来确定全球位置、全球方向或两者。在一个特定方面，凝视目标估计器142响应于确定地图数据135指示凝视目标127与全球位置、全球方向或两者相关联来标识凝视目标127。在一个特定方面，凝视目标估计器142通过将HS数据141的图像传感器数据和与全球位置、全球方向或两者相关联的对象的图像进行比较来执行图像识别。在这个方面，凝视目标估计器142响应于基于图像识别确定凝视目标127的图像与图像传感器数据匹配来标识凝视目标127。
在一个特定方面，响应于确定用户位置情境121指示用户101在交通工具104中，凝视目标估计器142基于HS数据141、耳机位置113、耳机取向115或其组合确定凝视目标127。在一个特定示例中，凝视目标127指示用户101正在看什么(例如，对象)。凝视目标估计器142对HS数据141的图像传感器数据(例如，由耳机传感器131的照相机捕获的)执行图像识别以标识特定对象。为了说明，凝视目标估计器142确定交通工具地图数据133指示凝视目标区域(例如，特定仪表板)对应于耳机位置113、耳机取向115或两者。交通工具地图数据133包括位于交通工具104中的凝视目标区域(例如，特定仪表板)中的对象(例如，特定仪表)的图像。例如，交通工具地图数据133包括特定对象的一个或多个第一图像。凝视目标估计器142响应于确定图像识别指示图像传感器数据与第一图像匹配而将特定对象标识为凝视目标127。响应于确定交通工具地图数据133指示特定对象在交通工具104中，凝视目标估计器142生成指示凝视目标127在交通工具104中的凝视目标情境123。
在一个特定示例中，凝视目标估计器142确定用户101正在看交通工具104外部的特定对象。为了说明，响应于确定交通工具地图数据133指示耳机位置113、耳机取向115或两者对应于交通工具104的开放或透视部分(例如，窗户)，凝视目标估计器142确定用户101正在看外部。在一个特定示例中，凝视目标估计器142通过执行图像识别将(在交通工具104外部的)特定对象标识为凝视目标127。在一个特定示例中，凝视目标估计器142基于用户101的全球位置(例如，地理坐标)和全球方向(例如，东)来标识交通工具104外部的特定对象。例如，基于地图数据135，凝视目标估计器142基于全球位置和全球方向来标识全球区域(例如，特定道路左侧的路段)。凝视目标估计器142响应于基于图像识别确定HS数据141的图像传感器数据与特定对象的图像匹配而将特定对象指定为凝视目标127。凝视目标估计器142生成指示凝视目标127在交通工具104外部的凝视目标情境123。在一个特定方面，凝视目标情境123指示凝视目标127的位置(例如，GPS坐标)。
可视化数据生成器154基于HS数据141、凝视目标127、情境137、情境配置数据167、一条或多条路线178、警报181或其组合来生成可视化数据155。例如，情境配置数据167指示与凝视目标127、情境137或两者相对应的数据。在一个特定示例中，情境配置数据167指示第一数据(例如，具有一个或多个交通工具106的位置、交通工具104的位置、路线178或其组合的三维地图)对应于用户角色139(例如，导航员)、用户位置情境121(例如，在交通工具104内部)、凝视目标127(例如，交通工具104的内部部分)、凝视目标情境123(例如，在交通工具104内部)或其组合。在一个特定方面，第一数据的第一部分是相对静态的(例如，三维地图中的地标的位置)，并且第一数据的第二部分是动态的(例如，位置和路线)。例如，第一数据的第二部分从交通工具104的一个或多个系统(例如，雷达系统、通信系统或两者)接收，由路线估计器144生成，或其组合。
可视化数据生成器154基于第一数据生成可视化数据155以包括一个或多个视觉元素163。例如，响应于确定凝视目标情境123指示凝视目标127在交通工具104内部，可视化数据生成器154生成可视化数据155以包括视觉元素163，该视觉元素163将被显示给交通工具104中的具有用户角色139(例如，导航员)并朝着交通工具104的特定对象(例如，特定仪表)的方向看的用户。
在一个特定方面，视觉元素163包括位于交通工具104外部的兴趣点(POI)164(例如，交通工具106)的第一视觉描绘(例如，虚拟表示)、指示位于交通工具104内部的POI 166(例如，特定仪表)的位置的第二视觉指示符、警报181的视觉描绘，或其组合。如本文所使用的，“POI”是指要在可视化数据155中指示的对象、地标、位置、人、交通工具、交通工具的路线的至少一部分、数据或其组合。在一个特定示例中，情境配置数据167指示作为POI的对象、地标、位置、人、交通工具、路线部分，或其组合。
在图2A所示的示例中，视觉元素163包括在交通工具104外部的POI 164(例如，交通工具106)的视觉描绘203(例如，虚拟表示)、指示在交通工具104内部的POI 166(例如，特定仪表)的位置的视觉指示符221或两者。视觉描绘203、视觉指示符221或两者包括一个或多个视觉元素。在一个特定方面，视觉元素包括符号、形状、填充、标签、图像、动画、视频、文本、图案或其组合。在一个特定方面，视觉元素指示对应的POI(例如，POI 164或POI 166)的信息(例如，标识符、规格、剩余燃料、乘客信息、货物信息、位置或其组合)。在一个特定方面，视觉元素包括与对应的POI(例如，POI 164或POI 166)相关联的可选择选项。例如，用户101可以选择与POI 164相关联的可选择选项，例如，以与交通工具106进行通信。
在一个特定方面，生成视觉描绘203以在交通工具104内部显示在交通工具104外部的POI 164(例如，交通工具106)的虚拟表示。在一个特定方面，视觉元素163包括在交通工具104外部的多个POI的视觉描绘，并且生成视觉元素163以在交通工具104内部显示多个POI的相对位置。例如，如果POI 164(例如，交通工具106)距第一POI(例如，交通工具106)的距离是距交通工具104外部的第二POI(例如，山)的距离的两倍，则生成POI 164的视觉描绘203以在交通工具104内部被显示为距第一POI的第一视觉描绘的距离是距第二POI的第二视觉描绘的距离的两倍。
在一个特定方面，当POI 166(例如，特定仪表)处于佩戴耳机108的用户101的视野中时，生成视觉指示符221以供AR耳机108显示以指示POI 166在交通工具104内的位置。例如，可视化数据生成器154基于交通工具地图数据133、HS数据141或两者确定POI 166在交通工具104内部的位置。为了说明，可视化数据生成器154对HS数据141的图像传感器数据执行图像识别，并确定POI 166在AR耳机108的用户101的视野中的位置。可视化数据生成器154生成视觉指示符221，使得视觉指示符221指示POI 166在用户101的视野中的位置。例如，视觉指示符221在用户101的视野中被叠加在POI 166附近(例如，在POI 166的一英寸内)。
在图3A所示的示例中，视觉元素163包括交通工具104外部的一个或多个POI(例如，交通工具106的一条或多条路线的一个或多个部分)的一个或多个视觉描绘。例如，视觉元素163包括第一POI(例如，计划路线180B的一个或多个部分)的视觉描绘302(例如，虚拟表示)、第二POI(例如，经过路线182B的一个或多个部分)的视觉描绘304、第三POI(例如，内插路线184B的一个或多个部分)的视觉描绘306、第四POI(例如，预测路线186B的一个或多个部分)的视觉描绘308，或其组合。
视觉描绘302、304、306和308包括一个或多个视觉元素。在一个特定方面，视觉元素包括符号、形状、填充、标签、图像、动画、视频、文本，或其组合。在一个特定方面，视觉元素指示对应POI(例如，路线的一部分)的信息(例如，标识符、剩余燃料、位置、时间，或其组合)。例如，视觉元素包括交通工具106沿对应路线(例如，计划路线180B、经过路线182B、内插路线184B或预测路线186B)的位置(例如，计划位置、经过位置、内插位置或预测位置)的时间。在一个特定方面，视觉元素包括与对应POI(例如，路线的一部分)相关联的可选选项。例如，用户101可以选择与指示的路线相关联的可选选项，例如以与交通工具106通信。在一个特定方面，视觉描绘302、304、306和308包括至少一个共同元素(例如，相同的箭头)，以指示视觉描绘302、304、306和308是相关的(例如，与交通工具106相关)。在一个特定方面，视觉描绘302、304、306和308包括至少一个不同的元素(例如，虚线类型)，以指示视觉描绘302、304、306和308对应于不同类型的路线(例如，计划、经过、内插或预测)的部分。
在图4A所示的示例中，视觉元素163包括POI(例如，交通工具104)的视觉描绘403(例如，虚拟表示)和交通工具104外部的一个或多个POI(例如，交通工具104的一条或多条路线的一个或多个部分)的一个或多个视觉描绘。例如，视觉元素163包括第一POI(例如，计划路线180A的一个或多个部分)的视觉描绘402(例如，虚拟表示)、第二POI(例如，经过路线182A的一个或多个部分)的视觉描绘404、第三POI(例如，预测路线186A的一个或多个部分)的视觉描绘408，或其组合。
视觉描绘402、403、404和408包括一个或多个视觉元素。在一个特定方面，视觉元素指示对应POI(例如，交通工具104，或路线的一部分)的信息(例如，标识符、剩余燃料、位置、时间，或其组合)。在一个特定方面，视觉元素包括与对应POI(例如，路线的一部分、交通工具104或两者)相关联的可选选项。例如，用户101可以选择与预测路线186A(例如，指示的路线)相关联的可选选项，以将交通工具104的线路(course)设置为预测路线186A。在一个特定方面，视觉描绘402、404和408包括至少一个共同元素(例如，相同的箭头)，以指示视觉描绘402、404和408是相关的(例如，与交通工具104相关)。在一个特定方面，视觉描绘402、404和408的至少一个共同元素不同于视觉描绘302、304、306和308的至少一个共同元素。在一个特定方面，视觉描绘302和视觉描绘402包括至少第一共同元素(例如，第一虚线类型)以指示共同路线类型(例如，计划路线)，视觉描绘304和视觉描绘404包括至少第二共同元素(例如，第二虚线类型)以指示共同路线类型(例如，经过路线)，视觉描绘308和视觉描绘408包括至少第三共同元素(例如，第三虚线类型)以指示共同路线类型(例如，预测路线)或其组合。
在图5A所示的示例中，视觉元素163包括POI(例如，推荐路线188A的一个或多个部分)的视觉描绘510(例如，虚拟表示)、警报181的视觉描绘572，或两者。在一个特定方面，视觉元素163包括多条推荐路线的多个描绘。
视觉描绘510包括一个或多个视觉元素。在一个特定方面，视觉元素包括与对应POI(例如，路线的部分、交通工具104或两者)相关联的可选选项。例如，用户101可以选择与推荐路线188A(例如，指示的路线)相关联的可选选项，以将交通工具104的线路设置为推荐路线188A。在一个特定方面，视觉描绘510包括视觉描绘402、404和408的至少一个共同元素(例如，相同的箭头)，以指示视觉描绘402、404、408和510是相关的(例如，与交通工具104相关)。在一个特定方面，视觉描绘402、404、408和510的至少一个共同元素不同于视觉描绘302、304、306和308的至少一个共同元素。
返回图1，响应于确定凝视目标127在交通工具104外部，可视化数据生成器154生成可视化数据155以包括视觉元素163，该视觉元素163要显示给交通工具104中的具有用户角色139(例如，导航员)并朝着交通工具104外部的特定对象(例如，交通工具106)的方向看的用户。在一个特定方面，视觉元素163包括指示位于交通工具104外部的POI 166(例如，交通工具106)的位置的第一视觉指示符、位于交通工具104内部的POI 166(例如，特定仪表)的第二视觉描绘、警报181的视觉描绘，或其组合。
在图2B所示的示例中，视觉元素163包括在交通工具104内部的POI 166(例如，特定仪表)的视觉描绘205、指示在交通工具104外部的POI 164(例如，交通工具106)的位置的视觉指示符223或两者。视觉描绘205、视觉指示符223或两者包括一个或多个视觉元素。
在图3B所示的示例中，视觉元素163包括指示第一POI(例如，计划路线180B的一个或多个部分)的位置的视觉指示符362、指示第二POI(例如，经过路线182B的一个或多个部分)的位置的视觉指示符364、指示第三POI(例如，内插路线184B的一个或多个部分)的位置的视觉指示符366以及指示第四POI(例如，预测路线186B的一个或多个部分)的位置的视觉指示符368。视觉指示符362、视觉指示符364、视觉指示符366、视觉指示符368，或其组合包括一个或多个视觉元素。
在图4B所示的示例中，视觉元素163包括指示第一POI(例如，计划路线180A的一个或多个部分)的位置的视觉指示符462和指示第二POI(例如，经过路线182A的一个或多个部分)的位置的视觉指示符464。视觉指示符462、视觉指示符464或两者包括一个或多个视觉元素。在一个特定方面，视觉元素163包括对应于用户101的视野内的路线的一个或多个部分的视觉指示符。在图4B所示的示例中，计划路线180A的部分和经过路线182A的部分在用户101的视野内，并且预测路线186A不在用户101的视野内。
在图5B所示的示例中，视觉元素163包括警报181的视觉描绘574、指示第一POI(例如，预测路线186A的一个或多个部分)的位置的视觉指示符568和指示第二POI(例如，推荐路线188A的一个或多个部分)的位置的视觉指示符570。视觉描绘574、视觉指示符568、视觉指示符570，或其组合包括一个或多个视觉元素。在图5B所示的示例中，预测路线186A的部分和推荐路线188A的部分在用户101的视野内，并且计划路线180A和经过路线182A不在用户101的视野内。在一个特定方面，视觉元素163包括在用户101的视野内的多条推荐路线188的部分的视觉指示符。
在一个特定实施方式中，可视化数据生成器154生成可视化数据155，以减少用户101在与交通工具104的内部相对应的AR耳机108的输出和与交通工具104的外部相对应的AR耳机108的输出之间转变时的精神工作量。例如，视觉描绘203与视觉指示符223共同包括至少一个视觉元素。在图2A-图2B的示例中，共同视觉元素包括形状和填充(例如，对角填充)。作为另一示例，视觉描绘205与视觉指示符221共同包括至少一个视觉元素。在图2A-图2B的示例中，共同视觉元素包括形状和文本(例如，风速)。在一个特定示例中，视觉描绘302与视觉指示符362共同包括至少一个视觉元素。在图3A-图3B的示例中，共同视觉元素包括箭头和虚线类型。当用户101在看在交通工具104内部的凝视目标与在交通工具104外部的凝视目标之间转变时，共同视觉元素减少了用户101在标识视觉描绘和对应的视觉指示符时的精神工作量。
可视化数据生成器154将可视化数据155发送到AR耳机108的显示器。AR耳机108基于可视化数据155生成指示视觉元素163的AR输出。在一个特定方面，AR输出可以基于用户输入进行操纵。例如，用户101可以旋转、放大或缩小三维地图。在一个说明性示例中，三维地图包括在低可见性地形中的移动对象的视觉描绘，并且用户101(例如，导航员)可以使用三维地图来考虑移动对象并为交通工具104穿过该地形计划路径。
系统100因此使得能够确定AR耳机的移动的用户部分，该用户部分由AR耳机的用户的头部的移动引起而不是由用户所在的交通工具的移动引起。系统100还使得可视化数据能够包括基于情境选择的视觉元素。视觉元素可以显示在用户的视野中，从而使得用户能够访问相关信息，而不必在情境之间进行转变并且不必访问固定的显示器。当用户确实在情境之间进行转变时，减少了与转变相关联的精神工作量。
参考图6，示出了可操作用于执行增强现实可视化的系统，并且总体上以600表示。在系统600中，处理器134被集成在AR耳机608中。例如，可视化数据生成器154至少部分基于由AR耳机608(例如，耳机传感器131)生成的HS数据、从交通工具104(例如，交通工具传感器162)接收的VS数据159、计划路线数据191、位置数据193或其组合来生成可视化数据155，如参考图1所述。
与图1的系统100相比，将用户移动估计器140、凝视目标估计器142、路线估计器144、情境估计器152或可视化数据生成器154中的一个或多个集成在AR耳机608中减少了用于增强现实可视化的设备的数量。可替代地，将用户移动估计器140、凝视目标估计器142、路线估计器144、情境估计器152或可视化数据生成器154中的一个或多个集成在图1的与AR耳机108不同的设备102中使AR耳机108能够卸载一些增强现实可视化任务并减少AR耳机108的资源消耗(例如，存储器、处理周期或两者)。应当理解，被配置为执行特定操作的特定设备被提供为说明性示例。在其他示例中，本文描述的一个或多个操作可以由一个或多个设备执行。
图7示出了增强现实可视化的方法700的示例。在一个特定方面，方法700由图1的用户移动估计器140、凝视目标估计器142、路线估计器144、情境估计器152、可视化数据生成器154、处理器134、接口130、设备102、图6的AR耳机608或其组合执行。
方法700包括在702处从耦合到交通工具的一个或多个交通工具传感器接收交通工具传感器数据。例如，如参考图1所描述的，图1的接口130从交通工具传感器162接收VS数据159。交通工具传感器162耦合到图1的交通工具104。
方法700还包括在704处从耦合到增强现实耳机的一个或多个耳机传感器接收耳机传感器数据。例如，如参考图1所描述的，图1的接口130从耳机传感器131接收HS数据141。耳机传感器131耦合到图1的AR耳机108。
方法700还包括在706处基于交通工具传感器数据和耳机传感器数据来确定增强现实耳机相对于交通工具的取向和位置。例如，如参考图1所描述的，图1的凝视目标估计器142基于VS数据159和HS数据141确定AR耳机108相对于交通工具104的耳机取向115和耳机位置113。
在一个特定方面，方法700包括基于交通工具传感器数据确定交通工具的移动。例如，如参考图1所描述的，图1的用户移动估计器140基于VS数据159确定交通工具104的交通工具移动105。
方法700还包括基于耳机传感器数据确定增强现实耳机的移动。例如，如参考图1所描述的，图1的用户移动估计器140基于HS数据141确定AR耳机108的耳机移动109。
方法700还包括基于交通工具的移动与增强现实耳机的移动的比较来估计由增强现实耳机的用户的头部的移动引起而不是由交通工具的移动引起的增强现实耳机的移动的用户部分。例如，如参考图1所描述的，图1的用户移动估计器140基于交通工具移动105和耳机移动109的比较来估计由AR耳机108的用户101的头部的移动引起而不是由交通工具移动105引起的用户移动111(例如，耳机移动109的用户部分)。如参考图1所描述的，基于用户移动111来确定耳机取向115和耳机位置113。
方法700还包括在708处至少部分地基于增强现实耳机相对于交通工具的取向和位置来估计增强现实耳机的用户的凝视目标。例如，如参考图1所描述的，图1的凝视目标估计器142至少部分地基于耳机取向115和耳机位置113来确定AR耳机108的用户101的凝视目标127。
在一个特定方面，方法700包括基于耳机传感器数据确定用户是否在交通工具中。例如，如参考图1所描述的，图1的情境估计器152基于HS数据141确定用户101是否在交通工具104中。响应于确定用户101在交通工具104中，凝视目标估计器142基于耳机取向115和耳机位置113估计凝视目标127。
方法700还包括在710处基于凝视目标生成可视化数据。例如，如参考图1所描述的，图1的可视化数据生成器154基于凝视目标127生成可视化数据155。如参考图1至图2所描述的，响应于确定凝视目标127在交通工具104内部，可视化数据155包括在交通工具104外部的POI 164的视觉描绘203。如参考图1至图2所描述的，响应于确定凝视目标127在交通工具104外部，可视化数据155包括在交通工具104内部的POI 166的视觉描绘205。
方法700还包括在712处将可视化数据发送到增强现实耳机的显示器。例如，如参考图1所描述的，图1的可视化数据生成器154将可视化数据155发送到AR耳机108的显示器。
因此，方法700使得能够确定AR耳机的移动的用户部分，该用户部分由AR耳机的用户的头部的移动引起而不是由用户所在的交通工具的移动引起。方法700还使得可视化数据能够包括基于情境(例如，凝视目标是在交通工具内部还是在交通工具外部)选择的视觉元素。视觉元素可以显示在用户的视野中，从而使得用户能够访问相关信息，而不必在情境之间进行转变并且不必访问固定的显示器。当用户确实在情境之间进行转变时，减少了与转变相关联的精神工作量。
图8示出了增强现实可视化的方法800的示例。在一个特定方面，方法800由用户移动估计器140、凝视目标估计器142、路线估计器144、情境估计器152、可视化数据生成器154、处理器134、接口130、图1的设备102、图6的AR耳机608，或其组合来执行。
方法800包括在802处从耦合到第一交通工具的一个或多个交通工具传感器接收交通工具传感器数据。例如，图1的接口130从交通工具传感器162接收VS数据159，如参考图1所述。交通工具传感器162耦合到图1的交通工具104。
方法800还包括在804处从耦合到增强现实耳机的一个或多个耳机传感器接收耳机传感器数据。例如，图1的接口130从耳机传感器131接收HS数据141，如参考图1所述。耳机传感器131耦合到图1的AR耳机108。
方法800还包括在706处基于交通工具传感器数据和耳机传感器数据确定增强现实耳机相对于第一交通工具的取向和位置。例如，图1的凝视目标估计器142基于VS数据159和HS数据141，确定AR耳机108相对于交通工具104的耳机取向115和耳机位置113，如参考图1所述。
在一个特定方面，方法800包括基于交通工具传感器数据确定第一交通工具的移动。例如，图1的用户移动估计器140基于VS数据159确定交通工具104的交通工具移动105，如参考图1所述。
方法800还包括基于耳机传感器数据确定增强现实耳机的移动。例如，图1的用户移动估计器140基于HS数据141确定AR耳机108的耳机移动109，如参考图1所述。
方法800还包括基于第一交通工具的移动和增强现实耳机的移动的比较，估计由增强现实耳机的用户的头部的移动引起的而不是由第一交通工具的移动引起的增强现实耳机的移动的用户部分。例如，图1的用户移动估计器140基于交通工具移动105和耳机移动109的比较，估计由AR耳机108的用户101的头部的移动引起的而不是由交通工具移动105引起的用户移动111(例如，耳机移动109的用户部分)，如参考图1所述。基于用户移动111确定耳机取向115和耳机位置113，如参考图1所述。
方法800还包括在808处基于耳机传感器数据以及增强现实耳机相对于第一交通工具的取向和位置估计增强现实耳机的用户的凝视目标。例如，图1的凝视目标估计器142基于HS数据141以及耳机取向115和耳机位置113确定AR耳机108的用户101的凝视目标127，如参考图1所述。
在一个特定方面，方法800包括基于耳机传感器数据确定用户是否在第一交通工具中。例如，图1的情境估计器152基于HS数据141确定用户101是否在交通工具104中，如参考图1所述。凝视目标估计器142响应于确定用户101在交通工具104中，基于耳机取向115和耳机位置113估计凝视目标127。
方法800还包括在810处基于凝视目标生成可视化数据。例如，图1的可视化数据生成器154基于凝视目标127生成可视化数据155，如参考图1所述。响应于确定凝视目标127在交通工具104内部，可视化数据155包括交通工具104外部的第一POI(例如，计划路线180B的一个或多个部分)的视觉描绘302、第二POI(例如，计划路线180A的一个或多个部分)的视觉描绘402，或两者，如参考图1和图3-图4所述。第一POI包括交通工具106的特定路线的至少一部分。第二POI包括交通工具104的特定路线的至少一部分。响应于确定凝视目标127在交通工具104外部，可视化数据155包括在交通工具104内部的POI 166的视觉描绘205，如参考图1-图2所述。
方法800还包括在812处将可视化数据发送到增强现实耳机的显示器。例如，图1的可视化数据生成器154将可视化数据155发送到AR耳机108的显示器，如参考图1所述。
因此，方法800使得可视化数据能够包括基于情境(例如，凝视目标是在交通工具内部还是交通工具外部)选择的视觉元素。视觉元素指示交通工具、另一交通工具或两者的一条或多条路线。视觉元素可以被显示在用户的视野中，使用户能够访问相关信息，而不必在情境之间转变，并且不必访问固定显示器。当用户在情境之间转变时，与转变相关联的精神工作量减少。
图9是包括计算设备910的计算环境900的框图的图示，该计算设备910被配置为支持根据本公开的计算机实施的方法和计算机可执行程序指令(或代码)的各方面。例如，计算设备910或其部分被配置为执行指令以发起、执行或控制参考图1至图8描述的一个或多个操作。在一个特定方面，计算设备910对应于图1的设备102、AR耳机108、交通工具104、图6的AR耳机608或其组合。
计算设备910包括处理器134。处理器134被配置为与系统存储器930、一个或多个存储设备940、一个或多个输入/输出接口950、收发器922、一个或多个通信接口960或其组合进行通信。系统存储器930包括易失性存储器设备(例如，随机存取存储器(RAM)设备)、非易失性存储器设备(例如，只读存储器(ROM)设备、可编程只读存储器和闪存)或两者。系统存储器930存储操作系统932，该操作系统932可以包括用于引导计算设备510的基本输入/输出系统以及使该计算设备910能够与用户、其他程序和其他设备进行交互的完整操作系统。系统存储器930存储系统(程序)数据936。在一个特定方面，图1的存储器132包括系统存储器930、一个或多个存储设备940或其组合。在一个特定方面，系统(程序)数据936包括图1的数据103。在一个特定方面，数据103包括(例如，指示)警报181、可视化数据155、情境配置数据167、路线目的194、地图数据135、耳机取向115、交通工具地图数据133、凝视目标127、情境137、一条或多条路线178、耳机位置113、用户移动111、交通工具移动105、耳机移动109、VS数据159、HS数据141、计划路线数据191、位置数据193，或其组合。
系统存储器930包括可由处理器134执行的一个或多个应用程序934。作为示例，一个或多个应用程序934包括可由处理器134执行以发起、控制或执行参考图1至图8描述的一个或多个操作的指令。为了说明，一个或多个应用程序934包括可由处理器134执行以发起、控制或执行参考用户移动估计器140、凝视目标估计器142、路线估计器144、情境估计器152、可视化数据生成器154或其组合描述的一个或多个操作的指令。
处理器134被配置为与一个或多个存储设备940通信。例如，一个或多个存储设备940包括非易失性存储设备，诸如磁盘、光盘或闪存设备。在一个特定示例中，存储设备940包括可移除和不可移除存储器设备两者。存储设备940被配置为存储操作系统、操作系统的图像、应用程序和程序数据。在一个特定方面，系统存储器930、存储设备940或两者包括有形计算机可读介质。在一个特定方面，存储设备940中的一个或多个在计算设备910的外部。
处理器134被配置为与一个或多个输入/输出接口950通信，该输入/输出接口950使计算设备910能够与一个或多个输入/输出设备970通信以促进用户交互。处理器134被配置为基于经由输入/输出接口950接收的用户输入来检测交互事件。处理器134被配置为经由一个或多个通信接口960与设备或控制器980进行通信。例如，一个或多个通信接口960包括图1的接口130，并且设备或控制器980包括AR耳机108、耳机传感器131、交通工具104、交通工具传感器162、一个或多个数据源192或其组合。在一个说明性示例中，非暂时性计算机可读存储介质(例如，系统存储器930)包括当由处理器(例如，处理器134)执行时使处理器发起、执行或控制操作的指令。该操作包括参考图1至图8描述的一个或多个操作。
尽管图1-9中的一个或多个示出了根据本公开的教导的系统、装置和/或方法，但是本公开不限于这些示出的系统、装置和/或方法。如本文所示或所描述的图1-图9中的任何一个的一个或多个功能或组件可以与图1-图9中的另一个的一个或多个其他部分组合。例如，图7的方法700的一个或多个元素、图8的方法800的一个或多个元素或其组合可以结合本文描述的其他操作来执行。因此，本文描述的任何单个实施方式都不应被解释为限制性的，并且在不脱离本公开的教导的情况下，可以适当地组合本公开的实施方式。作为示例，参考图1至图9描述的一个或多个操作可以是可选的，可以至少部分同时执行，和/或可以以与所示或所描述的顺序不同的顺序执行。
上述示例是说明性的，并且不限制本公开。应当理解，根据本公开的原理，许多修改和变化是可能的。本文描述的示例的说明旨在提供对各种实施方式的结构的一般理解。这些说明并不旨在用作对利用本文所描述的结构或方法的装置和系统的所有元素和特征的完整描述。在审阅本公开之后，许多其他实施方式对于本领域技术人员而言可能是明显的。可以利用其他实施方式并且可以从本公开中得出其他实施方式，使得可以在不脱离本公开的范围的情况下进行结构和逻辑上的替换和改变。例如，可以以与附图中所示的顺序不同的顺序来执行方法操作，或者可以省略一个或多个方法操作。因此，本公开和附图应被认为是说明性而非限制性的。
此外，尽管本文已经示出和描述了特定示例，但是应当理解，被设计为实现相同或相似结果的任何后续布置可以代替所示的特定实施方式。本公开旨在覆盖各种实施方式的任何和所有随后的修改或变化。在审阅说明书之后，以上实施方式的组合以及本文中未具体描述的其他实施方式对于本领域技术人员将是明显的。
此外，本公开包括根据以下条款的实施例：
条款1.一种用于增强现实可视化的设备(102、608)，所述设备(102、608)包括：
接口(130、960)，其被配置为：
从耦合到第一交通工具(104)的一个或多个交通工具传感器(162、980)接收交通工具传感器数据(159)；以及
从耦合到增强现实耳机(108、608、980)的一个或多个耳机传感器(131、980)接收耳机传感器数据(141)；以及
一个或多个处理器(134)，其被配置为：
基于所述交通工具传感器数据(159)和所述耳机传感器数据(141)，确定所述增强现实耳机(108、608、980)相对于所述第一交通工具(104)的取向(115)和位置(113)；
基于所述耳机传感器数据(141)以及所述增强现实耳机(108、608、980)相对于所述第一交通工具(104)的所述取向(115)和所述位置(113)，估计所述增强现实耳机(108、608、980)的用户(101)的凝视目标(127)；
基于所述凝视目标(127)生成可视化数据(155)，其中响应于确定所述凝视目标(127)在所述第一交通工具(104)内部，所述可视化数据(155)包括在所述第一交通工具(104)外部的第一兴趣点的第一视觉描绘(203、302、304、306、308、402、403、404、408、510)，其中所述第一兴趣点包括特定交通工具(104、106)的特定路线(180、182、184、186、188)的至少一部分，其中所述特定交通工具(104、106)包括所述第一交通工具(104)或第二交通工具(106)，并且其中响应于确定所述凝视目标(127)在所述第一交通工具(104)外部，所述可视化数据(155)包括在所述第一交通工具(104)内部的第二兴趣点的第二视觉描绘(205)；以及
将所述可视化数据(155)发送到所述增强现实耳机(108、608、980)的显示器。
条款2.根据条款1所述的设备(102、608)，其中所述一个或多个处理器(134)还被配置为：
基于所述交通工具传感器数据(159)确定所述第一交通工具(104)的移动(105)；
基于所述耳机传感器数据(141)确定所述增强现实耳机(108、608、980)的移动(109)；
基于所述第一交通工具(104)的所述移动(105)和所述增强现实耳机(108、608、980)的所述移动(109)的比较，估计由所述增强现实耳机(108、608、980)的所述用户(101)的头部的移动引起而不是由所述第一交通工具(104)的所述移动(105)引起的所述增强现实耳机(108、608、980)的所述移动(109)的用户部分(111)；以及
基于所述增强现实耳机(108、608、980)的所述移动(109)的所述用户部分(111)，确定所述增强现实耳机(108、608、980)相对于所述第一交通工具(104)的所述取向(115)和所述位置(113)。
条款3.根据任一前述条款所述的设备(102、608)，其中所述特定交通工具(104、106)包括所述第二交通工具(106)，其中所述接口(130、960)还被配置为接收指示所述第二交通工具(106)从第一位置到第二位置的经过路线(182)的位置数据(193)。
条款4.根据条款3所述的设备(102、608)，其中所述特定路线(180、182、184、186、188)包括所述经过路线(182)。
条款5.根据条款3所述的设备(102、608)，其中所述一个或多个处理器(134)被配置为确定所述第二交通工具(106)从所述第二位置到估计位置的内插路线(184)，其中确定所述内插路线(184)包括基于所述第二位置和所述交通工具传感器数据(159)执行内插，并且其中所述特定路线(180、182、184、186、188)包括所述内插路线(184)。
条款6.根据任一前述条款所述的设备(102、608)，还包括存储器(132、930)，其被配置为存储指示所述第一交通工具(104)从第一位置到估计位置的经过路线(182)的位置数据(193)。
条款7.根据条款6所述的设备(102、608)，其中所述特定路线(180、182、184、186、188)包括所述经过路线(182)。
条款8.根据任一前述条款所述的设备(102、608)，其中所述接口(130、960)还被配置为接收指示所述特定交通工具(104、106)从原点到目的地的计划路线(180)的计划路线数据(191)。
条款9.根据条款8所述的设备(102、608)，其中所述特定路线(180、182、184、186、188)包括所述计划路线(180)。
条款10.根据条款8所述的设备(102、608)，其中所述一个或多个处理器(134)被配置为确定所述特定交通工具(104、106)从所述特定交通工具(104、106)的估计位置到所述计划路线(180)上的预测位置的预测路线(186)，其中所述预测路线(186)基于所述估计位置、所述交通工具传感器数据(159)、交通工具能力数据、外部条件数据，或其组合，并且其中所述特定路线(180、182、184、186、188)包括所述预测路线(186)。
条款11.据任一前述条款所述的设备(102、608)，其中所述一个或多个处理器(134)被配置为确定所述第一交通工具(104)的推荐路线(188)以满足路线目的，所述推荐路线(188)是从所述第一交通工具(104)的估计位置到所述第一交通工具(104)的计划路线(180)上的推荐位置，并且其中所述特定路线(180、182、184、186、188)包括所述推荐路线(188)。
条款12.根据条款11所述的设备(102、608)，其中所述路线目的(194)包括障碍物避免、碰撞避免、恶劣天气避免、区域避免、时间目的、燃料消耗目的、成本目的，或其组合。
条款13.根据任一前述条款所述的设备(102、608)，其中所述一个或多个交通工具传感器(162、980)包括雷达、声纳、加速度计、陀螺仪、磁力计、惯性测量单元、图像传感器、全球定位系统(GPS)接收器、信标，或其组合。
条款14.根据任一前述条款所述的设备(102、608)，其中在所述第一交通工具(104)外部的所述第一兴趣点的所述第一视觉描绘(203、302、304、306、308、402、403、404、408、510)指示所述特定交通工具(104、106)沿所述特定路线(180、182、184、186、188)的位置的时间。
条款15.根据条款14所述的设备(102、608)，其中所述特定交通工具(104、106)的所述位置包括检测位置、内插位置、预测位置或推荐位置。
条款16.一种增强现实可视化的方法(800)，所述方法(800)包括：
在设备(102、608)处从耦合到第一交通工具(104)的一个或多个交通工具传感器(162、980)接收交通工具传感器数据(159)；
在所述设备(102、608)处从耦合到增强现实耳机(108、608、980)的一个或多个耳机传感器(131、980)接收耳机传感器数据(141)；
基于所述交通工具传感器数据(159)和所述耳机传感器数据(141)，确定所述增强现实耳机(108、608、980)相对于所述第一交通工具(104)的取向(115)和位置(113)；
在所述设备(102、608)处，基于所述耳机传感器数据(141)以及所述增强现实耳机(108、608、980)相对于所述第一交通工具(104)的所述取向(115)和所述位置(113)，估计所述增强现实耳机(108、608、980)的用户(101)的凝视目标(127)；
在所述设备(102、608)处，基于所述凝视目标(127)生成可视化数据(155)，其中响应于确定所述凝视目标(127)在所述第一交通工具(104)内部，所述可视化数据(155)包括在所述第一交通工具(104)外部的第一兴趣点的第一视觉描绘(203、302、304、306、308、402、403、404、408、510)，其中所述第一兴趣点包括特定交通工具(104、106)的特定路线(180、182、184、186、188)的至少一部分，其中所述特定交通工具(104、106)包括所述第一交通工具(104)或第二交通工具(106)，并且其中响应于确定所述凝视目标(127)在所述第一交通工具(104)外部，所述可视化数据(155)包括在所述第一交通工具(104)内部的第二兴趣点的第二视觉描绘(205)；以及
将所述可视化数据(155)从所述设备(102、608)发送到所述增强现实耳机(108、608、980)的显示器。
条款17.根据条款16所述的方法(800)，其中响应于确定所述凝视目标(127)在所述第一交通工具(104)外部，所述可视化数据(155)还包括在所述第一交通工具(104)外部的所述第一兴趣点的位置的视觉指示符(223、362、364、366、368、462、464、568、570)。
条款18.根据条款17所述的方法(800)，其中所述第一视觉描绘(203、302、304、306、308、402、403、404、408、510)和所述视觉指示符(223、362、364、366、368、462、464、568、570)包括至少一个共同的视觉元素，并且其中所述视觉元素包括颜色、图像、视频、动画、符号、文本、图案，或其组合。
条款19.一种存储指令(934)的计算机可读存储设备(930)，所述指令(934)在被一个或多个处理器(134)执行时，使得所述一个或多个处理器(134)：
从耦合到第一交通工具(104)的一个或多个交通工具传感器(162、980)接收交通工具传感器数据(159)；
从耦合到增强现实耳机(108、608、980)的一个或多个耳机传感器(131、980)接收耳机传感器数据(141)；
基于所述交通工具传感器数据(159)和所述耳机传感器数据(141)，确定所述增强现实耳机(108、608、980)相对于所述第一交通工具(104)的取向(115)和位置(113)；
基于所述耳机传感器数据(141)以及所述增强现实耳机(108、608、980)相对于所述第一交通工具(104)的所述取向(115)和所述位置(113)，估计所述增强现实耳机(108、608、980)的用户(101)的凝视目标(127)；
基于所述凝视目标(127)生成可视化数据(155)，其中响应于确定所述凝视目标(127)在所述第一交通工具(104)内部，所述可视化数据(155)包括在所述第一交通工具(104)外部的第一兴趣点的第一视觉描绘(203、302、304、306、308、402、403、404、408、510)，其中所述第一兴趣点包括特定交通工具(104、106)的特定路线(180、182、184、186、188)的至少一部分，其中所述特定交通工具(104、106)包括所述第一交通工具(104)或第二交通工具(106)，并且其中响应于确定所述凝视目标(127)在所述第一交通工具(104)外部，所述可视化数据(155)包括在所述第一交通工具(104)内部的第二兴趣点的第二视觉描绘(205)；以及
将所述可视化数据(155)发送到所述增强现实耳机(108、608、980)的显示器。
条款20.根据条款19所述的计算机可读存储设备(930)，其中所述特定交通工具(104、106)包括所述第二交通工具(106)，并且其中所述指令(934)在由所述一个或多个处理器(134)执行时，进一步使所述一个或多个处理器(134)：
接收指示所述第二交通工具(106)从第一位置到第二位置的经过路线(182)的位置数据(193)；以及
确定所述第二交通工具(106)从所述第二位置到估计位置的内插路线(184)，其中确定所述内插路线(184)包括基于所述第二位置和所述交通工具传感器数据(159)执行内插，其中所述特定路线(180、182、184、186、188)包括所述内插路线(184)，并且
其中所述交通工具传感器数据(159)包括雷达数据、声纳数据，或其组合。
所提交的本公开的摘要应理解为其将不会用于解释或限制权利要求的范围或含义。另外，在前面的具体实施方式中，为了简化本公开的意图，可以将各种特征组合在一起或在单个实施方式中进行描述。以上描述的示例说明但不限制本公开。还应该理解，根据本公开的原理，许多修改和变化是可能的。如所附权利要求所反映的，所要求保护的主题可以针对少于所公开示例中的任何一个的所有特征。因此，本公开的范围由所附权利要求及其等同物限定。

Claims (15)

1.一种用于增强现实可视化的设备(102、608)，所述设备(102、608)包括：
接口(130、960)，其被配置为：
从耦合到第一交通工具(104)的一个或多个交通工具传感器(162、980)接收交通工具传感器数据(159)；以及
从耦合到增强现实耳机(108、608、980)的一个或多个耳机传感器(131、980)接收耳机传感器数据(141)；以及
一个或多个处理器(134)，其被配置为：
基于所述交通工具传感器数据(159)和所述耳机传感器数据(141)，确定所述增强现实耳机(108、608、980)相对于所述第一交通工具(104)的取向(115)和位置(113)；
基于所述耳机传感器数据(141)以及所述增强现实耳机(108、608、980)相对于所述第一交通工具(104)的所述取向(115)和所述位置(113)，估计所述增强现实耳机(108、608、980)的用户(101)的凝视目标(127)；
基于所述凝视目标(127)生成可视化数据(155)，其中响应于确定所述凝视目标(127)在所述第一交通工具(104)内部，所述可视化数据(155)包括在所述第一交通工具(104)外部的第一兴趣点的第一视觉描绘(203、302、304、306、308、402、403、404、408、510)，其中所述第一兴趣点包括特定交通工具(104、106)的特定路线(180、182、184、186、188)的至少一部分，其中所述特定交通工具(104、106)包括所述第一交通工具(104)或第二交通工具(106)，并且其中响应于确定所述凝视目标(127)在所述第一交通工具(104)外部，所述可视化数据(155)包括在所述第一交通工具(104)内部的第二兴趣点的第二视觉描绘(205)；以及
将所述可视化数据(155)发送到所述增强现实耳机(108、608、980)的显示器。
2.根据权利要求1所述的设备(102、608)，其中所述一个或多个处理器(134)还被配置为：
基于所述交通工具传感器数据(159)确定所述第一交通工具(104)的移动(105)；
基于所述耳机传感器数据(141)确定所述增强现实耳机(108、608、980)的移动(109)；
基于所述第一交通工具(104)的所述移动(105)和所述增强现实耳机(108、608、980)的所述移动(109)的比较，估计由所述增强现实耳机(108、608、980)的所述用户(101)的头部的移动引起而不是由所述第一交通工具(104)的所述移动(105)引起的所述增强现实耳机(108、608、980)的所述移动(109)的用户部分(111)；以及
基于所述增强现实耳机(108、608、980)的所述移动(109)的所述用户部分(111)，确定所述增强现实耳机(108、608、980)相对于所述第一交通工具(104)的所述取向(115)和所述位置(113)。
3.根据任一前述权利要求所述的设备(102、608)，其中所述特定交通工具(104、106)包括所述第二交通工具(106)，其中所述接口(130、960)还被配置为接收指示所述第二交通工具(106)从第一位置到第二位置的经过路线(182)的位置数据(193)。
4.根据权利要求3所述的设备(102、608)，其中所述特定路线(180、182、184、186、188)包括所述经过路线(182)，或者可选地，其中所述一个或多个处理器(134)被配置为确定所述第二交通工具(106)从所述第二位置到估计位置的内插路线(184)，其中确定所述内插路线(184)包括基于所述第二位置和所述交通工具传感器数据(159)执行内插，并且其中所述特定路线(180、182、184、186、188)包括所述内插路线(184)。
5.根据权利要求1-2中任一项所述的设备(102、608)，还包括存储器(132、930)，其被配置为存储指示所述第一交通工具(104)从第一位置到估计位置的经过路线(182)的位置数据(193)。
6.根据权利要求5所述的设备(102、608)，其中所述特定路线(180、182、184、186、188)包括所述经过路线(182)。
7.根据权利要求1-2中任一项所述的设备(102、608)，其中所述接口(130、960)还被配置为接收指示所述特定交通工具(104、106)从原点到目的地的计划路线(180)的计划路线数据(191)。
8.根据权利要求7所述的设备(102、608)，其中所述特定路线(180、182、184、186、188)包括所述计划路线(180)，或者可选地，其中所述一个或多个处理器(134)被配置为确定所述特定交通工具(104、106)从所述特定交通工具(104、106)的估计位置到所述计划路线(180)上的预测位置的预测路线(186)，其中所述预测路线(186)基于所述估计位置、所述交通工具传感器数据(159)、交通工具能力数据、外部条件数据，或其组合，并且其中所述特定路线(180、182、184、186、188)包括所述预测路线(186)。
9.根据权利要求1-2中任一项所述的设备(102、608)，其中所述一个或多个处理器(134)被配置为确定所述第一交通工具(104)的推荐路线(188)以满足路线目的，所述推荐路线(188)是从所述第一交通工具(104)的估计位置到所述第一交通工具(104)的计划路线(180)上的推荐位置，并且其中所述特定路线(180、182、184、186、188)包括所述推荐路线(188)。
10.根据权利要求9所述的设备(102、608)，其中所述路线目的(194)包括障碍物避免、碰撞避免、恶劣天气避免、区域避免、时间目的、燃料消耗目的、成本目的，或其组合。
11.根据权利要求1-2中任一项所述的设备(102、608)，其中所述一个或多个交通工具传感器(162、980)包括雷达、声纳、加速度计、陀螺仪、磁力计、惯性测量单元、图像传感器、全球定位系统(GPS)接收器、信标，或其组合，或者可选地，其中在所述第一交通工具(104)外部的所述第一兴趣点的所述第一视觉描绘(203、302、304、306、308、402、403、404、408、510)指示所述特定交通工具(104、106)沿所述特定路线(180、182、184、186、188)的位置的时间。
12.根据权利要求11所述的设备(102、608)，其中所述特定交通工具(104、106)的所述位置包括检测位置、内插位置、预测位置或推荐位置。
13.一种增强现实可视化的方法(800)，所述方法(800)包括：
在设备(102、608)处从耦合到第一交通工具(104)的一个或多个交通工具传感器(162、980)接收交通工具传感器数据(159)；
在所述设备(102、608)处从耦合到增强现实耳机(108、608、980)的一个或多个耳机传感器(131、980)接收耳机传感器数据(141)；
基于所述交通工具传感器数据(159)和所述耳机传感器数据(141)，确定所述增强现实耳机(108、608、980)相对于所述第一交通工具(104)的取向(115)和位置(113)；
在所述设备(102、608)处，基于所述耳机传感器数据(141)以及所述增强现实耳机(108、608、980)相对于所述第一交通工具(104)的所述取向(115)和所述位置(113)，估计所述增强现实耳机(108、608、980)的用户(101)的凝视目标(127)；
在所述设备(102、608)处，基于所述凝视目标(127)生成可视化数据(155)，其中响应于确定所述凝视目标(127)在所述第一交通工具(104)内部，所述可视化数据(155)包括在所述第一交通工具(104)外部的第一兴趣点的第一视觉描绘(203、302、304、306、308、402、403、404、408、510)，其中所述第一兴趣点包括特定交通工具(104、106)的特定路线(180、182、184、186、188)的至少一部分，其中所述特定交通工具(104、106)包括所述第一交通工具(104)或第二交通工具(106)，并且其中响应于确定所述凝视目标(127)在所述第一交通工具(104)外部，所述可视化数据(155)包括在所述第一交通工具(104)内部的第二兴趣点的第二视觉描绘(205)；以及
将所述可视化数据(155)从所述设备(102、608)发送到所述增强现实耳机(108、608、980)的显示器。
14.根据权利要求13所述的方法(800)，其中响应于确定所述凝视目标(127)在所述第一交通工具(104)外部，所述可视化数据(155)还包括在所述第一交通工具(104)外部的所述第一兴趣点的位置的视觉指示符(223、362、364、366、368、462、464、568、570)。
15.根据权利要求14所述的方法(800)，其中所述第一视觉描绘(203、302、304、306、308、402、403、404、408、510)和所述视觉指示符(223、362、364、366、368、462、464、568、570)包括至少一个共同的视觉元素，并且其中所述视觉元素包括颜色、图像、视频、动画、符号、文本、图案，或其组合。
CN202111337158.4A 2020-11-16 2021-11-12 基于传感器数据的增强现实可视化的系统和方法 Pending CN114510146A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/098,620 2020-11-16
US17/098,620 US11200749B2 (en) 2019-07-19 2020-11-16 Systems and methods of augmented reality visualization based on sensor data

Publications (1)

Publication Number Publication Date
CN114510146A true CN114510146A (zh) 2022-05-17

Family

ID=78516599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111337158.4A Pending CN114510146A (zh) 2020-11-16 2021-11-12 基于传感器数据的增强现实可视化的系统和方法

Country Status (2)

Country Link
EP (1) EP4000982A1 (zh)
CN (1) CN114510146A (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298985B2 (en) * 2011-05-16 2016-03-29 Wesley W. O. Krueger Physiological biosensor system and method for controlling a vehicle or powered equipment
US10580386B2 (en) * 2017-04-21 2020-03-03 Ford Global Technologies, Llc In-vehicle projected reality motion correction
FR3077900B1 (fr) * 2018-02-12 2020-01-17 Thales Vision peripherique dans une interface homme-machine
US11182972B2 (en) * 2019-02-12 2021-11-23 Qualcomm Incorporated Virtual teleportation in fixed environments

Also Published As

Publication number Publication date
EP4000982A1 (en) 2022-05-25

Similar Documents

Publication Publication Date Title
US10942027B2 (en) Video sensor fusion and model based virtual and augmented reality systems and methods
US7352292B2 (en) Real-time, three-dimensional synthetic vision display of sensor-validated terrain data
US9262932B1 (en) Extended runway centerline systems and methods
US7456847B2 (en) Video with map overlay
US8742952B1 (en) Traffic awareness systems and methods
US8296056B2 (en) Enhanced vision system for precision navigation in low visibility or global positioning system (GPS) denied conditions
EP1897081B1 (en) Perspective view conformal traffic targets display
US20210206459A1 (en) Video sensor fusion and model based virtual and augmented reality systems and methods
EP3125213B1 (en) Onboard aircraft systems and methods to identify moving landing platforms
US20090248297A1 (en) Waypoint display system and method
US20140285661A1 (en) Methods and systems for colorizing an enhanced image during alert
US20210020055A1 (en) Drone detection systems and related presentation methods
US9354633B1 (en) System and method for ground navigation
US9146132B2 (en) Systems and methods for displaying images of terrain data
CN102235869A (zh) 用于标记汽车目的地的方法和信息系统
EP1972897B1 (en) System and method for indicating the field of view of a three dimensional display on a two dimensional display
JP2020095333A (ja) 妨害ゾーン判断方法、移動体用システム及び妨害ゾーン表示方法
US11200749B2 (en) Systems and methods of augmented reality visualization based on sensor data
US20190130766A1 (en) System and method for a virtual vehicle system
EP4000982A1 (en) Systems and methods of augmented reality visualization based on sensor data
CA3120806A1 (en) Head mounted display system
US10896547B1 (en) Systems and methods of augmented reality visualization based on sensor data
US10094912B2 (en) Operator terminal with display of zones of picture taking quality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination