CN109690634A - 增强现实显示器 - Google Patents

增强现实显示器 Download PDF

Info

Publication number
CN109690634A
CN109690634A CN201780053115.9A CN201780053115A CN109690634A CN 109690634 A CN109690634 A CN 109690634A CN 201780053115 A CN201780053115 A CN 201780053115A CN 109690634 A CN109690634 A CN 109690634A
Authority
CN
China
Prior art keywords
generated
scene
data
grid
virtual content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780053115.9A
Other languages
English (en)
Inventor
P·S·皮埃蒙特
D·德罗查罗萨里奥
J·D·古斯奈尔
P·迈耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Priority to CN202311118109.0A priority Critical patent/CN117058345A/zh
Publication of CN109690634A publication Critical patent/CN109690634A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Architecture (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)

Abstract

本公开提供了一种AR系统，该AR系统利用世界的预先生成的3D模型来改善场景的AR视图(例如移动车辆前方的世界的AR视图)的3D图形内容的渲染。通过利用预先生成的3D模型，AR系统可使用各种技术来增强系统的渲染能力。AR系统可从远程来源(例如，基于云端的存储装置)获得预先生成的3D数据(例如，3D图块)，并且可利用该预先生成的3D数据(例如，3D网格、纹理和其他几何信息)来增强本地数据(例如，由车辆传感器所采集的点云数据)以确定比从本地数据能够获得的更多有关场景的信息，包括有关场景的被遮挡区域或远处区域的信息。

Description

增强现实显示器
背景技术
遥感技术为不同的系统提供有关该系统的外部环境的信息。各种技术应用可依赖于遥感系统和遥感装置来操作。此外，随着越来越多的系统试图利用更大量的数据以在动态环境中执行不同的任务；遥感提供可有利于决策的环境数据。例如，引导机器操作的控制系统可利用遥感装置来检测工作空间内的对象。又如，增强现实(AR)系统可利用遥感装置来提供关于环境中对象的深度信息。在一些情形中，基于激光的感测技术，例如光测距与检测(激光雷达)，能够提供高分辨率的环境数据，诸如深度图，其可表示不同对象与激光雷达的接近度。
在实时增强现实作为在不断变化的环境中以各种速度和角度行驶的车辆中的主要显示技术时，其面临各种挑战。天气状况、阳光和车辆运动学仅为可能影响渲染但还限制系统的总体功能的几个因素。这点尤其正确，因为车载传感器具有固定范围并且通常需要用于优化影响总体质量和响应时间的查询的算法。
发明内容
本公开描述了例如可用于车辆中的增强现实(AR)显示器的方法和系统。本公开描述了一种AR系统的实施方案，其利用预先生成的世界的立体重建或3D模型来协助锚定并改善AR场景的渲染。通过利用世界的立体重建，AR系统的实施方案可以使用多种技术来增强系统的渲染能力。在实施方案中，AR系统可获取预先生成的3D数据(例如，3D图块)，该3D数据来自由随时间推移利用大量来源所采集的真实世界图像生成的世界的立体重建，并且可使用该预先生成的3D数据(例如，3D网格、纹理，和其他几何信息的组合)来确定有关场景的比能够从本地源获得的(例如，由车辆传感器所采集的点云数据)更多信息，AR渲染可得益于这些信息。
本公开描述了AR系统的实施方案，其可使用三维(3D)网格地图数据(例如，由空中摄影/街道摄影重建的3D图块)来增强或补充抬头显示器上的车辆传感器(例如，激光雷达或相机)信息。3D图块可用于弥补传感器的局限性(例如，被建筑物或地形所遮挡的或超出范围的真实环境的区域)以使AR扩展到车辆前方(即，驾驶员的视野内)的整个真实环境中。例如，可显示路线，包括路线中的被真实环境中的物体或地形所遮挡的部分。
实施方案可使3D元素投影到地形上而不必执行高度查询或参考由车载传感器采集的点云数据。可在增强现实场景中渲染超出车载传感器的功能/范围的元素。除了被环境中的遮挡物体阻挡之外，传感器还受到其他因素的限制，诸如车辆的距离和速度。预先生成的3D网格地图数据可以弥补这些限制，因为静态图像在无需扫描和参考点云的情况下是可用的。
在一些实施方案中，传感器数据可用于提供附近真实环境的AR内容，其中预先生成的3D网格地图数据用于提供针对真实环境中的远方物体和被遮挡部分的AR内容。
在一些实施方案中，预先生成的3D网格地图数据可用于加速对附近物体的点云数据的查询；基于3D网格地图数据进行更有限的查询是可能的。因此，可基于针对局部区域的3D网格地图数据来优化针对局部区域的点云查询。
在一些实施方案中，如果由于某种原因致使传感器数据不可用或缺少/范围有限(例如，传感器故障、传感器上存在污垢、雾、大雨、雪、昏暗/夜晚(对于相机信息)、在隧道或车库内部、被其他车辆所阻挡，等等)，预先生成的3D网格地图数据可能仍然可用并可用于填充丢失的AR内容以及更多远程内容。
在一些实施方案中，来自在预先生成的3D数据中提供的场景中的可见表面的法线，以及对光源(例如，太阳)的位置的了解可允许AR系统确定表面相对于光源(例如，太阳)的取向。利用该信息，当将元素渲染到增强现实场景中时，AR系统可调整AR内容中的内容呈现，使得内容更容易看到。
在一些实施方案中，可基于预生成的3D数据制成3D渲染场景中的动画元素(例如，车辆、行人等的虚拟表示)以对地形以及构成地形的地面类型作出响应。例如，如果场景中的车辆转弯并行驶在建筑物后面，则车辆的虚拟图像可被显示为驶上建筑物后面的小山，从而在车载传感器的视野之外。
预先生成的3D网格地图数据可适用于围绕车辆的360°、遮挡物后方以及超越地平线的整个真实环境。因此，在一些实施方案中，可利用3D网格地图数据来向车辆侧面和后方提供有关环境的信息，包括不可见的对象。
在一些实施方案中，3D网格地图数据可由AR系统用于较差/有限可见度的驾驶条件下，例如，大雾、雪、弯曲的山路等，其中传感器范围在例如将车辆前面的路线投影到AR显示器上时可为有限的。例如，3D网格地图数据可用于通过显示即将到来的曲线或交叉口来增强传感器数据。
附图说明
图1为根据一些实施方案的用于利用立体重建的3D数据增强AR显示的方法的高级流程图。
图2示出了根据一些实施方案的自适应增强现实(AR)系统和显示器。
图3例示了根据一些实施方案的处理3D网格地图数据和局部传感器数据以生成用于AR显示器的虚拟内容。
图4示出了根据一些实施方案的3D图块。
图5示出了根据一些实施方案的3D网格。
图6示出了根据一些实施方案的示例性自适应AR显示。
图7示出了根据一些实施方案的另一示例性自适应AR显示。
图8示出了根据一些实施方案的根据真实世界场景在AR显示器中调整虚拟内容。
图9示出了根据一些实施方案的在AR显示器中显示动画元素的虚拟内容。
图10例示了根据一些实施方案的利用3D网格地图数据和局部传感器数据来向车辆中的乘客提供环境的AR视图。
图11是根据一些实施方案的用于利用3D网格地图数据来调整AR显示的方法的高级流程图。
图12为根据一些实施方案的用于稳定AR显示上的虚拟内容的方法的流程图。
本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。
“包括”。该术语是开放式的。如在所附权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。
“被配置为”。各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112(f)。此外，“被配置为”可包括由软件和/或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。
“第一”、“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。
“基于”。如本文所用，该术语用于描述影响确定的一个或多个因素。该术语不排除影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他实例中，可仅基于B来确定A。
具体实施方式
本公开描述了例如可用于车辆中的增强现实(AR)显示器的方法和系统。本公开描述了AR系统的实施方案，其利用预先生成的世界的立体重建来协助锚定并改善AR场景的渲染。通过利用世界的立体重建，AR系统的实施方案可以使用多种技术来增强系统的渲染能力。在实施方案中，AR系统可以获取预先生成的3D数据，该3D数据来自由随时间推移从大量来源所采集的真实世界图像生成的世界的立体重建，并且使用该预先生成的3D数据(例如，3D网格、纹理，和其他几何信息的组合)来确定有关场景的比能够从本地源获得的(例如，由车辆传感器所采集的点云数据)更多信息，AR渲染可得益于这些信息。此外，预先生成的3D数据可为可管理格式，其能够由AR系统用于绘制局部环境，而无需查询由车辆传感器以高速采集的点云数据。预先生成的3D数据可用作点云查询的向导，使得查询可被集中并限制到需要数据的区域。预先生成的3D数据可解锁AR渲染功能并允许用于车辆的AR系统和显示器超过使用实时查询大量点云数据的常规车载传感器专用方法的系统的功能。
在一些实施方案中，由立体3D成像生成的预先生成的3D数据提供了在车辆或查看者前方和/或周围的真实场景的网格重建，以及可用于在无需查询由局部传感器所采集的点云数据的情况下确定表面角度和光照信息的几何信息。了解了车辆的位置和视野，AR系统可获得具有用于场景的适当信息的3D图块。
通过利用预生成的3D数据，AR系统可在增强现实场景中渲染超出可用车载传感器(例如，激光雷达、相机等)的能力的元素。激光雷达和其他车载传感器通常具有距离限制，并且也可能受到其他因素的限制，诸如车辆行驶速度、车辆的运动(例如转弯或弹跳)、遮挡物(建筑物、其他车辆、地形等)。立体成像的方法可以弥补这些限制，因为静态成像能够通过预先生成的3D数据获得而无需查询由车载传感器所捕获的点云数据。
在AR系统中使用预先生成的3D数据的有益效果在于允许3D元素投影到地形上而不必执行若干高度查询或参考由车载传感器采集的大量点云数据。此外，3D网格允许AR系统精确地检测场景中被遮挡的部分，例如在建筑物或山脉后方的路线，并相应地渲染场景中的虚拟内容。
除了地形的3D几何结构之外，来自在预生成的3D数据中提供的场景中的可见表面的法线，以及对光源(例如，太阳)的位置的了解可允许AR系统确定表面相对于光源(例如，太阳)的取向。当使用该信息将元素渲染到增强现实场景中时，AR系统可基于光照角度来执行虚拟内容的色彩校正，将虚拟内容移离具有眩光的表面，并且/或者缓解可能使渲染的AR场景的一部分难以看清的阳光或眩光。
在一些实施方案中，可基于预生成的3D数据制成3D渲染场景中的动画元素(例如，车辆、行人等的虚拟表示)以对地形以及构成地形的地面类型作出响应。例如，如果在带有AR系统的车辆前面的车辆转弯并在建筑物后面行驶，则车辆的虚拟图像可被显示为驶上建筑物后面的小山，因此在车辆的车载传感器的视野之外。
如本文所用，车辆可包括任何类型的陆地车辆，例如，汽车、卡车、摩托车、全地形车、巴士、火车等。然而，需注意，本文所述的AR系统和方法也可适用于飞机、直升机、小船、轮船等。此外，本文所述的AR系统和方法也可适用于移动设备，诸如智能电话、平板电脑或平板装置、笔记本电脑或膝上型电脑，以及AR/VR头戴式显示器(HMD)如行人或车辆中的乘客可能携带或佩戴的眼镜、护目镜或头盔。
图1为根据一些实施方案的用于利用立体重建的3D数据增强AR显示的方法的高级流程图。元素1010和1020可例如由包括一个或多个计算系统的基于网络的3D数据系统来执行，该一个或多个计算系统采集图像(例如，来自先前收藏的空中摄影和街头摄影、由装备有AR系统示例和/或摄像机或静物相机的车辆所捕获的图像、由诸如智能手机或平板电脑等个人设备所捕获的图像，等等)，立体地重建并以其他方式处理图像以生成包括地面和物体的3D网格地图、表面法线、纹理和其他几何信息、位置信息(例如，GPS坐标)、高度信息、时间戳等的数据。3D数据例如可作为3D图块被存储到后端存储系统例如基于云端的存储装置，其中每个3D图块表示真实世界的3D部分并标记有适当的信息。前端服务器和API可提供用于从后端存储装置检索3D数据。
如在1010所指出的那样，3D数据系统可获得真实世界的图像。如1020所示，3D数据系统可立体地重建图像以生成3D数据(例如，3D图块)，并且可将该3D数据(例如，标记有位置信息、高度信息、时间戳等)存储到存储系统(例如，基于云端的存储装置)。如从1020返回到1010的箭头所指示的，采集图像数据并由所采集的图像生成3D数据可为一个连续过程，其中对新图像进行采集并处理以在图像变为可用时将其添加到存储装置中或更新现有3D数据。
如在1030所指出的那样，车辆中的AR系统可根据车辆的当前位置和行驶方向获得3D数据(例如，作为3D图块)。例如，AR系统可从车辆的定位系统获得位置信息(例如，GPS坐标)，并且还可从车辆获得方向信息。AR系统继而可根据位置和方向信息来查询3D数据的基于云端的存储装置的前端，例如经由用于将车辆连接到互联网/云端的无线通信链路来查询，以获得针对在车辆前方或周围的区域的3D图块。可获得针对在车辆传感器范围内的局部环境以及针对在传感器范围之外的扩展范围内的环境的3D图块。在一些实施方案中，AR系统可以本地存储或高速缓存先前获取的3D图块，例如针对频繁经过或最近行走的路线，并因此可在查询云端之前首先检查高速缓存以明确高速缓存中对应于当前位置的3D数据是否可用。在一些实施方案中，AR系统可基于车辆的当前位置、行驶方向和速度预先获取3D图块。因此，AR系统可前摄地从基于云端的存储装置中获取未来可能需要的3D图块，并同时处理先前获取的针对当前位置和/或即将到来的位置的3D图块。
如在1040所指出的那样，AR系统可根据已获取的预先生成的3D数据查询传感器数据，以获得传感器范围内的局部环境的3D信息。车辆可包括能够生成针对车辆的局部环境的大量数据点(被称为点云)的传感器(例如，激光雷达、相机等)。AR系统可查询该点云以获得和/或生成局部3D信息(例如，固定对象和移动对象的位置和几何结构(形状和尺寸)、对象的范围、移动对象的运动/方向等)。在一些实施方案中，预先生成的3D数据可用于减小或加速对附近对象的点云的查询。例如，如果预先生成的3D数据对一区域可用，则可减少或完全不执行对局部环境的该区域的查询。此外，如果由于遮挡、传感器的局限性或诸如雨或雾之类的环境条件而使得传感器数据不足或缺失，则在预先生成的3D数据对这些区域可用的情况下，可使用所获得的3D数据来填充这些区域。
如在1050所指出的那样，AR系统可至少部分地根据预先生成的3D数据和从传感器数据获得的局部3D信息来生成3D图形(本文也称之为虚拟内容)。例如，虚拟内容可包括车辆行驶路线的路线标记、对被遮挡或部分遮挡对象或地形特征(例如，被遮挡建筑物、被遮挡道路或车辆行驶路线的一部分、在建筑物或地形特征后行驶的其他车辆或行人，等等)的指示。虚拟内容还可包括关于环境中的物体或特征的信息性标签，例如用于识别和提供关于可见的和/或被遮挡的建筑物或地形特征、道路、路线等信息的标签。标签的信息例如可从环境的现有3D地图信息中获取，该信息从地图绘制/导航系统获得。虚拟内容还可包括关于车辆的信息，诸如位置信息(例如，GPS坐标)、行驶方向、一天中的时间、速度等。在一些实施方案中，从云端和/或从本地存储装置获得的3D网格数据可与由传感器数据生成的3D网格数据对准并结合，以生成车辆前方或周围的环境的3D网格。3D图形继而可被定位于由AR系统根据3D网格生成的图像中的适当位置。在一些实施方案中，在预先计算的3D数据中所包括的环境中的物体或表面的表面法线、纹理信息和/或颜色可与环境的光照信息(例如，太阳相对于车辆的当前位置)结合使用，以重新定位3D图形的至少一部分、改变3D图形的至少一部分的颜色和/或强度，或以其他方式改变3D图形的至少一部分。在一些实施方案中，可根据3D网格信息和/或从车辆传感器采集的信息来检测环境中区域的颜色和/或亮度(例如，蓝天)，并将其用于重新定位和/或改变3D图形内容的颜色。例如，如果要将蓝色3D图形内容投影到蓝色天空区域，则可改变内容的颜色以提供对比度，或者可将内容移动到另一区域。在一些实施方案中，地形几何信息(例如，被遮挡道路的坡度)可用于改变动画元素(诸如已行驶到建筑物或地形特征后面的车辆或行人的图形表示)的取向，使得动画元素遵循被遮挡地形特征的坡度。
如在1060处所指出的那样，AR系统将3D图形投影到AR显示器，例如车辆的挡风玻璃的一部分。在一些实施方案中，包含虚拟内容的图像可与车辆前方的视野对准，例如通过使该图像与由车辆的相机所捕获的真实世界的图像对准或者通过根据从车辆的定位和位置部件所采集的定位和位置信息来对准图像，并且经对准的图像可由AR系统的投影仪组件投影到挡风玻璃的一部分上以将3D图形内容显示为“抬头”AR显示。
如从1060返回到1030的箭头所指示的，该方法可为连续过程，其中由AR系统获得并处理预先生成的3D数据和传感器数据以当车辆在环境中移动时更新场景的AR视图中的3D图形内容。
虽然图1将AR系统描述为将用于车辆前方的视图的虚拟内容作为“抬头显示”投影到车辆的挡风玻璃上，但在一些实施方案中，AR系统可类似地至少部分地基于预先生成的3D数据和车辆传感器数据来生成用于其他方向(侧面，或后部)的视图的3D图形内容，并且可将生成的内容投影到车辆中的其他表面(例如，车辆的侧窗或后窗)或可将生成的3D图形内容提供至支持AR显示的其他设备，例如智能电话、膝上型电脑或笔记本电脑、或乘客所持的平板电脑/平板装置、安装在车辆中的显示屏(例如，安装在前座椅后或在仪表板中)，或车辆中的乘客所佩戴的头戴式AR显示器(例如，AR眼镜、护目镜、头盔等)。在这些其他设备上，AR系统提供的3D图形内容可例如叠加在从车载式相机获得的环境的相机视图上。
图2示出了根据一些实施方案的可实现本文所述的各种AR方法的一种自适应增强现实(AR)系统和显示器。在图2中，区域20对应于本地定位的元素(例如，在车辆中)，而区域10对应于远程定位并且可经由无线通信连接由车辆20中的AR系统122访问的元素(例如，在“云”网络上)。
在一些实施方案中，远程元素可包括3D数据系统102、3D数据存储库110和一个或多个前端服务器104。基于网络的3D数据系统102可包括但不限于一个或多个计算系统，该一个或多个计算系统获得数据输入114(例如，来自先前收藏的空中摄影和街头摄影、由装备有AR系统122示例和/或摄像机或静物相机的车辆所捕获的图像、由诸如智能手机或平板电脑等个人设备所捕获的图像，等等)，立体地重建并以其他方式处理数据输入114以生成包括地面和物体的3D网格地图、表面法线、纹理和其他几何信息、位置信息(例如，GPS坐标)、高度信息、时间戳等的数据。3D数据例如可作为3D图块被存储到后端3D数据存储库110例如基于云端的存储装置，其中每个3D图块表示真实世界的3D部分并标记有适当的信息。前端服务器104可提供用于从3D数据存储库110检索3D数据的API。
在一些实施方案中，车辆20可包括但不限于AR系统122、真实世界传感器130(例如，LiDAR传感器、相机等)、定位140部件(例如，GPS或其他位置跟踪系统、指南针等)和运动传感器150(例如，加速度计、主动悬架传感器等)。车辆20还包括至少一个显示器160，该显示器可以是表面(例如，挡风玻璃)或屏幕(例如，设置在仪表板上的显示器)，由AR系统122生成的虚拟内容可被投影到或以其他方式显示到该表面或屏幕上。
在一些实施方案中，AR系统122可包括但不限于控制器124、用于查询111前端服务器114以获得3D数据112的通信接口127、用于存储3D数据和其它信息的存储器，以及用于将虚拟内容125投影到显示器160的投影仪126。
在一些实施方案中，控制器124可包括但不限于各种类型的处理器、CPU、图像信号处理器(ISP)、图形处理单元(GPU)、编码器/解码器(codec)、存储器和/或其他部件中的一者或多者。控制器502例如可至少部分地基于由3D数据112增强的传感器数据132来生成虚拟内容125以供由投影仪126投影到显示器160，该3D数据112根据定位数据142从3D数据存储库110和/或从本地存储的数据128中获得，如本文所描述的。在一些实施方案中，控制器124还可获得并使用运动数据152来影响虚拟内容125的生成和投影。
通信接口127可根据任何合适的远程无线通信技术来实现。投影仪126可根据任何合适的投影技术来实现，并且可被配置为将虚拟内容125的帧投影或扫描到显示器160。
显示器160可显示由3D虚拟内容125增强的真实世界的视图(例如，在车辆20的前方)，该3D虚拟内容由控制器124生成并由投影仪126投影到现实世界的视图上。例如，所显示的虚拟内容可包括用于视图中对象的信息标签，对诸如路线的被遮挡部分等被遮挡特征结构或物体的指示，对诸如指示路线的远处部分的条带或线条等远处特征结构的指示，关于车辆20的信息诸如行驶方向、速度等，或一般来讲，对查看者有用或有益的任何信息。
图3图解地例示了根据一些实施方案的处理预先生成的3D网格地图数据和本地传感器数据以生成用于AR显示器的虚拟内容。该处理例如可由图2所示的AR系统执行。
图3(A)以图形方式例示了由车辆的传感器(例如，激光雷达)获得的传感器数据(例如，点云)32，和根据定位和定向信息从远程3D数据存储库和/或从本地存储装置获得的多个示例3D图块34。如图3(A)所示，图块34可具有不同尺寸，并且可与其他图块34重叠。传感器数据32可包括点云，该点云包括在被传感器检测时指示在车辆前方或周围的场景中的表面上的点处的深度、方向、高度和可能的其他信息(例如，光照)的大量数据点。然而，传感器数据32可能受到传感器的有效范围、车辆的速度，或诸如天气状况和遮挡36等其他因素的限制。在一些实施方案中，由3D图块34所提供的3D网格地图数据可用于填充针对场景的超出范围、被遮挡或针对由于其他原因(例如，天气状况)所致的传感器数据32不足或缺失的一部分的3D数据。在一些实施方案中，由3D图块34所提供的3D网格地图数据还可用于加速传感器数据32对附近物体的查询；基于3D网格地图数据可显著减少用于生成传感器的范围内的环境的局部地图或3D网格所需的对点云的查询次数。
图3(B)以图形方式示出了3D网格38，其通过将由3D图块34所提供的3D网格地图数据与根据传感器数据32生成的局部3D网格进行对齐并结合而生成。在一些实施方案中，网格38中的每个点可对应于场景中的3D点，可由3D坐标来表示，并且还可具有与其相关联的其他信息诸如深度或距离、纹理、颜色、可见部分/被遮挡部分等。在一些实施方案中，3D网格38中的被遮挡点或表面可通过图像处理技术来检测，例如将光线从查看者的视角射入到场景中的光线跟踪技术；如果光线在击中另一点或表面之前击中由3D网格限定的至少一个居间点或表面，则该另一点或表面可被标记为被遮挡。图3(B)还以图形方式示出了根据3D网格对指示车辆的路线的示例3D虚拟内容进行定位。如图所示，可根据网格38生成指示路线的可见部分(其可在车辆传感器的范围内)的3D虚拟内容。此外，可根据网格38生成指示路线的被遮挡部分(并因此无法由车辆的传感器检测到)的3D虚拟内容。此外，可根据网格38生成指示路线的远处部分(并因此超出车辆传感器的范围)的3D虚拟内容；需注意，远处路线的至少一部分也可能被遮挡(例如，被树或地形遮挡)并因此在AR显示器上的真实世界视图中不可见。
图3(C)以图形方式示出根据投影到真实场景上例如投影到车辆的挡风玻璃上的3D网格而生成的虚拟内容。显示器可显示由3D虚拟内容增强的真实世界的视图(例如，在车辆的前方)，该3D虚拟内容由AR系统生成并由AR系统投影到真实世界视图上。例如，所显示的虚拟内容可包括用于视图中对象的信息标签(例如，将路线标识为“路线12”的标签，以及指示地形或其他特征结构诸如“Mount Jones”和“Mount Smit”等的标签)，对诸如路线的被遮挡部分等被遮挡特征结构或物体的指示，对诸如指示路线的远处部分的条带或线条等远处特征结构的指示，关于车辆的信息诸如行驶方向、速度、时间等，或一般来讲，对查看者有用或有益的任何信息。
图4、图5和图6可视地例示了根据一些实施方案的处理预先生成的3D网格地图数据和本地传感器数据以生成用于AR显示器的虚拟内容。该处理例如可由图2所示的AR系统执行。图4、图5和图6涉及通过车辆的挡风玻璃查看到的场景的真实世界示例(在图6中示出)。
图4示出了根据一些实施方案的例如参考图3(A)所示并描述的叠加在真实世界图像上的3D图块。如图4所示，可根据车辆的定位和方向信息从远程3D数据存储库和/或从本地存储装置获得大量的3D图块34，这些3D图块可具有不同尺寸并且可与其他图块重叠。3D图块可用于增强或填充车辆的传感器数据，和/或优化对由传感器采集的点云数据的查询。
图5示出了根据一些实施方案的例如参考图3(B)所示并描述的与图6所示的真实世界视图对应的3D网格。图5示出了在实际中网格可能非常复杂。图5还示出了叠加在网格上的虚拟内容(路线带)，其包括附近的可见部分和\被遮挡部分，以及远处部分。每个部分可由不同的颜色、图案或图形标记来表示。例如，路线的被遮挡部分和远处部分可由与用于指示路线的近处可见部分不同颜色的条带表示。
图6示出了根据一些实施方案的示例性自适应AR显示。图6示出了根据投影到真实场景上例如投影到车辆的挡风玻璃的区域160上的图5的3D网格而生成的虚拟内容。查看者可看到由3D虚拟内容增强的真实世界(例如，通过挡风玻璃在车辆的前方)，该3D虚拟内容由AR系统生成并由AR系统投影到真实世界视图上。例如，所显示的虚拟内容可包括用于视图中对象的信息标签，对诸如指示路线的被遮挡部分的条带或彩色圆圈等被遮挡特征结构或物体的指示，对诸如指示路线的远处部分的条带或彩色圆圈等远处特征结构的指示，对诸如在车辆正前方的由圆圈或条带所指示的路线的一部分等近处可见特征结构的指示，关于车辆的信息诸如行驶方向、速度、时间等，或一般来讲，对查看者有用或有益的任何信息。
图7示出了根据一些实施方案的自适应AR显示的另一示例。在该示例中，圆圈指示查看者可能想要采用的建议路线，并且灰色圆圈指示被诸如建筑物等真实世界特征结构所遮挡的路线的一部分。需注意，除了方向之外，被遮挡路线的图形指示还可向查看者指示其他信息，诸如高度变化、转弯、路面状况(减速带、建筑物等)，或有关查看者可能感兴趣的或对查看者有用的路线的任何信息。该示例示出了在车辆前方左转、爬升小山坡然后右转的路线。
图8以图形方式示出了根据一些实施方案的根据真实世界场景在AR显示器中调整虚拟内容。在一些实施方案中，在预先计算的3D数据中所包括的环境中的物体或表面的表面法线、纹理信息和/或颜色可与环境的光照信息(例如，太阳相对于车辆的当前位置)结合使用，以重新定位3D图形的至少一部分、改变3D图形的至少一部分的颜色和/或强度，或以其他方式改变3D图形的至少一部分。例如，在图8中，表面800的纹理信息可指示表面是高度反光的(例如，玻璃)。表面800的法线、光源(太阳)的位置，以及车辆的当前位置和方向可用于确定来自太阳的光是否将从表面800反射进入到查看者的眼睛，从而导致眩光。如果是，虚拟内容A可被移动到另一个位置，并且/或者其渲染(颜色、强度、尺寸等)可被更改，使得该内容更易被查看者看见。在一些实施方案中，可根据预先生成的3D数据和/或从车辆传感器采集的信息来检测环境中区域的颜色和/或亮度，并将其用于重新定位和/或改变3D图形内容的颜色。例如，在图8中，如果虚拟内容B为蓝色并且要被投影到蓝天区域上，则可改变内容的颜色以提供对比度，或者可将内容移动到另一区域。在一些实施方案中，光源(例如，太阳)在视图中的位置可例如通过使用一天中的时间、一年中的日期以及车辆的位置和方向来确定，或者通过使用从光传感器或照相机所采集的信息来确定。该位置信息可用于重新定位或改变虚拟内容的外观。例如，在图8中，可确定太阳的位置，并且可移动或更改虚拟内容C，使得内容不靠近太阳的位置或在太阳的位置处。
图9以图形方式示出了根据一些实施方案的在AR显示器中显示动画元素的虚拟内容。在一些实施方案中，如果视图中的可见对象(例如，车辆900)在遮挡物体(例如，建筑物或小山)后面行驶，则动画虚拟元素902诸如车辆或行人的图形表示可被渲染或显示为在AR视图中的对象后面移动。在一些实施方案中，根据预先生成的3D数据所确定的地形几何结构(例如，被遮挡道路的坡度)可用于改变已行驶在建筑物或地形特征后面的动画元素902的渲染，使得动画元素902遵循被遮挡地形特征的轮廓(例如，坡度)。例如，在图9中，动画元素902A被示出为在左侧的建筑物后面的大体平坦的道路上继续左行，而动画元素902B被示出为在右侧的建筑物后面的上山的倾斜道路上继续右行。
图10例示了根据一些实施方案的利用3D网格地图数据和本地传感器数据来向车辆中的乘客提供环境的AR视图。如图10所示，预先生成的3D数据812可适用于围绕车辆800的360°、遮挡物后方以及超越地平线的整个真实环境。因此，在一些实施方案中，可利用3D数据812来向车辆800侧面和后方提供有关环境的信息，包括不可见的对象。
虽然实施方案通常被描述为将虚拟内容投影到车辆800的挡风玻璃上以提供车辆800前方的场景的AR视图，但在一些实施方案中，AR系统822可至少部分地基于预先生成的3D数据812和车辆传感器824数据来生成用于其他方向(侧面，或后部)的视图的3D图形内容，并且可将生成的内容投影到车辆中的其他表面(例如，车辆的侧窗或后窗)或可将生成的3D图形内容提供至支持AR显示的其他设备，例如智能电话、膝上型电脑或笔记本电脑、或乘客890所持的平板电脑/平板装置、安装在车辆中的显示屏(例如，安装在前座椅后或在仪表板中)，或车辆中的乘客890所佩戴的头戴式AR显示器(例如，AR眼镜、护目镜、头盔等)。在这些其他设备上，AR系统提供的3D图形内容可例如叠加在从车载式相机获得的环境的相机视图上。图10示出了两名乘客890A和890B彼此面对面的示例；因此，乘客890A在车辆800中面朝后。两名乘客均持有或佩戴支持AR的设备892。AR系统822可经由与相应设备892的有线或无线(例如，蓝牙)连接将AR视图提供给乘客890。例如，面朝后的乘客890A可能希望查看车辆800前方的场景，因此AR系统822可经由设备892A将前方的AR视图提供给乘客890A。在一些实施方案中，乘客890可将其相应的设备892指向某一方向以获得在该方向上的AR视图，或者可通过界面选择视图方向。在一些实施方案中，虚拟内容的至少一部分可以是交互式的；例如，乘客890可选择虚拟元素来获得关于AR视图中可见物体或被遮挡物体或地形特征的更多信息。在一些实施方案中，AR系统822可以包括用于车辆800的其他窗口(例如，侧窗)的投影仪，从而乘客890可从其他窗口查看AR增强的场景视图。
图11是根据一些实施方案的用于利用预先生成的3D网格地图数据来调整AR显示的方法的高级流程图。如1100处所指示的，AR系统例如可从如图2所示的基于云端的3D数据存储库来获得预先生成的3D数据(例如，3D图块)。3D图块可共同形成场景的全局3D网格或3D模型，包括场景的远处(超出传感器范围)部分和被遮挡部分。如1102处所指示的，AR系统还可获得并处理由车辆传感器(例如，激光雷达)所采集的传感器数据，以生成局部(在传感器的范围内)环境的3D网格或3D模型。如从1100到1102的箭头所示，预先生成的3D数据可用于减少或优化传感器数据的查询，从而加快传感器数据的处理。如1110处所指示的，全局3D网格和局部3D网格可由AR系统进行对准并结合以生成可从车辆外部延伸到地平线或更远处的场景的3D网格或3D模型；3D网格包括场景的近处区域、远处区域和被遮挡区域。如1120处所指示的，AR系统继而可至少部分地根据本文所述的3D网格生成虚拟内容。如1130处所指示的，AR系统继而可将虚拟内容投射到AR显示器上(例如，投射到车辆的挡风玻璃上)。如从元素1130返回的箭头所示的，该方法可为用于更新投射到AR显示器的虚拟内容的连续过程。
稳定虚拟内容
图12为根据一些实施方案的用于稳定AR显示器上的虚拟内容的方法的流程图。车辆的驾驶员可能经常行驶相同的路线，例如往返工作的路线。环境中的变量是驾驶员所走道路的路面状况。如1200处所指示的，车辆运动(例如，弹跳)可在经常行驶的路线上被记录下来。如图2所示，车辆可包括可向AR系统提供运动信息的运动传感器(例如，加速度计、主动悬架传感器等)。在一些实施方案中，AR系统可将该运动信息记录在本地存储装置中，或者通过将信息提供至3D数据系统以便记录在3D数据存储库(例如，基于云端的存储装置)中。如1210处所指示的，在随后行走该路线时，AR系统可至少部分地根据如前所述的3D网格来生成要显示的虚拟内容。在一些实施方案中，所记录的车辆运动信息可用于根据所记录的路线的运动信息来调整虚拟内容的位置。例如，如果所记录的运动信息指示在给定位置处存在颠簸，则虚拟内容可根据所记录的车辆运动上下移动，以使得虚拟内容在驾驶员的视线中稳定化。如1220处所指示的，稳定化的虚拟内容可被投射到AR显示器上。
尽管上文已经描述了具体实施方案，但这些实施方案并非要限制本公开的范围，即使仅相对于特定特征描述单个实施方案的情况下也是如此。本公开中提供的特征示例意在进行例示，而非限制，除非做出不同表述。本公开的范围包括本文(明确或暗示)公开的任意特征或特征组合或其任意推广，而无论其是否减轻本文解决的任何或所有问题。因此，在本专利申请(或要求享有其优先权的专利申请)进行期间可针对特征的任何此类组合作出新的权利要求。具体地，参考所附权利要求书，可将从属权利要求的特征与独立权利要求的特征进行组合，并可通过任何适当的方式而不是仅通过所附权利要求书中所列举的特定组合来组合来自相应独立权利要求的特征。
在不同的实施方案中，本文所述的各种方法可在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可作出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。各种部件和操作之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其它分配，它们可落在所附权利要求的范围内。最后，呈现为示例性配置中的分立部件的结构和功能性可以被实现为组合结构或部件。这些和其它变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。

Claims (24)

1.一种系统，包括：
投影仪；和
控制器，所述控制器被配置为：
获得用于真实世界场景的至少一部分的预先生成的3D数据，其中所述预先生成的3D数据包括针对所述场景的相应区域的预先生成的3D网格；
确定所述预先生成的3D网格中的一者或多者，所述预先生成的3D网格中的所述一者或多者包括局部区域中的位于一个或多个传感器的范围内的部分；
使用从所述一个或多个传感器获得的点云数据来生成针对所述局部区域中的未包括在所述预先生成的3D网格中的部分的局部3D网格；以及
使用所述局部3D网格和所述预先生成的3D网格来生成所述场景的3D模型。
2.根据权利要求1所述的系统，其中所述点云数据包括多个数据点，其中每个数据点指示由所述一个或多个传感器检测到的所述局部区域内的表面上的点的深度、方向和高度。
3.根据权利要求1所述的系统，其中所述预先生成的3D网格包括所述场景中的超出所述传感器的范围的部分以及所述场景中的被所述场景中的物体或地形所遮挡的部分。
4.根据权利要求1所述的系统，其中所述一个或多个预先生成的3D网格包括所述场景中的位于所述一个或多个传感器的所述范围内的被所述一个或多个传感器的所述范围内的物体或地形所遮挡的部分。
5.根据权利要求1所述的系统，其中为了生成所述局部3D网格，所述控制器被配置为查询点云以获取针对所述局部区域中的未包括在所述一个或多个预先生成的3D网格中的部分的数据点，其中针对所述局部区域中的包括在所述一个或多个预先生成的3D网格中的部分不执行查询。
6.根据权利要求1所述的系统，其中所述控制器被进一步配置为：
至少部分地根据所述3D模型来渲染所述场景的虚拟内容；以及
将经渲染的虚拟内容提供至所述投影仪以用于投影到显示器，其中所投影的虚拟内容向查看者提供所述场景的增强视图。
7.根据权利要求6所述的系统，其中所述预先生成的3D数据包括所述场景中的一个或多个表面的表面法线，并且其中，为了至少部分地根据所述3D模型来渲染所述场景的虚拟内容，所述控制器被配置为：确定来自所述场景中的光源的光的方向；
根据所述光的所述方向和表面的所述表面法线来确定所述表面在所述查看者的方向上反射所述光；以及
将打算显示在所述表面上或所述表面附近的所述虚拟内容的一部分移动至所述场景中的另一个位置。
8.根据权利要求6所述的系统，其中所述预先生成的3D数据包括针对所述场景中的一个或多个表面的包括表面法线、纹理和颜色的信息，并且其中为了至少部分地根据所述3D模型来渲染所述场景的虚拟内容，所述控制器被配置为根据所述表面信息来更改所述虚拟内容的一部分的渲染或位置。
9.根据权利要求6所述的系统，其中所述虚拟内容包括以下中的一者或多者：对所述场景中的在所述传感器的范围内的特征结构的指示、对所述场景中的超出所述传感器的范围的特征结构的指示、或对所述场景中的被所述场景中的物体或地形所遮挡的特征结构的指示。
10.根据权利要求6所述的系统，其中所述显示器被结合到车辆的挡风玻璃中。
11.根据权利要求10所述的系统，其中所述虚拟内容包括以下中的一者或多者：对路线中的在所述传感器的范围内的一部分的指示、对所述路线中的超出所述传感器的范围的一部分的指示、或对所述路线中的被所述场景中的物体或地形特征所遮挡的一部分的指示。
12.根据权利要求10所述的系统，其中所述虚拟内容包括被所述场景中的物体或地形特征所遮挡的移动对象的图形表示，其中所述控制器被配置为渲染所述移动对象的所述图形表示，使得所述移动对象对根据所述预先生成的3D数据所确定的地形几何结构的轮廓做出响应。
13.根据权利要求10所述的系统，其中所述控制器被配置为：
记录所述车辆在经常行驶路线上由于路面状况所产生的运动；以及根据所述车辆在所述路线上的所记录的运动来调整所述虚拟内容在所述显示器上的位置。
14.一种方法，包括：
由车辆中的增强现实(AR)系统获得针对所述车辆外部的环境的至少一部分的预先生成的3D数据，其中所述预先生成的3D数据包括针对所述环境的相应区域的预先生成的3D网格；
由所述AR系统确定所述预先生成的3D网格中的一个或多个预先生成的3D网格，所述预先生成的3D网格中的一个或多个预先生成的3D网格包括局部区域中的位于所述车辆上的一个或多个传感器的范围内的部分；
由所述AR系统使用从所述一个或多个传感器获得的点云数据来生成针对所述局部区域中的未包括在所述预先生成的3D网格中的部分的局部3D网格；以及
由所述AR系统使用所述局部3D网格和所述预先生成的3D网格来生成所述环境的3D模型。
15.根据权利要求14所述的方法，其中所述点云数据包括多个数据点，其中每个数据点指示由所述一个或多个传感器所检测到的所述局部区域内的表面上的点的深度、方向和高度。
16.根据权利要求14所述的方法，其中所述3D模型包括所述环境中的超出所述传感器的范围的部分以及所述环境中的被所述环境中物体或地形所遮挡的部分。
17.根据权利要求14所述的方法，其中生成所述局部3D网格包括查询点云以获得针对所述局部区域中的未包括在所述一个或多个预先生成的3D网格中的部分的数据点，其中针对所述局部区域中的包括在所述一个或多个预先生成的3D网格中的部分不执行查询。
18.根据权利要求14所述的方法，还包括：
由所述AR系统至少部分地根据所述3D模型来渲染虚拟内容；以及由所述AR系统将所渲染的虚拟内容投影到所述车辆的窗口，其中所投影的虚拟内容向查看者提供所述环境的增强视图。
19.根据权利要求18所述的方法，其中渲染虚拟内容包括：
根据所述环境中的光的方向和所述3D模型中的表面的表面法线来确定所述表面在所述查看者的方向上反射所述光；以及
将打算显示在所述表面上或所述表面附近的所述虚拟内容的一部分移动至所述窗口中的另一个位置。
20.根据权利要求18所述的方法，其中所述3D模型包括针对所述场景中的一个或多个表面的包括表面法线、纹理和颜色的信息，并且其中所述方法还包括根据所述表面信息更改所述虚拟内容的一部分的渲染或位置。
21.根据权利要求18所述的方法，其中所述虚拟内容包括以下中的一者或多者：对在所述传感器的范围内的特征结构的指示、对超出所述传感器的范围的特征结构的指示、或对被所述场景中的物体或地形所遮挡的特征结构的指示。
22.根据权利要求18所述的方法，其中所述虚拟内容包括以下中的一者或多者：对路线中的在所述传感器的范围内的一部分的指示、对所述路线中的超出所述传感器的范围的一部分的指示、或对所述路线中的被所述场景中的物体或地形所遮挡的一部分的指示。
23.根据权利要求18所述的方法，其中所述虚拟内容包括被物体或地形特征所遮挡的移动对象的图形表示，其中所述方法还包括渲染所述移动对象的所述图形表示，使得所述移动对象对地形几何结构的轮廓做出响应。
24.根据权利要求18所述的方法，还包括：
记录所述车辆在经常行驶路线上由于路面状况所产生的运动；以及根据所述车辆在所述路线上的所记录的运动来调整所述虚拟内容在所述窗口上的位置。
CN201780053115.9A 2016-09-23 2017-09-22 增强现实显示器 Pending CN109690634A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311118109.0A CN117058345A (zh) 2016-09-23 2017-09-22 增强现实显示器

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662398927P 2016-09-23 2016-09-23
US62/398,927 2016-09-23
PCT/US2017/053096 WO2018057987A1 (en) 2016-09-23 2017-09-22 Augmented reality display

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311118109.0A Division CN117058345A (zh) 2016-09-23 2017-09-22 增强现实显示器

Publications (1)

Publication Number Publication Date
CN109690634A true CN109690634A (zh) 2019-04-26

Family

ID=60002139

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780053115.9A Pending CN109690634A (zh) 2016-09-23 2017-09-22 增强现实显示器
CN202311118109.0A Pending CN117058345A (zh) 2016-09-23 2017-09-22 增强现实显示器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311118109.0A Pending CN117058345A (zh) 2016-09-23 2017-09-22 增强现实显示器

Country Status (4)

Country Link
US (3) US10922886B2 (zh)
EP (1) EP3485465A1 (zh)
CN (2) CN109690634A (zh)
WO (1) WO2018057987A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110926495A (zh) * 2019-12-02 2020-03-27 广州小鹏汽车科技有限公司 一种地图的显示方法、装置和车辆
CN111414225A (zh) * 2020-04-10 2020-07-14 北京城市网邻信息技术有限公司 三维模型远程展示方法、第一终端、电子设备及存储介质
CN111831371A (zh) * 2020-06-05 2020-10-27 北京百度网讯科技有限公司 车窗及其显示控制方法和系统、服务器、设备、存储介质
CN111951379A (zh) * 2020-08-04 2020-11-17 山东金东数字创意股份有限公司 一种全景主动式立体图像生成系统及其方法
CN112866672A (zh) * 2020-12-30 2021-05-28 深圳卡乐星球数字娱乐有限公司 一种用于沉浸式文化娱乐的增强现实系统及方法
US20210312842A1 (en) * 2018-12-20 2021-10-07 Ns West Inc. Display light emission device, head-up display device, image display system, and helmet
CN114222679A (zh) * 2019-08-22 2022-03-22 大众汽车股份公司 用于机动车的增强现实抬头显示器的显示的生成

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11423671B1 (en) 2016-06-14 2022-08-23 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for detecting vehicle occupant actions
US10503245B2 (en) 2016-09-21 2019-12-10 Apple Inc. Relative intertial measurement system
US10399573B1 (en) 2017-01-18 2019-09-03 BlueOwl, LLC Systems and methods for assessing vehicle operation in a direction of sunlight
CN108510592B (zh) * 2017-02-27 2021-08-31 亮风台（上海）信息科技有限公司 真实物理模型的增强现实展示方法
WO2018217470A1 (en) * 2017-05-23 2018-11-29 Pcms Holdings, Inc. System and method for prioritizing ar information based on persistence of real-life objects in the user's view
US10726614B2 (en) * 2017-05-30 2020-07-28 Edx Technologies, Inc. Methods and systems for changing virtual models with elevation information from real world image processing
WO2019001678A1 (en) * 2017-06-26 2019-01-03 Volvo Truck Corporation VEHICLE CONTROL SYSTEM
WO2019044536A1 (ja) * 2017-08-31 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および移動体
US10297152B1 (en) * 2017-10-27 2019-05-21 Waymo Llc Displaying sensor data and supplemental data as a mask for autonomous vehicles
KR102306790B1 (ko) * 2017-11-08 2021-09-30 삼성전자주식회사 컨텐츠 시각화 장치 및 방법
US10565743B1 (en) * 2017-11-21 2020-02-18 Snap Inc. Synthesizing cloud stickers
DE102017221488A1 (de) * 2017-11-30 2019-06-06 Volkswagen Aktiengesellschaft Verfahren zur Anzeige des Verlaufs einer Trajektorie vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
US10884428B2 (en) 2018-03-06 2021-01-05 Zoox, Inc. Mesh decimation techniques and validation
US11188091B2 (en) * 2018-03-06 2021-11-30 Zoox, Inc. Mesh decimation based on semantic information
US11302067B2 (en) * 2018-08-31 2022-04-12 Edx Technologies, Inc. Systems and method for realistic augmented reality (AR) lighting effects
US11403822B2 (en) * 2018-09-21 2022-08-02 Augmntr, Inc. System and methods for data transmission and rendering of virtual objects for display
EP3855712A4 (en) * 2018-09-21 2022-05-04 LG Electronics Inc. MOBILE TERMINAL AND METHOD OF CONTROL THEREOF
KR20200042166A (ko) * 2018-10-15 2020-04-23 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법
CN112218778A (zh) * 2018-10-16 2021-01-12 松下知识产权经营株式会社 显示系统、显示装置以及显示控制方法
EP3720751A4 (en) * 2018-10-25 2021-07-14 Samsung Electronics Co., Ltd. AUGMENTED REALITY PROCESS AND APPARATUS FOR DRIVING ASSISTANCE
US11100680B2 (en) * 2018-11-08 2021-08-24 Toyota Jidosha Kabushiki Kaisha AR/VR/MR ride sharing assistant
CN109587395B (zh) * 2018-11-23 2020-11-06 福建工程学院 一种基于图像处理和虚拟增强的防止眩光的系统及其实现方法
KR20200072641A (ko) * 2018-12-12 2020-06-23 삼성전자주식회사 3차원 증강 현실을 제공하는 헤드 업 디스플레이 장치
KR20210113661A (ko) * 2019-01-18 2021-09-16 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 헤드업 디스플레이 시스템
US11681834B2 (en) 2019-01-30 2023-06-20 Augmntr, Inc. Test cell presence system and methods of visualizing a test environment
GB2581191B (en) * 2019-02-08 2022-02-16 Jaguar Land Rover Ltd Image system for a vehicle
CN110244760A (zh) * 2019-06-06 2019-09-17 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备
JP7300930B2 (ja) * 2019-08-26 2023-06-30 株式会社トプコン 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
US10699124B1 (en) 2019-09-09 2020-06-30 Ar, Llc Augmented reality content selection and display based on printed objects having security features
US10997418B2 (en) 2019-09-09 2021-05-04 Ar, Llc Augmented, virtual and mixed-reality content selection and display
US11961294B2 (en) 2019-09-09 2024-04-16 Techinvest Company Limited Augmented, virtual and mixed-reality content selection and display
DE102019219017A1 (de) * 2019-12-05 2021-06-10 Robert Bosch Gmbh Anzeigeverfahren zur Darstellung eines Umgebungsmodells eines Fahrzeugs, Computerprogramm, Steuergerät und Fahrzeug
US11217024B2 (en) * 2019-12-26 2022-01-04 Facebook Technologies, Llc Artificial reality system with varifocal display of artificial reality content
KR20210087271A (ko) * 2020-01-02 2021-07-12 삼성전자주식회사 3ｄ 증강 현실 내비게이션 정보 표시 방법 및 장치
US11320281B2 (en) * 2020-03-04 2022-05-03 Ford Global Technologies, Llc On-demand vehicle imaging systems and methods
US11373339B2 (en) * 2020-03-18 2022-06-28 Sony Group Corporation Projection-based mesh compression
US11551429B2 (en) 2020-06-05 2023-01-10 Uatc, Llc Photorealistic image simulation with geometry-aware composition
US11482191B2 (en) * 2020-10-08 2022-10-25 Ford Global Technologies, L.L.C Enhanced augmented reality vehicle pathway
KR20220078298A (ko) 2020-12-03 2022-06-10 삼성전자주식회사 적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치
JP2024506630A (ja) 2021-02-08 2024-02-14 サイトフル コンピューターズ リミテッド 生産性のためのエクステンデッド・リアリティ
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
DE102021205834A1 (de) 2021-06-09 2022-12-15 Continental Automotive Technologies GmbH Cloudgestütztes 3D Rendering für ein Egofahrzeug
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
EP4399587A1 (en) * 2021-09-10 2024-07-17 BAE SYSTEMS plc An image generator and method for an augmented reality system
US12087253B1 (en) 2021-10-06 2024-09-10 Troy R. Holliday Transparent data display window system and method
JP7138375B1 (ja) * 2021-10-22 2022-09-16 クラスター株式会社 端末装置、仮想現実空間編集システム、プログラムおよび仮想現実空間編集方法
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US20240005359A1 (en) * 2022-06-30 2024-01-04 Gm Cruise Holdings Llc Projected Advertisement Modification
EP4336458A1 (de) * 2022-09-08 2024-03-13 Viewlicity GmbH Verfahren und systeme zum betreiben einer anzeigeeinrichtung einer simulation
US12099696B2 (en) 2022-09-30 2024-09-24 Sightful Computers Ltd Displaying virtual content on moving vehicles

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130278633A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
EP2731082A1 (en) * 2012-11-09 2014-05-14 Sony Computer Entertainment Europe Ltd. System and method of real time image playback
WO2014145722A2 (en) * 2013-03-15 2014-09-18 Digimarc Corporation Cooperative photography
US20140278065A1 (en) * 2013-03-14 2014-09-18 Robert Bosch Gmbh System and Method for Distortion Correction in Three-Dimensional Environment Visualization
US20160267720A1 (en) * 2004-01-30 2016-09-15 Electronic Scripting Products, Inc. Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7737965B2 (en) * 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
US8102334B2 (en) * 2007-11-15 2012-01-24 International Businesss Machines Corporation Augmenting reality for a user
EP2294555A1 (en) 2008-07-10 2011-03-16 C-True Ltd. Three dimensional mesh modeling
US8503762B2 (en) * 2009-08-26 2013-08-06 Jacob Ben Tzvi Projecting location based elements over a heads up display
US20120162372A1 (en) 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Apparatus and method for converging reality and virtuality in a mobile environment
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
US9759916B2 (en) * 2012-05-10 2017-09-12 Christopher V. Beckman Mediated reality display system improving lenses, windows and screens
US9448404B2 (en) * 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
US9536345B2 (en) * 2012-12-26 2017-01-03 Intel Corporation Apparatus for enhancement of 3-D images using depth mapping and light source synthesis
WO2015072997A1 (en) * 2013-11-14 2015-05-21 Empire Technology Development, Llc Reduction of glare in augmented reality
CN106575450B (zh) * 2014-05-13 2019-07-26 河谷控股Ip有限责任公司 通过反照率模型、系统和方法的增强现实内容渲染
US9528845B2 (en) * 2014-08-27 2016-12-27 Robert Bosch Gmbh Occlusion-reduced 3D routing for 3D city maps
US9911232B2 (en) * 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
WO2017151436A1 (en) * 2016-03-04 2017-09-08 Pcms Holdings,Inc. System and method for aggregating rgb-d data and creating a virtual environment based on physical locations
US20170352185A1 (en) * 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160267720A1 (en) * 2004-01-30 2016-09-15 Electronic Scripting Products, Inc. Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US20130278633A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
EP2731082A1 (en) * 2012-11-09 2014-05-14 Sony Computer Entertainment Europe Ltd. System and method of real time image playback
US20140278065A1 (en) * 2013-03-14 2014-09-18 Robert Bosch Gmbh System and Method for Distortion Correction in Three-Dimensional Environment Visualization
WO2014145722A2 (en) * 2013-03-15 2014-09-18 Digimarc Corporation Cooperative photography

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210312842A1 (en) * 2018-12-20 2021-10-07 Ns West Inc. Display light emission device, head-up display device, image display system, and helmet
US11651714B2 (en) * 2018-12-20 2023-05-16 Ns West Inc. Display light emission device, head-up display device, image display system, and helmet
CN114222679A (zh) * 2019-08-22 2022-03-22 大众汽车股份公司 用于机动车的增强现实抬头显示器的显示的生成
CN110926495A (zh) * 2019-12-02 2020-03-27 广州小鹏汽车科技有限公司 一种地图的显示方法、装置和车辆
CN110926495B (zh) * 2019-12-02 2022-03-15 广州小鹏汽车科技有限公司 一种地图的显示方法、装置和车辆
CN111414225A (zh) * 2020-04-10 2020-07-14 北京城市网邻信息技术有限公司 三维模型远程展示方法、第一终端、电子设备及存储介质
CN111831371A (zh) * 2020-06-05 2020-10-27 北京百度网讯科技有限公司 车窗及其显示控制方法和系统、服务器、设备、存储介质
CN111951379A (zh) * 2020-08-04 2020-11-17 山东金东数字创意股份有限公司 一种全景主动式立体图像生成系统及其方法
CN112866672A (zh) * 2020-12-30 2021-05-28 深圳卡乐星球数字娱乐有限公司 一种用于沉浸式文化娱乐的增强现实系统及方法

Also Published As

Publication number Publication date
WO2018057987A1 (en) 2018-03-29
US11935197B2 (en) 2024-03-19
US20180089899A1 (en) 2018-03-29
US20210166490A1 (en) 2021-06-03
CN117058345A (zh) 2023-11-14
EP3485465A1 (en) 2019-05-22
US20240185539A1 (en) 2024-06-06
US10922886B2 (en) 2021-02-16

Similar Documents

Publication Publication Date Title
CN109690634A (zh) 增强现实显示器
US10347046B2 (en) Augmented reality transportation notification system
US11373357B2 (en) Adjusting depth of augmented reality content on a heads up display
US9752889B2 (en) Time and environment aware graphical displays for driver information and driver assistance systems
CN104883554B (zh) 通过虚拟透视仪器群集显示直播视频的方法和系统
JP5397373B2 (ja) 車両用画像処理装置、車両用画像処理方法
JP2021508027A (ja) 不十分な照明条件下で車両を測位するシステムおよび方法
US20140267282A1 (en) System And Method For Context Dependent Level Of Detail Adjustment For Navigation Maps And Systems
US20150098623A1 (en) Image processing apparatus and method
US11257390B2 (en) Evaluation of a simulated vehicle-related feature
US11938819B2 (en) Evaluation of a simulated vehicle-related feature
WO2018134897A1 (ja) 位置姿勢検出装置、ａｒ表示装置、位置姿勢検出方法およびａｒ表示方法
EP3811326B1 (en) Heads up display (hud) content control system and methodologies
EP3869302A1 (en) Vehicle, apparatus and method to reduce the occurence of motion sickness
JP7357284B2 (ja) 描画システム、表示システム、移動体、描画方法及びプログラム
WO2016075954A1 (ja) 表示装置及び表示方法
WO2023116377A1 (zh) 一种显示方法、装置及系统
KR20240047406A (ko) 가상 공간 화상 생성 장치 및 방법
KR101020505B1 (ko) 3차원 자차마크 표시 장치 및 그 방법
CN113689358A (zh) 车辆挡风玻璃图像增强显示方法、电子设备、存储介质及玻璃
WO2021125190A1 (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP6785983B2 (ja) 情報表示装置及び方法、並びにプログラム及び記録媒体
JP7333445B2 (ja) 画像生成装置
JP2004280428A (ja) 立体物の表示装置
JP2021104794A (ja) 車両用表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190426

WD01 Invention patent application deemed withdrawn after publication