CN114201038A - 在车辆乘员之间共享增强现实内容的集成增强现实系统 - Google Patents

在车辆乘员之间共享增强现实内容的集成增强现实系统 Download PDF

Info

Publication number
CN114201038A
CN114201038A CN202111095977.2A CN202111095977A CN114201038A CN 114201038 A CN114201038 A CN 114201038A CN 202111095977 A CN202111095977 A CN 202111095977A CN 114201038 A CN114201038 A CN 114201038A
Authority
CN
China
Prior art keywords
vehicle
coordinate system
feature
virtual representation
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111095977.2A
Other languages
English (en)
Inventor
万建
普拉亚特·赫格德
瑞慈·柯里
迈克·布洛默
哈拉尔德·C·马丁内斯
B·斯托特勒迈尔
杰弗里·艾伦·格林伯格
夸库·普拉卡-阿桑特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN114201038A publication Critical patent/CN114201038A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供“在车辆乘员之间共享增强现实内容的集成增强现实系统”。公开了用于向具有增强现实(AR)装置的多个车辆乘员提供集成式AR图像和内容的方法和系统以及生成基于用户的AR表达的方法，所述基于用户的AR表达包括对用户生成的内容的内容控制。

Description

在车辆乘员之间共享增强现实内容的集成增强现实系统
技术领域
本公开涉及一种车辆集成增强现实系统，并且更具体地涉及一种用于汽车乘员的实现持久性并允许共享增强现实内容的增强现实系统。
背景技术
当移动客户在驾驶或乘坐车辆时使移动客户增强对外部环境的感知和意识具有重要价值。增强现实(AR)可通过将相关信息叠加到用户的视野中来辅助集中用户(例如，车辆驾驶员)的认知努力。在其他方面中，AR可以通过利用交互式游戏、动画以及可以被车辆中的AR系统的多个用户共享的其他体验增强非驾驶用户(例如，车辆中的乘坐者)对外部环境的感知和意识来辅助他们。
基于车辆的AR系统可以同时使用各种装置配置(诸如抬头显示器(HUD)或中控台或仪表组中的固定显示屏)进行操作，或者它们可以显示在一个或多个便携式装置(例如可穿戴装置或智能电话)上。用于车内交互内容的递送方案(诸如常规的车载AR系统中的中控台或仪表组安装式AR屏幕)是已知的，如手持式或仪表板安装式AR能力装置中。
尽管已知多个显示装置能够显示由驾驶员或同一车辆内的其他用户看到的所生成的相同AR内容，但是当前，相同的AR内容无法具体化到其用户一起乘坐车辆的各个显示装置。各个装置通常独立地渲染AR内容，而一个用户对AR呈现的改变不可与车内组中的其他用户共享。尽管可以将相同信息投影到多个用户装置，但是用户当前没有方法来修改所投影的AR或与车辆的驾驶员或其他乘员共享经用户修改的AR内容。
发明内容
本文公开的系统和方法描述了一种用于车辆的集成式增强现实(AR)系统，所述集成式AR系统被配置为在乘员驾驶和/或乘坐所述车辆时以及在一些实施例中在用户离开所述车辆时在所述乘员的直视视线前方显示路边信息。所公开的系统可以包括两个或更多个AR装置，例如，AR可穿戴装置，包括AR眼镜、AR护目镜、AR隐形眼镜等；AR移动装置，包括智能电话、平板计算机等；AR屏幕，包括集成导航屏幕；中控台或仪表组等中的固定显示屏；以及AR抬头显示器(HUD)。当用户驾驶和/或乘坐所配置的车辆时，一个或多个AR装置可以向用户的视野显示与一个或多个兴趣点(POI)相关联的路边信息。例如，在AR视野中，所述系统可以将POI标记并显示到外部物理世界中的位置，由此车辆中的AR系统的用户可共享集成且协调的AR体验。
根据一个实施例，所述系统可以基于车辆全球定位系统(GPS)消息、车辆航向消息或其他信息来确定路边外部对象相对于正移动的车辆的内部的位置。所述系统可以将车辆坐标系与路边对象的虚拟表示同步，并且用同步的车辆坐标系对用户的AR装置进行取向。车辆本身以及更具体地集中式AR系统可以通过集中执行AR呈现来充当枢纽，并且使用计算逻辑来为车辆中的用户确定用户身份，将许可级别与特定用户相关联，并呈现可以由一个或多个用户以某种方式改变的共同AR体验。集中式AR系统可以在独立于各个装置的AR呈现层处执行车辆上的渲染，确定要与其共享信息的各方面的用户，并向这些各个用户呈现定制的AR呈现，其中一些信息通常在组之间共享，而其他信息根据用户身份和许可被选择性地呈现给特定装置。所述AR系统可以确定AR系统的用户的身份，并且至少部分地基于与AR装置的用户相关联的用户ID来生成与车辆的GPS位置和方向对齐的路边对象的第一虚拟表示。所述系统可以将第一虚拟表示传输到AR装置，其中所述第一虚拟表示呈现在用户的视野中以增强用户对正移动的车辆外部的外部环境的感知和意识。
多个车辆乘员可以同时观看个性化虚拟图像，所述个性化虚拟图像可以包括可以针对每个用户个体化的持久性AR投影。因为AR呈现层集中在所配置的车辆上，而不是独立于所连接的AR装置中的每一者，所以所有用户还可以与AR投影交互并修改AR投影，从而使车辆的所有经授权乘员都可以实现个性化和/或协调的AR体验。此外，即使在乘员离开车辆之后，具有无线或移动互联网连接的系统用户也可以使用车辆AR系统。在本文中更详细地提供本公开的这些和其他优点。
附图说明
参考附图阐述具体实施方式。使用相同的附图标记可以指示类似或相同的项。各种实施例可以利用除了附图中示出的元件和/或部件之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。在整个本公开中，根据上下文，可以可互换地使用单数和复数术语。
图1描绘其中可以实施用于提供本文所公开的系统和方法的技术和结构的说明性架构。
图2是用于根据本公开利用的计算系统的系统框架。
图3是根据本公开的用于AR内容递送的系统中的示例性数据收集和处理方法的框图。
图4是根据本公开的用于AR内容递送的系统中的AR呈现层与AR装置层之间的示例性接口的框图。
图5示出了根据本公开的与AR内容递送相关的示例性方法中的AR内容。
图6是根据本公开的与AR内容递送相关的示例性方法的流程图。
具体实施方式
在下文参考附图更全面地描述本公开，在附图中示出本公开的示例性实施例。
图1示出了用于实践本文描述的方法的示例性计算环境100。根据一个实施例，车辆105可沿着道路或其他路线(图1中未示出)行进，并且接近兴趣点，诸如例如路边对象185。尽管被描绘为路标，但是路边对象185可为车辆105的乘员可观察到的任何对象，诸如例如建筑物、地标、地理特征或具有车辆外部的物理位置的任何其他类型的对象。路边对象185可为任何可观察的外部兴趣点，所述兴趣点可为对象、人、事件(例如，汽车碰撞)、天气状况、动物或车辆乘员感兴趣的任何其他物理表现。换句话说，路边对象185可为兴趣点(POI)，所述兴趣点可以采用不旨在限制的上述示例中的任一者的形式，或者可采用另一物理形式。
车辆105可为任何类型的乘用车辆，诸如例如轿车、公共汽车、货车、卡车等。在一些方面，车辆105可充当可手动控制的车辆、其中驾驶功能性完全由车辆105上和/或车辆外部的计算平台执行的自主车辆或其中车辆控制的一些方面是自动的并且其他方面由用户控制的半自主车辆。
车辆105可以包括发动机130，所述发动机可以为和/或包括内燃发动机、电动马达、混合动力驱动系统和/或另一种致动系统。
车辆105可以包括汽车计算机110。根据本公开，汽车计算机110可安装在车辆105的发动机舱中(或车辆105中的其他地方)作为车辆增强现实(AR)系统的一部分。汽车计算机110可与和一个或多个服务器150相关联的远程计算平台通信和/或作为其一部分，所述一个或多个服务器可经由一种或多种网络155进行通信。在一些实施例中，汽车计算机110可以包括用于耦合到一种或多种网络155的一个或多个网络适配器(图1中未示出)。
一种或多种网络155可以包括用于汽车计算机110与任何外部装置之间的通信的一种或多种基于互联网协议(IP)的网络。一种或多种网络155可以在汽车计算机110与汽车计算机110外部的装置和/或系统之间传输和接收数据。例如，汽车计算机110可向和从一个或多个服务器150传输与车辆乘员(图1中未示出)相关联的乘员配置文件信息，使得汽车计算机110可以向经授权车辆乘员(其可为AR系统的用户)提供定制的AR体验。在一些示例性实施例中，可以至少部分地基于在本文被描述为乘员识别符的用户配置文件信息来定制AR体验。例如，并且如下文更详细描述的，汽车计算机110可向和/或从一个或多个服务器150传输与各个系统用户相关联的一个或多个AR偏好，诸如导航偏好、动画偏好、音频偏好、AR游戏设置、角色设置、运动设置、亮度设置等。
在示例性实施例中，一种或多种网络155可例如使用无线协议和技术(诸如Wi-Fi、WiMAX等)以无线方式实施。一种或多种网络155还可与有线网络、以太网网络、控制器局域网(CAN)等连接和/或包括它们。一种或多种网络155还可为和/或包括分组交换网络，诸如局域网、广域网、城域网、互联网或其他类似类型的网络环境。一种或多种网络155可以为和/或包括无线局域网(LAN)、无线广域网(WAN)、个人局域网(PAN)、虚拟专用网(VPN)、内部网或另一合适的网络系统。
汽车计算机110可以包括发动机控制器115，所述发动机控制器用于控制发动机130，用于控制一个或多个驾驶员控制部件135，和/或用于控制其他车辆硬件140，所述其他车辆硬件诸如例如信息娱乐系统、全球定位系统(GPS)等。
增强现实(AR)可被描述为现实世界环境的交互式体验，其中驻留在现实世界中的对象通过计算机生成的感知信息来增强，有时跨多个感觉模态，包括例如视觉、听觉、触觉和其他模态。传感信息可以建设性(即，添加到自然环境)或破坏性(即，屏蔽自然环境)的方式覆盖，使得现实世界环境(例如，路边对象185)的数字表示可以用数字增强或出现在AR系统的用户的视野中的其他信息来覆盖。
如贯穿本公开更详细地描述的，汽车计算机110还可以包括用于执行本文描述的本公开的一个或多个方面的车辆增强现实(AR)平台120。应当理解，车辆AR平台120尽管被描绘为汽车计算机110的一部分，但也可为一个或多个服务器150的一部分或完全可由所述服务器控制，并且利用汽车计算机110在软件即服务(SaaS)背景中进行操作。即，车辆AR平台120可以在汽车计算机110上充当客户端服务，其中汽车计算机110是客户端，并且一个或多个服务器150控制图1中描绘的车辆AR系统的部分或整个车辆AR系统。然而，为了便于讨论，车辆AR平台120将基于其在车辆105中的位置进行讨论。
发动机控制器115和/或车辆AR平台120可以从一个或多个数据收集器或一个或多个传感器125接收包括环境数据的传感信息。一个或多个传感器125可以包括被配置或编程为生成信号的任何数量的数据收集装置或传感装置，在车辆105以手动和/或自主(例如，无人驾驶)模式操作时，所述信号帮助为车辆导航。作为示例，一个或多个传感器125可以包括深度相机、摄像机等，并且可以包括用于检测路边情况和对象(诸如行人、交通、路标等)的计算机视觉软件。一个或多个传感器125的附加示例可以包括雷达传感器、光探测和测距(LIDAR)装置、视觉传感器等。当车辆105正操作并运动时，一个或多个传感器125可帮助所述车辆“看到”道路和车辆周围环境，和/或绕过各种障碍物。
例如，图1描绘了路边对象185。在图1中描绘的车辆AR平台120可以向路边对象185添加信息，例如视觉效果、动画、照明效果等。在其他方面中，在图1中描绘的车辆AR平台120可以从路边对象185中移除信息，诸如例如可能使人分散注意力的涂鸦或其他信息。在另一个示例中，图1的车辆AR平台120可以移除分散注意力的信息，诸如在经过车辆的输出装置中可能使图1中的车辆AR平台120的用户分散注意力的视频输出。尽管本文提供的限制示例描述了特定的AR体验，但是应当理解，AR体验可采用仅受可与物理世界无缝交织使得AR体验被感知为现实世界环境的沉浸式方面的特定交互式应用的创造性限制的任何形式。通过这种方式，本文描述的AR系统可改变和/或增强人们对现实世界环境的持续感知。
在一个方面，本文描述的AR系统可使物理世界对象(诸如路边对象185)与虚拟对象全息投影、颜色等进行交织，随着车辆105朝向目的地行进，所述物理世界对象可相对于车辆105改变位置。车辆105内部的物理对象也可为AR体验的一部分，使得路边对象185的用户的有利位置与车辆105内部的用户的物理环境的各方面协调。如本文所述，车辆AR平台120可以通过从与AR装置145相关联的一个或多个集成相机(图1中未示出)接收车辆105的内部表面和外部路边场景(诸如路边对象185)的视频馈送并建立统一坐标系来这样做，所述统一坐标系将车辆105的内部表面与车辆105外部的现实世界对象协调。统一坐标系可以提供将外部路边对象185与车辆105的内部表面集成的AR体验。例如，车辆AR平台120可以跟踪AR装置145的位置，使得车辆AR平台120可以在与车辆内部的用户视野无缝地协调的虚拟AR空间中表示外部路边对象185(和/或车辆内部的其它对象)，同时根据用户的AR装置145的物理位置实时地改变AR空间。
可以在所描述的方法中使用可以将现实世界对象的位置与AR投影协调的任何可用坐标系。图1中将可以由车辆AR平台120使用来将现实世界对象的位置与AR投影协调的坐标系的一个实施例描绘为AR世界坐标系175(在数学上描述为“CAR”)。图1将车辆105描绘为与车辆坐标系160(在数学上描述为“CV”)相关联。在一些实施例中，车辆坐标系160可具有与AR世界坐标系175不同的数学表示。例如，车辆坐标系160可根据笛卡尔坐标系中的一组或多组笛卡尔坐标来表示。
在下文中将AR世界坐标系175在数学上描述为“CAR”。在一些方面，AR世界坐标系175在数学上可用笛卡尔坐标表示。在一些方面中，路边对象185可以由作为GPS消息传递系统(图1中未示出)的一部分的一个或多个传感器125感测，其中路边对象185被表示为一组极坐标。由于极坐标是不同于笛卡尔坐标的用于在物理3D空间中对对象进行取向的数学表示，因此AR平台120应单独地或与AR装置145结合地将极坐标转换为统一坐标系(例如，转换为笛卡尔坐标)。
在一个或多个示例性实施例中，AR平台120可使用光学锚点170(在数学上描述为“COA”)将AR世界坐标系175(CAR)与车辆坐标系160(CV)同步。光学锚点170可以与车辆坐标系160具有固定关系，使得
COA＝F(CV)，
其中光学锚点170COA是车辆坐标系160CV的函数。在一个示例性实施例中，AR平台120可以使用车辆105的至少一个内部表面(诸如仪表板或车顶内衬(图1中未示出))上的一个或多个2D图像目标(例如，光学锚点170)来将车辆坐标系160与AR世界坐标系175进行协调。图像目标的平面(在图1中被描绘为由平面箭头YW和ZW限定的平面)可唯一地限定车辆坐标系160的两个轴，其中光学锚点170的法向轴线(被限定为向量箭头XW)可限定坐标系中的第3轴。在其他方面，例如车辆105的内部装饰或另一个部件的其他3D内部表面也可用作光学锚点。
各种AR装置可以包括一个或多个相机(图1中未示出)，所述一个或多个相机被配置为获得现实世界路边对象185(包括虚拟对象锚点180)的一个或多个图像。在一个方面中，虚拟对象锚点180可以提供足以形成限定AR世界坐标系175(CAR)的虚拟孪生的信息。配备在AR装置中的相机可跟踪光学锚点170，并且将光学锚点170与其虚拟孪生(虚拟对象锚点180)匹配，因此至少部分地基于其上设置有光学锚点170的车辆105内部表面将第一坐标系与第二坐标系对齐。换句话说，AR世界坐标系175(CAR)可以与可映射到现实世界路边对象185的GPS坐标系相关联。
在一些实施例中，车辆AR平台120可以连续地更新AR世界坐标系175，使得它与车辆坐标系160同步。换句话说，CV实时地映射到AR世界坐标系175(CAR)。
汽车计算机110可以包括一个或多个处理器以及通信地耦合到一个或多个处理器的存储器。汽车计算机110可以经由图2的数据存储和管理模块221中例证的存储接口可操作地连接到一个或多个内部和/或外部存储器装置(诸如例如一个或多个数据库)并与其传送信息。例如，汽车计算机110可以连接到内部和/或外部数据库(诸如图2的数据存储和管理模块221中的乘员配置文件数据库(被称为用户数据))并与其传送信息。
汽车计算机110可以包括一个或多个网络适配器，所述一个或多个网络适配器使得能够将汽车计算机110与一种或多种网络155通信地连接。在一些示例性实施例中，一种或多种网络155可以是电信网络基础设施或包括电信网络基础设施。在此类实施例中，汽车计算机110还可以包括一个或多个通信适配器。
汽车计算机110还可以包括一个或多个输入装置(例如，如图1所示的一个或多个传感器125和图2的模块225)和/或一个或多个输出装置(图1未示出)和/或通过I/O适配器与它们连接。
一个或多个处理器共同是用于执行存储在计算机可读存储器(例如，存储器)中的程序指令(也称为软件)的硬件装置。一个或多个处理器可以实施为定制的或商业上可获得的处理器、中央处理单元(CPU)、多个CPU、与汽车计算机110相关联的若干其他处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、或通常用于执行程序指令的任何装置。
一个或多个处理器可以被设置为经由存储接口与一个或多个存储器装置(例如，内部存储器和/或一个或多个外部数据库等)进行通信。存储接口还可以采用诸如串行高级技术附件(SATA)、集成驱动电子器件(IDE)、IEEE-1394、通用串行总线(USB)、光纤通道、小型计算机系统接口(SCSI)等连接协议连接到一个或多个存储器装置，所述一个或多个存储器装置包括但不限于一个或多个其他存储器驱动器(包括例如可移动磁盘驱动器)、车辆计算系统存储器、云存储等。
存储器可以包括随机存取存储器(RAM)(诸如例如，动态随机存取存储器(DRAM)、同步随机存取存储器(SRAM)、同步动态随机存取存储器(SDRAM)等)，以及只读存储器(ROM)，所述只读存储器(ROM)可以包括任何一个或多个非易失性存储器元件(例如，可擦除可编程只读存储器(EPROM)、快闪存储器、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁带、光盘只读存储器(CD-ROM)等)。此外，存储器可以结合有电子、磁性、光学和/或其他类型的非暂时性计算机可读存储介质。在一些示例性实施例中，存储器还可以包括分布式架构，其中各种部件在物理上彼此远离定位，但是可以由一个或多个处理器访问。
存储器中的指令可以包括一个或多个单独的程序，所述程序中的每一者可以包括用于实施逻辑功能的计算机可执行指令的有序列表。存储器中的指令可以包括操作系统。操作系统可以控制其他计算机程序(诸如例如AR平台120和/或发动机控制器115)的执行，并且可以提供调度、I/O控制、文件和数据存储和管理(例如，来自图2的模块221)、存储器管理以及通信控制和相关服务。存储在存储器中的程序指令还可以包括应用数据，以及用于通过用户接口控制计算机和/或与计算机介接的指令。
I/O适配器可以将多个输入装置连接到汽车计算机110。输入装置可以包括例如键盘、鼠标、传声器、传感器等。I/O适配器还可以包括耦合到一个或多个显示器的显示器适配器，例如可以包括信息娱乐系统的车辆硬件140。I/O适配器可以被配置为将一个或多个输入/输出(I/O)装置可操作地连接到汽车计算机110。例如，I/O适配器可以连接键盘和鼠标、触摸屏、扬声器、触觉输出装置或其他输出装置。输出装置可以包括但不限于打印机、扫描仪等。也可以包括其他输出装置。最后，可连接到I/O适配器的I/O装置还可以包括传达输入和输出两者的装置，例如但不限于网络接口卡(NIC)或调制器/解调器(用于访问其他文件、装置、系统或网络)、射频(RF)或其他收发器、电话接口、桥接器、路由器等。
根据一些示例性实施例，车辆计算机110可以包括一个或多个通信适配器。一个或多个通信适配器可以包括用于无线通信的全球定位系统(GPS)、蜂窝、移动和/或其他通信协议。在一些方面，车辆硬件140可以经由通信适配器向和从汽车计算机110传送信息，所述信息可以包括例如与AR平台120或一个或多个AR装置145相关联的信息。
通信适配器可以从车辆105收集数据，并且在AR平台120、汽车计算机110和/或一个或多个服务器150之间传递数据。与AR平台120相关联的一个或多个通信适配器和通信模块可以经由一个或多个数据传递协议在计算系统之间传递信息，所述数据传递协议包括例如Wi-Fi或
Figure BDA0003267751780000111
Bluetooth
Figure BDA0003267751780000112
和/或另一数据传递协议。所传递的数据可以包括导航消息，所述导航消息包括例如车辆位置、车辆航向、一个或多个路边检测结果以及其他信息。
一个或多个网络适配器可以包括连接一个或多个物联网(IoT)的装置和/或模块，诸如例如云模块。一个或多个网络适配器可以将车辆105连接到一种或多种网络155以检索数据，诸如天气和/或POI信息。例如，一个或多个网络适配器可以与一种或多种网络155连接以获得与地标、地理特征、道路特征、地图、建筑物、企业等相关联的信息。
汽车计算机110还可以包括乘员ID系统，所述乘员ID系统可以在一个或多个乘坐者和/或驾驶员(统称为乘员)进入车辆时对其进行识别，并且检索与一个或多个乘员相关联的乘员识别符。乘员ID系统可以将唯一ID分配给各个用户，使得乘员识别符包括可以用于向每个车辆乘员提供独特AR体验的乘员特定信息。示例性信息可以包括例如导航偏好、动画偏好、音频偏好、AR游戏设置以及可指示用户偏好的AR设置的其他信息。在其他方面，乘员识别符可以包括与车辆105相关联的一个或多个细节，诸如例如车辆标识(ID)、一个或多个车辆快速响应(QR)编码(所述车辆快速响应编码将特定车辆内部与一或多个数据库条目(诸如乘员识别符)独特地相关联)以及识别已经与一个或多个特定乘员相关联的特定AR装置的一个或多个装置识别符。
在一个实施例中，一个或多个处理器可以经由与车辆105相关联的CAN网络接收作为具有AR装置145的驾驶员的用户的图像。因此，车辆105内部的一个或多个相机(图1至图5中未示出)可获得驾驶员用户的面部图像，并且将图像传输到一个或多个处理器以用于用户识别。尽管使用面部辨识技术来识别用户的多个程序是可能的(并且是可设想的)，但是提供了一个示例。一个或多个处理器可以生成与用户的图像相关联的多个梯度向量，诸如例如与用户的面部特征相关联的梯度向量(例如，眼角之间的距离、相应特征(诸如嘴角和眼角)的角度等)。一个或多个处理器可以从多个梯度向量中识别至少一个面部特征点，并且将至少一个面部特征点与和车辆的至少一个先前乘员相关联的多个面部特征点进行比较。例如，面部特征点可以包括乘员的眼角的角度以及在用户的嘴角与鼻部特征之间形成的角度。可以通过检索与用户图像相关联的乘员配置文件数据来从多个梯度向量中识别至少一个面部特征点。一个或多个处理器可以确定与至少一个面部特征点相关联的匹配和与配置文件数据相关联的特征点数据，并且至少部分地基于乘员配置文件数据来改变一个或多个所存储的AR体验设置。应当理解，本文描述的面部辨识步骤是仅用于示出使用面部特征确定用户身份的已知方法的示例性步骤，并且不应被视为限制性的。
在一个方面中，乘员ID系统可以在一个或多个乘坐者和/或驾驶员(统称为“乘员”)进入车辆105时识别他们，检索与一个或多个乘员相关联的乘员识别符，并且为每个分配唯一ID，使得乘员识别符包括可用于向每个乘员提供独特AR体验的乘员特定信息。AR偏好的示例性信息可以包括例如一个或多个导航偏好，所述导航偏好可描述用于与AR装置145的导航方面进行交互的用户偏好。在一个示例中，导航偏好可与和行进方向相关联的颜色代码、导航指令、呈现给观看者的行进方向和/或与提供和/或接收导航方向相关联的任何其他可能的导航偏好相关和/或包括它们。
乘员识别符还可以包括一个或多个动画偏好，所述动画偏好可描述与虚拟POI和其他对象的动画相关联的偏好。例如，动画偏好可以包括POI标签或其他对象的转速、POI对象的相对大小、语言设置和/或另一动画偏好。
乘员识别符还可以包括一个或多个音频偏好，所述一个或多个音频偏好可以描述诸如音乐、音量等音频设置以及一个或多个AR游戏设置，所述一个或多个AR游戏设置可以指示乘员可玩和/或在玩的优选AR游戏。
乘员识别符还可以包括车辆特定QR信息，所述车辆特定QR信息可指示与乘员识别符相关联的独特车辆。例如，乘员识别符可识别与车辆相关联的用户，其中用户还与家庭组和/或共乘组内定期操作的其他车辆相关联。其他信息可以包括装置识别符以及可指示优选AR设置的其他信息。所描述的乘员识别符并不意图是排他性的或限制性的，并且仅提供可以由车辆AR平台120和/或AR装置145存储和/或使用以为AR装置145的用户定制独特的AR体验的信息的一个示例。
图2示出了包括具有三个模块的车辆AR平台120的示例性AR系统200。车辆AR平台120使用如关于图4更详细地讨论的接口400独立地定义车辆乘员290与现实世界特征280之间的交互，执行渲染，应用确定哪些装置(基于用相应的AR装置145识别的用户)将接收各种内容的逻辑，并且基于逻辑和用户身份向各个用户提供个体化的AR呈现。这些特征可以允许用户共享共同的AR体验，因为AR表达和渲染是在系统级而不是在装置级下执行的，以及为一个或多个用户提供以某个方式改变共同AR体验的平台，并且与车辆中的一个或多个其他用户共享改变的AR。由于在车辆AR平台120中的AR表达生成器230处对共同AR呈现进行了改变，因此它们可以根据所应用的逻辑经由AR表达控制器231与各种用户共享。
与汽车计算机110一样，AR系统200或其任何部件(包括车辆AR平台120、模块227、225和221中的任一者或全部以及本文描述的AR装置145)可以以硬件、软件(例如，固件)或其组合来实施。
任何数量的车辆乘员290可以单独地使用一个或多个AR装置145，所述一个或多个AR装置可以包括可穿戴AR装置211、移动AR装置212、AR屏幕或HUD 213、214，如上文讨论的。AR装置145可以通过车辆AR平台120使用乘员识别符系统或任何可用的注册系统(例如，通过保存的配置文件)与车辆乘员290相关联。AR装置145可以单独地与AR呈现模块227连接，所述AR呈现模块用作AR装置145与车辆AR平台120传送信息的接口。AR呈现模块227可以与AR装置145交互以限定用户的AR体验。该特征可以使AR体验独立于特定装置，但是允许AR系统200(以及更具体地，AR呈现模块227)根据逻辑(例如，AR表达生成器230)定制发送到特定装置145的图像和信息，所述逻辑基于用户偏好、用户许可、用户功能(例如，驾驶员对乘坐者对约车付款人等)来决定向谁呈现和呈现什么。
AR呈现模块227可以包括AR表达生成器230、AR表达控制器231和渲染模块232。车辆AR平台120结合AR装置145限定车辆乘员290与增强物理世界280之间的交互。单独的AR呈现模块227(图4的接口400)或完整的车辆AR平台120可以位于车辆105内，以协调和控制车辆105的AR增强。
AR呈现模块227还可以包括具有程序指令的独立存储器，所述程序指令用于经由一个或多个通信适配器(图1和图2中未示出)向和从车辆AR平台120的部件传送信息。例如，AR呈现模块227可以在AR表达生成器230中创建AR图像，并将所述图像传输到渲染模块以显示为覆盖现实世界图像280(例如，道路上方的AR箭头)。AR呈现模块227可以基于许可或用户功能将所渲染的信息呈现给少于所有的AR装置145。例如，AR表达控制器231可以辨识出箭头仅与驾驶员相关，并且可以仅将AR图像呈现给任何驾驶员装置，包括导航屏幕214或ARHUD 213。如果AR图像是天气警报或交通延误，则AR呈现模块227可能向所有经授权的AR装置145呈现相同的信息，但是每个装置的渲染图像基于每个车辆乘员290的许可和偏好以及AR装置145在车辆105中的位置而可能是不同的。所有AR图像都可以保存并存储在数据存储和管理模块221中、与位置(例如经由GPS坐标)、用户或其他乘员识别相关联，并在适当时重新渲染。
为了向不同的AR装置145提供不同的观看帧，AR平台120将车辆内部与车辆外部的一个或多个点相关联。如图1中所解释，光学锚点170可以设置在车辆105的内部表面上。与车辆AR平台120(和AR装置145)设置在一起和/或通信地耦合的相机(图1或图2中未示出)可以跟踪AR世界坐标系175并将其与车辆坐标系160进行同步。车辆105中的一个或多个传感器(例如，如图1所示的一个或多个传感器125)可以用于确定车辆105相对于车辆外部的其他特征的位置和取向，所述其他特征可使用诸如GPS之类的定位系统在3D空间中进行取向。各个装置145还可以捕获可以与车辆AR平台120通信地耦合的车辆内部和外部的图像，以进一步使AR世界坐标系175与车辆坐标系160同步并用各个装置145对它们进行取向。
车辆AR平台120的各种模块与一个或多个车内AR装置145一起工作以共同地充当AR系统200。例如，车辆AR平台120可以包括数据存储和管理模块221以用于提供评估信息并生成现实世界和AR投影的图像所必需的背景信息和逻辑表达。数据收集和处理模块225可以连续地接收和更新数据，从而允许AR体验实时可用。例如，位于车辆105中的AR装置145可以具有捕获现实世界280的图像的相机。来自相机的数据被收集在数据收集和处理模块225中，并由数据存储和管理模块221处理以实时地创建由各个AR装置145接收的视图的更新后图像。更新后图像可以与AR呈现模块227结合使用，以生成特定于由各个AR装置145的相机捕获的现实世界图像的AR图像。AR呈现模块227中的AR表达控制器231确定哪些装置将接收特定AR图像并控制要叠加在现实世界图像上的各种AR图像的渲染。
AR呈现模块227不仅生成AR图像，而且还可以保留与那些图像相关的许可，在车辆105中的AR装置145之间渲染和分布图像，并且确定哪些AR图像(如果有的话)应对车辆保持持久或在特定AR装置145内。
如本文所使用的，当图像保留在存储器中时，图像是“持久的”，从而允许在相关联的特征或位置进入视野时立即访问所生成的AR图像。由AR装置用户生成并被提供有相关联的分布许可的AR图像是当传感器辨识出标记的特征或POI时保存以供访问的持久图像。
数据收集和处理模块225可以包括被配置用于接收和解释来自一个或多个传感器125的传感器信息的软件指令(如图1所描绘)。例如，数据收集和处理模块225可以从诸如深度相机、摄像机、LIDAR等一个或多个检测传感器接收数据，和/或可以包括被配置为至少部分地基于从检测传感器接收的数据来检测路边对象的计算机视觉软件。
数据收集和处理模块225可以从用户界面244、用户辨识传感器或辨识界面(图2中未示出)、包括传感器245的现实捕获装置、导航服务243以及空间映射和定位248中的一者或多者接收数据。数据收集和处理模块225可以包括用于处理数据并向数据存储和管理模块221提供数据的软件指令。根据需要，指令可以包括数据共享控件241、DAT服务242、导航服务243、传感器融合模块246、图像处理和对象检测模块247、数据聚合模块249以及其他数据或处理服务250。例如，从用户辨识传感器(图2中未示出)捕获的数据可以作为用户注册ID 240收集在数据收集和处理模块225中。然后，所述系统可以经由数据聚合模块249辨识用户并耦合特定于所述用户的附加信息，诸如例如装置辨识、配置文件、偏好、许可等。所聚合的用户数据成为数据存储和管理模块221中的用户数据253。然后，AR呈现模块227可以经由AR呈现模块中的AR表达控制器231访问数据存储和管理模块221中的用户数据253，以确认是否应经由渲染模块将特定的AR图像渲染给特定用户或用户装置145。
数据存储和管理模块221通信地耦合到数据收集和处理模块225。数据存储和管理模块221可以包括用于管理并处理由数据收集和处理模块225收集的数据的软件指令。存储在存储器中的程序指令还可以包括处理数据以渲染由AR呈现模块227使用的现实世界图像所需的逻辑表达。数据存储和管理模块221可以收集的数据的示例可以包括各种信息，包括导航数据251、ADAS数据252、用户数据253、车辆识别(ID)和车辆相关数据254、位置数据255、映射和地理数据256、几何和逻辑信息和数据257以及用例特定数据258。
AR呈现模块227中的AR表达生成器230和AR表达控制器231可以依赖于存储在数据收集和处理模块225中的数据来控制AR图像的表达生成和AR图像到用户装置145的分布。例如，用户可以在用户的AR装置145上接收AR图像，并且可以经由用户界面244改变AR图像。例如，AR装置145可以向AR图像添加附加内容。AR呈现模块227经由耦合到用户界面244的AR表达生成器230来控制经更新AR图像的创建。一旦创建了新的AR图像，AR表达控制器231就可以访问数据存储和管理模块中的用户数据253，以确定车辆中还有哪些其他AR装置145、它们的许可和偏好包括什么、并确定哪些装置将接收更新后AR图像以及在特定AR装置145接收图像之前是否必须对图像进行改变。
AR表达生成器230控制对任何新的AR图像内容的修改。一旦新的AR图像适合于特定装置，渲染模块就将新的AR图像渲染给特定的AR装置145。如果图像适合于车辆105中的所有AR装置145，则渲染模块可以将图像同时发送到所有装置。
更详细地，AR呈现模块227从数据收集和处理模块225以及数据存储和管理模块221收集信息，并且执行AR呈现渲染。由于各个AR装置145不控制它们正在接收的AR内容，因此车辆AR平台120可以协调每个AR装置145接收的体验。在车载AR平台120中，AR表达生成器230生成要应用于从现实世界生成的特征或POI 280的AR图像。AR表达生成器230还可以用于经由用户界面244从车辆内部或外部的AR装置145的一个或多个用户创建AR图像内容。AR表达控制器231过滤AR表达内容并控制访问AR图像的AR装置145。
因此，AR呈现模块227还可以包括渲染模块232，所述渲染模块可以生成并分配在渲染模块232中可见的3D虚拟对象。在一个示例性实施例中，渲染模块232可生成虚拟3D对象，诸如兴趣点(POI)标签。POI标签可为例如在地理位置处运营的企业的动画徽标或描述，其中车辆AR平台120随着车辆105接近企业运营所在的地址而将POI标签输出为与现实世界特征和对象280交互的全息图像。一个这样的POI标签可为例如以虚拟365度旋转在虚拟位置处旋转的企业徽标的动画图形，所述企业徽标通过AR装置145的I/O适配器出现在用户视野中或者可能虚拟地出现在企业的屋顶或其他地理点上方。或者POI标签可以包括与地理特征(诸如建筑物、餐馆、博物馆、山脉、山谷、断崖、牧场、湖泊等)相关联的文本或其他描述性信息或者可以指示车辆品牌、型号等。POI标签还可以识别经过车辆中或路边的社交媒体连接，和/或可提供用户感兴趣的任何其他类型的信息。POI标签也可以是在车辆上呈现的信息，这种呈现在游览车上给出，或者是车辆的可由维护人员访问的机械特征的示意图。又其他类型的动画也是可能的，并且是可设想的。
图3示出了在可以生成并渲染AR图像之前发生的AR呈现层327处的数据获取和处理。车辆乘员390通过用户界面394或经由用户注册和识别配置文件392提供关于一个或多个AR装置395和用户数据393的信息。物理世界385是经由相机和其他现实捕获装置362捕获的。现实世界捕获的信息与来自数据存储和管理模块321的附加信息融合。融合的数据可以包括导航服务363、DAT服务364、空间映射和定位366、图像处理和其他对象检测367以及其他服务365。所述信息与现实捕获362和车辆数据360融合以生成在AR呈现层327中使用的“现实”世界图像。
AR装置145接收从作为车内AR平台120的一部分的AR呈现层327生成的现实世界和AR两者的图像。通常，AR装置在许多情况下处理AR图像的渲染以及AR图像的生成。由于每个装置可能以不同的方式渲染图像，因此当前难以实现共同的渲染体验。然而，本文描述的系统在车辆105内本地生成并控制AR系统，其中车辆AR平台120充当用于收集和处理与AR渲染体验相关的所有信息的服务器或中枢。因为图像是由AR呈现层327集中生成和控制的，所以可以渲染AR图像，然后基于用户授权和存储在车辆AR平台120中的其他信息酌情将其分配给各种AR装置145。
一旦AR呈现层327接收到用户、现实世界和AR图像渲染数据(包括来自数据存储和管理模块221的任何其他AR数据)，就准备好生成、渲染AR投影并基于AR表达控制器23l的控制将其分配到车辆105内的AR装置145，所述AR表达控制器基于用户偏好、用户许可、用户功能(例如，驾驶员对乘坐者对约车付款人等)来决定向谁呈现什么。另外，因为数据收集和处理在车辆105内本地发生，所以因为存在更少的处理滞后时间而可能更容易实时渲染现实世界。
图4示出了AR装置145与AR呈现模块(227、321)的部件之间的接口400。AR图像内容由系统或用户在AR表达生成器420中生成。AR表达生成器420可以生成内容，并且AR表达控制器421可以过滤内容以呈现给特定用户。然后，AR内容可以无线地上传到AR可穿戴装置426和/或AR移动装置425，或者它可以由渲染器422渲染并馈送到AR HUD 424和/或一个或多个AR屏幕423，所述ARHUD和/或一个或多个AR屏幕接线到车辆的导航系统中或者可以经由以太网或车辆内的其他有线传输来访问信息。
例如，AR表达生成器420可以被配置为生成向乘员警告路边情况(诸如例如交通事故、道路施工、天气警报、道路封闭等)的几何形状和/或消息。在路边情况(例如，道路施工)的情况下，AR表达生成器420可以创建AR图像，诸如例如道路变窄标志，所述AR图像可以覆盖在车辆105前方的道路的图片上。所生成的AR图像将由AR表达控制器421关于车辆中的各种用户、他们的偏好和许可进行评估，并且由AR表达生成器420适当地修改，然后无线地或经由有线连接发送到适当的AR装置145。作为进一步的示例，如果用户中的一者需要更大且更容易看到的词或图片，则在AR表达生成器420中生成的AR图像可以适于在显示给特定用户之前以更大的大小出现。因此，尽管AR体验对于车辆中的所有AR装置145来说可能是共同的，但是对于每个用户来说，体验也可以是独立的。
图5示出了从车辆计算机510中检索并显示给位于车辆105中的三个不同的AR装置的单个对象。AR呈现模块AR图像首先在图像520中作为POI显示在位于车辆的中控台中的AR屏幕上。相同的AR图像在图像530中作为POI显示在Microsoft
Figure BDA0003267751780000211
或类似装置上。最后，相同的AR图像在图像540中显示为来自智能电话的POI。
图6示出了使用如参考图2的车辆AR平台描述的车辆AR平台120的方法。具有AR装置145的用户进入车辆105，并且在步骤605处，用户识别模块捕获用户的面部并获得乘客的识别。基于所述识别，系统分配AR内容的可访问性(610)。在步骤615处，车辆105内的一个或多个乘客创建新的AR内容，提供关于谁可以访问新内容的许可，并且图2的数据存储和管理模块221存储关于内容共享的信息。然后，在步骤620处，系统经由包括传感器的现实捕获模块245捕获车辆105外部的环境，并将图像发送到图像处理和对象检测模块247。在步骤625处，将视频或经GPS捕获的信息发送到空间映射和定位模块248以计算路边对象或POI相对于车辆的位置。在步骤630处，AR表达生成器230生成AR内容(例如，POI标签)，并且用AR图像覆盖路边对象或POI，然后数据存储和管理模块存储该虚拟对象。此时，在步骤635处，系统导航服务243和DAT服务242检索地图、路线车辆数据等，传感器融合模块246组合地图、路线车辆数据等与先前保存的路边数据。然后，在步骤640处，传感器融合模块246集成来自所有模块的数据并生成导航和ADAS相关虚拟对象。然后，在步骤645处，AR表达控制器231可以将虚拟对象呈现给AR呈现模块227以通过AR系统200分配给AR装置145。基于用户的信息，在步骤650处创建AR对象的一个或多个表达。然后，在步骤655处，将AR内容的适当表达渲染给一个或多个对应的AR装置145。
又其他优点可以包括AR装置145的用户甚至在离开车辆105时使用AR装置145利用通过移动装置(图6中未示出)的无线或移动连接而与AR环境进行交互的能力。因此，AR装置145可以在AR装置145的用户离开车辆105之后继续向用户提供AR体验。其他优点是可设想的并且是可能的。
然而，本公开可以以许多不同形式来实施，并且不应被解释为受限于本文阐述的示例性实施例。相关领域的技术人员将明白，在不脱离本公开的精神和范围的情况下，可在形式和细节上对各种实施例作出各种改变。因此，本公开的广度和范围不应受限于上述示例性实施例中的任一者，而是应仅根据所附权利要求及其等效物限定。在下文的描述是为了说明目的而呈现，并且不意图是详尽性的或受限于所公开的精确形式。应当理解，替代实现方式可以任何所期望的组合使用，以形成本公开的附加混合实现方式。例如，相对于诸如第一计算机中的第一处理器的特定部件描述的功能中的任一个可由诸如另一计算机中的第二处理器的另一部件来执行。
此外，尽管已经描述了特定的装置特性，但是本公开的实施例可涉及许多其他装置特性。此外，尽管已用特定于结构特征和/或方法动作的语言描述了实施例，但是应当理解，本公开不一定受限于所描述的特定特征或动作。而是，将特定特征和动作公开为实现实施例的说明性形式。
本文使用的某些词语和术语仅是为了方便，并且此类词语和术语应被解释为指代本领域普通技术人员通常以各种形式和等效形式所理解的各种对象和动作。例如，诸如“汽车”、“车辆”、“小汽车”和“卡车”的词语可能够互换地使用，并且应当在本公开的上下文中进行理解。诸如“控制”、“信号”、“指示”和“信息”的词语可能够互换地使用，并且应当在本公开的上下文中进行理解。此外，如本文中所使用的词语“信息”可指代各种项，诸如数字数据、模拟数据、音频内容、视频内容和/或消息。这些项可由包含处理器的计算机进行操作。诸如“信号被传输”或“门被打开”的短语不应仅以单数意义来解释。短语应被理解为还涵盖可(同时或顺序地)传输到一个门和/或多个门的“一组信号”。还应当理解，如本文所使用的词语“示例”意图在本质上是非排他性的和非限制性的。更具体地，如本文所用的词语“示例性”指示若干示例中的一者，并且应当理解，对所描述的特定示例并没有过分的强调或偏好。
在以上公开中，已经参考了形成以上公开的一部分的附图，附图示出了其中可实践本公开的具体实现方式。应当理解，在不脱离本公开的范围的情况下，可以利用其他实现方式，并且可以进行结构改变。说明书中对“一个实施例”、“实施例”、“示例性实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每一个实施例可以不必包括所述特定特征、结构或特性。此外，这样的短语不一定指相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，无论是否明确地描述，本领域技术人员都将认识到结合其他实施例的此类特征、结构或特性。
计算装置可以包括计算机可执行指令，其中所述指令可由一个或多个计算装置(诸如以上列出的那些)执行。计算机程序可使用多种编程语言和/或技术编译或解译计算机可执行指令，所述多种编程语言和/或技术单独地或组合地包括但不限于JavaTM、C、C++、Visual Basic、Java Script、Perl等。一般来说，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，由此执行一个或多个过程，包括本文所描述的过程中的一者或多者。可使用各种计算机可读介质来存储和传输此类指令和其他数据。
计算机可读介质(也称为处理器可读介质)包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可采取许多形式，包括但不限于非易失性介质和易失性介质。
本文描述的数据库、数据储存库或其他数据存储区可以包括用于存储、访问和检索各种各样的数据的各种各样的机构。用于存储的示例性机构可以包括层次数据库、文件系统中的一组文件、专用格式的应用数据库、关系数据库管理系统(RDBMS)等。数据存储区还可以包括一个或多个计算装置，以及操作系统诸如以上提及的那些中的一者。
在一些示例中，系统元件可被实现为一个或多个计算装置(例如，服务器、个人计算机等)上并且存储在与其相关联的计算机可读介质(例如，磁盘、存储器等)上的计算机可读指令(例如，软件)。计算机程序产品可以包括存储在计算机可读介质上的用于执行本文所描述功能的此类指令。
本领域技术人员将了解，本公开可在具有许多类型的计算机系统配置的网络计算环境中实践，所述计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器的或可编程的消费者电子产品、网络PC、小型计算机、大型计算机、移动电信装置等。
本公开还可以在分布式系统环境中实践，其中通过网络链接(通过硬连线数据链路、无线数据链路或通过硬连线数据链路与无线数据链路的任何组合)的本地和远程计算机系统两者都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储装置两者中。
关于本文所描述的过程、系统、方法、启发法等，应当理解，尽管已经将此类过程等的步骤描述为根据某个有序顺序发生，但是此类过程可用以与本文所描述的次序不同的次序执行的所描述的步骤来实践。还应当理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文描述的某些步骤。换句话说，本文中对过程的描述是出于说明各种实施例的目的而提供的，并且绝不应被解释为限制权利要求。
因此，应当理解，以上描述意图是说明性的而非限制性的。在阅读以上描述时，除所提供的示例之外的许多实施例和应用将为明显的。所述范围不应参考以上描述来确定，而是应参考所附权利要求以及享有此类权利要求的权利的等效物的整个范围来确定。预计并预期本文所讨论的技术未来将有所发展，并且所公开的系统和方法将并入到此类未来实施例中。总而言之，应当理解，本申请能够进行修改和变化。
另外，在适当的情况下，本文中描述的功能可在以下中的一者或多者中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(ASIC)可被编程为执行本文描述的系统和程序中的一个或多个。贯穿说明书和权利要求使用某些术语来指代特定系统部件。如本领域技术人员将了解，部件可用不同的名称来提及。本文件不旨在区分名称不同但功能相同的部件。
应当注意，本文讨论的传感器实施例可以包括计算机硬件、软件、或其任何组合，以执行其功能中的至少一部分。在本文描述的一个或多个非限制性示例中，传感器可以包括被配置用于在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。
尽管以上已经描述了本公开的各种实施例，但是应当理解，出于说明和描述的目的呈现了前述描述。前述描述并不意图是详尽的或将本公开限制于所公开的精确形式。可以所期望的任何组合来使用任何或所有前述替代实现方式以形成本公开的另外的混合实现方式。例如，相对于特定装置或部件描述的功能中的任一者可由另一个装置或部件执行。
除非在本文中做出明确的相反指示，否则权利要求中使用的所有术语意图被赋予其如本文中描述的技术的技术人员所理解的普通含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数形式冠词应被解读为叙述指示的要素中的一者或多者。除非另外特别说明，或者在所使用的上下文中另外理解，否则尤其诸如“能够”、“可以”、“可能”或“可”等条件语言通常意图传达：尽管其他实施例可不包括，但某些实施例可以包括某些特征、要素和/或步骤。因此，这种条件语言并不意图暗示一个或多个实施例无论如何都需要所述特征、要素和/或步骤。
根据本发明，提供了一种增强现实(AR)装置，所述AR装置具有：处理器；以及存储器，所述存储器用于存储可执行指令，所述处理器被配置为执行所述指令以：基于现实捕获数据来确定外部环境中的特征相对于车辆内部的位置；生成与所述车辆对齐的所述特征的虚拟表示；将所述虚拟表示传输到所述AR装置；在所述AR装置中生成修改后的虚拟表示；以及将所述修改后的虚拟表示传输到所述车辆中的第二AR装置。
根据实施例，所述处理器还被配置为执行所述指令以：基于现实捕获数据来确定所述外部环境中的所述特征相对于所述车辆内部的所述位置；生成与所述车辆对齐的所述特征的所述虚拟表示；将所述虚拟表示传输到所述车辆中的所有AR装置；在所述AR装置中生成新的AR内容；以及选择所述车辆中访问所述新的AR内容的AR装置。
根据实施例，所述处理器被配置为执行所述指令以生成与车辆内部的数字表示相关联的同步的车辆坐标系。
根据实施例，所述处理器被配置为执行所述指令以：将第一坐标系分配给所述车辆内部的数字表示；将第二坐标系分配给所述车辆外部的对象的数字表示；至少部分地基于与车辆表面相关联的锚点来将所述第一坐标系和所述第二坐标系与笛卡尔坐标同步；以及至少部分地基于所述笛卡尔坐标来生成所述同步的车辆坐标系。
根据实施例，所述处理器还被配置为执行所述指令以：基于现实捕获数据来确定外部环境中的特征相对于车辆内部的位置；将车辆坐标系与所述特征的虚拟表示同步；用同步的车辆坐标系对第一AR装置进行取向；用所述同步的车辆坐标系对第二AR装置进行取向；生成与车辆GPS位置和车辆航向对齐的所述特征的第一虚拟表达；生成与车辆GPS位置和车辆航向对齐的所述特征的第二虚拟表达；以及将所述第二虚拟表达传输到所述第一AR装置和所述第二AR装置。

Claims (15)

1.一种方法，其包括：
基于现实捕获数据来确定外部环境中的特征相对于车辆内部的位置；
生成与所述车辆对齐的所述特征的虚拟表示；
将所述虚拟表示传输到所述车辆中的第一增强现实(AR)装置和第二AR装置；
从所述第一AR装置接收对所述虚拟表示的修改；以及
将修改后的虚拟表示传输到所述车辆中的所述第二AR装置。
2.一种方法，其包括：
基于现实捕获数据来确定外部环境中的特征相对于车辆内部的位置；
生成与所述车辆对齐的所述特征的虚拟表示；
将所述虚拟表示传输到所述车辆中的所有AR装置；以及
在所述车辆中的所述AR装置中的一者中生成新的AR内容；以及
选择所述车辆中访问所述新的AR内容的AR装置。
3.根据权利要求1所述的方法，其还包括：
基于现实捕获数据来确定外部环境中的特征相对于车辆内部的位置；
将车辆坐标系与所述特征的虚拟表示同步；
用同步的车辆坐标系对第一AR装置进行取向；
用所述同步的车辆坐标系对第二AR装置进行取向；
生成与车辆GPS位置和车辆航向对齐的所述特征的第一虚拟表示；以及
将相同的虚拟表示传输到所述第一AR装置和所述第二AR装置。
4.根据权利要求1所述的方法，其还包括：
基于现实捕获数据来确定外部环境中的特征相对于车辆内部的位置；
将车辆坐标系与所述特征的虚拟表示同步；
用同步的车辆坐标系对第一AR装置进行取向；
用所述同步的车辆坐标系对第二AR装置进行取向；
生成与车辆GPS位置和车辆航向对齐的所述特征的第一虚拟表达；
生成与车辆GPS位置和车辆航向对齐的所述特征的第二虚拟表达；以及
将所述第二虚拟表达传输到所述第一AR装置和所述第二AR装置。
5.根据权利要求3所述的方法，其中确定所述外部环境中的所述特征的所述位置包括生成与车辆内部的数字表示相关联的同步的车辆坐标系。
6.根据权利要求5所述的方法，其中所述生成所述同步的车辆坐标系包括：
将第一坐标系分配给所述车辆内部的所述数字表示；
将第二坐标系分配给所述车辆外部的对象的数字表示；以及
至少部分地基于与车辆表面相关联的锚点将所述第一坐标系和所述第二坐标系与笛卡尔坐标同步。
7.根据权利要求1所述的方法，其还包括：
将现实捕获信息与用户信息和存储的数据组合以生成虚拟对象；以及
基于所述虚拟对象生成AR表达。
8.根据权利要求1所述的方法，其还包括：确定与所述第一AR装置或所述第二AR装置的用户相关联的身份包括：
接收所述第一AR装置或所述第二AR装置的所述用户的图像；
生成与所述用户的所述图像相关联的多个梯度向量；
从所述多个梯度向量中识别至少一个面部特征点；
将所述至少一个面部特征点与和所述车辆的至少一个先前乘员相关联的多个面部特征点进行比较；
检索与和所述至少一个面部特征点的匹配相关联的乘员配置文件数据；以及
至少部分地基于所述乘员配置文件数据来改变一个或多个AR体验设置。
9.根据权利要求8所述的方法，其中所述AR体验设置包括声音设置、亮度设置、运动设置和字符设置中的一者或多者。
10.一种系统，其包括：
处理器；以及
用于存储可执行指令的存储器，所述处理器被配置为执行所述指令以：
基于现实捕获数据来确定外部环境中的特征相对于车辆内部的位置；
生成与所述车辆对齐的所述特征的虚拟表示；
将所述虚拟表示传输到所述车辆中的第一AR装置和第二AR装置；
从所述第一AR装置接收修改后的虚拟表示；以及
将所述修改后的虚拟表示传输到所述车辆中的所述第二AR装置。
11.根据权利要求10所述的系统，其中所述处理器还被配置为执行所述指令以：
基于现实捕获数据来确定所述外部环境中的所述特征相对于车辆内部的所述位置；
生成与所述车辆对齐的所述特征的虚拟表示；
将所述虚拟表示传输到所述车辆中的所有AR装置；
在所述车辆中的所述AR装置中的一者中生成新的AR内容；以及
选择所述车辆中访问所述新的AR内容的AR装置。
12.根据权利要求10所述的系统，其中所述处理器被配置为执行所述指令以
基于现实捕获数据来确定所述外部环境中的所述特征相对于车辆内部的所述位置；
将车辆坐标系与所述特征的虚拟表示同步；
用同步的车辆坐标系对第一AR装置进行取向；
用所述同步的车辆坐标系对第二AR装置进行取向；
生成与车辆GPS位置和车辆航向对齐的所述特征的第一虚拟表示；以及
将相同的虚拟表示传输到所述第一AR装置和所述第二AR装置。
13.根据权利要求10所述的系统，其中所述处理器被配置为执行所述指令以
基于现实捕获数据来确定外部环境中的特征相对于车辆内部的位置；
将车辆坐标系与所述特征的虚拟表示同步；
用同步的车辆坐标系对第一AR装置进行取向；
用所述同步的车辆坐标系对第二AR装置进行取向；
生成与车辆GPS位置和车辆航向对齐的所述特征的第一虚拟表达；
生成与车辆GPS位置和车辆航向对齐的所述特征的第二虚拟表达；以及
将所述第二虚拟表达传输到所述第一AR装置和所述第二AR装置。
14.根据权利要求10所述的系统，其中所述处理器被配置为执行所述指令以生成与车辆内部的数字表示相关联的同步的车辆坐标系。
15.根据权利要求14所述的系统，其中所述处理器被配置为执行所述指令以：
将第一坐标系分配给所述车辆内部的所述数字表示；
将第二坐标系分配给所述车辆外部的对象的数字表示；
至少部分地基于与车辆表面相关联的锚点将所述第一坐标系和所述第二坐标系与笛卡尔坐标同步；以及
至少部分地基于所述笛卡尔坐标来生成所述同步的车辆坐标系。
CN202111095977.2A 2020-09-17 2021-09-17 在车辆乘员之间共享增强现实内容的集成增强现实系统 Pending CN114201038A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/024,010 2020-09-17
US17/024,010 US11610342B2 (en) 2020-09-17 2020-09-17 Integrated augmented reality system for sharing of augmented reality content between vehicle occupants

Publications (1)

Publication Number Publication Date
CN114201038A true CN114201038A (zh) 2022-03-18

Family

ID=80351702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111095977.2A Pending CN114201038A (zh) 2020-09-17 2021-09-17 在车辆乘员之间共享增强现实内容的集成增强现实系统

Country Status (3)

Country Link
US (1) US11610342B2 (zh)
CN (1) CN114201038A (zh)
DE (1) DE102021124168A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024078540A1 (zh) * 2022-10-12 2024-04-18 蔚来汽车科技(安徽)有限公司 增强现实及虚拟现实设备、车载系统以及车辆

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11954774B2 (en) 2021-08-29 2024-04-09 Snap Inc. Building augmented reality experiences with IoT devices
US11941231B2 (en) 2021-08-29 2024-03-26 Snap Inc. Camera interfaces to interact with IoT devices
US20230063194A1 (en) * 2021-08-29 2023-03-02 Yu Jiang Tham Controlling iot devices through ar object interaction
US11625787B1 (en) * 2022-05-03 2023-04-11 Capital One Services, Llc Augmented reality vehicle display systems
US20240144608A1 (en) * 2022-11-02 2024-05-02 Mercedes-Benz Group AG Context-sensitive overlay of content via augmented reality device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9966075B2 (en) * 2012-09-18 2018-05-08 Qualcomm Incorporated Leveraging head mounted displays to enable person-to-person interactions
US9111383B2 (en) * 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
JP6056612B2 (ja) * 2013-03-29 2017-01-11 アイシン精機株式会社 画像表示制御装置および画像表示システム
DE102013016244A1 (de) 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
US9536353B2 (en) * 2013-10-03 2017-01-03 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
KR102375411B1 (ko) * 2015-05-11 2022-03-18 삼성전자주식회사 차량 주변 영상 제공 방법 및 장치
US20170192091A1 (en) 2016-01-06 2017-07-06 Ford Global Technologies, Llc System and method for augmented reality reduced visibility navigation
US9865093B1 (en) * 2016-06-30 2018-01-09 Daqri, Llc Contextual augmented reality devices collaboration
DE102018201769B4 (de) 2018-02-06 2023-08-24 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug
US11127373B2 (en) * 2019-10-30 2021-09-21 Ford Global Technologies, Llc Augmented reality wearable system for vehicle occupants

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024078540A1 (zh) * 2022-10-12 2024-04-18 蔚来汽车科技(安徽)有限公司 增强现实及虚拟现实设备、车载系统以及车辆

Also Published As

Publication number Publication date
US11610342B2 (en) 2023-03-21
US20220084256A1 (en) 2022-03-17
DE102021124168A1 (de) 2022-03-17

Similar Documents

Publication Publication Date Title
US11127373B2 (en) Augmented reality wearable system for vehicle occupants
US11610342B2 (en) Integrated augmented reality system for sharing of augmented reality content between vehicle occupants
US11676346B2 (en) Augmented reality vehicle interfacing
JP6310531B2 (ja) 自律走行車において拡張仮想現実コンテンツを提供するシステム及び方法
US10242457B1 (en) Augmented reality passenger experience
US11155268B2 (en) Utilizing passenger attention data captured in vehicles for localization and location-based services
KR102315335B1 (ko) 자율 차량들에 대해 할당된 승객들의 인식
CN107563267B (zh) 在无人驾驶车辆中提供内容的系统和方法
US20210211576A1 (en) Camera peek into turn
JP7236442B2 (ja) 自動車における表示デバイスの制御方法
Rao et al. Design methods for augmented reality in-vehicle infotainment systems
CN110007752A (zh) 增强现实车辆界面连接
Rao et al. AR-IVI—implementation of in-vehicle augmented reality
KR102625688B1 (ko) 혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템
KR20220054370A (ko) 자동차에 확장된 기능을 제공하는 장치 및 그 방법
US20230196643A1 (en) Synthetic scene generation using spline representations of entity trajectories
US20220414387A1 (en) Enhanced object detection system based on height map data
KR20170024943A (ko) 가상 영상 생성장치, 헤드 마운티드 디스플레이 및 차량
US20240011788A1 (en) Animated route preview facilitated by autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination