CN113511141A - 用于车辆中的增强现实的系统和方法 - Google Patents

Abstract

本文提供了用于在车辆中呈现信息的系统和方法。在一个示例中，一种方法包括：确定从源位置到目的地位置的路线；获得所述路线的一个或多个特征；用所述一个或多个特征增强所述路线的地图，以生成增强地图；以及在所述车辆的挡风玻璃上显示所述增强地图。

Description

用于车辆中的增强现实的系统和方法

相关申请的交叉引用

本申请要求于2020年4月11日提交的标题为“用于车辆中的增强现实的系统和方法(SYSTEMS AND METHODS FOR AUGMENTED REALITY IN A VEHICLE)”的印度临时申请第202041015794号的优先权。上面列出的申请的整体内容出于所有目的以引用方式并入本文。

技术领域

本公开涉及一种车载增强现实投影仪以及相关操作。

背景技术

车辆为车载信息娱乐系统提供各种信息和服务，诸如流媒体服务。从这些服务接收的信息以及车辆操作参数、导航信息等可以经由一个或多个显示屏呈现给车辆乘员。但是，车辆显示屏可能很小并且定位在车辆驾驶员的视线之外。

发明内容

在一个实施方案中，一种用于在车辆中呈现信息的方法包括：确定从源位置到目的地位置的路线；获得所述路线的一个或多个特征；用所述一个或多个特征增强所述路线的地图，以生成增强地图；以及在所述车辆的挡风玻璃上显示所述增强地图。

单独地或结合附图，本说明书的以上优点和其他优点以及特征将容易从以下具体实施方式中显而易见。

应理解提供以上概述来以简化的形式介绍在具体实施方式中进一步描述的概念选择。这并非意在识别所要求保护的主题的关键或必要特征，所要求保护的主题的范围由具体实施方式后的权利要求唯一地限定。此外，所要求保护的主题并不限于解决以上或本公开的任何部分中指出的任何缺点的实现方式。

附图说明

图1示出了根据本公开的一个或多个实施方案的车厢的示例局部视图；

图2示出了根据本公开的一个或多个实施方案的示例车载计算系统；

图3示出了根据本公开的一个或多个实施方案的在车辆的挡风玻璃上呈现的示例增强现实(AR)视图；

图4是示出根据本公开的一个或多个实施方案的示例AR系统的框图；

图5是示出根据本公开的一个或多个实施方案的示例增强生成系统的框图；

图6是示出根据本公开的一个或多个实施方案的示例AR投影仪的框图；

图7示出了根据本公开的一个或多个实施方案的在车辆的挡风玻璃上呈现的另一个示例AR视图；

图8和图9是使用图1至图2和图4至图6的示例系统在车辆中呈现信息的示例方法的流程图；

图10是示出根据本公开的一个或多个实施方案的另一个示例增强生成系统的框图；以及

图11A至图11C示意性地示出了根据本公开的一个或多个实施方案的用于确定沿路线的数据覆盖范围的过程。

具体实施方式

现在转到图1，其示出了用于信息娱乐系统的一种类型的环境的示例局部视图，所述信息娱乐系统包括被配置为将增强输出到增强现实投影仪的图像增强模块。所述系统包括车辆102的车厢100的内部，驾驶员和/或一个或多个乘客可以坐在其中。图1的车辆102可以是包括驱动轮(未示出)和内燃机104的机动车辆。内燃机104可以包括可经由进气通道接收进气并经由排气通道排出燃烧气体的一个或多个燃烧室。车辆102可以是道路汽车，以及其他类型的车辆。在一些示例中，车辆102可以包括混合动力推进系统，所述混合动力推进系统包括能量转换装置，所述能量转换装置可操作以从车辆运动和/或发动机吸收能量并将所吸收的能量转换成适合于由能量存储装置存储的能量形式。车辆102可以包括全电动车辆，其结合有燃料电池、太阳能捕获元件和/或用于为车辆提供动力的其他能量存储系统。

如图所示，仪表板106可以包括车辆102的人类驾驶员(也称为用户)可访问的各种显示器和控件。例如，仪表板106可以包括车载计算系统109(例如，信息娱乐系统)的触摸屏108、音频系统控制面板和仪表组110。触摸屏108可以接收到车载计算系统109的用户输入用于控制音频输出、视觉显示输出、用户偏好、控制参数选择等。虽然图1所示的示例系统包括可以经由车载计算系统109的用户界面(诸如不具有单独的音频系统控制面板的触摸屏108)来执行的音频系统控件，但是在其他实施方案中，车辆可以包括音频系统控制面板，其可以包括用于诸如收音机、光盘播放器、MP3播放器等常规车辆音频系统的控件。音频系统控件可以包括用于经由车辆扬声器系统的扬声器112控制音频输出的一个或多个方面的特征。例如，车载计算系统或音频系统控件可以控制音频输出的音量、车辆扬声器系统的各个扬声器间的声音分布、音频信号的均衡和/或音频输出的任何其他方面。在另外的示例中，车载计算系统109可以基于直接经由触摸屏108接收到的用户输入或基于经由外部装置150和/或移动装置128接收到的关于用户的数据(诸如用户的身体状态和/或环境)来调整无线电台选择、播放列表选择、音频输入源(例如，来自收音机或CD或MP3)等。车辆的音频系统可以包括耦合到多个扬声器(未示出)的放大器(未示出)。在一些实施方案中，车载计算系统109的一个或多个硬件元件(诸如触摸屏108、显示屏111、各种控制转盘、旋钮和按钮、存储器、处理器以及任何接口元件(例如，连接器或端口))可以形成安装在车辆的仪表板106中的集成头部单元。头部单元可以固定地或可移除地附接到仪表板106中。在附加或替代实施方案中，车载计算系统109的一个或多个硬件元件可以是模块化的并且可以安装在车辆的多个位置中。

车辆可以包括用于监测车辆、用户和/或环境的一个或多个传感器。例如，传感器可以定位在动力传动系统舱中、车辆的外表面上和/或其他合适的位置中，以提供关于车辆的操作、车辆的环境状况、车辆的用户等的信息。还可以从车辆外部/与车辆分离(即，不是车辆系统的一部分)的传感器(诸如耦合到外部装置150和/或移动装置128的传感器)接收关于车辆的环境状况、车辆状态或车辆驾驶员的信息。

车辆可以包括用于监测车辆周围环境、交通信息和/或环境的一个或多个摄像头。例如，摄像头可以定位在车辆的前部、侧面、后部、顶部和/或任何其他位置上。由一个或多个摄像头捕获的图像信息可以显示在本文所述的装置显示器上。例如，当车辆倒车时，来自一个或多个后置摄像头的视频馈送可以显示在装置显示器上。

车厢100还可以包括在行进之前、期间和/或之后存储在车辆中的一个或多个用户对象，诸如移动装置128。移动装置128可以包括智能电话、平板计算机、膝上型计算机、便携式媒体播放器和/或任何合适的移动计算装置。移动装置128可以经由通信链路130连接到车载计算系统。通信链路130可以是有线的(例如，经由通用串行总线[USB]、移动高清链接[MHL]、高清多媒体接口[HDMI]、以太网等)或无线的(例如，经由BLUETOOTH、WIFI、WIFI直连、近场通信[NFC]、蜂窝连接性等)，并被配置为在移动装置与车载计算系统之间提供双向通信。移动装置128可以包括用于连接到一个或多个通信链路(例如，上述示例通信链路中的一个或多个)的一个或多个无线通信接口。无线通信接口可以包括一个或多个物理装置(诸如耦合到数据线以输送所传输或接收的数据的天线或端口)，以及用于根据移动装置中的其他装置操作物理装置的一个或多个模块/驱动器。例如，通信链路130可以将来自各种车辆系统(诸如车辆音频系统、气候控制系统等)和触摸屏108的传感器和/或控制信号提供给移动装置128，并且可以将来自移动装置128的控制和/或显示信号提供给车载系统和触摸屏108。通信链路130还可以从车载电源向移动装置128提供电力，以便为移动装置的内部电池充电。

车载计算系统109也可以通信地耦合到由用户操作和/或访问但位于车辆102外部的附加装置，诸如一个或多个外部装置150。在所描绘的实施方案中，外部装置位于车辆102的外部，但是将理解，在替代实施方案中，外部装置可以位于车厢100内部。外部装置可以包括服务器计算系统、个人计算系统、便携式电子装置、电子腕带、电子头带、便携式音乐播放器、电子活动跟踪装置、计步器、智能手表、GPS系统等。如参考通信链路130所讨论的，外部装置150可以经由可以是有线或无线的通信链路136连接到车载计算系统，并且被配置为在外部装置与车载计算系统之间提供双向通信。例如，外部装置150可以包括一个或多个传感器，并且通信链路136可以将来自外部装置150的传感器输出传输到车载计算系统109和触摸屏108。外部装置150还可以存储和/或接收关于情景数据、用户行为/偏好、操作规则等的信息，并且可以将此类信息从外部装置150传输到车载计算系统109和触摸屏108。如本文所述，通信链路在一些位置可以是受限的，称为黑点。

车载计算系统109可以分析从外部装置150、移动装置128和/或其他输入源接收到的输入并且选择用于各种车载系统(诸如音频系统)的设置，经由触摸屏108和/或扬声器112提供输出，与移动装置128和/或外部装置150通信，和/或基于评估执行其他动作。在一些实施方案中，评估的全部或一部分可以由移动装置128和/或外部装置150执行。

在一些实施方案中，外部装置150中的一个或多个可以间接地经由移动装置128和/或外部装置150中的另一个通信地耦合到车载计算系统109。例如，通信链路136可以将外部装置150通信地耦合到移动装置128，使得来自外部装置150的输出被中继到移动装置128。然后，可以将从外部装置150接收到的数据与移动装置128收集到的数据在移动装置128处进行聚合，然后将所聚合的数据经由通信链路130传输到车载计算系统109和触摸屏108。类似的数据聚合可以在服务器系统处发生，然后经由通信链路136/130传输到车载计算系统109和触摸屏108。

图2示出了配置和/或集成在车辆102内部的车载计算系统109的框图。在一些实施方案中，车载计算系统109可以执行本文所述的方法中的一种或多种。在一些示例中，车载计算系统109可以是车辆信息娱乐系统，其被配置为向车辆用户提供基于信息的媒体内容(音频和/或视觉媒体内容，包括娱乐内容、导航服务等)，以增强操作员的车载体验。车辆信息娱乐系统可以包括或耦合到各种车辆系统、子系统、硬件部件以及集成到或可集成到车辆102中的软件应用程序和系统，以便增强驾驶员和/或乘客的车载体验。

车载计算系统109可以包括一个或多个处理器，包括操作系统处理器214和接口处理器220。操作系统处理器214可以在车载计算系统上执行操作系统，并且控制车载计算系统的输入/输出、显示、回放和其他操作。接口处理器220可以经由车辆间系统通信模块222与车辆控制系统230对接。

车辆间系统通信模块222可以将数据输出到其他车辆系统231和车辆控制元件261，同时还例如通过车辆控制系统230接收从其他车辆部件和系统231、261输入的数据。当输出数据时，车辆间系统通信模块222可以经由总线提供与车辆的任何状态、车辆周围环境或连接到车辆的任何其他信息源的输出相对应的信号。车辆数据输出可以包括例如模拟信号(诸如当前速度)、由各个信息源(诸如时钟、温度计、诸如全球定位系统[GPS]传感器的位置传感器等)提供的数字信号、通过车辆数据网络(诸如可以通过其传达发动机相关信息的发动机CAN总线、可以通过其传达气候控制相关信息的气候控制CAN总线，以及通过其在车辆的多媒体部件之间传达多媒体数据的多媒体数据网络)传播的数字信号。例如，车载计算系统109可以从发动机CAN总线检索由车轮传感器估计的车辆的当前速度、经由车辆的电池和/或配电系统的车辆的电源状态、车辆的点火状态等。此外，在不脱离本公开的范围的情况下，也可以使用诸如以太网的其他对接装置。

非易失性存储装置208可以被包括在车载计算系统109中，以便以非易失性形式存储诸如可由处理器214和220执行的指令之类的数据。存储装置208可以存储包括预先记录的声音的应用程序数据，以使车载计算系统109能够运行用于连接到基于云的服务器和/或收集信息以传输到基于云的服务器的应用程序。所述应用程序可以检索由车辆系统/传感器、输入装置(例如，用户界面218)、存储在易失性存储装置(例如，存储器)219A或非易失性存储装置(例如，存储器)219B中的数据、与车载计算系统通信的装置(例如，经由蓝牙链路连接的移动装置)等收集的信息。车载计算系统109还可以包括易失性存储器219A。易失性存储器219A可以是随机存取存储器(RAM)。诸如非易失性存储装置208和/或非易失性存储器219B之类的非暂时性存储装置可以存储指令和/或代码，所述指令和/或代码在由处理器(例如，操作系统处理器214和/或接口处理器220)执行时控制车载计算系统109执行本公开中描述的动作中的一个或多个。

传声器202可以被包括在车载计算系统109中，以从用户接收语音命令，以测量车辆中的环境噪声，以确定是否根据车辆的声学环境来调谐来自车辆扬声器的音频等。语音处理单元204可以处理语音命令，诸如从传声器202接收到的语音命令。在一些实施方案中，车载计算系统109也可能够使用车辆的音频系统232中包括的传声器来接收语音命令并对周围的车辆噪声进行采样。

车载计算系统109的传感器子系统210中可以包括一个或多个附加传感器。例如，传感器子系统210可以包括摄像头，诸如用于帮助用户泊停车辆的后视摄像头和/或用于识别用户(例如，使用面部识别和/或用户手势)的车厢摄像头。车载计算系统109的传感器子系统210可以与各种车辆传感器通信并从其接收输入，并且还可以接收用户输入。例如，传感器子系统210接收到的输入可以包括变速器档位位置、变速器离合器位置、油门踏板输入、制动器输入、变速器选择器位置、车辆速度、发动机转速、通过发动机的空气流量、环境温度、进气温度等，以及来自气候控制系统传感器(诸如传热流体温度、防冻液温度、风扇速度、乘客舱温度、所期望的乘客舱温度、环境湿度等)、检测由用户发出的语音命令的音频传感器、从车辆的遥控钥匙接收命令并任选地跟踪其地理位置/接近度的遥控钥匙传感器等的输入。虽然某些车辆系统传感器可以单独与传感器子系统210通信，但其他传感器可以与传感器子系统210和车辆控制系统230两者通信，或者可以间接经由车辆控制系统230与传感器子系统210通信。车载计算系统109的导航子系统211可以生成和/或接收导航信息，诸如位置信息(例如，经由GPS传感器和/或来自传感器子系统210的其他传感器)、路线引导、交通信息、兴趣点(POI)标识，和/或为驾驶员提供其他导航服务。

车载计算系统109的外部装置接口212可以与位于车辆102外部的一个或多个外部装置150耦合和/或通信。尽管外部装置被示为位于车辆102的外部，但是应该理解，它们可以临时地容纳在车辆102中，诸如当用户在操作车辆102的同时操作外部装置时。换句话说，外部装置150不与车辆102成一体。外部装置150可以包括移动装置128(例如，经由蓝牙、NFC、WIFI直连、4G LTE、5G连接或其他无线连接而连接的)或替代的启用蓝牙的装置252。移动装置128可以是移动电话、智能电话、可以经由有线和/或无线通信与车载计算系统通信的可穿戴装置/传感器、或其他便携式电子装置。其他外部装置包括外部服务246。例如，外部装置可以包括与车辆分离并且位于车辆外部的车辆外装置。其他外部装置还包括外部存储装置254，诸如固态驱动器、笔式驱动器、USB驱动器等。外部装置150可以无线地或经由连接器与车载计算系统109通信，而不脱离本公开的范围。例如，外部装置150可以通过网络260、通用串行总线(USB)连接、直接有线连接、直接无线连接和/或其他通信链路通过外部装置接口212与车载计算系统109进行通信。

外部装置接口212可以提供通信接口，以使车载计算系统能够与和驾驶员的联系人相关联的移动装置进行通信。例如，外部装置接口212可以使得能够建立电话呼叫和/或将文本消息(例如，SMS、MMS等)发送(例如，经由蜂窝通信网络)到与驾驶员的联系人相关联的移动装置。外部装置接口212可以附加地或可替代地提供无线通信接口，以使车载计算系统能够经由WIFI直连将数据与车辆中的一个或多个装置(例如，驾驶员的移动装置)同步，如以下更详细地描述的。

一个或多个应用程序244可以在移动装置128上操作。作为示例，移动装置应用程序244可以被操作以聚合关于用户与移动装置的交互的用户数据。例如，移动装置应用程序244可以聚合关于用户在移动装置上收听的音乐播放列表、电话呼叫日志(包括用户接受的电话呼叫的频率和持续时间)、位置信息(包括用户经常光顾的位置和在每个位置处花费的时间量)等的数据。所收集的数据可以由应用程序244通过网络260传送到外部装置接口212。此外，可以在移动装置128处经由外部装置接口212从车载计算系统109接收特定用户数据请求。特定数据请求可以包括用于确定用户地理位置、用户所在位置的环境噪声水平和/或音乐类型、用户所在位置的环境天气状况(温度、湿度等)等的请求。移动装置应用程序244可以向移动装置128的部件(例如，传声器、放大器等)或其他应用程序(例如，导航应用程序)发送控制指令，以使所请求的数据能够被收集在移动装置上或对部件进行所请求的调整。然后，移动装置应用程序244可以将所收集的信息中继回到车载计算系统109。

同样地，一个或多个应用程序248可以在外部服务246上操作。作为示例，外部服务应用程序248可以被操作以聚合和/或分析来自多个数据源的数据。例如，外部服务应用程序248可以聚合来自用户的一个或多个社交媒体帐户的数据、来自车载计算系统的数据(例如，传感器数据、日志文件、用户输入等)、来自互联网查询的数据(例如，天气数据、POI数据)等。所收集的数据可以传输到另一个装置和/或由应用程序分析，以确定驾驶员、车辆和环境的背景，并基于所述背景执行动作(例如，向其他装置请求/发送数据)。

车辆控制系统230可以包括用于控制不同的车载功能所涉及的各种车辆系统231的各方面的控件。这些可以包括例如控制用于向车辆乘员提供音频娱乐的车辆音频系统232的各方面、用于满足车辆乘员的车厢冷却或加热需求的气候控制系统234的各方面，以及用于使车辆乘员能够与他人建立电信联系的电信系统236的各方面。

音频系统232可以包括一个或多个声学再现装置，包括诸如扬声器235之类的电磁换能器。车辆音频系统232可以是无源的或有源的，诸如通过包括功率放大器。在一些示例中，车载计算系统109可以是用于声学再现装置的唯一音频源，或者可以存在连接到音频再现系统的其他音频源(例如，诸如移动电话之类的外部装置)。任何此类外部装置到音频再现装置的连接可以是模拟、数字或者模拟和数字技术的任何组合。

气候控制系统234可以被配置为在车辆102的车厢或乘客舱内提供舒适的环境。气候控制系统234包括能够实现受控通风的部件，诸如通风口、加热器、空调、集成的加热器和空调系统等。与加热和空调设置链接的其他部件可以包括能够清理挡风玻璃的挡风玻璃除霜和除雾系统和用于清洁通过新鲜空气入口进入乘客舱的外部空气的通风空气过滤器。

车辆控制系统230还可以包括用于调整与车辆车厢内的发动机和/或辅助元件相关的各种车辆控件261(或车辆系统控制元件)的设置的控件，诸如方向盘控件262(例如，方向盘安装的音频系统控件、巡航控件、雨刷控件、前灯控件、转向信号控件等)、仪表板控件、传声器、加速器/制动器/离合器踏板、变速杆、定位在驾驶员或乘客车门中的门/窗控件、座椅控件、车厢灯控件、音频系统控件、车厢温度控件等。车辆控件261还可以包括内部发动机和车辆操作控件(例如，发动机控制器模块、致动器、气门等)，所述控件被配置为经由车辆的CAN总线接收指令，以改变发动机、排气系统、变速器和/或其他车辆系统中的一个或多个的操作。控制信号还可以控制在车辆音频系统232的一个或多个扬声器235处的音频输出。例如，控制信号可以调整音频输出特性，诸如音量、均衡、音频图像(例如，配置音频信号以产生对用户而言似乎源自一个或多个所定义位置的音频输出)、多个扬声器间的音频分布等。同样地，控制信号可以控制气候控制系统234的通风口、空调和/或加热器。例如，控制信号可以增加冷却空气向车厢的特定部分的输送。

定位在车辆外部的控制元件(例如，用于安全系统的控件)也可以诸如经由通信模块222连接到计算系统109。车辆控制系统的控制元件可以物理地和永久地定位在车辆之上和/或之中以接收用户输入。车辆控制系统230除了从车载计算系统109接收控制指令之外，还可以从由用户操作的一个或多个外部装置150(诸如从移动装置128)接收输入。这允许基于从外部装置150接收的用户输入来控制车辆系统231和车辆控件261的各方面。

车载计算系统109还可以包括天线206。天线206被示出为单个天线，但是在一些实施方案中可以包括一个或多个天线。车载计算系统可以经由天线206获得宽带无线互联网接入，并且还可以接收诸如收音机、电视、天气、交通等的广播信号。车载计算系统可以经由一个或多个天线206接收诸如GPS信号的定位信号。车载计算系统还可以经由FR(诸如，经由天线206或者经由红外线或其他方式)通过适当的接收装置来接收无线命令。在一些实施方案中，天线206可以被包括为音频系统232或电信系统236的一部分。另外，天线206可以经由外部装置接口212向外部装置150(诸如向移动装置128)提供AM/FM无线电信号。

可由用户经由用户界面218来控制车载计算系统109的一个或多个元件。用户界面218可以包括触摸屏(诸如图1的触摸屏108)上呈现的图形用户界面，和/或用户致动的按钮、开关、旋钮、转盘、滑块等。例如，用户致动的元件可以包括方向盘控件、门和/或窗控件、仪表板控件、音频系统设置、气候控制系统设置等。用户还可以经由用户界面218与车载计算系统109和移动装置128的一个或多个应用程序进行交互。除了在用户界面218上接收用户的车辆设置偏好之外，还可以在用户界面218上将由车载控制系统选择的车辆设置显示给用户。可以在用户界面的显示器上将通知和其他消息(例如，接收到的消息)以及导航辅助显示给用户。可以经由对用户界面的用户输入来执行用户偏好/信息和/或对所呈现消息的响应。

在一些示例中，车辆102可以以一种或多种自主模式操作，在自主模式下一些或所有车辆操作(例如，加速、制动、转向)被自动控制而无需驾驶员输入。为了促进自主或半自主操作，车辆可以利用来自本文所述的各种传感器(例如，雷达传感器、机器视觉摄像头)的输出来识别和跟踪车辆、行人、骑车者、崎岖道路、凹坑和其他对象并将这些对象报告给自主控制模块。自主控制模块可以是车辆控制系统230的一部分。

例如，雷达传感器可以通过诸如CAN总线、Flexray或以太网之类的车辆数据网络与自主控制模块通信。机器视觉摄像头还可以识别车道标记并将前方道路的曲率报告给自主控制模块。应当理解，此处的雷达传感器和机器视觉摄像头是示例性的，以代表任何数量的可能的传感器。实际上，车辆可以具有比本文讨论的两个传感器更多的传感器。例如，车辆可以利用面向不同方向、具有不同范围并且具有不同视野的多个雷达传感器和摄像头。

自主控制模块可以处理从车辆传感器(例如，雷达传感器和机器视觉摄像头)接收到的信息，并响应于此来计算车辆控制动作。如果传感器数据指示在主车辆的前方和路径中存在对象，则自主控制模块可以与车辆的制动器通信以启动制动。自主控制模块还可以与车辆的转向系统通信，以将扭矩施加到转向装置并防止车辆漂移出车道或绕过车辆路径中的对象。

随着增强现实(AR)进入自主车辆和汽车世界，它提供了在不分散驾驶员注意力的情况下实现各种场景的机会。AR可用于虚拟地创建任何景观，并在无需构建任何东西的情况下显示它的外观。因此，本文公开了用于经由AR创建和显示5G信号强度的服务质量(QoS)参数、智能目的地、兴趣点、充电站、自主车辆中给定路线上的旅游胜地等的实施方案。

驾驶员在车辆中使用移动电话以及其他形式的驾驶员多任务会导致分神，并助长道路事故。相反，如将在下面更详细地讨论的，安装在方向盘后面并投影在车辆的挡风玻璃上的AR投影单元可以减少驾驶员分神，同时向驾驶员和/或任何乘客通知所期望的/相关的信息，以用于高效导航、认清道路危险等，这可以改进驾驶体验。

该方法涉及用于AR投影以用于车辆驾驶员辅助的系统、装置和方法。该方法的主要方面之一是从车辆接收数据、进行分析并将增强图像发送回车辆以投影在显示器上。例如，增强图像包括从车辆接收的信息生成的图像和受欢迎的目的地的预存储图像、用于显示QoS参数的生成图像。

在AR投影中，最常用的方法是使用具有触摸屏功能的投影显示器。本公开的一个有利特征是采用将挡风玻璃用作对增强图像进行投影的平面的方法。如果呈现的AR元素过多，或者如果以临时方式呈现AR元素，则得到的真实世界视图可能会混乱，从而可能使驾驶员对对象和危险的观察变得模糊。因此，可以在不分散驾驶员注意力和不影响系统功能性的情况下用简约信息创建增强图像。

图3示意性地示出了示例增强现实(AR)视图300，包括在车辆的平面(在本文中是挡风玻璃302)上显示的增强。可以从安装在诸如图1的车辆102之类的车辆的方向盘304上的增强现实投影仪306(AR投影仪306)对增强进行投影。如本文所使用，增强可以指投影到表面是透明的或部分透明的表面(诸如挡风玻璃的表面)上的增强现实显示元素(例如，图像)，从而使增强能够与表面周围和后面的真实世界环境融为一体。

在图3所示的示例中，在挡风玻璃302上的不同位置处显示不同的增强集合。例如，在方向盘304附近(例如，在方向盘上方、紧靠方向盘的左侧和/或右侧等)显示第一增强集合308。第一增强集合308包括车辆信息(例如，车辆速度、导航信息、基于车辆的警报(诸如诊断指示灯))，并且因此定位在驾驶员的视野(FOV)附近，这可以帮助促进驾驶员对车辆信息的监测，而无需驾驶员将他或她的注意力从道路上移开。第二增强集合310在本文中沿挡风玻璃302的右手侧(例如，乘客侧)显示在与第一增强集合308不同的显示区域中。第二增强集合310可以包括紧急情况通知(例如，检测到的障碍物、即将到来的恶劣天气、即将到来的事故)、天气信息、沿车辆路线的兴趣点等。在一些示例中，第二增强集合310可以仅当车辆在自主驾驶模式下操作时显示，在所述自主驾驶模式下车辆自动控制车辆操控、加速和制动等，而无需来自驾驶员的输入。以这种方式，仅在不需要驾驶员全神贯注地操作车辆时，才可以显示可以被定位在可能使驾驶员的FOV混乱的位置的第二增强集合310。

AR投影仪306可以从车载计算系统(诸如车载计算系统109)接收要显示的增强。图4示出了示例AR系统400的框图。AR系统400包括耦合到高清多媒体接口(HDMI)发送器402的AR投影仪306。AR投影仪306可以从HDMI发送器402接收要投影的增强(例如，图像)以及关于在哪里对增强进行投影的指令(例如，每个增强的显示坐标)，在一些示例中，所述HDMI发送器可以将增强和任何附加信息无线地传输到AR投影仪306，或者HDMI发送器402可以经由有线连接(例如，HDMI电缆/连接器)传输增强和/或任何附加信息。

HDMI发送器402从诸如上述信息娱乐系统的车载信息娱乐(IVI)系统接收增强。IVI系统是汽车中提供音频或视频娱乐的硬件和软件的集合，并且可以包括车辆系统的组合，所述车辆系统用于通过音频/视频接口、像触摸屏显示器之类的控制元件、按钮面板、语音命令、手势等将娱乐和信息传递给驾驶员和乘客。IVI系统可以与诸如ADAS系统、V2X/V2I连接性解决方案(例如，车辆到车辆的连接性、车辆到基础设施的连接性等)、远程信息处理装置、智能电话、传感器等智能汽车技术连接，并将它们与彼此集成以提供安全的驾驶体验。

如图4所示，IVI系统包括IVI控制器404，其可以是片上系统(SoC)，包括中央处理单元(CPU)、存储器、输入/输出端口、辅助存储装置等。IVI控制器404是车载计算系统109的非限制示例。如以上所说明，IVI控制器404可以从一个或多个摄像头以及其他传感器接收信号。IVI控制器404可以经由USB和以太网连接与其他装置通信，并且可以将音频信号输出到一个或多个扬声器，同样如以上所说明。IVI控制器404也可以在显示单元406上输出图像、视频等。显示单元406可以是触摸屏(并且因此可以是用户界面218的非限制性示例)和/或可以是标准显示装置，并且可以是头部单元显示器(例如，触摸屏108或显示屏111)和/或仪表组(例如，仪表组110)的显示器。显示单元406可以包括配备有用于复杂和动态图形显示的显示技术的LCD(液晶显示器)或TFT(薄膜晶体管)。IVI控制器可以经由蓝牙、HDMI电缆和USB将音频和视频内容传送到显示屏、扬声器和耳机。具有JPEG、PNG和BMP的图像可能适用于信息娱乐系统。

图5是示意性地示出示例增强生成系统500的框图。系统500包括车辆501，所述车辆包括车辆传感器和通信模块的集合502，其可以包括一个或多个摄像头、GPS系统和通信模块(例如，用于通过WiFi和蜂窝通信网络与其他装置通信)，如以上关于图2所说明。摄像头可以提供实时障碍物检测，以促进车道偏离并跟踪道路信息(像道路标志之类)。GPS系统可以使用卫星对车辆的位置进行三角测量。通信模块可以包括GPS、Wi-Fi、近场通信(NFC)和/或蓝牙模块，以提供与外部网络和装置的连接性。这些通信模块可以帮助建立服务，诸如导航、互联网连接性以及智能电话与信息娱乐系统的集成。

摄像头(自主车辆的主要部件之一)更多地依赖于用于理解所捕获视频帧的软件。像接近传感器、用于检测环境光的手势识别传感器、摄像头传感器以及其他车载传感器之类的汽车传感器与信息娱乐系统集成，以向驾驶员和乘客提供安全相关信息。像Wi-Fi、5G/LTE、GPS模块之类的连接性部件用于各种应用程序，像路径规划技术、自主驾驶、障碍物检测、泊车辅助等。信息娱乐系统支持像日间行车灯指示器、车辆中的气候控件、语音助手之类的先进车辆特征来控制系统功能性。

车辆501还包括AR投影仪306。为了生成发送到AR投影仪306的增强，系统500包括数据捕获模块504。数据捕获模块504接收来自车辆传感器和通信模块的集合502的输出/信号。来自车辆传感器和通信模块的集合502的输出/信号可以包括由摄像头捕获的图像和/或视频、来自GPS系统的位置信息(例如，车辆的当前位置)、来自WiFi和/或蜂窝网络通信模块的环境和/或附加信息(例如，本地天气状况、附近事故、兴趣点、WiFi和/或蜂窝网络覆盖范围等)。分离和分析模块506可以接收由数据捕获模块504获得的输出/信号，并且可以处理所述输出/信号以便确定沿车辆当前路线的各种参数(诸如沿路线的天气状况、沿路线的蜂窝网络覆盖范围、来自摄像头的图像/视频是否包括车辆或其他对象等)。分离和分析模块506可以将沿车辆的当前路线所确定的参数传达到图像增强模块508，所述图像增强模块可以确定要显示哪些增强并且基于所确定的参数将增强发送到AR投影仪。图像增强模块508可以从存储模块510(其可以是IVI系统的辅助存储模块)检索增强(例如，图像)。在一些示例中，图像增强模块508可以例如通过修改从存储模块510获得的增强来即时地生成增强。例如，分离和分析模块506可以基于由数据捕获模块504获得的输出/信号来确定行人被定位成横穿车辆前方的街道。图像增强模块508可以从存储装置510检索行人警告增强(诸如图3所示的行人警告增强)，并将行人警告增强发送到AR投影仪。

在一些示例中，预定义的增强/图像可以存储在存储装置510中。图像增强模块508可以基于从一个或多个车辆传感器获得的信息(例如，检测到的行人的位置、检测到的行人的大小、环境光量、天气状况等等)来调整所选择的预定义图像(例如，行人警告)，使得所显示的增强与现实世界的各方面相匹配/似乎是现实世界的一部分。在一些示例中，图像增强模块508可以包括一个或多个基于人工智能的模型(诸如CNN)，所述模型可以被训练以基于从车辆传感器获得的信息来调整所选择的图像。

在一些示例中，可以从与IVI控制器对接的车辆信息处理器(VIP)模块确定车辆的实时信息，诸如当前速度。例如，如以上关于图2所说明，IVI控制器可以与VIP对接(其可以是图2的车辆控制系统230的非限制性示例)以获得模拟信号(诸如当前速度)、由各个信息源(诸如时钟、温度计、诸如全球定位系统[GPS]传感器的位置传感器等)提供的数字信号、通过车辆数据网络(诸如可以通过其传达发动机相关信息的发动机CAN总线)传播的数字信号。此外，可以通过与IVI控制器或操作远程信息处理单元对接的高级驾驶员辅助系统(ADAS)芯片采集与方向、运动跟踪、驾驶员动作和/或驾驶员眼动有关的信息。作为说明性和非限制性示例，ADAS芯片可以处置与ADAS(诸如前置摄像头、短/长程雷达、eMirror等等)有关的处理，以及DMS/OMS、自动化泊车、高速公路领航、规避转向辅助、智能交叉路口、环视/泊车等等。ADAS芯片可以是上述自主控制模块的一部分。

该信息可以被快速吸收并反馈到增强模块以进行图像生成。最后，给定投影区域上的AR投影坐标是可编程的，并且可以在给定场景中进行更改。系统可以采用客户端-服务器架构，其中应用程序与增强模块(AM)通信。例如，可以将该实时信息和增强标记(AR标记)作为请求发送给AM，并返回对应的元数据(投影坐标)作为响应。

以这种方式，可以确定可能有助于了解平稳驾驶的各种参数，包括汽车或汽车周围对象的位置、环境中的服务质量(QoS)参数(例如，4G/5G覆盖范围)、到目的地的最快和安全的路线以及在紧急情况下协助驾驶员的能力，并将所述参数用于获得/生成经由AR投影仪显示的增强。与个人可识别信息和隐私数据有关的所有数据对象都可以通过安全通道进行加密和共享。

图6示出了示意性地示出AR投影仪600(诸如AR投影仪306)的部件的框图。AR投影仪600包括处理器602(例如，片上系统)，所述处理器接收经由HDMI发送并由HDMI接收器604接收的增强。AR投影仪600包括诸如发光二极管(LED)的多个光发射器606和透镜608。经由各种电子器件(例如，晶体管、电阻器等，在图6中称为分立器件)，处理器602可以控制哪些光发射器被激活、由光发射器输出的光的强度等。AR投影仪600可以由车辆电源(例如，车辆电池)供电。关于图6描述的AR投影仪可以安装在方向盘的后面和/或顶部，并以将挡风玻璃用作投影平面的方式定位，如关于图3所述。继而，从车载控制器/计算系统接收到的增强图像被投影到挡风玻璃上。

图6中所示的投影仪可以包括SoC，所述SoC具有将数字图片帧(在HDMI接口处接收)中的传入RGB信号转换成光束的能力，所述光束聚焦在平面上以显示彩色图像(例如，增强图像)。数字图像中的颜色仅使用3种颜色来存储和处理：红色、绿色和蓝色，通常为该投影单元写为RGB颜色。当3种原色RGB以不同比例组合或相加时，可以在投影平面上产生数百万种颜色。

图7示出了可以使用本文所述的AR系统生成的示例AR视图700。AR视图700包括车辆的挡风玻璃702和方向盘704。AR投影仪706安装在方向盘704之上和/或后面。AR投影仪706将增强707投影在挡风玻璃702上。增强707包括车辆当前正在遵循的路线(例如，从点A到点B)。增强707还包括沿路线的天气状况的指示符。例如，路线的第一区域708包括晴天天气状况，第二区域710包括潜在有问题的天气状况(例如，雪、大雨、雾、冰)，并且第三区域712包括晴天天气状况。通过突出显示整个路线上的天气状况，可以在遇到问题之前向驾驶员和/或任何乘客通知潜在的驾驶问题，这可以提供重新安排路线或以其他方式为即将到来的天气状况做准备的机会。例如，当天气状况包括大雨或雾时，可以停用自主驾驶，并且因此可以通知驾驶员使得驾驶员可以准备恢复对车辆的完全控制。当天气变化并且车辆继续沿路线行驶时，可以实时更新不同天气状况的区域。此外，通过经由增强707以图形方式指示沿整个路线的实时天气状况，驾驶员可以快速评估整个路线的天气和驾驶状况而不必导览多页信息(例如，如果驾驶员在智能电话或其他装置上查找天气状况，则要导览多页信息)，或者放大/缩小或手动导览显示天气状况的地图，这可能会提高驾驶员的安全性并改进驾驶员对车辆系统的体验。在图7所示的示例中，增强707跨挡风玻璃702的大部分延伸，但是增强707实际上可以在挡风玻璃的任何部分处显示，而不脱离本公开的范围。

现在转到图8，其示出了示出用于在车辆中显示信息的方法800的流程图。例如，可以使用图4的车载计算系统109和/或AR系统400的部件来执行方法800。可以根据存储在车载计算装置(诸如车载计算系统109或IVI控制器404)的非暂时性存储器中的指令来执行方法800。

在802处，确定当前操作参数。当前操作参数可以包括当前车辆操作参数，诸如车辆速度、车辆辅助模式(例如，自主操作、半自主操作或完全驾驶员控制)、当前车载信息娱乐设置、当前路线等等。可以至少部分地基于以上关于图2和图4描述的传感器和/或通信模块来确定当前操作参数。在804处，方法800确定车载信息娱乐系统的操作员(例如，车辆的驾驶员或乘客)是否已请求经由车辆挡风玻璃呈现增强现实视图(AR视图)。例如，操作员可以经由车辆的用户界面(例如，用户界面218)键入输入，以请求经由挡风玻璃上的增强来显示至少一些所请求的信息。

如果操作员尚未请求挡风玻璃上的AR视图(例如，如果操作员未键入对AR视图的请求，或者操作员请求仅经由信息娱乐系统的装置显示器查看附加信息)，方法800进行到806以在装置显示器上显示任何所请求的信息，所述装置显示器可以包括头部单元显示器(例如，触摸屏108或显示屏111)和/或仪表组(例如，仪表组110)的显示器。显示的附加信息可以包括如果选择了AR视图(在下面更详细地描述)则将显示的相同信息和/或诸如车辆气候控制信息、车辆音频系统信息等的附加信息。方法800然后返回。

如果操作员已经请求挡风玻璃上的AR视图，则方法800进行到808，以在指示时将增强投影在挡风玻璃上，这将在下面关于图9描述。简而言之，AR投影仪可以基于操作员输入、车辆传感器和/或通信模块收集的数据等从车载计算系统接收要在挡风玻璃上显示的增强。所述增强可以包括与当前车辆路线的各方面有关的信息，诸如路线特定紧急情况通知、通信覆盖范围、兴趣点等等。此外，在一些示例中，可以基于车辆是否正在以自主模式操作来调整所显示的增强和/或所显示的增强在挡风玻璃上的位置。然后方法800返回。

图9是示出了用于在车辆的挡风玻璃上显示增强的方法900的流程图。例如，可以使用图4的车载计算系统109和/或AR系统400的部件来执行方法900。可以根据存储在车载计算装置(诸如车载计算系统109或IVI控制器404)的非暂时性存储器中的指令来执行方法900。在一些示例中，方法900可以作为方法800的一部分(例如响应于操作员对挡风玻璃上的AR视图的请求)来执行。

在902处，方法900确定要显示的一种或多种选定增强类别。例如，信息娱乐系统的操作员可以键入指定一种或多种信息类别的输入，以经由所显示的增强来查看。所述类别可以包括车辆操作信息(例如，车辆速度)、导航信息、检测到的障碍物和路线特定信息。路线特定信息可以包括沿路线的紧急情况通知，如904处所示。可以显示沿路线的紧急情况通知，以就危险道路状况、路线改道和紧急情况通知而通知驾驶员和乘客。当紧急情况通知被选择为增强类别时，可以显示关于以下各项的信息：障碍物，像正在进行的道路工程之类的状况，在下雨、洪水、洪流等情况下的天气通知，以及沿给定路线到目的地的距离。

路线特定信息还可以包括沿路线的通信中断，如906处所示。如先前所说明，车辆可以包括与外部装置(例如，其他车辆、路边基础设施)通信以支持各种车辆和/或信息娱乐特征的通信模块。然而，当车辆行驶超出任何基本单元(本文也称为路边单元(RSU))的范围时，可能会发生连接性(例如，5G覆盖范围)和数据/连接性丢失。可以确定所预测的沿路线的覆盖范围丢失，并将其显示为增强，以提供关于连接性丢失、强度、带宽相关网络特性等等的此类实例的信息。

路线特定信息可以包括沿路线的兴趣点，如908处所示。兴趣点可以包括加油站或充电站、名胜古迹、旅游目的地、餐馆、沿路线到目的地的距离等等。当兴趣点被选择为增强类别时，可以显示指示沿路线的所识别的兴趣点的增强。

尽管此处将各种增强类别描述为由用户选择的，但是应理解，在一些示例中，可以自动选择类别，可以选择所有类别(并且可以循环显示不同的增强)，在任何一个时间都可以选择一种以上类别等。

在910处，获得相关的车辆传感器/通信数据和当前路线。例如，用户可以键入指定目的地位置的输入，并且基于源(例如，当前位置)和目的地位置坐标，可以计算动态路线。基于将显示的一种或多种增强类别，获得的相关车辆传感器/通信数据可以包括车辆数据、来自天气服务的沿路线的天气信息、来自一个或多个摄像头的图像信息(例如，这可用于确定车辆范围内是否有任何障碍物)、如基于WiFi和/或蜂窝通信模块确定的沿路线的WiFi和/或蜂窝网络覆盖范围/预测中断等等。

在912处，基于一种或多种选定类别和所获得的传感器/通信数据来选择一个或多个增强。例如，可以选择包括呈地图形式的所确定的动态路线的增强，并且可以修改所述增强以显示沿路线的天气状况(如图7所示)、沿路线的网络中断、沿路线的兴趣点等。所选择的一个或多个增强还可以包括表示车辆操作信息(诸如当前车辆速度)的增强。

在914处，方法900包括确定车辆是否以自主模式操作，在自主模式下车辆在没有驾驶员输入的情况下进行操作。可以响应于以自主模式操作的用户请求(例如，基于对用户界面(诸如信息娱乐系统的触摸屏、方向盘或仪表组上的按钮等)的用户输入)而执行自主模式下的操作。

如果车辆以自主模式操作，则方法900进行到916，以指示AR投影仪将选定增强投影到挡风玻璃上的一个或多个所指示的位置。由于在自主模式下的操作，因此挡风玻璃的整个可显示区域可以用作用于对增强进行投影的显示区域，因为在自主操作期间驾驶员分神或使驾驶员的FOV混乱不再是问题。(在一些示例中，整个挡风玻璃可以是可显示的，这意味着可以将增强投影到挡风玻璃的任何部分上。在其他示例中，挡风玻璃的仅一个或多个部分可以是可显示的，这意味着可以将增强仅投影到挡风玻璃的某些区域上而不是整个挡风玻璃上。)因此，每个增强可以显示在挡风玻璃上的相应位置处，即基于用户偏好、正在显示的增强类型(例如，包括天气状况的路线地图可以显示在第一显示位置(诸如乘客座椅前面)，而车辆操作参数可以显示在第二显示位置(诸如仪表组上方))、当前车辆取向、当前驾驶员FOV和/或其组合。

例如，可以以屏幕锁定的方式显示增强，其中将增强显示在即使在车辆取向改变、驾驶员FOV改变等时也不改变的指定显示坐标处。在一些示例中，可以以世界锁定的方式显示增强，其中将增强相对于现实世界中的对象或位置显示在相同位置处，诸如行人警告增强显示在检测到的行人附近。在此类配置中，世界锁定的增强可能会随着现实世界对象的移动而移动，和/或增强的显示坐标可能会随着车辆取向的改变而改变，以维持增强与现实世界对象之间的固定关系。在更进一步的示例中，可以以身体锁定的方式显示增强，其中将增强显示在即使在FOV改变时也将增强保持在驾驶员或乘客FOV的固定位置中的显示坐标处。在一些示例中，可以在屏幕锁定、世界锁定和/或身体锁定配置的组合下显示增强，诸如在世界锁定位置显示第一增强(例如，行人警告增强)和在屏幕锁定位置显示第二增强(例如，显示车辆操作参数的增强)。

当在自主操作期间将增强显示在挡风玻璃上时，一些相似的图像可以显示在其他车载显示器上，诸如车辆操作参数既显示在挡风玻璃上又显示在车辆仪表组的显示器上。但是，在自主模式操作期间，一些增强只能显示在挡风玻璃上，而不能显示在任何其他车辆显示器上，诸如显示天气状况、兴趣点等的地图。

在918处，方法900确定是否已经接收到停止AR视图的请求。可以经由用户输入来接收停止AR视图的请求(例如，用户可以请求不再在挡风玻璃上示出增强)。在一些示例中，可以由车载计算系统输出停止AR视图的请求，诸如响应于检测到车辆不再以自主模式操作或者响应于检测到指示驾驶员对道路的注意力的不利状况。如果未接收到停止AR视图的请求，则方法900返回到902以继续评估所请求的增强和实时传感器/通信数据，以便基于所请求的增强和传感器/通信数据继续选择和显示增强。

如果接收到停止AR视图的请求，则方法900进行到920以停用AR投影仪或以其他方式停止在挡风玻璃上显示增强，并且在一些示例中，在一个或多个车载显示器上显示增强。以这种方式，当前显示在挡风玻璃上的增强可以替代地显示在车载显示器上。例如，替代地，可以在信息娱乐系统显示器(例如显示屏111)上显示先前在挡风玻璃上显示的沿路线的天气状况的地图。这样做，通过允许跨多个显示区域(期望时包括挡风玻璃)显示信息，可以提供所期望信息的无缝显示。然后方法900返回。

返回到914，如果确定车辆未在自主模式下操作，例如如果车辆由驾驶员完全操作(例如，无巡航控制、无转向辅助等)或由驾驶员部分操作(例如，启用自适应巡航控制，但是驾驶员仍在完全控制转向)，则方法900进行到922，以指示AR投影仪将选定增强投影到驾驶员FOV之外的一个或多个位置。例如，增强可以显示在挡风玻璃的底角或顶角(例如，在乘客侧上)，而不是跨过挡风玻璃的中间。因此，当在自主模式下操作时，在一些示例中，可以在驾驶员FOV中显示增强。相反，当以半自主或非自主模式操作时，可能不会在驾驶员FOV(假设用于驾驶的标准FOV，其中驾驶员FOV包括在驾驶员前方的挡风玻璃的固定区域)中显示增强。在一些示例中，当驾驶员正向前看道路时，可以在挡风玻璃的固定区域中显示增强，所述固定区域被假定为在驾驶员FOV之外。在其他示例中，可以基于实际驾驶员FOV来显示增强，使得增强的显示坐标可以基于车辆取向(例如，这可以指示车辆正在转弯或穿越弯道，并且因此驾驶员FOV可能已移动)或驾驶员的视线方向而改变。

在924处，方法900任选地包括：响应于确定车辆未在自主模式下操作来调整显示哪些增强(相对于如果车辆在自主模式下操作则要显示哪些增强)。为了减少驾驶员分神，限制驾驶员在控制车辆时所显示的增强可能是有益的。因此，可以调整增强的大小和/或可以显示较少的增强。例如，可以将车辆操作参数增强保持在挡风玻璃上(以使驾驶员能够相对于向下看仪表组更容易地评估车辆操作参数)，同时可以移除本文讨论的各种地图(并且在一些示例中显示在车载显示器上)。如以上所说明，方法900然后进行到918。

因此，方法900提供了在自主操作模式期间或者在半自主或非自主操作模式期间使用AR投影仪在挡风玻璃上显示一个或多个增强。所显示的增强可以包括路线特定通知，诸如天气状况、紧急情况通知、蜂窝或WiFi数据覆盖范围、兴趣点等等。为了生成路线特定增强，用户可以将目的地位置键入到车载计算系统，以启用关于沿路线的紧急情况通知、兴趣点、通信覆盖范围等的信息。基于源和目的地位置坐标，计算动态路线并生成路线图像。

在示例中，可以从地图/导航数据库(以下说明)为路线覆盖范围的所有位置坐标计算兴趣点。如果有兴趣点落入源位置与目的地位置之间的坐标范围内，则用兴趣点的标记和距当前路线的距离来增强导航路线地图。将最终的增强图像发送到车辆信息娱乐系统以用于在挡风玻璃上进行AR投影和显示。可以采取类似的方法用天气状况(例如，通过联系天气服务并用视觉指示(诸如代表不同天气状况的颜色)来增强图像)、沿路线的事故、沿路线的道路建设等等来增强路线的生成图像。

在另一个示例中，一旦计算出路线的图像，就为路线覆盖范围的所有位置坐标计算QoS参数。如果QoS参数在接受的范围内，则对导航路线地图的生成图像进行增强并用第一视觉表示(诸如绿色)来表示。如果QoS参数不在接受的范围内，则对生成图像进行增强并以不同的视觉表示(诸如红色)来表示，从而指示这些区域的信号中断和覆盖范围较差。将最终的增强图像发送到车辆信息娱乐系统以用于在挡风玻璃上进行AR投影和显示。下面提供了关于获得QoS参数的附加详细信息。

因此，上述方法可以被部署为显示以下各项的增强图像：障碍物，像正在进行的道路工程之类的状况，在下雨、洪水、洪流等情况下的天气通知，残骸和沿给定路线到目的地的距离。

图10是示意性地示出用于生成增强的系统1000的框图，所述增强示出了沿路线的兴趣点。系统1000包括与系统500相同的部件中的一些，并且这些部件的编号相同并且不再重新介绍。

系统1000包括从车辆通信模块(例如，WiFi、蜂窝数据、GPS)接收输出/信号的导航和数据分析模块1002。导航和数据分析模块1002可以确定源和目的地位置坐标和/或基于源和目的地位置坐标确定动态路线。可以从导航数据库1004检索路线地图的图像。从导航数据库1004，为路线的所有位置坐标计算兴趣点。导航数据库1004还可以存储沿路线(和其他路线)的也可以被检索的兴趣点的增强。可以在兴趣点增强模块1010(其可以是图像增强模块508的一部分或非限制性示例)处用沿路线的兴趣点来增强路线地图的图像。例如，可以用燃油泵的增强来指示沿路线的加油站，可以用银器和/或盘子的增强来指示沿路线的餐厅等。在一些示例中，可以将由车辆摄像头捕获的车辆周围环境的图像1006提供到兴趣点增强模块1010。可以将最终的增强现实图像1012(例如路线地图，包括路线上的一些或所有兴趣点的增强)发送到AR投影仪以进行显示。

可以在后端使用从车辆摄像头捕获的图像，以应用传统的且不断发展的数据增强技术从使用像卷积神经网络(CNN)之类的现代深度学习算法实现的现有训练数据创建新的训练数据。图像数据增强是一种涉及在训练数据集中创建与原始图像属于同一类的转换版本的图像(输入图像)的数据增强类型，所述原始图像是指像人行横道、道路标志、游客目的地图像和天气图像之类的预定义图像集合。

增强现实(AR)技术允许用户通过将虚拟对象叠加在现实世界上来一起查看现实世界和虚拟对象。AR的算法分为两种方法。一种方法是使用人工标记的基于标记的AR方法，另一种方法是使用自然特征而不是人工标记的无标记AR方法。诸如自适应阈值化、轮廓检测、边缘检测等的图像处理方法连同AR算法一起可用于组合真实世界图像(所捕获图像)和虚拟对象。

图11A至图11C示意性地示出了可以如何确定沿路线的数据覆盖范围(例如，蜂窝数据)，以便如上所述生成示出沿路线的数据覆盖范围的增强。图11A示出了在连接到路边单元(RSU)的道路上的车辆的示例1100。在5G网络环境中，使用像毫微微小区、微微小区、微小区和宏小区之类的基站用于信号覆盖。用于道路覆盖的基站称为路边单元(RSU)。

基站类型	覆盖范围(km)	带宽(MHz)
			毫微微小区	0.01至0.1	10
微微小区	0.1至0.2	20
			微小区/城域小区	1至2	20至40
宏小区	5至32	60至75

表1.

表1示出了基于运营商部署的基站类型，典型RSU覆盖范围为0.01Kms至32Kms。

图11B示出了示例场景1120，所述示例场景示出了车辆1122可以如何从第一RSU覆盖区域1124移动到第二RSU覆盖区域1126，两者之间具有覆盖间隙。如图11B所示，车辆1122在第一RSU覆盖区域1124内开始，所述区域代表具有来自第一RSU(RSU-A)的足够信号覆盖的区域。当车辆1122沿道路在所示的行进方向上移动时，车辆1122最终离开第一RSU覆盖区域1124。当车辆1122离开第一RSU覆盖区域1124时，车辆1122超出任何RSU的范围并因此缺少5G网络覆盖。最终，车辆1122进入第二RSU覆盖区域1124，所述区域代表具有来自第二RSU(RSU-B)的足够信号覆盖的区域。

示例场景1120突出显示了在车辆行驶超出已安装的RSU的范围时QoS较差以及与RSU失去连接的情况下的5G覆盖范围和数据/连接性丢失问题。可以部署以上关于图9讨论的AR投影方法，以向车辆操作员/乘客提供关于QoS丢失、强度、带宽相关网络特性等等的此类实例的信息。

在后台，车辆的信息娱乐系统(例如，车载计算系统)持续地以专有VINQ数据格式将实时5G QoS参数发送到数据采集和增强模块。与5G网络相关的QoS参数可以包括延迟、峰值数据速率、可用频谱和连接密度，并被分组化和传送到分析模块以进行存储和处理。在5G网络场景中，所述方法可以提供关于到目的地的给定路线中的QoS参数的信息。

图11C示出了示例VINQ数据包1140。VINQ数据包可以包括车辆ID(用于唯一地标识车辆)、包ID(用于标识当前包)、当前车辆坐标(经度和纬度)以及5G QoS参数(诸如延迟、峰值数据速率、可用频谱等)。VINQ数据包被发送到数据采集和增强模块(例如，数据捕获模块504和图像增强模块508)。一旦接收到VINQ包，便对包进行解码并为当前位置坐标存储5GQoS数据。然后可以更新导航分析数据库。

作为示例，返回参考图11B，当车辆1122在第一RSU覆盖区域1124中时，车辆通信模块(例如，图5和图10所示的5G模块)可以与RSU-A通信。如上所述，基于该通信，可以确定并在VINQ包中发送5G QoS参数。然而，当车辆1122移动到第一RSU覆盖区域1124的范围之外时，VINQ包可以指示弱信号或无信号。

然而，本文描述的系统和方法可以允许对即将到来的通信数据覆盖的丢失的提前感知，诸如对第一RSU覆盖区域1124与第二RSU覆盖区域1126之间的间隙的感知。

为了确定沿路线的数据覆盖较弱或没有数据覆盖的区域，车辆可以包括导航系统收发器，所述导航系统收发器被配置为接收包括来自远程服务的无线黑点数据(例如，无线黑点的位置/边界、无线黑点内的无线网络覆盖参数等)等的无线数据，所述远程服务诸如远离导航系统和/或远离包括导航系统的装置(例如，智能电话、手持装置、车载计算系统等)而定位的云存储装置。在一些示例中，无线收发器可以从导航数据服务器接收路线和/或黑点数据(例如，没有蜂窝数据覆盖的区域)信息。在接收到无线数据之后，收发器可以将接收到的数据发送到处理器，以进行处理和存储。

处理器可以从GPS系统接收车辆的当前位置，例如从无线收发器和/或从车载存储器接收无线黑点数据信息，从用户接收目的地输入，并且可以生成路线数据，然后将所述路线数据存储在数据存储器中。这样，数据可以包括黑点数据。此外，例如，数据可以包括所生成的路线的地图。在一些示例中，路线可以作为增强显示在挡风玻璃上。在没有蜂窝覆盖的情况下，处理器可以从地图数据存储器中检索地图。处理器还可以将处理后的地图连同与数据中的黑点有关的附加数据一起进行高速缓存。在一些示例中，可以使用车辆对车辆通信或其他配置从其他车辆接收关于即将到来的数据覆盖黑点的信息。

该方法的一个主要优点是，依赖于该连接性的所有服务都可以在特定距离内提前计划并缓存数据，从而提高QoS。例如，导航应用程序知道特定距离内的GPS丢失(路线地图上以红色显示的区域，如上所说明)后便可以在旅程开始之前缓存导航数据。在另一个示例中，如果像媒体流应用程序之类的任何5G服务应用程序都知道信号丢失，则系统可以提前缓冲在该信号丢失持续时间内的媒体内容，并在观看内容时提供无缝的用户体验。

在挡风玻璃上显示增强的技术效果是可以通知车辆乘员即将到来的道路状况、兴趣点、通信中断等等，这可以改进车辆的安全性和/或乘员的乘车体验。在车载计算系统上生成增强的技术效果是，可以在某些状况(例如，自主驾驶)期间将增强显示在挡风玻璃上，然后以无缝方式在其他状况(例如，非自主驾驶)期间切换为显示在一个或多个车载显示器(例如，信息娱乐系统显示器)上，从而连续为车辆乘员提供所期望的信息而不使驾驶员的FOV混乱或不提供过度的分神。

已经提出了实施方案的描述以用于说明和描述目的。对实施方案的适当的修改和变更可以根据以上描述执行，或者可以通过实践所述方法获取。可以通过用一个或多个逻辑装置(例如，处理器)结合一个或多个附加硬件元件(诸如存储装置、存储器、图像传感器/透镜系统、光传感器、硬件网络接口/天线、开关、致动器、时钟电路等)执行所存储的指令来执行所述方法。还可以以除了在本申请中描述的顺序之外的各种顺序、并行地和/或同时地执行所描述的方法和相关联的动作。此外，可以重复执行所描述的方法。所描述的系统本质上是示例性的，并且可以包括附加要素和/或省略要素。本公开的主题包括各种系统和配置以及所公开的其他特征、功能和/或性质的所有新颖的和非显而易见的组合和子组合。

如在本申请中所使用，以单数形式叙述并且以单词“一”或“一个”开始的要素或步骤应被理解为不排除多个所述要素或步骤，除非陈述了这种排除。此外，对本公开的“一个实施方案”或“一个示例”的引用不意图被解释为排除也包含所述特征的附加实施方案的存在。术语“第一”、“第二”和“第三”等仅用作标签，并且不意图对其对象施加数字要求或特定位置顺序。所附权利要求特别指出了来自以上公开的被认为是新颖且非显而易见的主题。

Claims (20)

1.一种用于在车辆中呈现信息的方法，其包括：

确定从源位置到目的地位置的路线；

获得所述路线的一个或多个特征；

用所述一个或多个特征增强所述路线的地图，以生成增强地图；以及

在所述车辆的挡风玻璃上显示所述增强地图。

2.根据权利要求1所述的方法，其中所述一个或多个特征包括沿所述路线的天气状况，并且其中增强所述地图包括：在与每种确定的天气状况相对应的位置处叠加所确定的沿所述路线的天气状况的一个或多个视觉指示。

3.根据权利要求1所述的方法，其中所述一个或多个特征包括沿所述路线的数据通信服务质量参数，并且其中增强所述地图包括：在与每个确定的数据通信服务质量参数相对应的位置处叠加所确定的沿所述路线的数据通信服务质量参数的一个或多个视觉指示。

4.根据权利要求1所述的方法，其中所述一个或多个特征包括沿所述路线的兴趣点，并且其中增强所述地图包括：在与每个确定的兴趣点相对应的位置处叠加所确定的沿所述路线的兴趣点的一个或多个视觉指示。

5.根据权利要求1所述的方法，其中显示所述增强地图包括在所述挡风玻璃上的第一显示位置处显示所述增强地图，并且所述方法还包括在所述挡风玻璃上的第二不同显示位置处显示一个或多个附加增强。

6.根据权利要求1所述的方法，其中所述增强地图在没有来自驾驶员的直接输入的情况下操作所述车辆的自主车辆模式期间显示在所述挡风玻璃上。

7.根据权利要求6所述的方法，其还包括：响应于用户输入或到非自主车辆模式的切换，调整所述增强地图在所述挡风玻璃上的所述显示。

8.根据权利要求7所述的方法，其中调整所述增强地图在所述挡风玻璃上的所述显示包括：调整所述增强地图的尺寸和/或显示位置。

9.根据权利要求7所述的方法，其中调整所述增强地图的显示位置包括：在车辆显示器上显示所述增强地图。

10.一种系统，其包括：

增强现实投影仪；和

车载计算系统，其存储的指令能够执行以：

确定从源位置到目的地位置的路线；

获得所述路线的一个或多个特征；

用所述一个或多个特征增强所述路线的地图，以生成增强地图；以及

经由所述增强现实投影仪在所述车辆的挡风玻璃上显示所述增强地图。

11.根据权利要求10所述的系统，其中所述增强地图在没有来自驾驶员的直接输入的情况下操作所述车辆的自主车辆模式期间显示在所述挡风玻璃上。

12.根据权利要求11所述的系统，其中所述指令能够执行以：响应于从所述自主车辆模式到非自主车辆模式的切换，调整所述增强地图在所述挡风玻璃上的所述显示。

13.根据权利要求12所述的系统，其中调整所述增强地图在所述挡风玻璃上的所述显示包括：调整所述增强地图的尺寸和/或显示位置。

14.根据权利要求12所述的系统，其还包括可操作地耦合到所述车载计算系统的车辆显示器，并且其中调节所述增强地图的显示位置包括在所述车辆显示器上显示所述增强地图。

15.一种用于车辆的系统，其包括：

增强现实投影仪；

车辆显示器；以及

车载计算系统，其可操作地耦合到所述增强现实投影仪和所述车辆显示器，所述车载计算系统存储的指令能够执行以：

在自主车辆模式期间，经由所述增强现实投影仪在所述车辆的挡风玻璃上显示增强地图，所述增强地图包括所述车辆要行进的路线的一个或多个特征；

响应于从所述自主车辆模式到非自主车辆模式的切换，在所述车辆显示器上而不是经由所述增强现实投影仪显示所述增强地图。

16.根据权利要求15所述的系统，其中所述一个或多个特征包括沿所述路线的天气状况，并且其中所述增强地图包括在与每种确定的天气状况相对应的位置处的所确定的沿所述路线的天气状况的一个或多个视觉指示。

17.根据权利要求15所述的系统，其中所述一个或多个特征包括沿所述路线的数据通信服务质量参数，并且其中所述增强地图包括在与每个确定的数据通信服务质量参数相对应的位置处的所确定的沿所述路线的数据通信服务质量参数的一个或多个视觉指示。

18.根据权利要求15所述的系统，其中所述一个或多个特征包括沿所述路线的兴趣点，并且其中所述增强地图包括在与每个确定的兴趣点相对应的位置处的所确定的沿所述路线的兴趣点的一个或多个视觉指示。

19.根据权利要求15所述的系统，其中所述指令能够执行以经由所述增强现实投影仪在所述挡风玻璃的第一显示位置处显示一个或多个车辆操作参数增强，并且其中所述增强地图显示在所述挡风玻璃的第二显示位置处。

20.根据权利要求19所述的系统，其中所述指令能够执行以响应于从所述自主车辆模式到所述非自主车辆模式的所述切换而维持所述一个或多个车辆操作参数增强在所述第一显示位置处的显示。

Images