CN209257986U - 增强现实车载抬头显示系统 - Google Patents

Abstract

一种增强现实车载抬头显示系统，包括安装在汽车车身上的前风档玻璃，还包括安装在汽车车身上的高级驾驶辅助系统模块、导航模块、V2X通讯模块、车载域控制器模块和AR‑HUD投影整机模块。该系统通过车载高级驾驶辅助系统模块、导航模块和V2X模块实时地跟踪车况、路况和影响驾驶的车外信息，AR‑HUD投影整机模块把虚拟图像准确地投影到现实环境中，使驾驶员看到增强过的车外环境信息，极大提高了辅助驾驶能力和驾驶安全性、实时性、准确性和稳定性，部分模块可以直接利用汽车现有的硬件模块，成本低。

Description

增强现实车载抬头显示系统

技术领域

本实用新型涉及电学领域，尤其涉及汽车电子技术，具体是一种增强现实车载抬头显示系统。

背景技术

车载抬头显示器（HUD），把车况、路况信息通过光学投影投出在驾驶员视线的正前方的虚像，可以让驾驶员视线不用离开路面，就能了解到车况和路况信息。现有技术中，车载抬头显示器（HUD）的显示内容仅仅是把仪表或者中控的重要报警信息部分显示在HUD图像上，并没有额外增加有用的信息。同时汽车在高速行驶中，车外路况也在不断地变化，导致这些信息无法与实际路况实时的结合，对于驾驶员的指引程度有限。

同时，ADAS系统即高级驾驶辅助系统，是利用安装在汽车上的各种传感器，在汽车行驶过程中随时感应周围的环境，收集数据，进行静、动态物体辨识、侦测与追踪，并进行数据融合运算和分析，从而让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的安全性。ADAS系统产生的驾驶辅助信息是通过仪表、中控等座舱电子产品上的报警显示符号，声音或者振动等方式给到驾驶员提示。这些提示方式既不直观，有时候也难也被驾驶员所察觉。

实用新型内容

本实用新型的目的在于提供一种增强现实车载抬头显示系统，所述的这种增强现实车载抬头显示系统，通过车载高级驾驶辅助系统模块、V2X模块和导航模块实时地跟踪车况、路况和影响驾驶的车外信息，通过AR-HUD投影整机模块把虚拟图像准确地投影到现实环境中，使驾驶员看到增强过的车外环境信息，极大提高了辅助驾驶能力和驾驶安全性。

本实用新型的这种增强现实车载抬头显示系统，包括安装在汽车车身上的前风档玻璃，其中，还包括有安装在汽车车身上的高级驾驶辅助系统模块、导航模块、V2X通讯模块、车载域控制器模块和AR-HUD投影整机模块，所述的高级驾驶辅助系统模块包括前碰雷达单元、侧后方雷达单元和前视摄像头单元，所述的前碰雷达单元设置在汽车车身的前端，所述的侧后方雷达单元设置在汽车车身的后部，所述的前视摄像头单元设置在汽车车内正前方，所述的AR-HUD投影整机模块设置在所述的前风档玻璃的下侧，所述的高级驾驶辅助系统模块和所述的V2X通讯模块各自通过网络与所述的车载域控制器模块连接通讯，车载域控制器模块通过控制线和视频信号输出线与AR-HUD投影整机模块连接，利用高级驾驶辅助系统模块和V2X通讯模块采集车辆周围环境信息，将采集到的数据经网络传入车载域控制器模块，利用所述的导航模块获取地图数据和导航线路数据，并将地图数据和导航线路数据经网络传入车载域控制器模块，利用车载域控制器模块采集汽车车身速度和转向角信息，利用车载域控制器模块将车辆周围环境信息、地图数据和导航线路数据、汽车车身速度和转向角信息进行时间序列重整和数据融合处理并消除延时，实时生成与真实环境贴合的提示或者报警图像，利用AR-HUD投影整机模块将所述的提示或者报警图像投射在前风档玻璃上。

进一步的，AR-HUD投影整机模块的投影距离在7.5米以上，视场角在水平方向上大于10°，在垂直水平面的方向上大于5°。

进一步的，所述的导航模块包括GPS及高精度地图模块。

进一步的，还包括车内摄像头单元，所述的车内摄像头单元安装在汽车驾驶舱内，车内摄像头单元通过网络与车载域控制器模块连接通讯，利用车内摄像头单元实时检测汽车驾驶员眼球在整车座标下的位置，利用AR-HUD投影整机模块将投影图像对应的眼盒位置调整到真实的眼球位置。

进一步的，所述的网络是汽车控制器局域网总线（CAN）或者以太网络。

进一步的，所述的前风档玻璃包括前后两层玻璃板，所述的两层玻璃板之间设置有楔形PVB膜。

进一步的，所述的前视摄像头单元采用单目摄像头。

本实用新型的工作原理是：通过前碰雷达单元、侧后方雷达单元和前视摄像头单元和V2X通讯模块收集车辆周围环境信息，进行静态、动态物体辨识、侦测与追踪，通过导航模块的高精度导航芯片和高精度地图精确到车辆所在车道，车内摄像头单元监测获取车辆驾驶员信息，各类周围环境信息和车内信息通过网络将数据传入车载域控制器模块进行处理并通过AR-HUD投影整机模块把生成的虚拟图像准确地投影到现实环境中，实现前碰撞预警（FCW）、车道偏离预警（LDW）、车道保持系统（LKA）、盲点探测系统 （BSD），导航指引线和POI显示等增强现实功能。

本实用新型和已有技术相比较，其效果是积极和明显的。本实用新型通过车载高级驾驶辅助系统模块、V2X模块和导航模块实时地跟踪车况、路况和影响驾驶的车外信息，通过AR-HUD投影整机模块把虚拟图像准确地投影到现实环境中，使驾驶员看到增强过的车外环境信息，极大提高了辅助驾驶能力和驾驶安全性，该系统解决了现有技术中设备实时性、准确性和稳定性差的问题，部分模块可以直接利用汽车现有的硬件模块，成本低。AR技术即增强现实技术，是把虚拟信息叠加应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境图像和虚拟的图像实时地叠加到了同一个画面或空间同时存在。增强现实技术包含了图像建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。增强现实提供了一种直观的可以感知的信息。采用虚拟提示信息和实际路况的无缝贴合，从而保证驾驶者能够清晰直观的对道路、障碍物、方向和车道线进行观测预判，在很大程度上避免了危险的发生和导航错误。

附图说明

图1是本实用新型的整体结构示意图。

图2是本实用新型的模块连接结构示意图。

具体实施方式

实施例1:

如图1和图2所示，本实用新型的这种增强现实车载抬头显示系统，包括安装在汽车车身上的前风档玻璃1，还包括有安装在汽车车身上的高级驾驶辅助系统模块2、导航模块3、V2X通讯模块4、车载域控制器模块5和AR-HUD投影整机模块6，高级驾驶辅助系统模块2包括前碰雷达单元201、侧后方雷达单元202和前视摄像头单元203，前碰雷达单元201设置在汽车车身的前端，侧后方雷达单元202设置在汽车车身的后部，前视摄像头单元203设置在汽车车内正前方，AR-HUD投影整机模块6设置在前风档玻璃1的下侧，高级驾驶辅助系统模块2和V2X通讯模块4各自通过网络8与车载域控制器模块5连接通讯，车载域控制器模块5通过控制线和视频信号输出线与AR-HUD投影整机模块6连接，利用高级驾驶辅助系统模块2采集车辆周围环境信息，将采集到的数据经网络8传入车载域控制器模块5，利用导航模块3获取地图数据和导航线路数据，并将地图数据和导航线路数据经网络8传入车载域控制器模块，利用车载域控制器模块5采集汽车车身速度和转向角等信息，利用车载域控制器模块5将车辆周围环境信息、地图数据和导航线路数据、汽车车身速度和转向角等信息进行时间序列重整和数据融合处理并消除延时，实时生成与真实环境贴合的提示或者报警图像，利用AR-HUD投影整机模块6将提示或者报警图像投射在前风档玻璃1上。

进一步的，AR-HUD投影整机模块6的投影距离在7.5米以上，视场角在水平方向上大于10°，在垂直水平面的方向上大于5°

进一步的，导航模块3包括GPS及高精度地图模块。

进一步的，还包括车内摄像头单元7，车内摄像头单元7安装在驾驶舱内，车内摄像头单元7通过网络8与车载域控制器模块5连接通讯，利用车内摄像头单元7实时检测汽车驾驶员眼球在整车座标下的位置，利用AR-HUD投影整机模块6将投影图像对应的眼盒位置调整到真实的眼球位置。

进一步的，网络8是汽车控制器局域网总线（CAN）或者以太网络。

进一步的，前风档玻璃1包括前后两层玻璃板，两层玻璃板之间设置有楔形PVB膜。

进一步的，前视摄像头单元203采用单目摄像头。

增强现实车载抬头显示系统主要包含三个模块：

1.感知部分包括车载系统传感器，包括导航模块3，前碰雷达201，侧后两个雷达202以及前视单目摄像头203。

2.分析和决策部分由车载域控制器模块5完成、采用英伟达的TX2芯片架构。

3.执行部分则是大视场角，大投影距离的HUD模块。它负责最后把图像清晰地投影在驾驶员的正前方。

感知模块的工作方式：

1.在车头前方采用77G FCW雷达，单目前视摄像头203作为辅助，感知前方物体的反射面积、信噪比、距离、方位角和速度。

2.前视单目摄像头203检测车子行进前方的车道线状况，感知车辆在车道的位置，感知车道虚线、实线、黄线、白线状态。

3.在车的两个后侧方各安装两个24G BSD雷达，感知侧扣方即旁边车道的来车的距离、角度和速度。

4. 导航模块3能精确定位到车辆所在车道。同时提供道路的限速、延伸方向信息、周边设施、实时路况等信息。

5.V2X通讯模块4与周围同样装有V2X通讯模块4的汽车、道路设施信号等进行通讯，感知一定距离内的车外状况。

6.更进一步的，可以增加车内摄像头单元7，可以感知驾驶员脸部和眼部信息，为疲劳驾驶报警和眼球位置判读提供输入信息。进而为HUD的投影位置调整作为指示。

分析、决策模块的工作方式：

1. BSD雷达可以自带信息处理功能，通过雷达信号可以准确地判断侧后方来车，输出BSD信息给HUD系统显示。也可以通过车载域控制器系统统一处理。

2. FCW雷达同样可以自带信息处理功能，通过雷达信号可以判读与前车是否有碰撞的危险。这些信号，结合单目前视摄像头的信息，通过车载域控制器的数据融合处理，能够更加准确地对前碰危险作出警示。

3. 单目前视摄像头203的图像信息传递给车载域控制器5，车载域控制器5对于图像中的车道线、虚实线、黄白线进行图像预处理、特征简化、建模及分析，得出正确的车道线判断。随后根据这个判断，输出虚拟的警示或者报警车道线图像，并在正确的位置叠加到真实的世界中。这个虚拟的图像可以为LKA提供辅助，并为LDW提供报警信息。

4. 导航模块3能精确定位到车辆所在车道。同时提供道路的延伸方向信息。车载域控制器4通过与车身的速度，转向角度等信息进行融合处理，可以在真实的车道上，根据道路弯曲情况，通过平滑的引导算法叠加上相应弧度的带箭头的导航指引线图像。如果需要变道，则指引线可以指引到需要变换的车道线上。

5. 导航模块3提供了车辆周边设施的信息，车载域控制器5结合车速，车辆角度信息，把POI（兴趣点位置）信息叠加到真实的设施方位上，并随着车辆的行进，不断变化POI与车辆的相对位置。

6.由于这些信息的输入格式各不相同，同时也存在比较大的延时，车载域控制器5的一个重要功能就是对这些信息进行时间序列重整，并融合处理。

执行模块的工作方式：

1. 为满足虚像能够覆盖三车道的要求，AR-HUD投影整机模块6的视场角FOV大于10°x5°，投影虚像距离定在7.5米以上。

2.采用用DLP成像单元替代W-HUD所采用的TFT成像单元，可以获得更高的亮度，对比度和分辨率以及更低的功耗。DLP发出的是自然光，同时也解决了TFT偏振光的可视方向问题。

3.更进一步的车内配置可以感知驾驶员脸部和眼部信息的摄像头。AR-HUD投影整机模块6的成像眼盒（Eye Box）位置可以根据摄像头提取到的眼球位置自动调整到相同的位置。解决了W-HUD上，驾驶员必须通过按钮手动调整眼盒位置。

4. 风档采用PVB膜的夹层风档玻璃1，PVB膜带有楔形角，夹在两层风档玻璃之间，能够消除HUD 在玻璃的两个反射面反射形成的重影。

Claims (7)

1.一种增强现实车载抬头显示系统，包括安装在汽车车身上的前风档玻璃，其特征在于：还包括有安装在汽车车身上的高级驾驶辅助系统模块、导航模块、V2X通讯模块、车载域控制器模块和AR-HUD投影整机模块，所述的高级驾驶辅助系统模块包括前碰雷达单元、侧后方雷达单元和前视摄像头单元，所述的前碰雷达单元设置在汽车车身的前端，所述的侧后方雷达单元设置在汽车车身的后部，所述的前视摄像头单元设置在汽车车内正前方，所述的AR-HUD投影整机模块设置在所述的前风档玻璃的下侧，所述的高级驾驶辅助系统模块和所述的V2X通讯模块各自通过网络与所述的车载域控制器模块连接通讯，车载域控制器模块通过控制线和视频信号输出线与AR-HUD投影整机模块连接，利用高级驾驶辅助系统模块和V2X通讯模块采集车辆周围环境信息，将采集到的数据经网络传入车载域控制器模块，利用所述的导航模块获取地图数据和导航线路数据，并将地图数据和导航线路数据经网络传入车载域控制器模块，利用车载域控制器模块采集汽车车身速度和转向角信息，利用车载域控制器模块将车辆周围环境信息、地图数据和导航线路数据、汽车车身速度和转向角信息进行时间序列重整和数据融合处理并消除延时，实时生成与真实环境贴合的提示或者报警图像，利用AR-HUD投影整机模块将所述的提示或者报警图像投射在前风档玻璃上。

2.如权利要求1所述的增强现实车载抬头显示系统，其特征在于：AR-HUD投影整机模块的投影距离在7.5米以上，视场角在水平方向上大于10°，在垂直水平面的方向上大于5°。

3.如权利要求1所述的增强现实车载抬头显示系统，其特征在于：所述的导航模块包括GPS及高精度地图模块。

4.如权利要求1所述的增强现实车载抬头显示系统，其特征在于：还包括车内摄像头单元，所述的车内摄像头单元安装在汽车驾驶舱内，车内摄像头单元通过网络与车载域控制器模块连接通讯，利用车内摄像头单元实时检测汽车驾驶员眼球在整车座标下的位置，利用AR-HUD投影整机模块将投影图像对应的眼盒位置调整到真实的眼球位置。

5.如权利要求1所述的增强现实车载抬头显示系统，其特征在于：所述的网络是汽车控制器局域网总线（CAN）或者以太网络。

6.如权利要求1所述的增强现实车载抬头显示系统，其特征在于：所述的前风档玻璃包括前后两层玻璃板，所述的两层玻璃板之间设置有楔形PVB膜。

7.如权利要求1所述的增强现实车载抬头显示系统，其特征在于：所述的前视摄像头单元采用单目摄像头。