CN107554425B - 一种增强现实车载平视显示器ar-hud - Google Patents

Abstract

本发明公开了一种增强现实车载平视显示器AR‑HUD，涉及汽车电子领域，涉及汽车CAN通信、增强现实、光学显示等相结合的技术，属于汽车电子领域。该AR‑HUD包括ADAS模块(1)、中控台调节输入模块(3)、图像控制器(4)、导航模块(5)和光学显示模块(7)。本发明在路况识别和导航方面，采用专门的ADAS和导航模块实现，一方面保证了识别和导航的准确性和稳定性，同时大大降低了成本，并且对中央控制器来说，降低了工作量，从而保证了运行速度和实时性；在虚实贴合方面，采用了按钮调节的办法，从而满足不同身高驾驶者的要求，同时降低了成本。

Description

一种增强现实车载平视显示器AR-HUD

所属技术领域

本发明提出一种增强现实车载平视显示器AR-HUD，涉及汽车电子领域，涉及汽车CAN通信、增强现实、光学显示等相结合的技术，属于汽车电子领域。

背景技术

平视显示器(HUD)最早应用在军用飞机上，其作用是降低飞行员需要低头查看仪表的频率，从而避免注意力中断以及丧失对状态意识的掌握。后来为了相同的目的，HUD技术应用于汽车上，从而希望能够避免因为减少低头看中控台显示而引起交通事故的发生。目前车载HUD的显示内容主要包括导航、车速、转速等相关信息，通过这些信息可以对驾驶者提供有效的行车参考，提高了了行车安全性；但是在显示方式上目前基本都采用虚拟信息与实际路况信息相互割裂的显示方式，显示效果差，无法实现提示信息对实际路况的准确定位，这就很容易导致因为路况信息复杂而出现导航错误的情况。

同时随着对行车安全的关注，为了减少由于驾驶车道偏移等引起事故，所以车辆周围信息以及车道偏移信息也需要引起驾驶者的注意，所以针对这些情况，能够实现实际路况和显示信息匹配的HUD应用而生。

AR(Augmented Reality)技术，即增强现实技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

随着自动驾驶技术的发展和人们对汽车安全性能的关注，FCW、ACC、LDW等技术逐步运用在汽车上面，同时HUD也逐步在汽车中推广使用。虽然目前的HUD在避免分散驾驶者注意力方面取得了明显效果，但是由于路况的复杂性以及自动驾驶的高要求，这就需要HUD进行进一步的技术改进，满足精细定位和自动驾驶的要求。

AR-HUD实现方式采用虚拟提示信息和实际路况的无缝贴合，从而保证驾驶者能够清晰直观的对道路、障碍物、方向和车道线进行观测预判，从而在很大程度上避免了危险的发生和导航错误。但是目前采用增强现实技术实现的方案比较少，而且实际成本高，结构复杂，实时性、准确性和稳定性较差，从而不能得到有效推广。

现有技术方案中，专利号201210411976.9一种现实增强型的驾驶辅助预警系统实现了部分AR-HUD的功能，该发明包括车载摄像头单元、中央处理器单元和抬头显示单元三部分。车载摄像头单元包括一个用于拍摄前方道路的前视摄像头和两个拍摄驾驶员头部信息的面部摄像头；中央处理器单元用于对车载三路摄像头单元拍摄的视频信息进行处理识别并对图像中位置进行识别；抬头显示单元用于接收中央处理器处理后的视频信号进行显示。该发明中具有以下不足：1.具体部件包括三个摄像头、两路处理芯片、三个控制按钮、光敏传感器等，结构复杂，成本很高。2.处理芯片需要对三路摄像头同时进行图像识别处理运算并进行实际位置匹配，运算量庞大且实现起来困难。尤其在识别部分，实时性和准确性很难满足。3.功能方面，采用摄像头进行识别只能满足部分功能，无法实现导航功能。

专利号201620786438.1一种增强现实车载平视显示器AR-HUD成本高，结构复杂，并且实现有很大难度。该发明包括资料处理单元、近距离影像显示单元、摄像头组件、传感器组件、增强现实控制器以及远距离影像显示单元。资料处理单元用于收集车身信息并根据选择模式转换成需要显示的文字图片等，近距离影像显示单元用于显示车身相关信息，摄像头组件由多个摄像头组成，用于获取汽车前方实际路况，传感器组件用于获取车身的运动速度、静止距离和所处角度等信息，增强现实控制器用于对摄像头图像进行识别处理、进行实际位置汽配和绘制图形显示，远距离影响显示单元用于显示虚拟信息到实际路况上。该发明具有以下不足：1.具体部件包括多个摄像头(至少三个)，多个显示屏(至少两个)、控制器、报警装置等，结构复杂，成本很高。2.采用一个处理芯片同时接收多路摄像头信息并进行图像识别和实际位置匹配，运算量庞大且实现困难。尤其在识别部分，实时性和准确性很难满足。

发明内容

本发明的目的是：针对目前ARHUD实现起来结构复杂、成本高以及实现困难的问题，提出一种新的增强现实车载平视显示器AR-HUD，其通过采用运行稳定的ADAS、导航模块，灵活方便的虚实贴合办法和大视场角光学显示技术，实现虚实融合，从而为汽车驾驶员提供精准的驾驶参考，提高了行车安全性。

本发明的技术方案：如上图1所示，一种增强现实车载平视显示器AR-HUD，包括ADAS模块(1)、中控台调节输入模块(3)、图像控制器(4)、导航模块(5)和光学显示模块(7)。其中ADAS模块(1)用于采集、识别道路上的车道线、障碍物(车辆和行人)并经过数据处理后将有效信息传给图像控制器(4)；中控台调节输入模块(3)采用按钮方式实现，用于通过图像控制器(4)调节光学显示模块(7)显示高度，并记录俯视角参数给图像控制器(4)；导航模块(5)用于GPS定位和规划导航线路，并将导航线路发送给图像控制器(4)，图像控制器(4)为装置核心，主要用于接收ADAS模块(1)、导航模块(5)和中控台调节输入模块(3)的信息并根据预先标定好的转换参数采用OpenGL插件进行绘制图形并将绘制的图像发送给光学显示模块(7)。光学显示模块(7)用于接收图像信息并显示在风挡玻璃上(6)，同时接受图像控制器(4)的电机信号进行高度调节。

本发明的有益效果：

1.该专利具体模块包括ADAS模块、导航模块、图像处理器模块和光学显示模块，结构简单，成本低，功能多；

2.针对导航方面，采用与道路贴合方式实现，相比传统导航遇到复杂路况，可以清楚无误选择行走线路，同时导航模块为独立运算模块，实时性和准确性高；

3.图像识别和运算工作均由独立的ADAS模块和导航模块完成，很大程度上减少了图像控制器的工作量，从而使实时性和准确性得以保证。

4.虚实贴合方面，摒弃采用两路摄像头进行人脸识别自动调节的办法，采用按钮手动调节的方法，从而满足不同身高驾驶者的显示需求，降低了成本；同时由于不用进行图像识别，从而不受电气、光线、识别距离、带墨镜等影响，提高了工作稳定性。

附图说明

图1是本发明提出的增强现实车载平视显示器AR-HUD的硬件结构示意图

图中：1-ADAS模块 2-风挡玻璃显示区域 3-中控台调节输入模块

4-图像控制器 5-导航模块 6—显示虚拟图像 7—光学显示模块

图2是本发明提出的用于描述工作原理的增强现实车载平视显示器AR-HUD的结构组成图

图3是实施例中AR-HUD实际工作流程图

图4是实施例中障碍物标记显示效果示意图

图5是实施例中车道线偏移告警显示效果示意图

图6是实施例中导航显示效果示意图

具体实施方式

本发明提供了一种成本低，工作稳定，实现简单的AR-HUD实现方案，它通过ADAS模块和导航模块实现对导航信息、车道偏移告警信息、碰撞避免提示信息及行人保护提示信息的实时采集并通过算法处理和绘制图形，利用光学显示单元使绘制的虚拟信息可以和实际路况的相应元素(如导航虚拟信息对应路面、车道偏移告警信息对应道路线)进行“无缝”覆盖，从而保证提示信息直观、准确的被驾驶者理解，是驾驶者可以更加快速的对有效信息进行理解并作出相应的动作，增强了驾驶安全性和避免走错路的困境。

一.系统组成

如图1所示，本实施例中一种增强现实车载平视显示器AR-HUD，包括ADAS模块、中控台调节输入模块、图像控制器、导航模块和光学显示模块。

1.ADAS模块

ADAS模块固定于中后视镜处(见图1)，它集成了摄像头单元和图像识别处理单元，摄像头单元个数一般为一个或两个，用于摄录汽车运行时的路况信息，图像识别处理单元用于将摄像头单元摄录到的路况信息进行识别，找出其中的道路线、周围车辆、周围行人、交通标识等信息，并将这些信息分析处理后获得的参数(包括行人数量、行人距离汽车位置、距离道路线横向距离、与前车距离等)通过CAN信号输出给图像控制器(见图2)。例如针对碰撞避免提示功能，摄像头单元会一直处于摄录工作中，而图像识别处理单元也一直处于接收分析摄像头摄录的实时视频中，当某一时刻分析到摄录视频中含有车辆或行人时，该单元就会对车辆和行人进行跟踪锁定和分析计算，从而得到目标车辆或行人与该ADAS模块的相对位置(如距离，方向，大小等)，并将相对位置的相关参数通过CAN协议的方式输出到图像处理器中；例如车道偏移告警信息提示功能，模块一直处于检测识别道路线的工作中，当汽车速度大于60km/h并且检测到ADAS模块与旁边道路线的横向距离小于驾驶者事先设定的阈值时，模块就会通过CAN协议方式输出告警信息和横向距离值给图像控制器；

在实车使用前，需要对ADAS模块输出的图像按照预先设定好的图像拍摄要求进行初始化摄像头标定设置，获得ADAS位置(x,y.z)和驾驶员人眼位置(a,b,c)的相对关系,即(a,b,c)＝R(x,y,z),R为齐次转换矩阵，用于包含所有的转换参数值。该矩阵在进行图像融合绘制时确保驾驶者看到的实际路况和ADAS摄像头摄录的场景具有方位上的一致性。

此实施例中ADAS模块采用Mobileye公司生产的mobileye5模块，用于实现对路标信息、车道偏移告警信息、交通标示提示信息、碰撞避免提示信息及行人保护提示信息的监测，并以CAN数据方式发送给图像控制器相关结果信息。

CAN数据结果包括ADAS模块坐标矢量、行人距离、标线位置方向等信息，从而保证图像控制器能够根据这些数据绘制出以ADAS为标准点的结果图形。

2.导航模块

导航模块位于中控台内(见图1)，它主要由GPS单元、电子地图单元和导航处理单元构成，用于定位汽车当前位置并根据驾驶者需求采用CAN通信方式输出相关导航信息(如前方100米左转，直行2公里等)给图像处理器(见图2)；

在实际工作中，导航模块接收到驾驶者通过车机输入的目标地址之后，首先通过GPS单元定位当前的经纬度，然后通过电子地图和导航处理模块规划出最优的行车路线。随着汽车的行进，不断更新GPS信号信息，并将导航处理单元处理后的信息通过CAN协议方式发送给图像控制器，保证图像控制器可以根据这些协议信息画出相一致的导航图形；

本方案中，导航模块采用飞思卡尔公司的imx6Quad芯片作为硬件平台，该芯片内核为ARM Cortex-A9双核结构，频率为1GHz；在存储方面，含有1GB DDR3 SDRAM、8GB eMMCflash和4 MB SPI NOR flash,完全能满足处理要求；同时针对电子地图的存储方面，芯片外接有USB2.0和SDID接口，可以根据需求进行大容量的数据存储；导航模块精度<10m。

3.中控器调节输入

中控台调节输入模块安置于方向盘的前方，风挡玻璃的下方，通过小孔洞与下面的图像处理模块进行连接(见图1)，它的表现方式为实体按钮。它用于调节AR-HUD的成像显示高度，由于驾驶者的身高和坐姿多种多样，所以对于同一位置的图像观察效果均不一样。为了满足不同的人群均可用看清图像，故采取可以调节高度功能；调节输入单元采用实体按键构成，按住按键后，按键输出数字信号给图像处理模块控制电机单元调节显示高度(见图2)；

同时，该模块调节的高度值具有图像倾斜处理的作用。在实车使用前，需要对高度值h和驾驶员俯视角θ进行初始化标定计算，获得θ＝f(h)关系表达式。驾驶者根据自身的身高和驾驶习惯对按钮进行调节，找到一个满足自身观察HUD显示要求的显示高度。同时该显示高度值会被图像控制器记录并转换成俯视角θ参与后续图像矫正运算。

4.图像控制器

图像处理模块是该系统的控制中心，安置于车辆的中控台内(见图1)，它主要功能包括：1.接收ADAS模块输入的CAN信息；2.接收导航模块输入的CAN信息；3.根据两路输入的CAN信息进行图像绘制(如导航左转图标、障碍物标记图标等)；4.根据调节输入模块的高度信息对绘制后的图像进行倾斜处理；5.根据调节输入模块的高度信息控制光学显示模块的电机旋转；6.将绘制并处理后的图像通过LVDS信号输出给显示模块的TFT显示屏(见图2)；

对于作用3的图形绘制功能，ADAS模块由于位置和驾驶员人眼不在同一位置，在进行图形绘制时根据预先标定的R齐次矩阵对绘出的图形进行图形位置和大小的转换，然后再得出最后的正确图形；导航模块不涉及摄像头，直接根据导航信息进行图像绘制即可，不需要图像转换。绘制图像采用常用的OpenGL插件进行图形绘制和图形转换。

对于作用4的倾斜处理功能，俯视角不同，则对同一物体的观测效果是不同的。为了保证驾驶者可以通过AR-HUD看到虚实完美的贴合，就需要对绘制的图像进行倾斜处理，倾斜处理的输入参数来自与调节输入模块的f值，算法采用通用的摄像头标定算法。

实际工作流程图见图3所示，如上图所示分别为开车流程和AR-HUD工作流程。驾驶员启动汽车后，ARHUD自动上电启动，并开始调节显示角度。自动调节完成后，驾驶员查看角度是否满足自己要求，如果满足，该角度值将会写入AR-HUD中，用于对AR图像的处理；如果驾驶员不满意，则可以根据自己要求进行微调，直到调整到满意角度。

本方案中，图像控制器采用瑞萨公司的r-car e2x4芯片作为硬件平台，该芯片内核采用ARM cortex-A7双核结构，L1数据缓存32KB,L2缓存为512KB；显示方面，具有GPU和多种显示接口如LVDS，RGB等，支持最大分辨率为1080P高清图像，同时具有对屏幕显示的背光亮度、饱和度和对比度控制功能，完全满足图像显示需求；在存储上面，具有USB2.0和SDIO接口，可以扩展大量存储空间；在环境适应性方面，该芯片为车规级芯片，完全满足高低温、振动、盐雾等方面的车规标准。软件方面，采用实时性较高的linux系统作为工作平台，从而保证相关提示告警信息显示的及时性；

5.光学显示模块

光学显示模块安置于方向盘的前方，风挡玻璃的下方(见图1)。用于显示虚拟图像到风挡玻璃上，包含TFT液晶显示屏、光学组件和电机单元；TFT显示屏用于接收图像处理模块的图像信号并进行显示，光学组件用于接收TFT显示屏的可见光信号并通过光学组件进行反射、放大等处理后投射到风挡玻璃上；电机单元用于调节虚拟图像的显示高度，从而满足不同驾驶者的需求(见图2)。

该方案中，TFT显示屏采用京瓷公司生产的高清TFT屏，分辨率为800*480，大小为2.6英寸；光学机械模块由一系列透镜和一个电机组成，通过调节电机转动从而调节AR-HUD的显示角度，从而满足不同身高，坐姿的驾驶员都可以清晰的看到AR-HUD上面的图像信息,同时通过调节后的电机状态参数可以清楚了解驾驶员的人眼俯视角度，故电机状态参数会传输到图像控制器中，用来调节图像处理(Warping)。挡风玻璃显示区域位置驾驶员正前方，它是由一些特殊光学结构组成，从而能够显示相关的图像信息。该方案中，电机单元采用深圳顺昌电机公司生产的FF-130直流电机，该电机工作电压为3-12V，转数为5000～20000RPM，具有变速范围大，扭力大的优点。光学组件由2个不同规则镜片组成，实现FOV为10度，投射效果为7m距离呈现1.5M*0.7M效果。

二.显示效果

在实际驾驶过程中，当汽车与前方车辆或行人(障碍物)过近，图像处理器会利用抬头显示器在风挡玻璃上投影红色方框对障碍物进行标注，并配有相应的报警提示(见图4)。

在实际驾驶过程中，当汽车速度大于60km/h并且偏离车道线超过相应预警的阈值后，图像处理器会利用抬头显示器在风挡玻璃上投影红色线条对被预警车道线进行覆盖标注，并配有相应的报警提示(见图5)。

在实际驾驶过程中，当驾驶员设定导航以后，图像处理器会利用抬头显示器在风挡玻璃上投影相应的导航标志与实际道路进行贴合(见图6)。

Claims (3)

1.一种增强现实车载平视显示器AR-HUD，其特征在于，包括ADAS模块(1)、中控台调节输入模块(3)、图像控制器(4)、导航模块(5)和光学显示模块(7)；

所述ADAS模块(1)用于采集、识别道路上的车道线、障碍物并经过数据处理后将有效信息传给图像控制器(4)；对ADAS模块输出的图像按照预先设定好的图像拍摄要求进行初始化摄像头标定设置，获得ADAS位置(x,y, z)和驾驶员人眼位置(a,b,c)的相对关系,即(a,b,c)＝R(x,y,z),R为齐次转换矩阵，用于包含所有的转换参数值，矩阵R在进行图像融合绘制时确保驾驶者看到的实际路况和ADAS摄像头摄录的场景具有方位上的一致性；

所述中控台调节输入模块(3)采用按钮方式实现，用于通过图像控制器(4)调节光学显示模块(7)显示高度h，并记录俯视角参数给图像控制器(4)；在实车使用前，对虚拟图像高度值h和驾驶员俯视角θ进行初始化标定计算，获得θ＝f(h)关系表达式；驾驶者根据自身的身高和驾驶习惯对按钮进行调节，找到一个满足自身观察HUD显示要求的显示高度；同时该显示高度值会被图像控制器记录并转换成俯视角θ参与后续图像矫正运算；

导航模块(5)用于GPS定位和规划导航线路，并将导航线路发送给图像控制器(4)，图像控制器(4)为装置核心，主要用于接收ADAS模块(1)、导航模块(5)和中控台调节输入模块(3)的信息并根据预先标定好的转换参数采用OpenGL插件进行绘制图形并将绘制的图像发送给光学显示模块(7)；光学显示模块(7)用于接收图像信息并显示在风挡玻璃上(6)，同时接受图像控制器(4)的电机信号进行虚拟图像的显示高度调节。

2.一种如权利要求1所述的增强现实车载平视显示器AR-HUD，其特征在于，所述导航模块(5)由GPS单元、电子地图单元和导航处理单元构成。

3.一种如权利要求1所述的增强现实车载平视显示器AR-HUD，其特征在于，所述图像控制器(4)具体为接收ADAS模块(1)输入的CAN信息，接收导航模块(5)输入的CAN信息，根据两路输入的CAN信息进行图像绘制，根据中控台调节输入模块(3)的高度信息对绘制后的图像进行倾斜处理，根据中控台调节输入模块(3)的高度信息控制光学显示模块(7)的电机旋转，并将绘制并处理后的图像输出给光学显示模块(7)。