CN116482865B - 一种基于Micro-LED的抬头显示装置、车载系统及车辆 - Google Patents

Abstract

本发明公开了一种基于Micro‑LED的抬头显示装置、车载系统及车辆，该抬头显示装置包括体全息光学元件、透光玻璃、反射镜组及Micro‑LED图像显示单元，其中，体全息光学元件包括多层反射式体布拉格光栅，多层反射式体布拉格光栅由光敏热折变玻璃制成，用于对Micro‑LED图像显示单元产生的不同波长的光进行反射并允许来自透光玻璃的外部光线透射，使得不同波长对应的投射图像的虚像聚焦到透光玻璃外的不同深度处，反射镜组用于将Micro‑LED图像显示单元生成的图像投射至体全息光学元件上。实现了不同深度虚拟图像信息的展示，提升HUD使用体验和舒适度，实现简单成本低。

Description

一种基于Micro-LED的抬头显示装置、车载系统及车辆

技术领域

本发明涉及增强现实领域，尤其是涉及到一种基于Micro-LED的抬头显示装置、车载系统及车辆。

背景技术

平视显示器(Head Up Display)，以下简称HUD，是运用在航空器上的飞行辅助仪器。平视的意思是指飞行员不需要低头就能够看到他需要的重要资讯。平视显示器最早出现在军用飞机上，降低飞行员需要低头查看仪表的频率，避免注意力中断以及丧失对状态意识的掌握。因为HUD的方便性以及能够提高飞行安全，民航机也纷纷跟进安装。

人们逐渐将HUD技术运用在客车、汽车上，尤其是在汽车驾驶过程中，也是为了解决人们因需要低头观看或者手动触摸操作产生交通安全隐患的问题，目前传统的HUD主要显示车速、油量等汽车仪表信息，为了不干扰路况，成像距离日常工作位置5米左右。近年来兴起的增强现实AR-HUD将数字图像叠加在车外真实环境上，使得驾驶员获得增强现实的视觉效果，可用于AR导航、自适应巡航、车道偏离预警等。为了使AR图像与路面信息更好的融合，由于AR-HUD的成像需要配合车位环境进行显示，需要有一定的景深效果，由于AR-HUD与传统HUD成像距离并不一致，为了同时显示车速等仪表信息和AR图像，则需产生两个焦面的图像。目前主流的方案是双屏显示采用两套图像生成模块（picture generation unit，PGU），分别生成AR图像和仪表信息，或者通过数字信号处理通过移动OpenGL ES技术合成三维图像投影到HUD屏上与现实进行叠加，采用两套PGU来实现双屏显示，增加了HUD装置中图像投射装置的体积和成本，而采用软件合成、其它分区域显示、利用视觉暂留数字信号分时显示等的方式逼真度、体验感较差。

发明内容

有鉴于此，本发明提供了一种基于Micro-LED的抬头显示装置，解决HUD显示不同深度虚拟投影实现难度大、成本高、逼真度低、体验感差的技术问题。

根据本发明的第一方面，提供了一种基于Micro-LED的抬头显示装置，包括体全息光学元件、透光玻璃、反射镜组及Micro-LED图像显示单元，其中，体全息光学元件包括多层反射式体布拉格光栅，多层反射式体布拉格光栅由光敏热折变玻璃制成，用于对Micro-LED图像显示单元产生的不同波长的光进行反射并允许来自透光玻璃的外部光线透射，使得不同波长对应的投射图像的虚像聚焦到透光玻璃外的不同深度处，反射镜组用于将Micro-LED图像显示单元生成的图像投射至体全息光学元件上。

根据本发明的第二方面，提供了一种车载系统，包括上述的基于Micro-LED的抬头显示装置。

根据本发明的第三方面，提供了一种车辆，包括上述的基于Micro-LED的抬头显示装置。

借由上述技术方案，本发明提供的一种基于Micro-LED的抬头显示装置、车载系统及车辆，该抬头显示装置包括体全息光学元件、透光玻璃、反射镜组及Micro-LED图像显示单元，其中，体全息光学元件包括多层反射式体布拉格光栅，多层反射式体布拉格光栅由光敏热折变玻璃制成，用于对Micro-LED图像显示单元产生的不同波长的光进行反射并允许来自透光玻璃的外部光线透射，使得不同波长对应的投射图像的虚像聚焦到透光玻璃外的不同深度处，反射镜组用于将Micro-LED图像显示单元生成的图像投射至体全息光学元件上，实现了不同深度虚拟图像信息的展示，提升HUD使用体验和舒适度，实现简单成本低。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了本发明实施例中提供的一种基于Micro-LED的抬头显示装置的应用场景示意图；

图2示出了本发明实施例中提供的一种基于Micro-LED的抬头显示装置的结构示意图；

图3示出了本发明实施例中提供的一种基于Micro-LED的抬头显示装置成像坐标系的示意图；

图4示出了本发明实施例中提供的车道识别及虚实融合的方法流程图；

图5示出了本发明实施例中提供的车道识别及虚实融合的应用场景示意图；

图6示出了本发明实施例中提供的多目标识别及虚实融合的方法流程图；

图7示出了本发明实施例中提供的多目标识别及虚实融合的应用场景示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的具体实施方式。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

如图1所示，为本发明实施例提供的车辆AR-HUD的应用场景图，其中，挡风玻璃包括体全息光学元件（Volume Holographic Optical Elements, VHOE）和透光玻璃，反射镜组及图像生成模块，其中，体全息光学元件包括多层反射式体布拉格光栅，多层反射式体布拉格光栅由光敏热折变玻璃制成（图1中示出来三层的HOE膜结构，分别对红、绿、蓝三种波长的光进行反射）。

体全息光学元件VHOE用于对图像生成模块产生的不同波长的光进行反射并允许来自透光玻璃的外部光线透射，使得不同波长对应的投射图像的虚像聚焦到透光玻璃外的不同深度处，体全息光学元件是一种高效的光学元件，可实现大面积、高分辨率的全息图像显示，具有较高的衍射效率、良好的波长和角度选择性。在该系统中，体全息光学元件的应用使得图像质量、视场宽度和视觉舒适度得到显著提升。

图像生成模块作为本发明实施例中的关键部件可以为MEMS、LCOS或Micro-LED等，由于Micro-LED硅基LED微显示屏通过将无机发光材料集成在硅基上实现自发光显示，显示亮度和对比度都比现有的TFT LCD、DLP、LCOS、OLED显示的要高，而且功耗更低，通过使用硅基LED微显示屏作为显示源可实现增强现实抬头显示器的轻量化，同时整体降低功耗、提升整体显示的亮度和对比度，而更高的亮度和对比度有利于实现更好的增强现实，因此本发明实施例中以Micro-LED作为图像生成单元PGU的主要实现方式，MicroLED显示面板可在的宽温度范围内工作，MicroLED显示器中没有微型机电系统，使其能够抵抗振动和反冲，且为自发光，非背光源，可提供尽可能高的对比度（>10000:1）和动态范围，而这些是HUD应用过程中的重要技术要求；

反射镜组用于将图像生成模块生成的图像投射至所述体全息光学元件上，反射镜组包括平面反射镜M1和曲面反射镜M2，平面反射镜M1和曲面反射镜M2位于体全息光学元件与图像生成模块之间。

为了使AR图像与路面信息更好的融合，AR-HUD的成像距离实现三种距离深度的显示，车速等仪表信息通过红色波长光显示在深度2至3米处，车道标记、交通指示信息、行人标记、告警标记等通过绿色波长光显示在6至15米范围，导航目的地标记、高速远端路口信息等，本发明实施例中的三个焦平面（S1屏、S2屏、S3屏）互不干扰，显示不同信息，提升了驾驶的舒适性，同时通过一个PGU生成三种波长的图像信息，并通过多层膜结构的HOE对不同波长的光产生反射，可降低设备的体积，降低制造成本。本发明实施例中HOE多层膜结构的制备过程中，每层膜的制备通过光热折变玻璃进行光照实现，其中，光热折变玻璃是一种硅酸盐玻璃，主要成分为SiO2-Na2O-Al2O3-ZnO，掺杂Ag、Ce等。通过对光热敏折变玻璃进行紫外全息曝光和随后的热处理工艺，可以使光热敏折变玻璃内部形成周期性的折射率调制即在紫外曝光部分形成折射率永久性改变，从而完成体全息布拉格光栅的记录。

下面为更加清楚的介绍本发明实施例提供的一种基于Micro-LED的抬头显示装置的结构及原理，下面结合具体的事实进行介绍，如下：

实施例一

本发明实施例一提供了一种基于Micro-LED的抬头显示装置，包括体全息光学元件、透光玻璃、反射镜组及Micro-LED图像显示单元，其中，体全息光学元件包括多层反射式体布拉格光栅，多层反射式体布拉格光栅由光敏热折变玻璃制成，用于对Micro-LED图像显示单元产生的不同波长的光进行反射并允许来自透光玻璃的外部光线透射，使得不同波长对应的投射图像的虚像聚焦到透光玻璃外的不同深度处，反射镜组用于将Micro-LED图像显示单元生成的图像投射至体全息光学元件上。

其中，由于采用离轴光路，对图像光路进行反射，反射镜组包括平面反射镜M1和曲面反射镜M2，平面反射镜M1和曲面反射镜M2位于体全息光学元件与Micro-LED图像显示单元之间。为了减小体积，将体全息光学元件集成于挡风玻璃之上即体全息光学元件贴附于透光玻璃上，可选地，可以将体全息光学元件作为独立的实体屏幕设置于车内挡风玻璃之前。

本实施例提供的一种基于Micro-LED的抬头显示装置，该抬头显示装置包括体全息光学元件、透光玻璃、反射镜组及Micro-LED图像显示单元，其中，体全息光学元件包括多层反射式体布拉格光栅，多层反射式体布拉格光栅由光敏热折变玻璃制成，用于对Micro-LED图像显示单元产生的不同波长的光进行反射并允许来自透光玻璃的外部光线透射，使得不同波长对应的投射图像的虚像聚焦到透光玻璃外的不同深度处，反射镜组用于将Micro-LED图像显示单元生成的图像投射至体全息光学元件上，实现了不同深度虚拟图像信息的展示，提升HUD使用体验和舒适度，实现简单成本低。

实施例二

Micro-LED设置为三个不同的颜色的发光区域，对应红绿蓝三种不同颜色的标记，以显示不同深度的投影图像，相应地，多层反射式体布拉格光栅为三层反射式体布拉格光栅，分别对红、绿、蓝三种颜色波长的光进行反射，以使得红、绿、蓝对应的不同投射图像的虚像聚焦到透光玻璃外的三个不同深度处。

Micro-LED图像显示单元发出的R、G和B三束光先进行合光，再经过物镜扩束和凸透镜准直，再通过滤光片之后，照射到反射镜组上。

实施例二中利用空间光调制器（SLM）即多层反射式体布拉格光栅调制三种不同波长的光波，通过全息光栅的衍射实现多平面的增强现实显示。将Micro-LED三个不同区域的发出的R、G和B三束光束先进行合光，再经过物镜扩束和凸透镜准直之后，照射到三层反射式体布拉格光栅上，对三原色光进行不同的反射，使得虚像平面位于不同深度的位置。

实施例二通过三原色的高区分度，将三原色投影至不同深度的平面，实现不同HUD虚拟标记的显示，由于RGB波长区分明显，降低了对三层反射式体布拉格光栅的精度要求，进一步降低了制造成本。

实施例三

在实施例一或二提供的一种基于Micro-LED的抬头显示装置硬件结构的基础上增加软件功能，实现虚实融合才能达到增强现实的目的，如图2所示，在实施例一或实施例二的基础上该装置还可以包括控制器、双目摄像头、环境摄像头。

其中，双目摄像头设于方向盘附近用于对驾驶用户的正面图像信息进行处理得到瞳孔位置；车载的环境摄像头用于采集外部环境图像信息，主要为前方路面、路况的相关信息；控制器作为软件控制侧最重要的模块，用于调整环境摄像头的内参矩阵、畸变系数以及外参矩阵，以完成相机标定；对图像进行预处理，对道路真实目标进行识别，并获取真实目标在车辆坐标系下的坐标并生成对应的虚拟标记；生成车辆坐标系与所述透光玻璃外的不同深度处焦平面上虚拟坐标系的对应关系，这种对应关系实际属于一种映射关系，真实目标在车辆坐标系下的坐标要映射到二维HUD投影的像平面上，实现人的视角看过去虚拟标记在焦平面的位置要与真实位置重合，并针对真实物体的不同距离控制显示在不同的焦平面，实现不同深度显示，提升用户体验，例如对应图2所示，车辆坐标系上距离车辆100米以内的物体对应的虚拟标记显示在焦平面S3，100-200米范围内物体对应的虚拟标记显示在焦平面S2，200米之外物体对应的虚拟标记显示在的焦平面S1，实现所述道路真实目标的虚实注册，以控制Micro-LED图像显示单元将投影的虚拟标记与道路真实目标进行匹配、对准、提示。

其中，双目摄像头、环境摄像头、控制器三个部件控制处理的具体实现如下：

如图3所示为结合不同坐标系的应用场景图，CE1、CE2为双目摄像头对应的坐标系为摄像机坐标系为XcYcZc（用于定位人眼的位置），真实世界的坐标系为车辆坐标系（世界坐标系XvYvZv），车辆坐标系以地平面为XY平面，垂直于地面朝上为Z轴，车体前方边缘中心点为原点O，虚拟坐标系为XwYwZw（焦平面坐标系）。

1、双目摄像头实现瞳孔位置的跟踪，如图3所示，双目摄像头CE1、CE2对驾驶用户的视线进行跟踪，可识别驾驶员的头部位置和头部运动，并动态调整和补偿视野中的图像，即便驾驶员不断地移动头部和改变视线，也能看到准确、清晰、高分辨率的看到在AR-HUD中叠加显示的图标，瞳孔位置的跟踪现有技术中有多种实现方式，在此不再赘述。

2、车载的环境摄像头采集路面感兴趣区域（Region of Interest，ROI）信息，车载的环境摄像头的相机标定由控制器完成。相对于现有技术中固定范围的ROI提取技术而言，对于车辆前端的范围真正感兴趣的区域是变动的，不是固定的。在车速较高时，可能路况比较良好，ROI就可以选取得比较远，而在车速较低时，有很大概率处于堵车的情况，现有技术中将ROI取远了没有实际意义，浪费计算资源的同时，也容易被前方车辆干扰，产生误检测。本实施例中采用了动态可变的范围方式截取环境摄像头的影像作为ROI进行后续识别处理，ROI以车辆坐标系中的XY平面确定范围，ROI为矩形区域，矩形宽度为W，W为预设值，一般取路段宽度或车体宽度的2-3倍，矩形长度为D，D=D2-D1，其中，近端距离车身距离为D1，远端距离车身距离为D2，D2=D1+kv，其中，k为比例系数，v为车辆瞬时速度或预设时间范围内的平均速度，当速度快时，相当于车辆行驶路段畅通，因此，ROI可以取范围大一点的区域，当速度慢时，相当于车辆行驶路段拥挤或弯道较多，相应地，ROI要取范围小一点的区域，本实施例中的动态可变ROI范围设置方式，有效降低了ROI的识别范围，降低了对车道识别的干扰。可选地，为了将ROI限制于路面区域，选用基于纹理的过二维广义拉普拉斯高斯滤波器（generalized Laplacian of Gaussian filter，gLoG）滤波消失点检测算法对车道线图像建立自适应将车道线图像与18组gLoG模板分别卷积求绝对值再求和，斑点检测算法, 该算法增加了多种旋转对称的高斯核, 可以检测旋转对称的斑点形态，其中，二维拉普拉斯高斯滤波器为如下公式定义：

其中，上述公式为对取偏导，以获得/>的梯度/>，为控制纹理检测方向，/>为/>对x取偏导，/>为/>对y取偏导，定义/>，通过不同斜率的线模拟车道线的纹理方向（也可以采用多种非线性函数对纹理方向进行模拟，例如二次曲线、正余弦函数曲线等），x，y为像素点坐标，a、b、c为自定义常数，滤波器的方向数量可以为预设值，即角度分辨率为10°，a、b、c发生变化时产生的不同大小和方向的 gLoG 滤波器的纹理检测模板，每个图像的求和结果划分为100个网格（网格划分的方式可降低运算量），每个格子最大值代表图像在次网格区域纹理最强烈的点将这些点作为特征点并计算方向，结果最大的一组就代表特征点的纹理方向，然后，对图像中位于特征点 p 上方一定夹角范围内的像素点 v 进行投票。投票之后，结果中值最大的位置即为消失点，感兴趣区域的公式计算为：

其中，、/>和/>分别是消失点、原图和感兴趣图像的坐标，消失点下面区域即为感兴趣区域的高度，由于车道一般存在于拍摄图像的下半部分，而包括天空和地标等都出现在上半部分，由于HUD中需要兼容显示地标等物体，因此，/>基础上可以增加一个可变参数，用于控制ROI长度，将消失点之上的部分区域也作为ROI，通过本实施例中提供的使用消失点选择感兴趣区域，对图像车道线进行约束，可以提高车道线检测的性能。

3、控制器需要完成环境摄像头的相机标定，道路真实目标（行人、车道、交通标识等）识别并对应生成虚拟标记，确定虚拟标记在真实场景中的对应位置，即实现虚拟标记与真实环境的跟踪注册，例如：在现实世界中有一物体M，现通过AR-HUD生成一个虚像点H，H经过一系列的反射后进入人眼，在大脑的处理下，人会认为物象位于H处。通过调整H在源像平面（PGU图像）中的位置，H的位置会随之变动，当满足人眼E、虚像点H、物体M三点共线时，即此时从人眼的位置看过去，AR-HUD生成的虚像H与实际的物体M是重合的，这个过程就是AR-HUD中的虚实注册过程。具体实现原理为控制器需要通过双目摄像头获取人眼位置E，通过环境摄像头获取路面真实物体M的位置，通过人眼位置E、真实物体M的共线来确定虚像点H在特定焦平面的位置，从而控制H在源像平面（PGU图像）中的位置。本实施例中的多个焦平面均需要分别进行虚实注册的工作（实现虚拟标记与真实环境的跟踪注册）。

实施例四

针对实施例三中实施例四细化了对车道进行识别并生成与车道对应标记的过程，因此，对图像进行预处理，对道路真实目标进行识别，并获取真实目标坐标对应的相机坐标并生成对应的虚拟标记的步骤包括：

步骤401、根据当前车速，对所述环境摄像头的图像进行动态感兴趣ROI区域提取；

步骤402、将所述ROI区域的颜色空间变换为HLS空间，根据车道线颜色，对车道线颜色特征进行过滤，以排除干扰；

其中，将ROI区域的颜色空间变换为HLS空间，根据车道线颜色，选取适当的阈值，将白色和黄色从图像中分离出来，从车道线的颜色特征上过滤掉大部分的干扰，对车道线颜色特征进行高斯过滤，以排除干扰。

步骤403、将过滤后的所述ROI区域进行二值化处理；

其中，本实施例中通过将过滤后的ROI区域进行高斯滤波后，图像明显变得更加平滑，同时也使得图像的边缘特征更加模糊。由于处理后的图像中，车道线的边缘特征非常明显，通过比较轻微的高斯滤波后，不仅不会影响车道线的边缘检测，同时也能去掉一些噪声，对于车道线来说其边缘特征依旧明显，同时还能去除一些噪点，然后对降噪后的图像进行二值化处理。本实施例中通过最大类间方差法(otsu)对图像进行二值化。因为在前面的过程中已经使用车道线颜色特征将车道线初步进行了识别，使得otsu方法能够有效弥补otsu方法对光照过于敏感的问题。 结合车道线边缘特征，进一步过滤掉图像中除车道线以外的像素，并对车道线像素进行定位。

步骤404、对二值化处理后的ROI区域进行图像透视变换；

其中，将ROI区域的坐变换为平面坐标即Z=0的世界坐标平面。

步骤405、基于像素图像边缘检测算子，对图像透视变换后的ROI区域进行边缘提取，进行Hough变换直线检测及小线段提取，通过DBSCAN（Density-Based SpatialClustering of Applications with Noise，基于密度空间的聚类算法） 方法对车道线进行小线段聚类，对聚类的小线段进行拟合处理，以获取车道线的第一位置；

其中，本实施例中具体可以利用Canny算子，对图像透视变换后的ROI区域进行边缘提取，用Hough变换进行直线检测，先确定车道线的大致位置，Hough变换将图像空间p(x，y) 上定义的边缘像素转换为极坐标空间 H(ρ，θ) ( 也称为参数空间) ，其中每个点表示线l(ρ，θ)，可通过ρ和θ表示图像中的直线，ρ，θ称为Hough空间，可通过Hough变换进行直线检测，如果是，那么测算ρ，θ并记录到累加箱，本实施例中将车道边界看作是一个小线段的集合，在光照、天气、背景干扰和车道遮挡不一致的情况下，利用两阶段特征提取方法准确检测出小线段。利用Hough 变换检测小线段，检测位于直线或具有小曲率的直线上的小线段，通过 DBSCAN 方法对检测到的位于车道边界的小线段进行有效聚类，得到聚类特征，为后续步骤的曲线拟合提供准确可靠的特征，提高了检测精度，现对于现有技术本步骤可降低光照、天气、背景干扰和车道遮挡对车道线识别的干扰，提高HUD上显示标记的可靠性、准确性。

步骤406、基于车道线的第一位置，进行滑窗定位，以获取车道线的第二位置；

其中，然后使用一系列的小窗口对上步骤中车道线的像素进行精定位，从而更为准确地拟合出车道线；

步骤407、对车道线的第二位置的像素点进行定位，并将车道的像素点的坐标变换为车辆坐标系下的坐标；

步骤408、基于二次曲线和最小二乘法，对变换坐标系后的车道坐标进行曲线拟合；

其中，从驾驶员视野看过去真实车道通常为弧形，因此，本步骤中通过二次曲线对车道曲线进行拟合。

步骤409、基于拟合曲线，按照从起点到终点每隔预设距离计算车辆坐标系下车道的坐标，并生成与车道对应的虚拟标记。

其中，根据车道的拟合曲线情况，生成对应的虚拟标记，然后通过ROI的范围大小确定，将虚拟标记投影到具体哪个焦平面，一般图2中的S3屏显示车辆仪表信息，S2屏可显示较近车道的虚拟标记（对应车速较慢时），S1屏可显示较远车道的虚拟标记（对应车速较快时）。

可选地，步骤405中针对阴暗的路段的车道识别会出现误差，例如过桥通道、隧道等位置，车道线识别会出现误差，本实施例中可以使用Marr-Hildreth（高斯拉斯普斯算子）边缘检测模型作为车道线暗边缘检测算法。Marr-Hildreth 算子通过对图像求二次微分的边缘进行定位，先对ROI区域输入图像进行高斯模糊，再求二阶导数，则二阶导数等于0处对应的像素为像的边缘。ROI区域输入图像通过高斯函数平滑处理后与Marr-Hildreth算子滤波器卷积可抑制图像中的噪声，在低信噪比环境的边缘检测中有较好的性能，相应地，具体步骤如下：

步骤405-1、使用像素点填充ROI区域输入图像边缘，将填充后的图像用Marr-Hildreth算子核进行卷积运算并输出第一边缘检测图像；

其中，本步骤中输出第一边缘检测图像，式中，为算子核，Marr-Hildreth算子以高斯函数为平滑算子，结合拉普拉斯算子提取二阶导数的零交叉理论进行边缘检测，/>为第一边缘检测图像即为卷积运算输出，为ROI区域输入图像数据，x，y为像素的横纵坐标，b为预设的偏置值，模型中卷积核的大小、偏置值需进行优化，可以通过模型训练的方式优化确定最优值。

步骤405-2、将第一边缘检测图像通过激活函数进行运算处理，以获得第二边缘检测图像；

其中，本步骤中的激活函数（神经网络中的激活函数可以包括多种形式，例如Sigmoid、ReLU、LeakyReLU、PReLU、ELU、GELU）将指数线性单元ELU的负值区间和高斯误差线性单元GELU的正值区间结合，构建激活函数模型，既引入了随机正则性，同时又避免负值区间易被Dropout的情况，该激活函数既继承了ELU和GELU的优点，又弥补了两者的不足，使模型具有随机正则性的同时保留了负值区间特征，实现了暗边缘检测，GELU函数GELU(k)为，/>为正态分布函数，本实施例中激活函数模型可以为，如下形式：

上述公式中k为输入特征值在本步骤中为卷积输出即步骤405-1中的z值（公式为），将公式进行简化，/>为计算误差函数erf(k)=/>，式中/>为双曲正切函数，/>为可调参数，该参数可通过训练优化获得最优值，通过该改进的激活函数和步骤405-1中的Marr-Hildreth算子构建边缘检测模型，利用粒子群优化算法，寻找暗边缘检测模型前向传播时输出的激活函数参数、卷积核大小和偏置值的最优组合，并以最优参数组合构建基于粒子群优化的暗边缘检测算法，相应地，步骤405-1之前还可以包括实现卷积核的尺寸大小、卷积层的偏置值以及激活函数的相关参数的调整和训练优化，本实施例中采用粒子群优化算法辅助模型训练和调整，以解决训练次数多、收敛慢的技术问题。先将输入层粒子化，再初始化粒子的数量、学习因子、惯性权重、迭代次数、粒子的取值范围和位置，从而构建一个拥有3个变量的粒子群算法模型，为使边缘检测模型的输出效果达到最优，将卷积层的输出函数设为适应度函数，其中，计算适应度后利用每个粒子的历史最优解进行速度和位置的更新。为更好地平衡算法的局部搜索和全局搜索能力，采用线性递减惯性权重进行权重计算，并在迭代过程中更新粒子权重；将适应度函数的输出结果和训练集预期结果进行对比，计算误差并判断是否在精度误差范围；若满足预设的精度误差范围限定条件，则输出结果；反之，迭代训练至预设的上限次数即当粒子群优化算法达到最大迭代次数时，停止迭代并输出最优解和位置参数，再将位置参数输入到初级暗边缘检测模型中，得到粒子群优化的暗边缘检测算法模型。

步骤405-3、对第二边缘检测图像进行拟合处理，实现车道线检测，以获取车道线的第一位置；

实施例四中通过完整的ROI获取、图像预处理、车道检测、虚拟标记样式生成，结合实施例三中HUD虚实注册的过程，将对应的虚拟标记显示在对应焦平面的对应坐标位置，尤其是针对车道线的高精度识别以及阴暗环境的识别进行了相应的优化，提高了车道线识别的准确率。实现了车道的AR功能，并根据实际距离远近，投影到不同深度的平面，进一步提升了用户的观看体验，实际应用场景如图5所示，为高速上赶往导航目的地的实例，其中，为了形象表达实际的应用场景，仪表面板显示的280、045、031为车辆仪表数据例如油耗、速度、里程数等，具体显示数据类型不做限定。

实施例五

为了实现真正的虚拟显示，实施例五对车道之外的其他人、物体、标记进行多目标识别，这之前，需要进行模型的训练，将环境摄像头录制到的包含多目标原始影像输入改进YOLOv5检测网络架构中完成特征信息的提取、聚集，最后与神经网络学习训练时获得的特征信息进行分类判别，实现多目标检测。详细的检测过程是利用轻量高效的改进YOLO神经网络算法，将数据集经过神经网络架构训练后获得的多目标检测模型应用于传感器拍摄的图像上，然后对现实环境测试时，对拍摄图像输入训练好的多目标检测模型，完成特征信息的提取、聚集和判别并最终实现目标检测。

相应地，如图6所示，对图像进行预处理，对道路真实目标进行识别，并获取真实目标坐标对应的相机坐标并生成对应的虚拟标记的步骤还可以包括：

步骤601、基于多目标检测模型，对外置环境摄像头的图像实现路面多目标检测，以检测路面上的交通目标；

其中，步骤601具体可以包括：

步骤601-1、图像预处理；

步骤601-2、通过YOLO神经网络算法对图像中的多个路面目标进行识别和定位；

其中，本步骤之前包括构建YOLO神经网络模型；通过训练集对YOL神经网络模型进行训练；通过训练好的YOLOv3改进网络模型对待测的多个路面目标进行检查与识别。

多目标目标检测网络模型在类型上分为基于锚框(Anchor based)和不基于锚框(Anchor free)两种，由于本发明中的HUD装置在实际交通路面的抓取图像中存在许多像素占比较小的汽车、交通标志、地面井盖等小目标类别，因此本实施例中采用不基于锚框的网络模型，网络模型可以包括YOLOv3、SSD、Faster-RCNN等，本实施例中优选YOLOv3，对应的骨干网络为MobileNet V2或MobileNet V1或Res2Net，Res2Net属于轻量化的多尺度卷积神经网络，本实施将Res2Net替换现有技术中YOLOv3的主干网络Darknet53，相应的实验验证中的识别效果，如下表所示：

Res2Net网络中bottleneck结构的重复堆叠使得网络不断提取目标的高语义特征信息，使模型得到更好的泛化性能，缓解由于天气原因如下雨、逆光、雾天或者其余遮挡造成的干扰，增强模型的鲁棒性，同时为了增加对小目标的识别精度，引入CBAM（Convolutional block attention module，卷积块注意模块）注意力机制，CBAM注意力机制将输入特征进行全局平均池化和全局最大池化两种池化方式，得到两个一维的矢量，使用全局最大池化对全局平均池化的结果进行补充可减少干扰特征信息如逆光、粉尘等的影响，最后将这两个一维的特征图。

在通道维度进行拼接处理，得到一个通道为二的特征图，再进行1×1卷积操作。

步骤601-3、对识别出的多个路面目标进行坐标系换算初始化。

其中，根据上述实施例中虚实注册的坐标系变换关系，对识别出的多个路面目标的坐标进行变换，即实现该目标在摄像机坐标系中与真实世界的坐标系的统一，便于后续将虚拟标记与真实世界的目标进行对准显示。

步骤602、获取所述交通目标的车辆坐标，并生成与检测目标对应的虚拟标记。

实施例五中通过多目标识别，将车辆前方的物体进行了分类识别及标记，将对应的不同类型虚拟标记显示在对应焦平面的对应坐标位置。实现了更加丰富的AR功能，并根据实际物体远近的不同，投影到不同深度的平面，进一步提升了用户的观看体验，实际应用场景如图7所示，为城市道路中通过斑马线的实例，其中，为了形象表达实际的应用场景，仪表面板显示的980FT（车辆距离人行道的距离980英尺）仅为示意性展示，同时也可以显示车辆速度、油量、车外温度等仪表参数。

本发明实施例实现了一种车载系统，该系统包括一种基于Micro-LED的抬头显示装置，该装置包括体全息光学元件、透光玻璃、反射镜组及Micro-LED图像显示单元，其中，体全息光学元件包括多层反射式体布拉格光栅，多层反射式体布拉格光栅由光敏热折变玻璃制成，用于对Micro-LED图像显示单元产生的不同波长的光进行反射并允许来自透光玻璃的外部光线透射，使得不同波长对应的投射图像的虚像聚焦到透光玻璃外的不同深度处，反射镜组用于将Micro-LED图像显示单元生成的图像投射至全息光学元件上。该车载系统可包括多种接口，例如与车身通过CAN总线连接，与车辆的ADAS系统通过网口连接，与智能手机或平板通过车内WIFI或蓝牙连接，实现了车载系统与车辆各部分软件的融合，或直接与ADAS系统融合为一体。

本发明实施例实现了一种车辆，该车辆安装有基于Micro-LED的抬头显示装置，该装置包括体全息光学元件、透光玻璃、反射镜组及Micro-LED图像显示单元，其中，体全息光学元件包括多层反射式体布拉格光栅，多层反射式体布拉格光栅由光敏热折变玻璃制成，用于对Micro-LED图像显示单元产生的不同波长的光进行反射并允许来自透光玻璃的外部光线透射，使得不同波长对应的投射图像的虚像聚焦到透光玻璃外的不同深度处，反射镜组用于将Micro-LED图像显示单元生成的图像投射至体全息光学元件上。该抬头显示装置可包括多种接口，例如与车身通过CAN总线连接，与车辆的ADAS系统通过网口连接，与智能手机或平板通过车内WIFI或蓝牙连接，实现了抬头显示装置与车辆各部分软件的融合，或直接与ADAS系统融合为一体。

需要说明的是，上述关于计算机可读存储介质或计算机设备所能实现的功能或步骤，可对应参阅前述方法实施例中，服务端侧以及客户端侧的相关描述，为避免重复，这里不再一一描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于Micro-LED的抬头显示装置，其特征在于，包括体全息光学元件、透光玻璃、反射镜组及Micro-LED图像显示单元，其中，所述体全息光学元件包括多层反射式体布拉格光栅，所述多层反射式体布拉格光栅由光敏热折变玻璃制成，用于对所述Micro-LED图像显示单元产生的不同波长的光进行反射并允许来自透光玻璃的外部光线透射，使得不同波长对应的投射图像的虚像聚焦到所述透光玻璃外的不同深度处，所述反射镜组用于将所述Micro-LED图像显示单元生成的图像投射至所述体全息光学元件上；

所述装置还包括控制器、双目摄像头、环境摄像头，其中，

所述双目摄像头用于对图像信息进行处理得到瞳孔位置；

所述环境摄像头用于采集外部环境图像信息；

所述控制器用于调整所述环境摄像头的内参矩阵、畸变系数以及外参矩阵，以完成相机标定；对图像进行预处理，对道路真实目标进行识别，并获取真实目标在车辆坐标系下的坐标并生成对应的虚拟标记；生成车辆坐标系与所述透光玻璃外的不同深度处焦平面上虚拟坐标系的对应关系，实现所述道路真实目标的虚实注册，以控制所述Micro-LED图像显示单元将投影的虚拟标记与道路真实目标进行匹配、对准、提示，其中，所述对图像进行预处理，对道路真实目标进行识别，并获取真实目标在车辆坐标系下的坐标并生成对应的虚拟标记的步骤包括：

根据当前车速，对所述环境摄像头的图像进行动态感兴趣ROI区域提取；

将所述ROI区域的颜色空间变换为HLS空间，根据车道线颜色，对车道线颜色特征进行过滤，以排除干扰；

将过滤后的所述ROI区域进行二值化处理；

对所述二值化处理后的ROI区域进行图像透视变换；

使用像素点填充ROI区域输入图像边缘，将填充后的图像用Marr-Hildreth算子核进行卷积运算并输出第一边缘检测图像；将所述第一边缘检测图像通过激活函数进行运算处理，以获得第二边缘检测图像；对所述第二边缘检测图像进行拟合处理，实现车道线检测，以获取车道线的第一位置；

基于车道线的所述第一位置，进行滑窗定位，以获取车道线的第二位置；

对车道线的第二位置的像素点进行定位，并将车道的像素点的坐标变换为车辆坐标系下的车道坐标；

基于二次曲线和最小二乘法，对车辆坐标系下的车道坐标进行曲线拟合；

基于拟合曲线，按照从起点到终点每隔预设距离计算车辆坐标系下的车道坐标，并生成与车道对应的虚拟标记。

2.根据权利要求1所述的抬头显示装置，其特征在于，所述反射镜组包括平面反射镜M1和曲面反射镜M2，平面反射镜M1和曲面反射镜M2位于体全息光学元件与Micro-LED图像显示单元之间。

3.根据权利要求1所述的抬头显示装置，其特征在于，所述体全息光学元件贴附于所述透光玻璃上。

4.根据权利要求1所述的抬头显示装置，其特征在于，所述多层反射式体布拉格光栅为三层反射式体布拉格光栅，分别对红、绿、蓝三种颜色波长的光进行反射，以使得红、绿、蓝对应的不同投射图像的虚像聚焦到所述透光玻璃外的三个不同深度处。

5.根据权利要求4所述的抬头显示装置，其特征在于，所述Micro-LED图像显示单元发出的R、G和B三束光先进行合光，再经过物镜扩束和凸透镜准直，再通过滤光片之后，照射到反射镜组上。

6.根据权利要求1所述的抬头显示装置，其特征在于，所述对图像进行预处理，对道路真实目标进行识别，并获取真实目标在车辆坐标系下的坐标并生成对应的虚拟标记的步骤还包括：

基于多目标检测模型，对外置环境摄像头的图像实现路面多目标检测，以检测路面上的交通目标；

获取所述交通目标在车辆坐标系下的坐标，并生成与检测目标对应的虚拟标记。

7.一种车载系统，其特征在于，包括权利要求1至6中任一项所述的基于Micro-LED的抬头显示装置。

8.一种车辆，其特征在于，包括权利要求1至6中任一项所述的基于Micro-LED的抬头显示装置。