CN112954309B

CN112954309B - 一种基于ar-hud增强现实在车载对目标跟踪效果的试验方法

Info

Publication number: CN112954309B
Application number: CN202110162686.4A
Authority: CN
Inventors: 叶民华
Original assignee: Dilu Technology Co Ltd
Current assignee: Dilu Technology Co Ltd
Priority date: 2021-02-05
Filing date: 2021-02-05
Publication date: 2022-09-20
Anticipated expiration: 2041-02-05
Also published as: CN112954309A

Abstract

本发明公开了一种基于AR‑HUD增强现实在车载对目标跟踪效果的试验方法，通过振动台模拟实车上路带来的随机抖动，对实车上路俯仰运动状态下增强现实抬头显示设备AR‑HUD与驾驶员视野画面的适配等问题进行测试验证。本发明可以在室内暗室联调，避免基础功能缺失的情况下直接上路，大大提升调试效率，主观测试时间成本比上车调试预计减少80％以上。本发明在AR‑HUD开发过程中，解决了实车运动过程中的颠簸与驾驶员眼盒偏离等问题，做到与实车分离，开发与调试过程中解耦性高，不依赖车型、道路环境等客观条件。

Description

一种基于AR-HUD增强现实在车载对目标跟踪效果的试验方法

技术领域

本发明涉及一种基于AR-HUD增强现实在车载对目标跟踪效果的试验方法，属于智能座舱显示领域。

背景技术

AR-HUD(Augmented Reality HUD)称为增强现实抬头显示设备，如图2所示，主要是通过AR技术把当前时速、导航等信息投影到风挡玻璃上的光电显示装置上，使让驾驶员可以更直观的观察实际路面情况。驾驶员不用转头、低头就能看到导航、车速信息，是智能驾驶的未来。

AR-HUD增强现实抬头显示设备近两年是比较前研的车载投射类技术，对于每个汽车行业工作者都是一个全新的挑战。对于AR-HUD增强现实抬头显示设备，如何增大FOV视场角显示画面是业界迫切想解决的一个难题。但想技术手段增大FOV视场角的同时，因汽车是一个可移动载体，在整个移动过程中不可避免会因为路面颠簸导致车内设备和人员跟随一起晃动，如何有效评价AR-HUD增强现实抬头显示设备发射出的增强现实图像在整个颠簸过程中是否给驾驶员带来良好的体验是一个新的课题。

发明内容

针对上述问题，本发明提供了一种基于AR-HUD增强现实在车载对目标跟踪效果的试验方法，是AR-HUD增强现实抬头显示设备在车载上得到大规模应用前必测项主要是模拟实车上路俯仰运动状态下AR-HUD增强现实抬头显示设备的驾驶员主观效果测试验证。

本发明为解决上述技术问题采用以下技术方案：

一种基于AR-HUD增强现实在车载对目标跟踪效果的试验方法，具体步骤如下：

步骤1，制作包括前挡、仪表台、驾驶位座椅、增强现实抬头显示设备AR-HUD、投影仪、摄像头和振动台的一体化试验台，模拟驾驶员与路面以及AR-HUD的位置关系；

步骤2，定义驾驶员眼盒位置信息，调整摄像头与眼盒位置对齐，并覆盖AR-HUD所有有效图像区域；

步骤3，开启振动台，同时投影仪投放提前录制的行驶路段现场画面；

步骤4，摄像头捕捉驾驶员位置的视角，并对摄像头采集到视频做车道线跟踪处理；

步骤5，实时检测步骤4中得到的车道线中间区域是否存在AR-HUD错误地投影出的车道线。

进一步，步骤1中摄像头与振动台在振动过程中无相对位移。

进一步，步骤1中提前在多辆试验车的发动机启动过程中采集振动曲线，取加速度、频率、幅度的最大值作为振动台对应参数的上限。

进一步，步骤1中投影仪的投影画面覆盖整个挡风玻璃且投影画面中的车道线与AR-HUD车道线位置重合。

进一步，步骤2中通过图像识别算法识别有效图像中的车道线，并进行标注。

进一步，步骤4中对摄像头采集到视频做车道线跟踪处理，具体为：对视频中的每一帧图像分别进行梯度边缘、颜色阈值检测后再进行叠加，再对叠加后的图像进行高斯滤波。

进一步，由光机的FOV视场角和图像标定技术，得到AR-HUD投影出的有效图像区域。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

(1)本发明考虑到了上路联调带来的随机抖动以及AR-HUD增强现实抬头显示设备与驾驶员视野画面的适配等问题，可以在室内暗室联调，避免基础功能缺失的情况下直接上路，大大提升调试效率，主观测试时间成本比上车调试预计减少80％以上；

(2)本发明只需要完成一次你所想要的道路信息的采集工作，之后只需在实验室就替代上路试验，替代性和针对性强，可重复性高，振动参数可控，方便问题定位，节约开发时间成本和经济成本；

(3)本发明AR-HUD系统开发过程中，自动调整反光镜的角度可以减少使用过程中的颠簸与驾驶员眼盒偏离等问题，做到与实车分离，开发与调试过程中解耦性高，不依赖车型、道路环境等客观条件。

附图说明

图1是整个主观测试系统框架图；

图2是AR-HUD实现原理图；

图3是本发明的流程图；

图4是分别进行梯度边缘、颜色阈值检测再进行叠加输出的图像；

图5是检测区域。

具体实施方式

本发明一种基于AR-HUD增强现实在车载对目标跟踪效果的一体化试验台，如图1所示，包括前挡、仪表台、驾驶位座椅、增强现实抬头显示设备AR-HUD、投影仪、摄像头和振动台的一体化试验台，模拟驾驶员与路面以及AR-HUD的位置关系。

本发明一种基于AR-HUD增强现实在车载对目标跟踪效果的试验方法在实际测试时，首先需要进行如下准备动作：

1、利用振动台模拟车载路面，需要在提前在多辆试验车在发动机启动过程中采集振动曲线，取加速度、频率、幅度等参数最大值作为随机振动台的参数上限；

2、手动调节对应的反射镜位置达到图像贴合，即确保AR-HUD投影出车道线识别后的结果与投影仪的车道线贴合；

3、振动台的振动参数可先从定频，固定幅度开始；如无问题再尝试随机振动，取加速度、频率、幅度等参数最大值作为随机振动台的参数上限；

4、投影仪投影出的画面为提前录制现场画面，并可以反复循环播放(画面是一段前方车辆、行人和障碍物比较少的高速公路视频)；

如图3所示，本发明一种基于AR-HUD增强现实在车载对目标跟踪效果的试验方法的测试步骤如下：

步骤1，需要制作前挡+仪表台+驾驶位座椅一体化试验台，模拟实车驾驶员与路面和AR-HUD的位置关系。

步骤2，制作夹具保证摄像头与振动台在振动过程中无相对位移。

步骤3，定义驾驶员眼盒位置信息，调整摄像头与眼盒位置对齐，并覆盖AR-HUD所有有效图像区域。

步骤4，在输入的有效图像中，通过图像识别算法识别车道线信息。并根据显示的策略进行标注。过程中用到了车道线检测、高斯滤波等技术。

对摄像头拍到的图像分别进行梯度边缘、颜色阈值检测然后再进行叠加(代码如下)，输出图像如图4所示。

def color_gradient_threshold(image_undistorted):

ksize＝15

#原图进行梯度(边缘)检测

gradx＝abs_sobel_thresh(image_undistorted,orient＝'x',sobel_kernel＝ksize,thresh＝(50,90))

grady＝abs_sobel_thresh(image_undistorted,orient＝'y',sobel_kernel＝ksize,thresh＝(30,90))

#原图进行颜色阈检测

c_binary＝color_thresh(image_undistorted,s_thresh＝(70,100),l_thresh＝(60,255),b_thresh＝(50,255),v_thresh＝(150,255))

rgb_binary＝rgb_select(image_undistorted,r_thresh＝(225,255),g_thresh＝(225,255),b_thresh＝(0,255))

combined_binary＝np.zeros_like(s_channel)

#将梯度检测结果和颜色阈检测结果进行组合叠加

combined_binary[((gradx＝＝1)&(grady＝＝1)|(c_binary＝＝1)|(rgb_binary＝＝1))]＝255

#输出处理后的图片

color_binary＝combined_binary

return color_binary,combined_binary。

然后进行高斯滤波，不那么清晰的噪点会被删除掉。

Mat image_gau；

GaussianBlur(image_gray,image_gau,Size(5,5),0,0)。

步骤5，投影仪投影出的画面为提前录制现场画面，并可以反复循环播放。

步骤6，目的为保持模拟路面激励，保持振动参数为唯一变量。

步骤7，投影仪在振动的过程中，通过摄像头捕捉模拟驾驶员位置的视角，视频传回计算机做车道线跟踪处理。

步骤8，实时车道线检测计算车道线中间区域是否有AR-HUD错误地投影出来的车道线。

本方法首先需要确定检测区域，即边缘检测，利用阈值来检测边缘：低于阈值1的像素点会被认为不是边缘，高于阈值2的像素点会被认为是边缘，在阈值1和阈值2之间的像素点，如果与高于阈值2的像素点相邻，则认为是边缘，否则认为不是边缘。

//******************canny*********************

Mat image_canny；

Canny(image_gau,image_canny,100,200,3)。

选中检测区域，观察图5可知，车道先一般位于图片下方的一个梯形区域，手动设定4个点，组成梯形区域的四个顶点。利用fillConvexPoly函数可以画出多边形：

Mat dstImg；

Mat mask＝Mat::zeros(image_canny.size(),CV_8UC1)；

Point PointArray[4]；

PointArray[0]＝Point(0,mask.rows)；

PointArray[1]＝Point(400,330)；

PointArray[2]＝Point(570,330)；

PointArray[3]＝Point(mask.cols,mask.rows)；

fillConvexPoly(mask,PointArray,4,Scalar(255))；

bitwise_and(mask,image_canny,dstImg)。

图4与图5在梯形区域做”与”运算，即可知梯形区域是否有AR-HUD误识别的车道线。

需要注意的是，本发明的测试步骤是在完成静态画面与AR-HUD投影校正后再进行，如不同录制场景需要调整AR-HUD镜头才能对齐的话，需要调整后再开启上述主观试验。

本发明中由光机的FOV视场角和图像标定技术，可以得到AR-HUD投影出的实际有效图像区域。

本发明中利用AI图像识别等技术手段实现，通过摄像机输入的有效图像中，通过图像识别算法识别车道线，行人，车辆等等信息。并根据显示的策略进行标识。在现实的图像中把车道线特别标注出来。

应当指出，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也在本申请权利要求的保护范围内。

Claims

1.一种基于AR-HUD增强现实在车载对目标跟踪效果的试验方法，其特征在于，具体步骤如下：

2.如权利要求1所述的一种基于AR-HUD增强现实在车载对目标跟踪效果的试验方法，其特征在于，步骤1中的摄像头与振动台在振动过程中无相对位移。

3.如权利要求1所述的一种基于AR-HUD增强现实在车载对目标跟踪效果的试验方法，其特征在于，步骤1中提前在多辆试验车的发动机启动过程中采集振动曲线，取加速度、频率、幅度的最大值作为振动台对应参数的上限。

4.如权利要求3所述的一种基于AR-HUD增强现实在车载对目标跟踪效果的试验方法，其特征在于，步骤1中投影仪的投影画面覆盖整个挡风玻璃且投影画面中的车道线与AR-HUD车道线位置重合。

5.如权利要求4所述的一种基于AR-HUD增强现实在车载对目标跟踪效果的试验方法，其特征在于，步骤2中通过图像识别算法识别有效图像中的车道线，并进行标注。

6.如权利要求1所述的一种基于AR-HUD增强现实在车载对目标跟踪效果的试验方法，其特征在于，步骤4中对摄像头采集到视频做车道线跟踪处理，具体为：对视频中的每一帧图像分别进行梯度边缘、颜色阈值检测后再进行叠加，再对叠加后的图像进行高斯滤波。

7.如权利要求1所述的一种基于AR-HUD增强现实在车载对目标跟踪效果的试验方法，其特征在于，由光机的FOV视场角和图像标定技术，得到AR-HUD投影出的有效图像区域。