CN113421346B - 一种增强驾驶感的ar-hud抬头显示界面的设计方法 - Google Patents

Abstract

本发明涉及一种增强驾驶感的AR‑HUD抬头显示界面的设计方法，属于虚拟现实领域，其包括：通过摄像头采集驾驶环境的影像信息；调整摄像头参数，完成相机标定；对图像进行预处理；虚拟呈像，标定AR‑HUD系统相关的参数并实现物体的虚实注册，实现导航虚拟标记与道路现实目标匹配、对准、提示；对AR‑HUD界面进行设计，在游戏引擎中进行虚拟驾驶场景的构建，并通过相关端口连接实体车辆设备，然后结合头戴式VR显示系统构建虚拟测试平台，遴选出最优的AR‑HUD显示系统。本发明有效避免了实车测试周期长、成本高、危险性大等缺点，同时也弥补了现有技术中对界面设计架构与用户的视觉匹配等方面的短板。

Description

一种增强驾驶感的AR-HUD抬头显示界面的设计方法

技术领域

本发明涉及驾驶显示技术领域，特别涉及一种增强驾驶感的AR(AugmentedReality，增强现实)-HUD(Head Up Display，平视显示器)抬头显示界面的设计方法。

背景技术

随着人们生活水平的提高，机动车数量急剧增长；同时，随着计算机技术、图形处理技术的发展，硬件性能的提升，虚拟驾驶、自动驾驶技术日趋成熟，近年来出现了能增强驾驶感的AR-HUD抬头显示技术，出现了前车窗增强现实抬头显示器。

现有的AR-HUD抬头显示技术还没有完美统一的界面设计方案，这不利于汽车抬头显示布局的研究和发展，限制了汽车驾驶系统迈向人性化和智能化的进程。于2020年6月2日公开的发明专利CN111222444A，披露了一种考虑驾驶员情绪的增强现实抬头显示方法和系统，通过TOF模块获取场景RGB格式的目标图像。于2020年11月日公开的发明专利CN111896024A，披露了导航显示的控制方法、装置及AR-HUD显示系统，通过采集车辆的当前位置得到车辆的当前行驶方位。上述两份专利文献都未对AR-HUD的整体进行基于驾驶安全的测试和研究。

在未来AR-HUD应用将成为驾舱中的重要技术方向，成为整车企业关注的热点，而随着驾驶辅助系统的融合发展，其使用的警告方式趋于多样化，驾驶人在不同方式作用下的应激反应能力也存在差异。也就是说，随着驾驶辅助系统的融合发展，其使用的警告方式趋于多样化，驾驶人在不同方式作用下的应激反应能力也存在差异，但是增强抬头显示中对界面设计架构与用户的视觉匹配方面却存在着巨大空缺。因此，研究新型的AR-HUD综合辅助驾驶系统及测试其安全性、效用性，对于道路交通安全的提升具有十分重要的意义；有必要提供一种基于驾驶安全的增强抬头显示的设计和测试以解决上述问题。

发明内容

为解决现有技术所存在的问题，本发明提供一种增强驾驶感的AR-HUD抬头显示界面的设计方法，通过采集图像、处理图像、虚拟呈像，并进行AR-HUD界面的设计，遴选出最优的AR-HUD显示系统。

本发明采用如下技术方案来实现：一种增强驾驶感的AR-HUD抬头显示界面的设计方法，包括以下步骤：

S1、通过摄像头采集驾驶环境的影像信息；

S2、调整摄像头的内参矩阵、畸变系数以及外参矩阵，完成相机标定；

S3、对图像进行预处理，包括灰度化处理、滤波处理及边缘增强处理；

S4、虚拟呈像，标定AR-HUD系统相关的参数并实现物体的虚实注册，实现导航虚拟标记与道路现实目标匹配、对准、提示；

S5、对AR-HUD界面进行设计，在游戏引擎中进行虚拟驾驶场景的构建，并通过相关端口连接实体车辆设备，然后结合头戴式VR显示系统构建虚拟测试平台，遴选出最优的AR-HUD显示系统。

本发明旨在填补增强抬头显示中对界面设计架构与用户的视觉匹配方面的空缺；用户从VR测试平台上选择需要的信息模块和展现形式，平台模块化进行测试优化，为客户量身定制安全舒适的辅助驾驶系统。与现有技术相比，本发明取得的技术效果包括：

1.本发明通过在VR中进行AR-HUD驾驶系统的研发和测试，有效避免了实车测试周期长、成本高、危险性大等缺点，同时也弥补了现有技术中对界面设计架构与用户的视觉匹配等方面的短板。

2.本发明的虚拟驾驶环境可以由用户模块化生成构建，以便于根据他们的需求进行驾驶测试，并结合人机交互技术、工程心理学、计算机视觉、市场客户需求、安全性等多个方面对AR-HUD显示界面进行设计，模型强健，具有一定创新实践价值。

3.本发明通过VIVE等头戴式VR设备，使得测试平台具有多感知性、浸没感、交互性、构想性的需求，提供更加逼真细腻的驾驶体验；同时也避免了实车测试的诸多弊端。

4.本发明将心理指标，生理指标和行为特征作为分析指标，对不同AR-HUD的显示界面进行评比定位，自动化，安全可靠地为顾客提供最贴合他们需求的AR-HUD辅助驾驶界面。

附图说明

图1为本发明实施例的增强驾驶感的AR-HUD抬头显示界面设计方法的流程图；

图2为三阶贝塞尔曲线图；

图3为本发明实施例的测试系统框架图。

具体实施方式

本发明用于提高新型AR-HUD综合辅助驾驶系统的安全性、效用性，予以界面设计中的架构和与用户的视觉匹配给予足够多重视和关注度，同时通过VR测试解决了实车测试周期长，成本高，危险性大，不可重复等问题，对道路交通安全的提升具有十分重要的意义。

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，在本实施例中，增强驾驶感的AR-HUD抬头显示界面的设计方法包括以下步骤：

S1、通过摄像头采集驾驶环境的影像信息。

把摄像头安装于车辆前挡风玻璃的中间部位，且摄像头光轴与车辆的纵向中轴线平行，摄像头与地面成0～5度俯视角。

S2、调整摄像头的内参矩阵、畸变系数以及外参矩阵，完成相机标定。

本实施例采用的是二维平面图形的标定方法，使用Matlab中单目相机标定，标定流程如下：打印一张棋盘格图案，并且将这张棋盘格平铺在一平面之上，同时测量好棋盘格的宽度；将相机对准棋盘格，多次移动棋盘格或者相机，使相机拍摄到不同角度的棋盘格图片；使用Matlab Camera Calibrator App对所拍摄的棋盘格图片进行标定，然后导出标定参数。

S3、对图像进行预处理，加快检测速度，提高检测实时性和精度。预处理包括灰度化处理、滤波处理、边缘增强处理等。

S31、灰度化处理：把彩色图像变成灰度图像，在图像处理中，为了减少算法的复杂程度，通过转化运算使三基色R、G、B相等。这样就可以取其中的一种基色来完成图像的处理，一种基色可以用一个字节存储，不仅减少了存储的空间，还提高了处理的效率。常见的转化运算方式有三种：加权平均法、平均值法和最大值法，三种方法都可以满足要求。

本实施例采用的是加权平均法，根据不同图像处理系统对特定颜色的偏好，对图像的三基色进行不同权重的加权平均，来突出和弱化某种基色，加权平均法所采用的公式如下：

F(i,j)＝αR(i,j)+βG(i,j)+γB(i,j)

其中F(i,j)是图像(i,j)像素点，R(i,j)、G(i,j)、B(i,j)分别是图像(i,j)的红、绿、蓝颜色分量，α、β、γ分别是图像(i,j)的红、绿、蓝颜色分量的加权值。

S32、滤波处理：将特定波段的频率滤除，去除图像里面噪声，更精确提取需要的视觉特征等。

常见的滤波处理方法有五种，均值滤波、方框滤波、中值滤波、高斯滤波和双边滤波，其中各个方法在耗时、实用方面均有不同效果。高斯滤波在耗时上具有优势，故本实施例采用高斯滤波算法，可以有效去除符合正态分布的噪音。

一维零均值高斯函数为：

其中，σ为标准方差，表征的是bell钟状的宽度，而

对应高斯函数曲线尖峰的高度，尖峰中心的坐标是0；x是一维零均值高斯函数的变量，表征距离高斯函数中心(即原点)的距离。

本实施例采用二维离散高斯函数来进行滤波处理；在灰度化处理后的图像中，对二维离散高斯函数进行一次卷积操作来实现高斯滤波。其中，二维离散高斯函数表达式如下：

其中，σ为标准方差，(x,y)是二维离散高斯函数的坐标。高斯滤波器的宽度决定着高斯滤波器的平滑程度，并由参数σ表征。

S33、边缘增强处理：对图像进行检测并提取出图像边缘。

图像边缘是图像最基本的特征之一，在本实施例中获取的图像主要为交通符号，如斑马线，车道分界线等，这些信息就存储于图像轮廓之中，从而需要对图像进行检测并提取出它的边缘。

常见的增强算子有Laplacian算子、Robert算子、Sobel算子等。每种算子有其优缺点，本实施例采用Sobel算子：Sobel算子是图像处理中的算子之一，主要用作边缘检测；在技术上，它是离散性差分算子，用来运算图像亮度函数的梯度之近似值。在图像的任何一点使用Sobel算子，将会产生对应的梯度矢量或法矢量，Sobel算子包含两组3x3的矩阵，分别为横向及纵向，将所述矩阵与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以A代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像，边缘检测的公式如下：

图像中每一个像素的横向及纵向梯度近似值可用以下的公式结合，来计算图像梯度的大小：

S4、虚拟呈像：标定AR-HUD系统相关的参数并实现物体的虚实注册，实现导航虚拟标记与道路现实目标匹配、对准、提示。

S41、虚实注册：对于一个对视觉进行增强的AR系统来说，其必须具备能够实时地向现实中添加的虚拟标记信息的能力，并且这些信息还要被映射到正确的位置，这就是AR中的虚实注册，本实施例采用AR-HUD等效虚像平面模型完成虚实注册。

假设人眼瞳孔坐标已知，记为E(x_E，y_E，z_E)，AR-HUD等效虚像平面ABCD中的顶点分别为A(x_A，y_A，z_A)、B(x_B，y_B，z_B)、C(x_C，y_C，z_C)、D(x_D，y_D，z_D)，需要被视觉增强的物体点为N(x_N，y_N，z_N)，只要计算出直线EN与平面ABCD的交点F，就能完成物体的虚实注册；交点F的坐标为：

其中：

S42、实现目标标定：对人眼瞳孔的坐标、被虚实注册物体的空间坐标以及AR-HUD等效虚像平面的坐标进行目标标定。

本实施例中，增加相机C_A用于辅助标定，并定制标定板B2，其中在标定板B2上所打印的用于实现相机标定的棋盘格从标定板两面都能被看见。

辅助相机C_A的安装必须同时满足以下两个条件：辅助相机C_A必须与前相机C_F能够同时完整地拍摄到位于相机前方的标定板B1；辅助相机C_A和两个瞳孔相机中的某一个必须能够完整地拍摄到标定板B2。

本实施例采用张正友标定法：

其中，

为瞳孔相机C_E相对于车辆坐标系的外参矩阵，

为瞳孔相机C_E相对于标定板B2的外参矩阵，

为辅助相机C_A相对于标定板B2的外参矩阵，

为辅助相机C_A相对于标定板B1的外参矩阵，

为前相机C_F相对于标定板B1的外参矩阵，

为前相机C_F相对于车辆坐标系的外参矩阵。

S5、对AR-HUD界面进行设计，在游戏引擎中进行虚拟驾驶场景的构建，并通过相关端口，连接实体方向盘和刹车等实体车辆设备，然后结合VIVE等头戴式VR显示系统构建虚拟测试平台。其中，头戴式VR设备并不限于VIVE头戴式显示设备。

总体上基于IDMF理论对AR-HUD界面进行设计，主要包括：市场研究及设计研究、用户研究、商业模式和概念设计、信息框架与设计实现、设计评估及用户测试。并根据人机交互原则、工程心理学、人因工程来定义、设计车辆驾驶安全图标同时结合精神负荷等因素布局AR-HUD界面。界面信息包括，车辆基本信息、导航信息、行车安全信息、娱乐信息、辅助影像系统，在界面呈现上，主要考虑简洁清晰的显示形式，信息摆放的位置、亮度(不同环境下需要改变亮度)、颜色(使用合适的颜色增强辨识度)、不透明度(合适的不透明度在容易识别信息的前提下不对驾驶安全造成影响)；其中，信息摆放主要考虑到：希克定律、三秒交互原则、人眼视区规则和信息定义和符号设计原则以及驾驶员的交通特性。本步骤具体包括以下步骤：

S51、构建驾驶环境并设计各种驾驶突发状况，主要包括：使用多细节层次技术、烘焙技术、灯光探测器群、遮罩剔除、层消隐距离技术构建模块，然后完成驾驶环境的注册，驾驶环境周边的驾驶实物包括行人、车辆、城市建筑物等。在光照实现上，通过烘焙静态物体表面光照以减少性能的开销，使用实时光照技术实时计算关键物体的亮度以保证视觉的真实性，使用UNITY等的GI(全局光照)系统，实现光照在物体之间的折射和反射，极大地提升光照的真实性。在模拟真实世界物理碰撞方面，使用UNITY的碰撞系统，通过为车辆、行人和建筑加入碰撞器和刚体组件，模拟出现实世界物体受到重力以及碰撞影响的情况。需要说明的是，碰撞系统并不限于UNITY系统。

为了更好模拟现实环境中AR-HUD的效果，使用UNITY实现虚像效果，采用Particle(特效)着色器，将AR-HUD元素渲染成半透明的精灵状态，让AR-HUD元素得以在虚拟环境中显示出来。在AR行人检测提示框、AR车身碰撞警示和AR车辆警示元素等安全提示的设计上，采用显眼的红色吸引驾驶人员的注意以提高驾驶人员对突发事件的反应速度。在AR导航箭头、AR车速显示、油量显示、导航小地图、事件提示、住宅区提示以及剩余路程提示等辅助驾驶元素设计上，我们采用青色或蓝色等柔和的颜色以减缓驾驶人员的视觉疲劳。

S52、将驾驶员的交通特性作为AR-HUD界面设计的主要标准。根据驾驶员的大脑信息处理流程，人机交互原理，将AR-HUD单次界面显示的信息个数设定为7-9个，单次警示信息出现的信息为3秒，紧急危险警示信息时间跨度为10-15秒。车辆车速在75km/h以下时AR-HUD界面显示位于视区65°范围内，为75km/h以上时AR-HUD界面显示位于视区为40°范围内。显示形式为清晰简洁的文字图标并根据优先级确定摆放位置。

S53、采用拐角点算法进行导航、选择路线方向，根据不同情况对驾驶路线进行优化并呈现。

S54、优化好驾驶路线后，采用三阶贝塞尔曲线构建导向曲线：

B(t)＝P₀(1-t)³+3P₁t(1-t)²+3P₂t²(1-t)+P₃t³,t∈[0,1]

其中，P0、P1、P2、P3四个点在平面或在三维空间中定义了三次方贝兹曲线；如图2所示，曲线起始于P0走向P1，并从P2的方向来到P3；一般不会经过P1或P2，这两个点只是在那里提供方向资讯。P0和P1之间的间距，决定了曲线在转而趋进P3之前，走向P2方向的“长度有多长”，

S55、使用头戴设备作为应用上的信息载体，提供更加逼真细腻的驾驶体验。

这套系统在软件上由游戏引擎进行环境搭建及接入开发，通过模拟驾驶舱进行用户操作的实现。在硬件层面上，它由多面硬质背投影墙组成，按照人体工程学的要求，通过立体投影与三维跟踪器、立体眼镜、模拟驾驶舱配合，营造前面、左面、右面和地面的四面虚拟沉浸空间，全方位地获取环境所蕴含的各种空间信息和逻辑信息使用户得到驾驶更真实的距离感、UHD信息悬浮视感和更细腻的驾驶体验。

如图3所示，本虚拟测试系统由VR头戴设备VIVE展现，其相关端口与高性能PC机连接，脚踏板，方向盘等其他物理设备也通过USB接口与电脑连接。PC机将采集的数据进行处理并反馈到Unity中，头戴式设备再将Unity中的图像进行展示。同时VIVE中的眼动仪，脚踏板传感器，方向盘转角传感器时刻监督记录数据，根据编写的数据导入算法同步导入到数据存放库。

S6、系统测试优化模块，测量车速、方向盘转角、心率、眼动等指标数据，利用层次分析算法对这些指标数据进行分析，在层次分析算法的分层计算中融入专家评分指标，从而融合主客观因素遴选出最优的AR-HUD显示系统。具体包括：

S61、使用智能系统进行心率、血压的测试。通过分析心脏搏动及其节律性在危险紧张状况下的变化，来比较不同设计概念图系统对驾驶者行为的影响；根据用户所选择的模块进行对应的测试，针对各个不同的辅助驾驶模块采用不同的驾驶场景和驾驶事件，采用方向盘转角传感器进行方向盘控制行为的测试，来反映车辆驾驶横向运动特征指标；同时进行眼动测试，分析AR-HUD辅助驾驶系统对驾驶认知资源分配的影响。通过给驾驶者固定的驾驶场景和驾驶环境，记录三分钟的驾驶数据，然后对扫视横纵宽度，各区域注视时长，瞳孔变化等数据进行对比检验和自动量化决策，给予用户最优的AR-HUD界面分区模块。

S62、运用相关数学分析方法进行定性和定量分析，在保证数据真实性大体不变的情况下，将离散的数据连续化以便于观察分析；借助BP神经网络进行数据的深度分析，以探究输入和输出的内在联系并作短期预测。根据驾驶行为和眼动数据自动化筛选出优质的辅助驾驶模型供使用者选择。

S63、借助BP神经网络进行数据的深度分析，以此探究输入和输出的内在联系并作短期预测。

使用BP神经网络进行深度分析时，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出不符，则转入误差的反向传播阶段。误差反传将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。

深度分析的原则为：将用户最需要的信息以虚拟AR-HUD界面的形式呈现出来。用户在通过视觉接受这些内容是不会产生歧义、排斥等负面情绪，同时对驾驶系统有高度的信任意识和轻松的驾驶体验。AR-HUD界面信息布局呈现方式需要得到驾驶者的信赖。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种增强驾驶感的AR-HUD抬头显示界面的设计方法，其特征在于，包括以下步骤：

S1、通过摄像头采集驾驶环境的影像信息；

S2、调整摄像头的内参矩阵、畸变系数以及外参矩阵，完成相机标定；

S3、对图像进行预处理，包括灰度化处理、滤波处理及边缘增强处理；

S4、虚拟呈像，标定AR-HUD系统相关的参数并实现物体的虚实注册，实现导航虚拟标记与道路现实目标匹配、对准、提示；

S5、对AR-HUD界面进行设计，在游戏引擎中进行虚拟驾驶场景的构建，并通过相关端口连接实体车辆设备，然后结合头戴式VR显示系统构建虚拟测试平台，遴选出最优的AR-HUD显示系统；

其中，步骤S4中采用AR-HUD等效虚像平面模型完成物体的虚实注册，假设人眼瞳孔坐标已知，记为E(x_E，y_E，z_E)，AR-HUD等效虚像平面ABCD中的顶点分别为A(x_A，y_A，z_A)、B(x_B，y_B，z_B)、C(x_C，y_C，z_C)、D(x_D，y_D，z_D)，需要被视觉增强的物体点为N(x_N，y_N，z_N)，直线EN与平面ABCD的交点F的坐标为：

其中：

计算出交点F的坐标以完成虚实注册。

2.根据权利要求1所述的设计方法，其特征在于，步骤S1中的摄像头安装于车辆前挡风玻璃的中间部位，且摄像头光轴与车辆的纵向中轴线平行，摄像头与地面成0～5度俯视角。

3.根据权利要求1所述的设计方法，其特征在于，步骤S3中采用二维离散高斯函数进行滤波处理，二维离散高斯函数表达式如下：

其中，σ为标准方差，(x,y)是二维离散高斯函数的坐标。

4.根据权利要求1所述的设计方法，其特征在于，步骤S3中边缘检测的公式如下：

图像梯度的计算公式为：

其中，A代表原始图像，Gx代表经横向边缘检测的图像，Gy代表经纵向边缘检测的图像。

5.根据权利要求1所述的设计方法，其特征在于，步骤S4中通过对人眼瞳孔的坐标、被虚实注册物体的空间坐标以及AR-HUD等效虚像平面的坐标进行目标标定。

6.根据权利要求5所述的设计方法，其特征在于，进行目标标定时，增加相机C_A用于辅助标定，并定制标定板B2，其中在标定板B2上所打印的用于实现相机标定的棋盘格从标定板两面都能被看见。

7.根据权利要求1所述的设计方法，其特征在于，步骤S5包括：

S51、构建驾驶环境并设计各种驾驶突发状况，完成驾驶环境的注册，驾驶环境周边的驾驶实物包括行人、车辆及城市建筑物；

S52、采用拐角点算法进行导航、选择路线方向，根据不同情况对驾驶路线进行优化并呈现；

S53、优化好驾驶路线后，采用三阶贝塞尔曲线构建导向曲线；

S54、使用头戴设备作为应用上的信息载体，提供更加逼真细腻的驾驶体验。

Images