CN112484743A - 车载hud融合实景导航显示方法及其系统 - Google Patents

Abstract

本发明公开了一种车载HUD融合实景导航显示方法，包括以下步骤：S1：获取实际路面识别模型；S2：依据当前GPS定位信息判断当前车辆是否接近特定地点；S3：若导航信息显示车辆已接近特定地点，则通过获取的实际路况信息引用所述实际路面识别模型进行识别，判断确认车辆是否到达特定地点；S4：若车辆确定到达特定地点，则计算出HUD道路箭头标识的显示区域信息，将实际路况通过HUD投屏到车辆前挡风玻璃的显示区域。还公开了一种车载HUD融合实景导航显示系统。本发明结合HUD显示系统，根据驾驶员的视觉位置确定实际路面信息投屏到汽车前挡风玻璃上的方向及位置，达到GPS导航信息与实际场景融合的效果，实现精准导航。

Description

车载HUD融合实景导航显示方法及其系统

技术领域

本发明涉及汽车领域，特别是涉及一种车载HUD融合实景导航显示方法及其系统。

背景技术

车载平视显示器(HUD)作为一种驾驶辅助工具，可以在驾驶期间将经过处理的视频信号投影成虚像，通过挡风玻璃为驾驶员提供预警，而不需要驾驶员将视野移离车辆前方的道路。尤其在交叉路口多的情况下，不仅提升驾驶的安全性，也提高行驶路段的准确性。

随着，汽车工业主动安全的发展，对车载安全信息的现实提出了更高的要求，传统的车载导航信息往往显示在汽车的显示模块上，使用者需低头才能看到信息，带来一定的安全隐患，尤其是在交叉路口复杂的情况下。同时汽车显示模块显示的是车载GPS导航信息，与实际路面场景信息脱轨。

因此亟需提供一种新型的车载HUD融合实景导航显示方法及其系统来解决上述问题。

发明内容

本发明所要解决的技术问题是提供一种驾驶员驾驶过程不用低头即能精准导航的车载HUD融合实景导航显示方法及其系统。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种车载HUD融合实景导航显示方法，包括以下步骤：

S1：通过收集路面图片信息，获取实际路面识别模型；

S2：获取导航信息，依据当前GPS定位信息判断当前车辆是否接近特定地点；

S3：若导航信息显示车辆已接近特定地点，则利用安装在HUD底座前的前置摄像头检测实际路况信息，通过获取的实际路况信息引用所述实际路面识别模型进行识别，判断确认车辆是否到达特定地点；

S4：若车辆确定到达特定地点，则利用安装在HUD底座后的后置摄像头确定驾驶员的视觉位置，及实际路况中道路显示标识点位置信息、车辆前挡风玻璃位置信息，计算出HUD道路箭头标识的显示区域信息，将实际路况通过HUD投屏到车辆前挡风玻璃的显示区域。

在本发明一个较佳实施例中，步骤S1的具体步骤包括：

S101：收集路面图片信息，对图片中的特定地点进行标注，所述特定地点包括建筑物、交叉路口、路面标识；

S102：将标注后的路面图片信息利用深度学习算法进行学习训练，对特定地点进行识别、分析和归类，得到实际路面识别模型。

在本发明一个较佳实施例中，在步骤S4中，确定驾驶员的视觉位置的方法包括以下步骤：

S401：通过Cameraface软件检测人脸，根据拍摄的象素坐标系，以两眼的中间位置作为取点位置，两眼象素坐标分别为S1(x1,y1)，S2(x2,y2)，获得两眼现实场景坐标的函数式为P＝f(u，v，q)，其中u为现实场景中人眼相对后置摄像头的左右位置，v为现实场景中人眼相对后置摄像头的上下位置，q为现实场景中人眼相对后置摄像头的前后距离；

S402：限定现实场景中人眼相对后置摄像头的左右位置u及现实场景中人眼相对后置摄像头的上下位置v不变，两眼象素坐标分别为S1(x1,y1)，S2(x2,y2)，通过一一映射关系进行标定，得到现实场景中人眼相对后置摄像头的前后位置坐标Pq＝f(q)＝fq(S1，S2)；

S403：根据两眼象素坐标分别为S1(x1,y1)，S2(x2,y2)，通过一一映射关系进行标定，得到现实场景中人眼相对后置摄像头的左右位置Pu＝f(u)＝fu(S1，S2)，现实场景中人眼相对后置摄像头的上下位置Pv＝f(v)＝fv(S1，S2)，最后得到P＝f(u，v，q)的显示场景中的位置信息。

在本发明一个较佳实施例中，在步骤S4中，计算HUD道路箭头标识的显示区域信息的方法包括：

根据步骤S3中获取的实际路况信息得到特定地点的位置信息，通过汽车的定位信息得到车辆前挡风玻璃的位置信息，以及利用安装在HUD底座后的后置摄像头确定的驾驶员的视觉位置信息，得到视觉位置相对于水平面的距离H、视觉位置在水平面的投影位置与特定地点的位置之间距离L、车辆前挡风玻璃在水平面的投影位置与特定地点的位置之间距离l、视觉位置的水平延长线与特定地点位置的垂直延长线的交点到视觉位置之间的距离S，则

利用几何关系得到HUD道路箭头标识的显示区域信息H(s,h,l)，其中s为HUD道路箭头标识的显示区域在车辆前挡风玻璃上的水平坐标值，h为HUD道路箭头标识的显示区域在车辆前挡风玻璃上的垂直坐标值，即h＝Hl/L，s＝Sl/L。

为解决上述技术问题，本发明采用的第二个技术方案是：提供一种车载HUD融合实景导航显示系统，包括：

路面识别模型模块，用于收集路面图片信息，获取实际路面识别模型；

HUD显示模块，用于将车载导航信息融合实际路况信息投屏显示在车辆前挡风玻璃上；

感知模块，包括用于实时定位检测车辆位置的车载GPS、安装在HUD底座前的前置摄像头、安装在HUD底座后的后置摄像头，所述前置摄像头用于检测实际路况信息，所述后置摄像头用于确定驾驶员的视觉位置；

判断识别模块，用于根据所述感知模块获取的实际路况信息引用所述实际路面识别模型进行识别，判断确认车辆是否到达特定地点；

信息处理模块，用于根据所述判断识别模块判断识别的结果，将所述感知模块获取的视觉位置信息结合实际路况中道路显示标识点位置信息、车辆前挡风玻璃位置信息，计算出HUD道路箭头标识的显示区域信息。

在本发明一个较佳实施例中，所述路面识别模型模块获得路面识别模型的具体步骤包括：

收集路面图片信息，对图片中的特定地点进行标注，所述特定地点包括建筑物、交叉路口、路面标识；

将标注后的路面图片信息利用深度学习算法进行学习训练，对特定地点进行识别、分析和归类，得到实际路面识别模型。

进一步的，该系统还包括通讯模块，用于车载GPS之间以及车辆感知模块之间的信息交互。

进一步的，该系统还包括人机交互模块，用于车载HUD融合实景导航显示系统的模式设置、显示设置。

本发明采用的第三个技术方案是：提供一种车载HUD融合实景导航显示装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行如上任一项所述方法。

本发明采用的第四个技术方案是：提供一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上任一项所述方法。

本发明的有益效果是：本发明通过深度学习算法，对大量特定地点包括建筑物、交叉路口、路面标识进行标注训练，得到一个实际路面识别模型，通过实际路面识别模型判断出精确行驶路口，结合HUD显示系统，将实际路面信息投屏到汽车前挡风玻璃上，且根据驾驶员的视觉位置确定投射的方向及位置，达到GPS导航信息与实际场景融合的效果，使得驾驶员在通过路面特定地点时无需低头看车载导航显示，这样可以提高驾驶安全性，达到精准导航的目的。

附图说明

图1是本发明所述车载HUD融合实景导航显示方法一较佳实施例的流程图；

图2是步骤S1的流程图；

图3是所述HUD道路箭头标识的显示区域上道路箭头标识示意图；

图4是实际路面的路型图；

图5是所述HUD的主视图；

图6是所述HUD的侧视图；

图7是所述HUD的俯视图；

图8是HUD融合实景显示的几何示意图；

图9是所述车载HUD融合实景导航显示系统的结构框图；

图10是确定驾驶员的视觉位置的计算原理示意图。

附图中各部件的标记如下：1、车辆前挡风玻璃，2、前置摄像头，3、后置摄像头，31、传感器，32、相机孔，4、HUD道路箭头标识的显示区域。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1，本发明实施例包括：

所述特定地点包括建筑物、交叉路口、路面标识等，本示例中，以交叉路口为例来说明本发明所述方法及其系统。

一种车载HUD融合实景导航显示方法，包括以下步骤：

S1：通过收集路面图片信息，获取实际路面识别模型；结合图2，具体步骤包括：

S101：收集路面图片信息，对图片中的交叉路口进行标注；

S102：将标注后的路面图片信息利用深度学习算法基于Mxnet框架进行学习训练，对交叉路口进行识别、分析和归类，得到实际路面识别模型。

实际应用中，所述实际路面识别模型需要进行实时更新，以保证该方法的时效性与准确性。

S2：获取导航信息，依据当前GPS定位信息判断当前车辆是否接近交叉路口；实际应有中，在车辆到达距离交叉路口不大于100m的位置时即进行车辆实际位置的判断；

S3：若导航信息显示车辆已接近交叉路口，例如设计车辆到达距离交叉路口不大于20m的位置时，则利用安装在HUD底座前的前置摄像头2检测实际路况信息，通过获取的实际路况信息引用所述实际路面识别模型进行识别，判断确认车辆是否到达交叉路口；

S4：若车辆确定到达交叉路口，则利用安装在HUD底座后的后置摄像头3确定驾驶员的视觉位置，及实际路况中道路显示标识点位置信息、车辆前挡风玻璃位置信息，计算出HUD道路箭头标识的显示区域4信息，将实际路况通过HUD投屏到车辆前挡风玻璃1的显示区域。参阅图3和图4，HUD道路箭头标识的显示区域4显示的道路箭头标识与实际路面的道路标识相同。

结合图5至图7，车内装载的HUD底座位置有前置摄像头2与后置摄像头3，前置摄像头2用于检测实际路况信息，后置摄像头3应用于确定驾驶员的视觉位置，根据驾驶员的视觉位置确定投射的方向及位置，确保HUD投屏到车辆前挡风玻璃1上的信息与实际路况融合在一起，达到GPS导航信息与实际场景融合的效果。

具体的，确定驾驶员的视觉位置的方法包括以下步骤：

S401：通过Cameraface软件检测人脸，根据拍摄的象素坐标系，以两眼的中间位置作为取点位置，两眼象素坐标分别为S1(x1,y1)，S2(x2,y2)，获得两眼现实场景坐标的函数式为P＝f(u，v，q)，其中u为现实场景中人眼相对后置摄像头3的左右位置，v为现实场景中人眼相对后置摄像头3的上下位置，q为现实场景中人眼相对后置摄像头3的前后距离；

S402：限定现实场景中人眼相对后置摄像头3的左右位置u及现实场景中人眼相对后置摄像头3的上下位置v不变，两眼象素坐标分别为S1(x1,y1)，S2(x2,y2)，通过一一映射关系进行标定，得到现实场景中人眼相对后置摄像头3的前后位置坐标Pq＝f(q)＝fq(S1，S2)；

S403：根据两眼象素坐标分别为S1(x1,y1)，S2(x2,y2)，通过一一映射关系进行标定，得到现实场景中人眼相对后置摄像头3的左右位置Pu＝f(u)＝fu(S1，S2)，现实场景中人眼相对后置摄像头3的上下位置Pv＝f(v)＝fv(S1，S2)，最后得到P＝f(u，v，q)的显示场景中的位置信息。

在步骤S402和步骤S403中，所述一一映射关系具体指的是，参阅图10，所述后置摄像头3具有传感器31，利用小孔成像原理，后置摄像头3收集外界的光线，然后投影在传感器31的像素上。通过后置摄像头3内置API元数据调取成像时的焦距，获得传感器31到相机孔32的距离f。由于两眼间距D几乎是一个固定的值，只需要计算出像素在传感器上的长度d(通过像素换算后为已知量)就可以用比例推算出人眼距相机的距离F，即F＝fD/d。

参阅图8，通过获取驾驶员的视觉位置信息(A点)，根据步骤S3中获取的实际路况信息得到交叉路口标识点的位置信息(B点)，通过汽车的定位信息得到车辆前挡风玻璃1的位置信息(C点，假设车辆前挡风玻璃1为一垂直平面)，得到视觉位置(A点)相对于水平面的距离H、视觉位置(A点)在水平面的投影位置(A’点)与交叉路口标识点(B点)的位置之间距离L、车辆前挡风玻璃在水平面的投影位置(C’点)与交叉路口标识点(B点)的位置之间距离l、视觉位置的水平延长线与特定地点位置的垂直延长线的交点(O点)到视觉位置(A点)之间的距离S，则利用几何关系得到HUD道路箭头标识的显示区域信息H(s,h,l)，其中s为HUD道路箭头标识的显示区域4在车辆前挡风玻璃1上的水平坐标值，h为HUD道路箭头标识的显示区域4在车辆前挡风玻璃1上的垂直坐标值，即h＝Hl/L，s＝Sl/L。

参阅图9，本实施例还提供一种车载HUD融合实景导航显示系统，包括：

路面识别模型模块，用于收集路面图片信息，获取实际路面识别模型；

HUD显示模块，用于将车载导航信息融合实际路况信息投屏显示在车辆前挡风玻璃上；

感知模块，包括用于实时定位检测车辆位置的车载GPS、安装在HUD底座前的前置摄像头2、安装在HUD底座后的后置摄像头3，所述前置摄像头2用于检测实际路况信息，所述后置摄像头3用于确定驾驶员的视觉位置；

判断识别模块，用于根据所述感知模块获取的实际路况信息引用所述实际路面识别模型进行识别，判断确认车辆是否到达特定地点；

信息处理模块，用于根据所述判断识别模块判断识别的结果，将所述感知模块获取的视觉位置信息结合实际路况中道路显示标识点位置信息、车辆前挡风玻璃位置信息，计算出HUD道路箭头标识的显示区域4信息；并将该信息传送至所述HUD显示模块在车辆前挡风玻璃1相应位置进行显示。

进一步的，该系统还包括通讯模块，用于车载GPS之间以及车辆感知模块之间的信息交互。

进一步的，该系统还包括人机交互模块，用于车载HUD融合实景导航显示系统的模式设置、显示设置。

本示例的一种车载HUD融合实景导航显示系统，可执行本发明所提供的一种车载HUD融合实景导航显示方法，可执行方法示例的任何组合实施步骤，具备该方法相应的功能和有益效果。

本发明实施例还提供一种车载HUD融合实景导航显示装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行如上所述方法。

本发明实施例还提供一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种车载HUD融合实景导航显示方法，其特征在于，包括以下步骤：

S1：通过收集路面图片信息，获取实际路面识别模型；

S2：获取导航信息，依据当前GPS定位信息判断当前车辆是否接近特定地点；

S3：若导航信息显示车辆已接近特定地点，则利用安装在HUD底座前的前置摄像头检测实际路况信息，通过获取的实际路况信息引用所述实际路面识别模型进行识别，判断确认车辆是否到达特定地点；

S4：若车辆确定到达特定地点，则利用安装在HUD底座后的后置摄像头确定驾驶员的视觉位置，及实际路况中道路显示标识点位置信息、车辆前挡风玻璃位置信息，计算出HUD道路箭头标识的显示区域信息，将实际路况通过HUD投屏到车辆前挡风玻璃的显示区域。

2.根据权利要求1所述的车载HUD融合实景导航显示方法，其特征在于，步骤S1的具体步骤包括：

S101：收集路面图片信息，对图片中的特定地点进行标注，所述特定地点包括建筑物、交叉路口、路面标识；

S102：将标注后的路面图片信息利用深度学习算法进行学习训练，对特定地点进行识别、分析和归类，得到实际路面识别模型。

3.根据权利要求1所述的车载HUD融合实景导航显示方法，其特征在于，在步骤S4中，确定驾驶员的视觉位置的方法包括以下步骤：

S401：通过Cameraface软件检测人脸，根据拍摄的象素坐标系，以两眼的中间位置作为取点位置，两眼象素坐标分别为S1(x1,y1)，S2(x2,y2)，获得两眼现实场景坐标的函数式为P＝f(u，v，q)，其中u为现实场景中人眼相对后置摄像头的左右位置，v为现实场景中人眼相对后置摄像头的上下位置，q为现实场景中人眼相对后置摄像头的前后距离；

S402：限定现实场景中人眼相对后置摄像头的左右位置u及现实场景中人眼相对后置摄像头的上下位置v不变，两眼象素坐标分别为S1(x1,y1)，S2(x2,y2)，通过一一映射关系进行标定，得到现实场景中人眼相对后置摄像头的前后位置坐标Pq＝f(q)＝fq(S1，S2)；

S403：根据两眼象素坐标分别为S1(x1,y1)，S2(x2,y2)，通过一一映射关系进行标定，得到现实场景中人眼相对后置摄像头的左右位置Pu＝f(u)＝fu(S1，S2)，现实场景中人眼相对后置摄像头的上下位置Pv＝f(v)＝fv(S1，S2)，最后得到P＝f(u，v，q)的显示场景中的位置信息。

4.根据权利要求1所述的车载HUD融合实景导航显示方法，其特征在于，在步骤S4中，计算HUD道路箭头标识的显示区域信息的方法包括：

根据步骤S3中获取的实际路况信息得到特定地点的位置信息，通过汽车的定位信息得到车辆前挡风玻璃的位置信息，以及利用安装在HUD底座后的后置摄像头确定的驾驶员的视觉位置信息，得到视觉位置相对于水平面的距离H、视觉位置在水平面的投影位置与特定地点的位置之间距离L、车辆前挡风玻璃在水平面的投影位置与特定地点的位置之间距离l、视觉位置的水平延长线与特定地点位置的垂直延长线的交点到视觉位置之间的距离S，则

利用几何关系得到HUD道路箭头标识的显示区域信息H(s,h,l)，其中s为HUD道路箭头标识的显示区域在车辆前挡风玻璃上的水平坐标值，h为HUD道路箭头标识的显示区域在车辆前挡风玻璃上的垂直坐标值，即h＝Hl/L，s＝Sl/L。

5.一种车载HUD融合实景导航显示系统，其特征在于，包括：

路面识别模型模块，用于收集路面图片信息，获取实际路面识别模型；

HUD显示模块，用于将车载导航信息融合实际路况信息投屏显示在车辆前挡风玻璃上；

感知模块，包括用于实时定位检测车辆位置的车载GPS、安装在HUD底座前的前置摄像头、安装在HUD底座后的后置摄像头，所述前置摄像头用于检测实际路况信息，所述后置摄像头用于确定驾驶员的视觉位置；

判断识别模块，用于根据所述感知模块获取的实际路况信息引用所述实际路面识别模型进行识别，判断确认车辆是否到达特定地点；

信息处理模块，用于根据所述判断识别模块判断识别的结果，将所述感知模块获取的视觉位置信息结合实际路况中道路显示标识点位置信息、车辆前挡风玻璃位置信息，计算出HUD道路箭头标识的显示区域信息。

6.根据权利要求5所述的车载HUD融合实景导航显示系统，其特征在于，所述路面识别模型模块获得路面识别模型的具体步骤包括：

收集路面图片信息，对图片中的特定地点进行标注，所述特定地点包括建筑物、交叉路口、路面标识；

将标注后的路面图片信息利用深度学习算法进行学习训练，对特定地点进行识别、分析和归类，得到实际路面识别模型。

7.根据权利要求5或6所述的车载HUD融合实景导航显示系统，其特征在于，还包括通讯模块，用于车载GPS之间以及车辆感知模块之间的信息交互。

8.根据权利要求5或6所述的车载HUD融合实景导航显示系统，其特征在于，还包括人机交互模块，用于车载HUD融合实景导航显示系统的模式设置、显示设置。

9.一种车载HUD融合实景导航显示装置，其特征在于，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行权利要求1至4任一项所述方法。

10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1至4任一项所述方法。

Images