CN106226910A - Hud系统及其影像调整方法 - Google Patents

Abstract

本发明提供了一种HUD系统，包括图像采集模块、影像调整控制模块和抬头显示模块；其中，所述图像采集模块包括第一摄像头，所述第一摄像头的输出端耦接影像调整控制模块的输入端，第一摄像头用于采集驾驶员视线信息并将其发送至影像调整控制模块；影像调整控制模块的输出端耦接所述抬头显示模块的输入端，影像调整控制模块接收并根据驾驶员视线信息产生相应控制信号，发送给抬头显示模块；抬头显示模块根据控制信号调整影像显示的位置。本发明提供一种HUD系统，可实时跟踪并根据驾驶者的视线信息，自动调整显示影像。

Description

HUD系统及其影像调整方法

技术领域

本发明涉及车载设备技术领域，特别涉及一种HUD系统及其影像调整方法。

背景技术

目前市场上的HUD(Head Up Display)系统基本只是汽车仪表盘的延伸，其主要功能是显示仪表盘上的信息，如车速、转速等，除此之外，部分高端产品可以识别指示牌，如限速标志等，也有部分高端产品可以显示导航信息。

但是这些产品基本存在一些问题：

(1)、后装HUD基本都是投影在一个半反射玻璃(或者其他材质)上，对驾驶员存在一定干扰；

(2)、可视范围小，只有在特定的角度才能看得见投影信息，一旦驾驶员头部偏离或晃动，就会看不到影像或者看不到完成的影像，并且，只能通过手动地调整影像的距离以及位置而无法根据驾驶员的坐姿、位置进行主动调节，这在驾驶过程中，当驾驶员头部位置发生变化或者坐姿调整后，需要再次手动调整影像位置，给驾驶带来安全隐患；

(3)、在驾驶过程中，车速越高，人眼的视线越高，相当于视线上移，而影像的大小及位置若不进行相应调节，HUD的体验将受到一定程度的影响，但现有的HUD无法根据车速等信息进行调节；

(4)、显示的影像不能根据车宽等信息自动适应；

(5)、导航信息不能根据道路实际情况进行调整，比较死板。

发明内容

本发明提供一种HUD系统及其影像调整方法，采用增强现实技术，可实时跟踪并根据驾驶者的视线信息，自动调整显示影像。

为解决上述问题，本发明实施例提供一种HUD系统，包括图像采集模块、影像调整控制模块和抬头显示模块；

其中，所述图像采集模块包括第一摄像头，所述第一摄像头的输出端耦接影像调整控制模块的输入端，第一摄像头用于采集驾驶员视线信息并将其发送至影像调整控制模块；

影像调整控制模块的输出端耦接所述抬头显示模块的输入端，影像调整控制模块接收并根据驾驶员视线信息产生相应控制信号，发送给抬头显示模块；

抬头显示模块根据控制信号调整影像显示的位置。

可选的，所述影像调整控制模块包括：

第一获取模块，获取驾驶员面部图像；

眼睛检测模块，基于AAM和ASM算法检测眼睛位置；

眼睛定位模块，利用眼睛位置确定眼睛在世界坐标系中的坐标；

控制信号产生模块，根据眼睛、抬头显示模块在世界坐标系中的坐标确定影像显示的位置并产生控制信号。

可选的，所述图像采集模块还包括第二摄像头，所述第二摄像头的输出端耦接影像调整控制模块的输入端，第二摄像头用于采集道路信息并将其发送至影像调整控制模块，影像调整控制模块根据道路信息、驾驶员视线信息将虚拟道路影像与道路实景进行叠加。

可选的，所述影像调整控制模块包括，

第二获取模块，获取车辆前端道路的动态画面；

图像处理模块，将动态画面以序列帧方式导出形成图像文件；

车道线检测模块，对每一帧图像文件进行道路实景检测，获取道路实景检测结果；

虚拟道路影像构建模块，利用道路实景检测结果进行道路实景的跟踪，形成虚拟道路影像；

叠加模块，利用驾驶员视线信息将虚拟道路影像与道路实景进行叠加。

可选的，还包括仪表信息采集模块和导航信息采集模块，所述仪表信息采集模块的输出端耦接所述影像调整控制模块的输入端，仪表信息采集模块用于采集车况信息并将其发送至影像调整控制模块，所述导航信息采集模块的输出端耦接影像调整控制模块的输入端，导航信息采集模块用于采集导航信息并将其发送至影像调整控制模块。

本发明实施例还提供了一种HUD系统影像调整方法，包括如下步骤，

获取驾驶员视线信息；

根据驾驶员视线信息调整抬头显示模块中影像显示的位置。

可选的，所述根据驾驶员视线信息调整抬头显示模块中影像显示的位置，具体包括以下步骤：

获取驾驶员面部图像；

基于AAM和ASM算法检测眼睛位置；

利用眼睛位置确定眼睛在世界坐标系中的坐标；

根据眼睛、抬头显示模块在世界坐标系中的坐标确定影像显示的位置。

可选的，还包括：根据车速信息，调节抬头显示模块中影像显示的位置。

可选的，还包括：根据道路信息、驾驶员视线信息，将虚拟道路影像与道路实景进行叠加。

可选的，所述根据道路实景检测结果将虚拟道路影像与道路实景进行叠加，具体包括以下步骤：

获取车辆前端道路的动态画面；

将动态画面以序列帧方式导出；

对每一帧图像文件进行道路实景检测，获取道路实景检测结果；

利用道路实景检测结果进行道路实景的跟踪，形成虚拟道路影像；

利用驾驶员视线信息将虚拟道路影像与道路实景进行叠加。

本发明相比于现有技术的有益效果在于：

采用了增强现实技术，可以实时追踪驾驶员的头部与眼睛的活动，结合车辆的行驶状况、前方路况等信息实时动态调整影像；可以根据驾驶员头部和眼睛的位置自动、实时的调整显示效果；可以根据车速自动调整图像的视距；可以识别出前方车道变化，并将导航信息根据车道变化进行调整，使其指示箭头跟随车道变化而变化。

附图说明

图1为本发明的HUD系统的模块连接图；

图2为本发明HUD系统中叠加模块的效果展示图；

图3为本发明HUD系统中抬头显示模块的工作原理示意图；

图4～6为本发明HUD系统中影像调整方法的流程图。

附图标注：10、图像采集模块；11、第一摄像头；12、第二摄像头；13、仪表信息采集模块；14、导航信息采集模块；20、影像调整控制模块；30、抬头显示模块。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。

如图1所示，一种HUD系统，包括图像采集模块10、仪表信息采集模块13、导航信息采集模块14、影像调整控制模块20和抬头显示模块30，其中，图像采集模块10的输出端、仪表信息采集模块13的输出端和导航信息采集模块14的输出端均耦接影像调整控制模块，影像调整控制模块20的输出端耦接抬头显示模块30的输入端。

在本实施例中，抬头显示模块采用DLP(Digital Light Processing)技术(也可使用其它任何HUD技术)，同时，抬头显示模块包括投影设备和投影屏幕，所述投影屏幕可以为前风窗或者专用影像承载屏，对应的，具体投影的方式可以使用不同方式实现，可以直接投影到前风窗，也可以投影到其他影像承载设备。

在本实施例中，根据驾驶员视线信息和道路信息调整影像显示的位置，其中调整影像显示的位置的方法包括两种：一种是调整投影屏幕的位置，对应的投影屏幕可以翻转或平移以便于驾驶员能方便地看投影内容；另一种是调整投影设备以改变投影影像的位置。

其中，调整投影设备以改变投影影像的位置的具体方法请参考图3：根据车速信号和眼睛的定位信息，计算出HUD曲面镜的角度；将角度信息发送给投影设备；投影设备调整HUD曲面镜角度以及透镜组的距离以实现调节图像距离的目的。

所述图像采集模块10包括第一摄像头11和第二摄像头12。

所述第一摄像头11面向车内，其输出端耦接影像调整控制模块20的输入端，用于采集车内的驾驶员视线信息(驾驶员视线跟踪和眼睛位置变化)并将其发送至影像调整控制模块20。

通过人脸识别技术确定眼睛的位置，影像调整控制模块20获取驾驶员眼睛的位置信息并输出相应的控制信号，调整抬头显示模块中影像显示的位置，使HUD模块显示的影像处于驾驶员视角最佳位置。

所述第二摄像头12面向车外，其输出端耦接影像调整控制模块20的输入端，用于采集道路信息(如车辆、车道、路标等)并将其发送至影像调整控制模块。

通过第二摄像头获得路面、车道等道路信息，影像调整控制模块根据道路信息得到虚拟道路影像，所述虚拟道路影像包括虚拟的车辆、虚拟的车道和虚拟的路标等等，并根据道路信息、驾驶员视线信息将虚拟道路影像与道路实景进行叠加，形成增强现实影像。例如，将虚拟汽车叠加道路上实际的车辆，将虚拟车道的位置限制在一个实景车道内，虚拟车道的宽度与实景车道在视觉上等宽。除上述功能外，所述第二摄像头可智能识别道路上的路牌信息，如限速标识等，并且可以进行放大变色等处理且显示在抬头显示模块中。

在本实施例中，影像调整控制模块20可选用ECU(Electronic Control Unit)电子控制单元。

在其中一个实施例中，所述影像调整控制模块20包括：第一获取模块、眼睛检测模块、眼睛定位模块、控制信号产生模块；

所述第一获取模块与第一摄像头相连，用于获取驾驶员面部图像。

所述眼睛检测模块，基于AAM(Active Appearance Model)算法和ASM(ActiveShape Model)算法检测眼睛位置。

具体的，眼睛检测模块包括灰度处理模块和眼睛定位模块，灰度处理模块用于根据驾驶员面部图像获得灰度图；眼睛定位模块用于根据灰度图定位眉毛与眼睛区域，并利用基于Hough变换的圆检测方法检测眼睛位置。所述人眼的位置可以为一个点，也可以为一个矩形。

在本实施例中，是通过检测眼睛的位置来获取驾驶员的视线信息，在其他实施例中，也可以直接检测瞳孔的位置获取驾驶员的视线信息，两种方式类似。在另一些实施例中，还可以通过检测驾驶员头部的位置来获取驾驶员的视线信息。

所述眼睛定位模块，根据眼睛参考系、摄像头参考系和世界参考系建立世界坐标系，利用眼睛定位的结果确定其在坐标系中的坐标，根据眼睛、抬头显示模块在世界坐标系中的坐标确定影像显示的位置并产生控制信号。

首先，根据眼睛参考系、摄像头参考系和世界参考系建立世界坐标系，所述世界坐标系中包括摄像头的坐标、眼睛的坐标、投影屏幕的坐标、道路实景的坐标，当眼睛的坐标确定后，即眼睛在X、Z平面的投影位置确定后，对应确定投影在屏幕上的坐标的位置，根据驾驶员眼睛的位置的移动自动、实时地调整调整HUD曲面镜角度以及透镜组的距离，进而调节显示影像的位置。

在其他实施例中，驾驶员视线信息除了驾驶员眼睛的位置以外，还包括驾驶员视线的上下移动信息。由于一般来说，车辆速度越快，驾驶员的视线会越向远方注视，对应的视线位置比较高，但如果车辆速度越慢，驾驶员的视线会变近，对应的视线位置变低，因此根据汽车的车速，自动、实时地调整显示影像的位置。

在其他实施例中，所述影像调整控制模块还包括：第二获取模块、图像处理模块、车道线检测模块、虚拟道路影像构建模块、叠加模块；

所述第二获取模块与第二摄像头相连，获取车辆前端道路的动态画面。

所述图像处理模块与第二获取模块相连，将获取的动态画面以序列帧方式导出。

所述车道线检测模块，对每一帧图像文件进行道路实景检测，获取道路实景检测结果。所述道路实景检测结果包括获取实际道路中的车辆、车道、路标等。

所述虚拟道路影像构建模块，利用道路实景检测结果进行道路实景的跟踪，形成虚拟道路影像。

例如，车辆前方的道路上有车辆，对车辆的位置、大小、形状等信息进行追踪，形成虚拟汽车影像。当车辆前方的道路上有车道，对车道线进行追踪，形成虚拟车道影像。当车辆前方的道路上有路牌信息，如限速标识等，获取其中的信息并形成虚拟路牌影像，并且还可以对虚拟路牌影像进行放大变色等处理且显示在抬头显示模块中。

所述叠加模块，利用驾驶员视线信息将虚拟道路影像与道路实景进行叠加。

具体的，以车道线为例，请参考图2，x1、z1坐标系为投影屏幕平面，在此基础上加上一个向前的y1轴形成世界坐标系，然后在x1、y1平面画出网格，然后将第二摄像头得到的车道线(图中虚线)设置在x1、y1平面上，并将虚拟车道影像限制在这两个车道线之间，实现叠加。

调节位置只需要一个相对坐标系，在第一次安装设备的时候会确认一次大致的相对位置，系统会记录这个各模块的相对位置。叠加完成后，当驾驶员的位置又发生变化后，通过获取调整后的驾驶员的眼睛位置，此后，如果眼睛位置变化后，其在x1、z1平面的投影位置也相应变换，此时HUD显示模块会对显示的位置进行相应的移动。

在本实施例中，所述HUD系统还包括仪表信息采集模块，用于采集车速信息并将其发送至影像调整控制模块，影像调整控制模块在获取车况信息(如车速、转速、油量、续航里程等信息)之后，结合驾驶员眼睛的位置信息获得抬头显示模块的成像角度，并将该成像角度的信息发送至抬头显示模块，抬头显示模块会当前车速自动调整图像视距。

在本实施例中，所述HUD系统还包括导航信息采集模块，用于采集导航信息并将其发送至影像调整控制模块，导航功能可利用本系统以增强现实的方式显示在抬头显示模块上，并能够将导航等信息叠加在驾驶员视野中的虚拟路面上，比如直行时，导航的指示箭头在虚拟车道中间向前；再比如前方需要转弯时，导航指示箭头会在转弯车道内绘制，并且随着车道变化而变化。

本发明实施例还提供了一种HUD系统影像调整方法，请参考图4，包括如下步骤，

步骤S100，获取驾驶员视线信息；

步骤S200，根据驾驶员视线信息调整抬头显示模块中影像显示的位置；

在其他实施例中，还包括：

步骤S300，获取道路信息；

步骤S400，根据道路信息、驾驶员视线信息，将虚拟道路影像与道路实景进行叠加。

其中，所述根据驾驶员视线信息调整抬头显示模块中影像显示的位置，具体包括以下步骤，请参考图5：

步骤S201，获取驾驶员面部图像；

步骤S202，基于AAM和ASM算法检测眼睛位置；

步骤S203，利用眼睛位置确定眼睛在世界坐标系中的坐标；

步骤S204，根据眼睛、抬头显示模块在世界坐标系中的坐标确定影像显示的位置。

其中，所述根据道路实景检测结果将虚拟道路影像与道路实景进行叠加，具体包括以下步骤，请参考图6：

步骤S401，获取车辆前端道路的动态画面；

步骤S402，将动态画面以序列帧方式导出；

步骤S403，对每一帧图像文件进行道路实景检测，获取道路实景检测结果；

步骤S404，利用道路实景检测结果进行道路实景的跟踪，形成虚拟道路影像；

步骤S405，利用驾驶员视线信息将虚拟道路影像与道路实景进行叠加。

本发明相比于现有技术的有益效果在于：采用了增强现实技术，可以实时追踪驾驶员的头部与眼睛的活动，结合车辆的行驶状况、前方路况等信息实时动态调整影像；可以根据驾驶员头部和眼睛的位置自动、实时的调整显示效果；可以根据车速自动调整图像的视距；可以识别出前方车道变化，并将导航信息根据车道变化进行调整，使其指示箭头跟随车道变化而变化。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种HUD系统，其特征在于，包括图像采集模块、影像调整控制模块和抬头显示模块；

其中，所述图像采集模块包括第一摄像头，所述第一摄像头的输出端耦接影像调整控制模块的输入端，第一摄像头用于采集驾驶员视线信息并将其发送至影像调整控制模块；

影像调整控制模块的输出端耦接所述抬头显示模块的输入端，影像调整控制模块接收并根据驾驶员视线信息产生相应控制信号，发送给抬头显示模块；

抬头显示模块根据控制信号调整影像显示的位置。

2.根据权利要求1所述的HUD系统，其特征在于，所述影像调整控制模块包括：

第一获取模块，获取驾驶员面部图像；

眼睛检测模块，基于AAM和ASM算法检测眼睛位置；

眼睛定位模块，利用眼睛位置确定眼睛在世界坐标系中的坐标；

控制信号产生模块，根据眼睛、抬头显示模块在世界坐标系中的坐标确定影像显示的位置并产生控制信号。

3.根据权利要求1所述的HUD系统，其特征在于，所述图像采集模块还包括第二摄像头，所述第二摄像头的输出端耦接影像调整控制模块的输入端，第二摄像头用于采集道路信息并将其发送至影像调整控制模块，影像调整控制模块根据道路信息、驾驶员视线信息将虚拟道路影像与道路实景进行叠加。

4.根据权利要求3所述的HUD系统，其特征在于，所述影像调整控制模块包括，

第二获取模块，获取车辆前端道路的动态画面；

图像处理模块，将动态画面以序列帧方式导出形成图像文件；

车道线检测模块，对每一帧图像文件进行道路实景检测，获取道路实景检测结果；

虚拟道路影像构建模块，利用道路实景检测结果进行道路实景的跟踪，形成虚拟道路影像；

叠加模块，利用驾驶员视线信息将虚拟道路影像与道路实景进行叠加。

5.根据权利要求1所述的HUD系统，其特征在于，还包括仪表信息采集模块和导航信息采集模块，所述仪表信息采集模块的输出端耦接所述影像调整控制模块的输入端，仪表信息采集模块用于采集车况信息并将其发送至影像调整控制模块，所述导航信息采集模块的输出端耦接影像调整控制模块的输入端，导航信息采集模块用于采集导航信息并将其发送至影像调整控制模块。

6.一种HUD系统影像调整方法，其特征在于：包括如下步骤，

获取驾驶员视线信息；

根据驾驶员视线信息调整抬头显示模块中影像显示的位置。

7.根据权利要求6所述的HUD系统影像调整方法，其特征在于，所述根据驾驶员视线信息调整抬头显示模块中影像显示的位置，具体包括以下步骤：

获取驾驶员面部图像；

基于AAM和ASM算法检测眼睛位置；

利用眼睛位置确定眼睛在世界坐标系中的坐标；

根据眼睛、抬头显示模块在世界坐标系中的坐标确定影像显示的位置。

8.根据权利要求6所述的HUD系统影像调整方法，其特征在于，还包括：根据车速信息，调节抬头显示模块中影像显示的位置。

9.根据权利要求6所述的HUD系统影像调整方法，其特征在于，还包括：根据道路信息、驾驶员视线信息，将虚拟道路影像与道路实景进行叠加。

10.根据权利要求9所述的HUD系统影像调整方法，其特征在于，所述根据道路实景检测结果将虚拟道路影像与道路实景进行叠加，具体包括以下步骤：

获取车辆前端道路的动态画面；

将动态画面以序列帧方式导出；

对每一帧图像文件进行道路实景检测，获取道路实景检测结果；

利用道路实景检测结果进行道路实景的跟踪，形成虚拟道路影像；

利用驾驶员视线信息将虚拟道路影像与道路实景进行叠加。