CN113655618A - 一种基于双目视觉的arhud图像显示方法和装置 - Google Patents

Abstract

本发明涉及HUD显示技术领域，提供了一种基于双目视觉的ARHUD图像显示方法和装置，包括：采集车辆的外界环境信息、驾驶员的左眼实时位置和所述驾驶员的右眼实时位置；基于所述外界环境信息、所述左眼实时位置和所述右眼实时位置，生成左眼二维图像和右眼二维图像；根据所述左眼二维图像和所述右眼二维图像，得到左眼显示图像和右眼显示图像；通过ARHUD的成像结构将所述左眼显示图像和所述右眼显示图像，进行虚像显示。本发明能够使驾驶员的左右眼观察到不同的HUD虚像图像，并且这一虚像图像是与车辆前方的车道线，行人，车辆，地面至少之一相贴合，达到真正的3D显示体验。

Description

一种基于双目视觉的ARHUD图像显示方法和装置

技术领域

本发明涉及HUD显示技术领域，尤指一种基于双目视觉的ARHUD图像显示 方法和装置。

背景技术

现有的AR HUD(增强现实的抬头显示系统)的系统由于参数定义和设计原 因，均是在前方若干米处成固定距离的虚像。在设计过程中，需要保证左眼和 右眼观察到的图像差别尽可能小，即左右眼的双目视差和动态畸变尽可能小， 从而让驾驶员有比较舒适的观察体验。如果由于成像系统的设计和加工组装原 因，导致双目视差和动态畸变较大，那么驾驶员的左右眼观察到的图像就会差 异较大，从而产生头晕，眼晕等不适感。

在保证了整体的图形性能和驾驶员观察图像的舒适度的情况下，AR HUD在 汽车前方若干米处投射出虚像图像。以虚像距离为10米，下视角3度，视场 角10*4度，左视角0度的情况为例，虚像能够与前方路面14～74米的路段重 叠。但在这一重叠过程中，由于左眼观察到的虚像和路面的复合图像，与右眼 观察到的虚像和路面的复合图像，实际上并不一致，导致虚像与路面存在双目 视差。这一双目视差严重影响了AR HUD的体验，即显示的图像无法与实景重 叠。由于虚像的像面与水平路面基本是垂直的，两个平面的法线夹角通常不小 于85度，因此无论将虚像距离设置在汽车前方多少米，始终会存在虚像图像 与路面/汽车无法完全拟合的情况，这种情况严重影响AR HUD的显示效果，无 法做到真正的增强现实的显示性能。

同时，为了减小这种不完全拟合的情况，当前的AR HUD产品倾向于更远 的虚像距离，如10米以上，但更远的虚像距离带来了阳光倒灌导致像源表面 温度升高甚至烧坏的现象，以及对整车的加工精度和组装精度更高的要求，因 此这一技术路线和技术要求无法真正实现工程化的AR HUD产品。

发明内容

本发明为了解决上述问题，本发明是通过以下技术实现的：

本发明提供一种基于双目视觉的ARHUD图像显示方法，包括：

采集车辆的外界环境信息、驾驶员的左眼实时位置和所述驾驶员的右眼实 时位置；

基于所述外界环境信息、所述左眼实时位置和所述右眼实时位置，生成左 眼二维图像和右眼二维图像；

根据所述左眼二维图像和所述右眼二维图像，得到左眼显示图像和右眼显 示图像；

通过ARHUD的成像结构将所述左眼显示图像和所述右眼显示图像，进行虚 像显示。

进一步优选的，所述采集车辆的外界环境信息、驾驶员的左眼实时位置和 所述驾驶员的右眼实时位置，包括：

通过所述车辆的摄像头采集所述外界环境信息，所述外界环境信息包括车 况信息、车道线、行人信息；

通过所述车辆内的摄像头采集并识别所述驾驶员的左眼实时位置和所述 驾驶员的右眼实时位置。

进一步优选的，所述根据所述左眼二维图像和所述右眼二维图像，得到左 眼显示图像和右眼显示图像，包括：

将所述左眼二维图像和所述右眼二维图像映射于世界坐标系中，并通过矢 量投影算法计算所述左眼二维图像和所述右眼二维图像在ARHUD中的虚像位 置，生成左眼显示图像和右眼显示图像。

进一步优选的，所述将所述左眼二维图像和所述右眼二维图像映射于世界 坐标系中，并通过矢量投影算法计算所述左眼二维图像和所述右眼二维图像在 ARHUD中的虚像位置，生成左眼显示图像和右眼显示图像，包括：

以所述车辆的眼盒中心点为世界坐标系坐标原点，所述车辆的行驶方向为 X轴正方向，所述车辆的左侧为Y轴正方向，所述车辆的上方为Z轴正方向； 以所述车辆的挡风玻璃成像中心点为图像坐标系原点，以向右为U轴正方向， 以向上为V轴正方向；

从所述眼盒中心点沿下视角方向在预设范围内，将所述世界坐标系所视区 域对应在所述车辆的挡风玻璃上虚像成像区域的图像坐标系内显示；

根据所述世界坐标系和所述图像坐标系的对应关系，计算对应的区域坐 标；

计算所述世界坐标系的各区域内任一点对应于所述图像坐标系中的图像 坐标；

计算根据所述世界坐标系对所述图像坐标系中图标进行变换，标出对应位 置并显示，以得到所述左眼显示图像和所述右眼显示图像。

进一步优选的，在所述通过ARHUD的成像结构将所述左眼显示图像和所述 右眼显示图像，进行虚像显示之前，还包括：

在像源的外表面增加一层光栅，以形成所述ARHUD的成像结构。

一种基于双目视觉的ARHUD图像显示装置，包括：

采集模块，用于采集车辆的外界环境信息、驾驶员的左眼实时位置和所述 驾驶员的右眼实时位置；

生成模块，用于基于所述外界环境信息、所述左眼实时位置和所述右眼实 时位置，生成左眼二维图像和右眼二维图像；

获取模块，用于根据所述左眼二维图像和所述右眼二维图像，得到左眼显 示图像和右眼显示图像；

显示模块，用于通过ARHUD的成像结构将所述左眼显示图像和所述右眼显 示图像，进行虚像显示。

进一步优选的，所述采集模块，还用于：

通过所述车辆的摄像头采集所述外界环境信息，所述外界环境信息包括车 况信息、车道线、行人信息；

通过所述车辆内的摄像头采集并识别所述驾驶员的左眼实时位置和所述 驾驶员的右眼实时位置。

进一步优选的，所述获取模块，还用于：

将所述左眼二维图像和所述右眼二维图像映射于世界坐标系中，并通过矢 量投影算法计算所述左眼二维图像和所述右眼二维图像在ARHUD中的虚像位 置，生成左眼显示图像和右眼显示图像。

进一步优选的，所述获取模块，还用于：

以所述车辆的眼盒中心点为世界坐标系坐标原点，所述车辆的行驶方向为 X轴正方向，所述车辆的左侧为Y轴正方向，所述车辆的上方为Z轴正方向； 以所述车辆的挡风玻璃成像中心点为图像坐标系原点，以向右为U轴正方向， 以向上为V轴正方向；

从所述眼盒中心点沿下视角方向在预设范围内，将所述世界坐标系所视区 域对应在所述车辆的挡风玻璃上虚像成像区域的图像坐标系内显示；

根据所述世界坐标系和所述图像坐标系的对应关系，计算对应的区域坐 标；

计算所述世界坐标系的各区域内任一点对应于所述图像坐标系中的图像 坐标；

计算根据所述世界坐标系对所述图像坐标系中图标进行变换，标出对应位 置并显示，以得到所述左眼显示图像和所述右眼显示图像。

进一步优选的，还包括增加模块，用于：

在像源的外表面增加一层光栅，以形成所述ARHUD的成像结构。

本发明提供的一种基于双目视觉的ARHUD图像显示方法和装置至少具有以 下一种有益效果：

本发明的效果之一在于，能够使驾驶员的左右眼观察到不同的HUD虚像图 像，并且这一虚像图像是与车辆前方的车道线，行人，车辆，地面至少之一相 贴合，达到真正的3D显示体验。

通过本发明AR HUD的虚像不再需要设计到很远(7米以上)，而是只需要 设计为3-5米，即可达到清晰的显示效果。这一性能更改的优点在于，能够有 效规避阳光倒灌造成的像源表面聚光和升温；能够降低对挡风玻璃和整车的加 工和组装精度要求；有更好的质量表现和稳定性；能够在相同体积下，相对于 传统AR HUD，做到更大的视场角。

通过对像源的特殊处理，能够针对左右眼生成的不同图像，使得驾驶员的 左右眼能够在同一AR HUD光学系统下观察到不同图像。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种基于双目 视觉的ARHUD图像显示方法和装置的上述特性、技术特征、优点及其实现方式 予以进一步说明。

图1是本发明中一种基于双目视觉的ARHUD图像显示方法的一个实施例的 示意图；

图2是本发明中一种基于双目视觉的ARHUD图像显示装置的一个实施例的 示意图；

图3是本发明中坐标示意图；

图4是本发明中坐标示意图；

图5是本发明中坐标系区域示意图；

图6是汽车、HUD虚像与路面的关系图；

图7是虚像与路面的拟合关系图；

图8是左眼和右眼观察到的传统AR HUD的图像；

图9是左眼和右眼观察到图像的重叠的示意图；

图10是虚像距离更远的情况下左右眼观察到的图像；

图11是虚像距离更远的情况下左右眼观察到的图像；

图12是日光倒灌产生的原因示意图；

图13是本发明中像源和光栅以及双目观测到不同图像的原理图；

图14是本发明中像源和光栅以及双目观测到不同图像的原理图；

图15是本发明中在抬头显示系统中应用狭缝光栅或柱镜光栅的示意图；

图16是本发明中3DARHUD中驾驶员左右眼观察到的实际情况的示意图；

图17是本发明中基于双目视觉的ARHUD图像显示装置的应用示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、 技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术 人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。 在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明， 以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括” 指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不 排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的 存在或添加。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它 们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有 些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅 标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以 表示“多于一个”的情形。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语 “和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能 组合，并且包括这些组合。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描 述，而不能理解为指示或暗示相对重要性。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对 照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅 是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性 劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施 方式。

需要说明的是，为了让本领域的技术人员更容易了解本发明的显著进 步，对传统的ARHUD技术进行以下描述：

现有的AR HUD(增强现实的抬头显示系统)的系统由于参数定义和设计原 因，均是在前方若干米处成固定距离的虚像。在设计过程中，需要保证左眼和 右眼观察到的图像差别尽可能小，即左右眼的双目视差和动态畸变尽可能小， 从而让驾驶员有比较舒适的观察体验。如果由于成像系统的设计和加工组装原 因，导致双目视差和动态畸变较大，那么驾驶员的左右眼观察到的图像就会差 异较大，从而产生头晕，眼晕等不适感。

示例性的，如图6所示，汽车、HUD虚像与路面的关系图，在保证了整体 的图形性能和驾驶员观察图像的舒适度的情况下，AR HUD在汽车前方若干米处 投射出虚像图像。以虚像距离为10米，下视角3度，视场角10*4度，左视角 0度的情况为例，虚像能够与前方路面14-74米的路段重叠。

示例性的，如图7所示，虚像与路面的拟合关系图，在这一重叠过程 中，由于左眼观察到的虚像+路面的复合图像，与右眼观察到的虚像+路面 的复合图像，实际上并不一致，导致虚像与路面存在双目视差。这一双目 视差严重影响了AR HUD的体验，即显示的图像无法与实景重叠。由于虚像 的像面与水平路面基本是垂直的，两个平面的法线夹角通常不小于85度， 因此无论将虚像距离设置在汽车前方多少米，始终会存在虚像图像与路面 /汽车无法完全拟合的情况，这种情况严重影响AR HUD的显示效果，无法 做到真正的增强现实的显示性能。

示例性的，如图8所示，左眼和右眼观察到的传统AR HUD的图像(注 意，图像不变，但是背景路面已经有变化)。驾驶员左眼观察到的实际情 况为图8最左侧的示意图，由于虚像是一个基本垂直于地面的图像，因此 在左右眼位置，虚像显示的内容和地面的相对关系不一样，导致HUD的虚 像与实际道路贴合不准确。中心眼位的理想成像情况为图8中间的示意图， HUD的虚像与实际道路贴合准确，黑色虚线框为HUD的显示区域，浅色箭头 为HUD的示例显示内容。驾驶员右眼观察到的实际情况示意图为图8最右侧 的画面，由于虚像是一个基本垂直于地面的图像，因此在左右眼位置，虚 像显示的内容和路面的相对关系不一样，导致HUD的虚像与实际道路贴合 不准确。

示例性的，如图9所示，左眼和右眼观察到图像的重叠的示意图，表 现了驾驶员左右眼观察到的实际情况的重叠。由于虚像是一个基本垂直于 地面的图像，因此在左右眼位置，虚像显示的内容和路面的相对关系不一 样，导致HUD的虚像雨实际到了贴合不准确。

同时，为了减小这种不完全拟合的情况，当前的ARHUD产品倾向于更 远的虚像距离，如10米以上，但更远的虚像距离带来了阳光倒灌导致像源 表面温度升高甚至烧坏的现象，以及对整车的加工精度和组装精度更高的 要求，因此这一技术路线和技术要求无法真正实现工程化的ARHUD产品。

示例性的，如图10、11所示，虚像距离更远的情况下，左右眼观察到 的图像不重叠的情况有所减轻，但仍然存在。驾驶员左右眼观察到的实际 情况的重叠(虚像距离更远)，由于虚像是一个基本垂直于地面的图像， 因此在左右眼位置，虚像显示的内容和路面的相对关系不一样，导致HUD 的虚像雨实际到了贴合不准确。图11是HUD的基本成像原理，从像源发出 的实像光线，经过平面反射镜的反射和折叠后，射入曲面反射镜表面，通 过曲面反射镜的反射和放大成像，光线传播到挡风玻璃上，并在挡风玻璃 表面反射后进入人眼。由此驾驶员可以观察到HUD的图像，HUD的图像是虚 像。

现有技术的HUD会存在日光倒灌的问题，示例性的，如图12所示，日 光倒灌产生的原因示意图，太阳光在某些特殊角度，能够直接入射到HUD 的光路中，并通过曲面反射镜和平面反射镜的传播，造成像源表面的光线 汇聚和升温，严重情况下甚至可能导致像源烧坏。对于HUD的光路系统来 说，虚像距离越远，曲面反射镜的曲率越大，导致入射的太阳光会更加集 中，这就是虚像距离越远，日光倒灌的危害越大的原因。

实施例一

为了解决现有技术的缺陷，本发明提供一种基于双目视觉的ARHUD图像显 示方法的一个实施例，如图1所示，包括：

S100采集车辆的外界环境信息、驾驶员的左眼实时位置和所述驾驶员的右 眼实时位置。

具体的，在针对左右眼生成不同图像的过程中，需要采集汽车外界的信息： 通过摄像头采集前方的路况、车况、车道线、行人等信息，从而在3D AR HUD 中针对性的显示与实景相关并融合的图像，如车道线标记，压线提醒，前车距 离提醒，以及增强现实导航，变道提示等；可以通过车内布置的摄像头，采集 并识别驾驶员左右眼睛的实时位置。

S200基于所述外界环境信息、所述左眼实时位置和所述右眼实时位置，生 成左眼二维图像和右眼二维图像。

具体的，可以通过车辆的摄像头实时跟踪驾驶员的左右眼位置，并根据左 右眼的实时位置，实时采集二维图像。

S300根据所述左眼二维图像和所述右眼二维图像，得到左眼显示图像和右 眼显示图像。

S400通过ARHUD的成像结构将所述左眼显示图像和所述右眼显示图像，进 行虚像显示。

具体的，在针对左右眼生成不同图像的过程中，需要采用本发明中的特殊 算法，即通过创建真实三维世界的坐标系，将需要显示的二位图片置于三维世 界的位置中，再通过特殊的矢量投影计算方法，计算出该二维图片在AR HUD 的虚像中的位置。

通过这一方法，生成针对左右眼显示的不同图片，并通过特殊处理的像源 进行显示，通过ARHUD的成像光学系统生成虚像，即可达到贴合真实世界的显 示效果。

具体的，针对左眼和右眼生成的图像，经过图像融合后，在同一片显示器 件上显示。

本发明效果之一在于，能够使驾驶员的左右眼观察到不同的HUD虚像图像， 并且这一虚像图像是与车辆前方的车道线，行人，车辆，地面至少之一相贴合， 达到真正的3D显示体验。

实施例二

基于上述实施例，在本实施例中与上述实施例相同的部分就不一一赘述 了，本实施例提供一种ARHUD显示方法，具体包括：

步骤S100所述采集车辆的外界环境信息、驾驶员的左眼实时位置和所述 驾驶员的右眼实时位置，包括：

通过所述车辆的摄像头采集所述外界环境信息，所述外界环境信息包括车 况信息、车道线、行人信息。

通过所述车辆内的摄像头采集并识别所述驾驶员的左眼实时位置和所述 驾驶员的右眼实时位置。

步骤S300所述根据所述左眼二维图像和所述右眼二维图像，得到左眼显 示图像和右眼显示图像，包括：

将所述左眼二维图像和所述右眼二维图像映射于世界坐标系中，并通过矢 量投影算法计算所述左眼二维图像和所述右眼二维图像在ARHUD中的虚像位 置，生成左眼显示图像和右眼显示图像。

优选的，所述将所述左眼二维图像和所述右眼二维图像映射于世界坐标系 中，并通过矢量投影算法计算所述左眼二维图像和所述右眼二维图像在ARHUD 中的虚像位置，生成左眼显示图像和右眼显示图像，包括：

以所述车辆的眼盒中心点为世界坐标系坐标原点，所述车辆的行驶方向为 X轴正方向，所述车辆的左侧为Y轴正方向，所述车辆的上方为Z轴正方向； 以所述车辆的挡风玻璃成像中心点为图像坐标系原点，以向右为U轴正方向， 以向上为V轴正方向；

从所述眼盒中心点沿下视角方向在预设范围内，将所述世界坐标系所视区 域对应在所述车辆的挡风玻璃上虚像成像区域的图像坐标系内显示；

根据所述世界坐标系和所述图像坐标系的对应关系，计算对应的区域坐 标；

计算所述世界坐标系的各区域内任一点对应于所述图像坐标系中的图像 坐标；

计算根据所述世界坐标系对所述图像坐标系中图标进行变换，标出对应位 置并显示，以得到所述左眼显示图像和所述右眼显示图像。

示例性的，如图3、4、5所示，针对左右眼生成不同图像的算法的描述如 下：

以眼盒中心点为世界坐标系坐标原点，汽车行驶方向为X轴正方向，汽车 左侧为Y轴正方向，汽车上方为Z轴正方向。以汽车挡风玻璃成像中心点为图 像坐标系原点，以向右为U轴正方向，以向上为V轴正方向。

从眼盒中心点O沿下视角方向在fov范围内，世界坐标系所视区域 (A’,B’,C’D’)对应在汽车挡风玻璃上虚像成像区域图像坐标系(A,B,C,D) 内显示。

根据世界坐标系(A’,B’,C’,D’)和图像坐标系(A,B,C,D)对应关系， 计算A,B,C,D和A’,B’,C’,D’区域坐标。

计算世界坐标系A’,B’,C’,D’区域内任一点对应于图像坐标系中图像 坐标。

计算根据世界坐标系传输过来信息对图像坐标系中图标进行变换，标出对 应位置并显示。

注意，虚像成像区域不一定是四边形，也可能是不规则图形(由实际光学 设计决定)，因此，对应的世界坐标系中，地面的对应显示区域也不一定是四 边形。本专利中对算法的描述仅为示例，便于理解。

本发明可配备摄像头，用于实时检测驾驶员的左右眼位置，并针对检测到 的左右眼位置，使用本发明专利中的软件算法，生成更精确的左右眼图像。

在所述通过ARHUD的成像结构将所述左眼显示图像和所述右眼显示图像， 进行虚像显示之前，还包括：

在像源的外表面增加一层光栅，以形成所述ARHUD的成像结构。

具体的，针对像源的特殊处理，是指在像源的外表面增加一层光栅，这层 光栅可以是狭缝光栅，也可以是柱镜光栅。

狭缝光栅或者柱镜光栅的具体设计需要与AR HUD的成像光学系统匹配， 包括狭缝的长度，宽度，空间位置，倾斜程度，柱镜的曲率，密度，空间位置， 倾斜程度等。通过狭缝光栅或柱镜光栅，能够在驾驶员的左右眼位置上投影出 两幅不同的虚像图像。

像源可以是液晶屏，也可以是DLP投影，或LCOS投影，或microLED器件， 或microOLED器件，或激光束扫描投影。

如图13、14所示：像源和光栅，以及双目观测到不同图像的原理。

其中，在像源屏幕上，黑色和灰色分别代表相邻的像素颗粒。

如图15所示，在抬头显示系统中应用狭缝光栅或柱镜光栅的示意图，在 针对左右眼生成不同图像的过程中，需要采集汽车外界的信息：通过摄像头采 集前方的路况，车况，车道线，行人等信息，从而在3D AR HUD中针对性的显 示与实景相关并融合的图像，如车道线标记，压线提醒，前车距离提醒，以及 增强现实导航，变道提示等；可以通过车内布置的摄像头，采集并识别驾驶员 左右眼睛的实时位置。

在针对左右眼生成不同图像的过程中，需要采用本发明中的特殊算法，即 通过创建真实三维世界的坐标系，将需要显示的二位图片置于三维世界的位置 中，再通过特殊的矢量投影计算方法，计算出该二维图片在AR HUD的虚像中 的位置。通过这一方法，生成针对左右眼显示的不同图片，并通过特殊处理的 像源进行显示，通过AR HUD的成像光学系统生成虚像，即可达到贴合真实世 界的显示效果。

本发明能够使驾驶员的左右眼观察到不同的HUD虚像图像，并且这一虚像 图像是与车辆前方的车道线，行人，车辆，地面至少之一相贴合，达到真正的 3D显示体验。

示例性的，如图15所示的双目显示的图像及融合，在本实施例中，3DARHUD 中驾驶员左眼观察到的实际情况如图15左侧子图所示，可以看到三角形图标 跟随左眼的视角，位置向左调整。中心眼位的理想成像情况如图15中间子图 所示，HUD的虚像与实际到了贴合准确，其中，黑色虚线框为HUD的显示区域， 浅色箭头为HUD的示例显示内容。驾驶员右眼观察到的实际情况如图15右侧 子图所示，可以看到，三角形图标跟随右眼的视角，位置向右调整。如图16 所示，3DARHUD中驾驶员左右眼观察到的实际情况，在左右眼的重叠图像中，前方汽车和标志三角形都想重叠在一起的，也就是说，在左右眼同时观察汽车 的时候，能够清晰的看到该三角形标志被显示在了汽车的位置上，从而产生立 体视觉。

本发明的效果之一在于，ARHUD的虚像不再需要设计到很远(7米以上)， 而是只需要设计为3-5米，即可达到清晰的显示效果。这一性能更改的优点在 于，能够有效规避阳光倒灌造成的像源表面聚光和升温；能够降低对挡风玻璃 和整车的加工和组装精度要求；有更好的质量表现和稳定性；能够在相同体积 下，相对于传统ARHUD，做到更大的视场角。

本发明中，在ARHUD的显示区域内，如果同时出现了多个需要标记和贴合 显示的内容，如车道线，前方车辆，行人等，本发明专利能够分别针对多个需 要标记和贴合显示的目标分别生成左右眼图像，从而分别对多个目标进行针对 性的显示，驾驶员在分别观察多个目标物时，在调整视线的同时，可以清晰的 看到针对多个目标物的显示或标记提醒，从而达到了多个虚像距离的效果。针 对多个目标物时，每个目标物的左右眼的显示图形的计算方法与单个目标物相 同。

采用本发明设计的3D AR HUD系统开发方式，具备以下优点：

1.真正的增强现实的显示效果，真正贴合汽车前方的实际路况和车况；

2.虚像距离设计为5米以内；

3.能够有效规避阳光倒灌造成的像源表面聚光和升温；

4.能够降低对挡风玻璃和整车的加工和组装精度要求；

5.有更好的质量表现和稳定性；

6.能够在相同体积下，相对于传统AR HUD，做到更大的视场角；

7.或在相同的性能要求下，做到更小的体积。

实施例三

基于上述实施例，在本实施例中与上述实施例相同的部分就不一一赘述 了，本实施例提供一种基于双目视觉的ARHUD图像显示装置，如图2所示，包 括：

采集模块100，用于采集车辆的外界环境信息、驾驶员的左眼实时位置和 所述驾驶员的右眼实时位置；

生成模块200，用于基于所述外界环境信息、所述左眼实时位置和所述右 眼实时位置，生成左眼二维图像和右眼二维图像；

获取模块300，用于根据所述左眼二维图像和所述右眼二维图像，得到左 眼显示图像和右眼显示图像；

显示模块400，用于通过ARHUD的成像结构将所述左眼显示图像和所述右 眼显示图像，进行虚像显示。

优选的，所述采集模块，还用于：

通过所述车辆的摄像头采集所述外界环境信息，所述外界环境信息包括车 况信息、车道线、行人信息；

通过所述车辆内的摄像头采集并识别所述驾驶员的左眼实时位置和所述 驾驶员的右眼实时位置。

优选的，所述获取模块，还用于：

将所述左眼二维图像和所述右眼二维图像映射于世界坐标系中，并通过矢 量投影算法计算所述左眼二维图像和所述右眼二维图像在ARHUD中的虚像位 置，生成左眼显示图像和右眼显示图像。

优选的，所述获取模块，还用于：

以所述车辆的眼盒中心点为世界坐标系坐标原点，所述车辆的行驶方向为 X轴正方向，所述车辆的左侧为Y轴正方向，所述车辆的上方为Z轴正方向； 以所述车辆的挡风玻璃成像中心点为图像坐标系原点，以向右为U轴正方向， 以向上为V轴正方向；

从所述眼盒中心点沿下视角方向在预设范围内，将所述世界坐标系所视区 域对应在所述车辆的挡风玻璃上虚像成像区域的图像坐标系内显示；

根据所述世界坐标系和所述图像坐标系的对应关系，计算对应的区域坐 标；

计算所述世界坐标系的各区域内任一点对应于所述图像坐标系中的图像 坐标；

计算根据所述世界坐标系对所述图像坐标系中图标进行变换，标出对应位 置并显示，以得到所述左眼显示图像和所述右眼显示图像。

优选的，还包括增加模块，用于：

在像源的外表面增加一层光栅，以形成所述ARHUD的成像结构。

具体的，采用本发明专利设计的3D AR HUD系统，由以下几部分组成：

1.特殊处理的像源器件：通过对普通像源器件进行针对性的光栅贴合 和处理，能够使该像源器件针对左右眼分别显示不同的图像，且相互独立，不 存在图像可视区域的重叠或者干扰。

通过整体的成像光学设计，确定光栅的参数(狭缝长度，距离像源器件的 距离)，在光栅器件加工完成后，与像源器件进行机械固定或表面贴合。光 栅器件可以是狭缝光栅，也可以是柱镜光栅。该光栅的效果是对像源器件进行 局部遮挡，对偏振光没有选择透过性，也不通过衍射效应来实现功能，是传统 光学器件。像源器件可以是LCD屏幕，也可以是DLP投影，或LCOS投影，或 激光束扫描而行成的实像图像。

2.ARHUD的成像光学设计，是针对这种特殊处理的像源器件，重新进行 的虚像成像设计。

由于有这种特殊处理的像源器件配合，本发明描述的AR HUD不需要将虚 像设计到较远距离(通常在7.5m以上)，而是在5m以内即可。

这种更近的虚像距离，有以下几点优点：能够有效规避阳光倒灌造成的像 源表面聚光和升温；能够降低对挡风玻璃和整车的加工和组装精度要求；有更 好的质量表现和稳定性；能够在相同体积下，相对于传统AR HUD，做到更大的 视场角，或在相同性能要求下，做到更小的体积。

3.主控制器和HUD控制器，根据双目的实时位置或者设计中的双目位 置，针对性的生成左右眼图像，并将左右眼图像融合在同一个像源器件中进行 显示。

本发明专利的效果之一在于，能够使驾驶员的左右眼观察到不同的HUD虚 像图像，并且这一虚像图像是与车辆前方的车道线，行人，车辆，地面至少之 一相贴合，达到真正的3D显示体验。

通过本发明AR HUD的虚像不再需要设计到很远(7米以上)，而是只需要 设计为3-5米，即可达到清晰的显示效果。这一性能更改的优点在于，能够有 效规避阳光倒灌造成的像源表面聚光和升温；能够降低对挡风玻璃和整车的加 工和组装精度要求；有更好的质量表现和稳定性；能够在相同体积下，相对于 传统AR HUD，做到更大的视场角。

通过对像源的特殊处理，能够针对左右眼生成的不同图像，使得驾驶员的 左右眼能够在同一ARHUD光学系统下观察到不同图像。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅 以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将 上述功能分配由不同的程序模块完成，即将所述装置的内部结构划分成不 同的程序单元或模块，以完成以上描述的全部或者部分功能。实施例中的 各程序模块可以集成在一个处理单元中，也可是各个单元单独物理存在， 也可以两个或两个以上单元集成在一个处理单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序单元的形式实现。另外，各 程序模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保 护范围。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没 有详细描述或记载的部分，可以参见其他实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的 各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件 的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的 特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不 同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可 以通过其他的方式实现。示例性的，以上所描述的装置实施例仅仅是示意 性的，示例性的，所述模块或单元的划分，仅仅为一种逻辑功能划分，实 际实现时可以有另外的划分方式，示例性的，多个单元或组件可以结合或 者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所 显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接 口，装置或单元的间接耦合或通讯连接，可以是电性、机械或其他的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的， 作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地 方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的 部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可能集成在一个处理单元 中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在 一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软 件功能单元的形式实现。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本 发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说， 在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和 润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于双目视觉的ARHUD图像显示方法，其特征在于，包括：

采集车辆的外界环境信息、驾驶员的左眼实时位置和所述驾驶员的右眼实时位置；

基于所述外界环境信息、所述左眼实时位置和所述右眼实时位置，生成左眼二维图像和右眼二维图像；

根据所述左眼二维图像和所述右眼二维图像，得到左眼显示图像和右眼显示图像；

通过ARHUD的成像结构将所述左眼显示图像和所述右眼显示图像，进行虚像显示。

2.根据权利要求1所述的基于双目视觉的ARHUD图像显示方法，其特征在于，所述采集车辆的外界环境信息、驾驶员的左眼实时位置和所述驾驶员的右眼实时位置，包括：

通过所述车辆的摄像头采集所述外界环境信息，所述外界环境信息包括车况信息、车道线、行人信息；

通过所述车辆内的摄像头采集并识别所述驾驶员的左眼实时位置和所述驾驶员的右眼实时位置。

3.根据权利要求2所述的基于双目视觉的ARHUD图像显示方法，其特征在于，所述根据所述左眼二维图像和所述右眼二维图像，得到左眼显示图像和右眼显示图像，包括：

将所述左眼二维图像和所述右眼二维图像映射于世界坐标系中，并通过矢量投影算法计算所述左眼二维图像和所述右眼二维图像在ARHUD中的虚像位置，生成左眼显示图像和右眼显示图像。

4.根据权利要求3所述的基于双目视觉的ARHUD图像显示方法，其特征在于，所述将所述左眼二维图像和所述右眼二维图像映射于世界坐标系中，并通过矢量投影算法计算所述左眼二维图像和所述右眼二维图像在ARHUD中的虚像位置，生成左眼显示图像和右眼显示图像，包括：

以所述车辆的眼盒中心点为世界坐标系坐标原点，所述车辆的行驶方向为X轴正方向，所述车辆的左侧为Y轴正方向，所述车辆的上方为Z轴正方向；以所述车辆的挡风玻璃成像中心点为图像坐标系原点，以向右为U轴正方向，以向上为V轴正方向；

从所述眼盒中心点沿下视角方向在预设范围内，将所述世界坐标系所视区域对应在所述车辆的挡风玻璃上虚像成像区域的图像坐标系内显示；

根据所述世界坐标系和所述图像坐标系的对应关系，计算对应的区域坐标；

计算所述世界坐标系的各区域内任一点对应于所述图像坐标系中的图像坐标；

计算根据所述世界坐标系对所述图像坐标系中图标进行变换，标出对应位置并显示，以得到所述左眼显示图像和所述右眼显示图像。

5.根据权利要求1～4中任一项所述的基于双目视觉的ARHUD图像显示方法，其特征在于，在所述通过ARHUD的成像结构将所述左眼显示图像和所述右眼显示图像，进行虚像显示之前，还包括：

在像源的外表面增加一层光栅，以形成所述ARHUD的成像结构。

6.一种基于双目视觉的ARHUD图像显示装置，其特征在于，包括：

采集模块，用于采集车辆的外界环境信息、驾驶员的左眼实时位置和所述驾驶员的右眼实时位置；

生成模块，用于基于所述外界环境信息、所述左眼实时位置和所述右眼实时位置，生成左眼二维图像和右眼二维图像；

获取模块，用于根据所述左眼二维图像和所述右眼二维图像，得到左眼显示图像和右眼显示图像；

显示模块，用于通过ARHUD的成像结构将所述左眼显示图像和所述右眼显示图像，进行虚像显示。

7.根据权利要求6所述的基于双目视觉的ARHUD图像显示装置，其特征在于，所述采集模块，还用于：

通过所述车辆的摄像头采集所述外界环境信息，所述外界环境信息包括车况信息、车道线、行人信息；

通过所述车辆内的摄像头采集并识别所述驾驶员的左眼实时位置和所述驾驶员的右眼实时位置。

8.根据权利要求7所述的基于双目视觉的ARHUD图像显示装置，其特征在于，所述获取模块，还用于：

将所述左眼二维图像和所述右眼二维图像映射于世界坐标系中，并通过矢量投影算法计算所述左眼二维图像和所述右眼二维图像在ARHUD中的虚像位置，生成左眼显示图像和右眼显示图像。

9.根据权利要求8所述的基于双目视觉的ARHUD图像显示装置，其特征在于，所述获取模块，还用于：

以所述车辆的眼盒中心点为世界坐标系坐标原点，所述车辆的行驶方向为X轴正方向，所述车辆的左侧为Y轴正方向，所述车辆的上方为Z轴正方向；以所述车辆的挡风玻璃成像中心点为图像坐标系原点，以向右为U轴正方向，以向上为V轴正方向；

从所述眼盒中心点沿下视角方向在预设范围内，将所述世界坐标系所视区域对应在所述车辆的挡风玻璃上虚像成像区域的图像坐标系内显示；

根据所述世界坐标系和所述图像坐标系的对应关系，计算对应的区域坐标；

计算所述世界坐标系的各区域内任一点对应于所述图像坐标系中的图像坐标；

计算根据所述世界坐标系对所述图像坐标系中图标进行变换，标出对应位置并显示，以得到所述左眼显示图像和所述右眼显示图像。

10.根据权利要求6～9中任一项所述的基于双目视觉的ARHUD图像显示装置，其特征在于，还包括增加模块，用于：

在像源的外表面增加一层光栅，以形成所述ARHUD的成像结构。

Images