CN109688392A - Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法 - Google Patents

Abstract

本发明提供一种AR‑HUD光学投影系统包括：HUD显示装置和显示控制器，显示控制器映射关系标定采用：标定辅助设备对承载设备和人眼模拟设备进行空间定位，人眼模拟设备捕捉投影虚拟屏的显示内容，将显示内容像素转化为人眼模拟设备坐标系下的三维坐标一，再将三维坐标一转化为承载设备坐标系下三维坐标二，将三维坐标二横向和竖向坐标值作为显示内容在投影虚拟屏中的映射平面坐标，将映射平面坐标和显示内容在实际屏幕上的像素坐标拟合计算，获得实际屏幕图像边缘点在虚拟投影屏幕上所对应的平面二维物理坐标，将虚拟投影屏幕上的平面二维坐标以数组形式作为标定结果。本发明还公开了一种AR‑HUD光学投影系统映射关系标定方法和一种AR‑HUD光学投影系统畸变矫正方法。

Description

AR-HUD光学投影系统及映射关系标定方法和畸变矫正方法

技术领域

本发明涉及汽车领域，特别是涉及一种AR-HUD光学投影系统。本发明还涉及一种AR-HUD光学投影系统及映射关系标定方法和一种AR-HUD光学投影系统及映射关系畸变矫正方法。

背景技术

为了实现人车新对话形式，汽车厂商开发出增强现实抬头显示系统(AR-HUD)。该增强现实抬头显示器通过内部特殊设计的光学系统将图像信息精确地结合于实际交通路况中,从而扩展了或者说增强了驾驶者对于实际驾驶环境的感知。因此,AR-HUD技术极有可能成为汽车人机界面(HMI)最具创新性的发展方向。

AR-HUD光学系统能够在驾驶员的视野区域合理的叠加显示驾驶员辅助系统的状态以及这些信息的含义，比如GPS数据、地图资料和驾驶动态数据等。AR-HUD还可以结合高级驾驶员辅助系统(ADAS)包括：车道偏离警示系统(LDW)、自适应巡航控制系统(ACC)等结合使用。

增强现实抬头显示系统需要利用光学的反射原理，在车辆行驶过程中，将影响车辆行驶的各种信息以图像、动画的方式，实时地通过挡风玻璃投影在驾驶员的正前方。由于车辆的挡风玻璃存在一定的曲率，会造成AR-HUD的投影图像发生畸变，投影图像发现畸变的主要原因是：不同规格的挡风玻璃的曲率也各不相同,挡风玻璃不同位置的曲率不规则，暂时无法通过规律性的方法解决畸变问题。

发明内容

本发明要解决的技术问题是提供一种能实现实际屏幕和虚拟投影屏幕映射关系准确标定并能对投影畸变进行矫正的AR-HUD光学投影系统。

本发明还提供了一种能实现实际屏幕和虚拟投影屏幕映射关系准确标定的AR-HUD光学投影系统映射关系标定方法。

本发明还提供了一种能对投影畸变进行矫正的AR-HUD光学投影系统的AR-HUD光学投影系统映射关系畸变矫正方法。

为解决上述技术问题，本发明提供的AR-HUD光学投影系统包括：HUD显示装置和显示控制器，所述显示控制器采用以下方式进行所述AR-HUD光学投影系统映射关系标定；

利用标定辅助设备对承载设备和人眼模拟设备进行空间定位，人眼模拟设备捕捉投影虚拟屏的显示内容，将显示内容像素转化为人眼模拟设备坐标系下的三维坐标一，再将三维坐标一转化为承载设备坐标系下三维坐标二，将三维坐标二横向和竖向坐标值作为显示内容在投影虚拟屏中的映射平面坐标，根据映射平面坐标和显示内容在实际屏幕上的像素坐标进行拟合计算，获得实际屏幕图像边缘点在虚拟投影屏幕上所对应的平面二维物理坐标，将虚拟投影屏幕上的平面二维坐标以数组形式作为映射关系标定结果。

进一步改进所述的AR-HUD光学投影系统，所述标定辅助设备是专业运动捕捉系统，所述承载设备是车辆，所述人眼模拟设备是工业相机，所述实际屏幕是HUD屏,所述虚拟投影屏幕是挡风玻璃。

进一步改进所述的AR-HUD光学投影系统，空间定位时，选取车辆内后视镜的安装位置作为车辆的空间坐标位置中心点，选取工业相机的镜头中心位置作为相机的空间坐标位置中心点。

进一步改进所述的AR-HUD光学投影系统，所述显示内容表现为点阵图像。

进一步改进所述的AR-HUD光学投影系统，将三维坐标一进行纵向归一化后再转化为三维坐标二,纵向归一化：纵向坐标即Z轴坐标值为1。

进一步改进所述的AR-HUD光学投影系统，将三维坐标二进行纵向归一化后再作为显示内容在投影虚拟屏中的映射平面坐标。

进一步改进所述的AR-HUD光学投影系统，所述拟合计算形成三次多项式方程，对该方程求解获得所述平面二维物理坐标。

进一步改进所述的AR-HUD光学投影系统，所述显示控制器能执行光学投影畸变矫正，所述光学投影畸变矫正采用以下方式；

获得实际屏幕与虚拟投影屏幕之间像素的位置映射关系，在实际屏幕上对画面中每个像素进行颜色刷新时,找每个像素位置映射到虚拟屏幕画面上的像素位置,在实际屏幕像素位置刷新虚拟投影屏幕映射像素位置的颜色，进行反向畸变。

本发明提供一种AR-HUD光学投影系统映射关系标定方法，包括以下步骤：

1)承载设备和人眼模拟设备进行空间定位；

2)人眼模拟设备捕捉投影虚拟屏的显示内容，将显示内容像素转化为人眼模拟设备坐标系下的三维坐标一；

3)将三维坐标一转化为承载设备坐标系下三维坐标二；

4)将三维坐标二横向和竖向坐标值作为显示内容在投影虚拟屏中的映射平面坐标；

5)根据映射平面坐标和显示内容在实际屏幕上的像素坐标进行拟合计算，获得实际屏幕图像边缘点在虚拟投影屏幕上所对应的平面二维物理坐标；

6)将虚拟投影屏幕上的平面二维坐标以数组形式作为映射关系标定结果。

进一步改进所述的AR-HUD光学投影系统映射关系标定方法，实施步骤1)时，利用专业运动捕捉系统进行空间定位，所述承载设备是车辆，所述人眼模拟设备是工业相机，所述实际屏幕是HUD屏,所述虚拟投影屏幕是挡风玻璃。

进一步改进所述的AR-HUD光学投影系统映射关系标定方法，空间定位时，选取车辆内后视镜的安装位置作为车辆的空间坐标位置中心点，选取工业相机的镜头中心位置作为相机的空间坐标位置中心点。

进一步改进所述的AR-HUD光学投影系统映射关系标定方法，所述承载设备是车辆，所述人眼模拟设备是工业相机，所述实际屏幕是HUD屏,所述虚拟投影屏幕是挡风玻璃。

进一步改进所述的AR-HUD光学投影系统映射关系标定方法，：所述显示内容表现为点阵图像。

进一步改进所述的AR-HUD光学投影系统映射关系标定方法，实施步骤2)时，将三维坐标一进行纵向归一化后再转化为三维坐标二。纵向归一化：纵向坐标即Z轴坐标值为1。

进一步改进所述的AR-HUD光学投影系统映射关系标定方法，实施步骤3)时，将三维坐标二进行纵向归一化后再作为显示内容在投影虚拟屏中的映射平面坐标。

进一步改进所述的AR-HUD光学投影系统映射关系标定方法，实施步骤2)时，所述拟合计算形成三次多项式方程，对该方程求解获得所述平面二维物理坐标。

本发明提供一种利用上述任意一项所述标定结果的AR-HUD光学投影系统映射关系畸变矫正方法，包括：

获得实际屏幕与虚拟投影屏幕之间像素的位置映射关系，在实际屏幕上对画面中每个像素进行颜色刷新时,找每个像素位置映射到虚拟屏幕画面上的像素位置,在实际屏幕像素位置刷新虚拟投影屏幕映射像素位置的颜色，进行反向畸变。

本发明通过能通过确定空间位置和坐标系转换等技术手段提取实际屏幕与投影投影虚拟屏上的每个像素点之间的位置映射关系，能准确模拟人眼观察到的投影虚拟屏情况，实现准确的AR-HUD光学投影系统映射关系标定。当投影虚拟屏出现畸变，本发明在刷新画面时根据该映射关系进行反向畸变处理即可实现AR-HUD投影图像的畸变矫正，最大程度地消除投影图像的扭曲变形还原真实的成像效果。

附图说明

下面结合附图与具体实施方式对本发明作进一步详细的说明：

图1是本发明畸变矫正方法流程示意图。

图2是本发明畸变矫正方法点阵网格坐标系示意图。

图3是本发明畸变矫正方法坐标转换示意图。

附图标记说明

A1～A3、B1～B3、C1～C3、D1～D3和P1～P3是点阵图像中像素点

R是点阵图像行

C是点阵图像列

具体实施方式

本发明提供本发明提供的AR-HUD光学投影系统包括：HUD显示装置和显示控制器，所述显示控制器采用以下方式进行所述AR-HUD光学投影系统映射关系标定；

利用标定辅助设备对承载设备和人眼模拟设备进行空间定位，人眼模拟设备捕捉投影虚拟屏的点阵图像，将点阵图像像素转化为人眼模拟设备坐标系下的三维坐标一，三维坐标一进行纵向归一化(纵向归一化：纵向坐标即Z轴坐标值为1)，再将三维坐标一转化为承载设备坐标系下三维坐标二，将三维坐标二进行纵向归一化后，将三维坐标二横向和竖向坐标值作为点阵图像在投影虚拟屏中的映射平面坐标，根据映射平面坐标和点阵图像在实际屏幕上的像素坐标进行拟合计算，形成三次多项式方程，对该方程求解获得实际屏幕图像边缘点在虚拟投影屏幕上所对应的平面二维物理坐标，将虚拟投影屏幕上的平面二维坐标以数组形式作为映射关系标定结果。映射关系标定完成后，本发明的显示控制器可以进行实时的光学投影畸变矫正，所述光学投影畸变矫正采用以下方式；

获得实际屏幕与虚拟投影屏幕之间像素的位置映射关系，在实际屏幕上对画面中每个像素进行颜色刷新时,找每个像素位置映射到虚拟屏幕画面上的像素位置,在实际屏幕像素位置刷新虚拟投影屏幕映射像素位置的颜色，进行反向畸变。

其中，所述标定辅助设备是专业运动捕捉系统，所述承载设备是车辆，所述人眼模拟设备是工业相机，所述实际屏幕是HUD屏,所述虚拟投影屏幕是挡风玻璃。

空间定位时，选取车辆内后视镜的安装位置作为车辆的空间坐标位置中心点，选取工业相机的镜头中心位置作为相机的空间坐标位置中心点。

如图1所示，本发明提供一种AR-HUD光学投影系统映射关系畸变矫正方法(其包含映射关系标定方法的全部步骤)一实施例，包括以下步骤：

1)承载设备和人眼模拟设备进行空间定位；

所述承载设备是车辆，所述人眼模拟设备是工业相机，所述实际屏幕是HUD屏,所述虚拟投影屏幕是挡风玻璃。利用专业的运动捕捉设备系统对车辆和工业相机进行空间定位，以此来确定两者之间的空间坐标位置关系。方案中选取车辆内后视镜的安装位置作为车辆的空间坐标位置中心点，同时选取工业相机的镜头中心位置作为相机的空间坐标位置中心点。

2)人眼模拟设备捕捉投影虚拟屏的点阵图像，将点阵图像像素转化为人眼模拟设备坐标系下的三维坐标一；在HUD的屏幕上生成预先设定的例如3行6列的标准点阵图案，然后经过AR-HUD光机内部的光学反射投影系统将该点阵图案投影到挡风玻璃上，之后再使用工业相机在驾驶员的眼部位置处模拟人眼观测投影到挡风玻璃上的虚拟画面并捕捉画面中的点阵图案。当相机中的某一帧画面捕捉到虚拟投影画面中完整的点阵图像并成功获取这些点在这一帧画面中的像素坐标后，利用相机的内参数和这些点的像素坐标计算点阵中每个点在相机坐标系下的三维坐标。为了消除不同相机之间的焦距差异以及虚拟图像不同投影距离的差异，需要将该三维坐标进行纵向归一化(纵向坐标即Z轴坐标值为1)。

3)将三维坐标一转化为承载设备坐标系下三维坐标二；然后再根据相机与车辆之间的空间位置关系将上述坐标值转换为在车辆坐标系下的三维空间坐标并同样进行纵向归一化处理(Z坐标为1)。

4)将三维坐标二横向(X轴)和竖向(Y轴)坐标值作为点阵图像在投影虚拟屏中的映射平面坐标；此三维坐标二中的横向(X轴)和竖向(Y轴)坐标值即为点阵的中的点在投影虚拟画面中纵向归一化后的点阵映射位置平面坐标。

5)根据映射平面坐标和点阵图像在实际屏幕上的像素坐标进行拟合计算，获得实际屏幕图像边缘点在虚拟投影屏幕上所对应的平面二维物理坐标；之后再根据这些点的映射位置坐标和已知的这些点在实际HUD屏幕上的像素坐标进行拟合计算出一条三次多项式方程，并根据该多项式方程计算实际屏幕图像边缘上的点在虚拟屏幕上所对应的平面二维物理坐标.

6)将所有计算得到的点在虚拟屏幕上的平面二维坐标以数组形式作为标定结果进行保存作为映射关系标定结果；

7)参考图2、图3所示，获得实际屏幕与虚拟投影屏幕之间像素的位置映射关系，在实际屏幕上对画面中每个像素进行颜色刷新时,找每个像素位置映射到虚拟屏幕画面上的像素位置,在实际屏幕像素位置刷新虚拟投影屏幕映射像素位置的颜色，进行反向畸变。

根据之前在实际屏幕生成的R行C列的点阵图像上建立如图2所示的点阵网格坐标系，以相邻两点之间的距离作为坐标系的距离单位。之后根据屏幕上每个像素点在点阵网格坐标系上的坐标位置以及之前的点阵映射关系标定结果利用双线性插值方法计算除了点阵上已有的像素点之外的所有像素点在虚拟投影屏幕上的坐标位置，两者的位置关系即为实际屏幕与挡风玻璃上虚拟投影屏幕之间像素点的位置映射关系。在实际屏幕上对画面中每个像素点进行颜色刷新时，首先查找每个像素点位置处映射到虚拟屏幕画面上的像素位置，例如在画面像素点(0.1,0.1)位置处经过光学反射投影到挡风虚拟屏幕上的像素位置是(0.2,0.2)；然后再在原像素位置处刷新映射的像素位置处的颜色，进行反向畸变，即在实际屏幕画面(0.1,0.1)的像素位置处显示(0.2,0.2)像素位置处的颜色。从而实现在虚拟投影屏幕画面上的畸变矫正。

继续以图3为例，对畸形矫正作进一步说明。在实际的显示屏幕上生成点阵图像后，利用相机成功捕捉到在虚拟投影屏幕上的点阵图像并经过坐标换算获得点阵中所有包括A2、B2、C2、D2这四个点阵像素点在虚拟投影屏幕上的坐标位置，并与实际屏幕上所有与之对应的包括A1、B1、C1、D1这四个点阵像素点建立映射位置关系并作为标定结果进行保存。

根据标定结果中所有点阵像素点的映射位置关系利用双线性插值计算实际屏幕上的其它像素点在虚拟投影屏幕上的映射坐标位置。例如在计算实际屏幕上的P1像素点在经过光学投影映射到虚拟屏幕上P2像素点的坐标位置时，首先根据P1像素点在点阵网格坐标系上的坐标例如(1.5,1.6)获得邻近的四个点阵像素点A1(1,1)、B1(2,1)、C1(1,2)、D1(2,2)，之后根据这四个点阵像素点的映射坐标位置以及P1在这四个像素点之间横向和竖向的位置比例(0.5,0.6)分别进行插值计算，最终获得P2像素点的坐标位置即P1像素点在虚拟投影屏幕上的映射坐标位置。

在对画面进行像素填充刷新时，根据之前计算的每个像素点在虚拟屏幕上的映射坐标位置在原像素点位置处刷新映射位置处的像素点即反向畸变处理。例如在实际屏幕上A1、B1、C1、D1、P1像素点位置处分别填充A2、B2、C2、D2、P2这五个像素点位置处的颜色，同样根据像素点的映射位置关系在虚拟投影屏幕上的A1、B1、C1、D1、P1这五个像素点颜色则由实际屏幕上的A3、B3、C3、D3、P3这五个像素点位置进行填充。对其它像素点同样进行如上的处理方法最终实现畸变矫正的目的，进而达到虚拟投影画面还原实际屏幕画面真实的显示效果。

以上通过具体实施方式和实施例对本发明进行了详细的说明，但这些并非构成对本发明的限制。在不脱离本发明原理的情况下，本领域的技术人员还可做出许多变形和改进，这些也应视为本发明的保护范围。

Claims (17)

1.一种AR-HUD光学投影系统包括,HUD显示装置和显示控制器，其特征在于：所述显示控制器采用以下方式进行所述AR-HUD光学投影系统映射关系标定；

利用标定辅助设备对承载设备和人眼模拟设备进行空间定位，人眼模拟设备捕捉投影虚拟屏的显示内容，将显示内容像素转化为人眼模拟设备坐标系下的三维坐标一，再将三维坐标一转化为承载设备坐标系下三维坐标二，将三维坐标二横向和竖向坐标值作为显示内容在投影虚拟屏中的映射平面坐标，根据映射平面坐标和显示内容在实际屏幕上的像素坐标进行拟合计算，获得实际屏幕图像边缘点在虚拟投影屏幕上所对应的平面二维物理坐标，将虚拟投影屏幕上的平面二维坐标以数组形式作为映射关系标定结果。

2.如权利要求1所述的AR-HUD光学投影系统，其特征在于：所述标定辅助设备是专业运动捕捉系统，所述承载设备是车辆，所述人眼模拟设备是工业相机，所述实际屏幕是HUD屏,所述虚拟投影屏幕是挡风玻璃。

3.如权利要求2所述的AR-HUD光学投影系统，其特征在于：空间定位时，选取车辆内后视镜的安装位置作为车辆的空间坐标位置中心点，选取工业相机的镜头中心位置作为相机的空间坐标位置中心点。

4.如权利要求1所述的AR-HUD光学投影系统，其特征在于：所述显示内容表现为点阵图像。

5.如权利要求1所述的AR-HUD光学投影系统，其特征在于：将三维坐标一进行纵向归一化后再转化为三维坐标二。

6.如权利要求1所述的AR-HUD光学投影系统，其特征在于：将三维坐标二进行纵向归一化后再作为显示内容在投影虚拟屏中的映射平面坐标。

7.如权利要求1所述的AR-HUD光学投影系统，其特征在于：所述拟合计算形成三次多项式方程，对该方程求解获得所述平面二维物理坐标。

8.如权利要求1-7所述的AR-HUD光学投影系统，其特征在于：所述显示控制器能执行光学投影畸变矫正，所述光学投影畸变矫正采用以下方式；

获得实际屏幕与虚拟投影屏幕之间像素的位置映射关系，在实际屏幕上对画面中每个像素进行颜色刷新时,找每个像素位置映射到虚拟屏幕画面上的像素位置,在实际屏幕像素位置刷新虚拟投影屏幕映射像素位置的颜色，进行反向畸变。

9.一种AR-HUD光学投影系统映射关系标定方法，其特征在于，包括以下步骤：

1)承载设备和人眼模拟设备进行空间定位；

2)人眼模拟设备捕捉投影虚拟屏的显示内容，将显示内容像素转化为人眼模拟设备坐标系下的三维坐标一；

3)将三维坐标一转化为承载设备坐标系下三维坐标二；

4)将三维坐标二横向和竖向坐标值作为显示内容在投影虚拟屏中的映射平面坐标；

5)根据映射平面坐标和显示内容在实际屏幕上的像素坐标进行拟合计算，获得实际屏幕图像边缘点在虚拟投影屏幕上所对应的平面二维物理坐标；

6)将虚拟投影屏幕上的平面二维坐标以数组形式作为映射关系标定结果。

10.如权利要求9所述的AR-HUD光学投影系统映射关系标定方法，其特征在于：实施步骤1)时，利用专业运动捕捉系统进行空间定位，所述承载设备是车辆，所述人眼模拟设备是工业相机，所述实际屏幕是HUD屏,所述虚拟投影屏幕是挡风玻璃。

11.如权利要求10所述的AR-HUD光学投影系统映射关系标定方法，其特征在于：空间定位时，选取车辆内后视镜的安装位置作为车辆的空间坐标位置中心点，选取工业相机的镜头中心位置作为相机的空间坐标位置中心点。

12.如权利要求9所述的AR-HUD光学投影系统映射关系标定方法，其特征在于：所述承载设备是车辆，所述人眼模拟设备是工业相机，所述实际屏幕是HUD屏,所述虚拟投影屏幕是挡风玻璃。

13.如权利要求9所述的AR-HUD光学投影系统映射关系标定方法，其特征在于：所述显示内容表现为点阵图像。

14.如权利要求9所述的AR-HUD光学投影系统映射关系标定方法，其特征在于：实施步骤2)时，将三维坐标一进行纵向归一化后再转化为三维坐标二。

15.如权利要求9所述的AR-HUD光学投影系统映射关系标定方法，其特征在于：实施步骤3)时，将三维坐标二进行纵向归一化后再作为显示内容在投影虚拟屏中的映射平面坐标。

16.如权利要求9所述的AR-HUD光学投影系统映射关系标定方法，其特征在于：实施步骤2)时，所述拟合计算形成三次多项式方程，对该方程求解获得所述平面二维物理坐标。

17.一种利用权利要求9-16任意一项所述标定结果的AR-HUD光学投影系统映射关系畸变矫正方法，其特征在于，包括：

获得实际屏幕与虚拟投影屏幕之间像素的位置映射关系，在实际屏幕上对画面中每个像素进行颜色刷新时,找每个像素位置映射到虚拟屏幕画面上的像素位置,在实际屏幕像素位置刷新虚拟投影屏幕映射像素位置的颜色，进行反向畸变。