CN116755249A - 抬头显示处理方法、设备、交通工具及存储介质 - Google Patents

Abstract

本申请涉及投影显示技术领域，尤其涉及一种抬头显示处理方法、设备、交通工具及存储介质。本申请为了获取不同偏差情况下对HUD显示设备的畸变影响，控制HUD显示设备将标准点阵图投影在挡风玻璃上，利用相机等拍摄在挡风玻璃上的投影显示图的畸变情况，并根据拍摄投影显示图的扫描完整性，确定采用多项式拟合算法还是插值算法对投影显示图中未显示的像素点进行补全处理，从而确定预矫正的畸变参数用于HUD显示设备投影前的图像畸变矫正。本申请可以准确地确定预矫正的畸变参数，提高HUD显示设备畸变标定的质量，提高用户体验。

Description

抬头显示处理方法、设备、交通工具及存储介质

技术领域

本申请涉及投影显示技术领域，尤其涉及一种抬头显示处理方法、设备、交通工具及存储介质。

背景技术

HUD（Head Up Display，抬头显示）是一种利用在车辆挡风玻璃上反射实现车载显示的全新方式，其具体由HUD显示设备的光机发出显示光，并通过相应的光学镜片投射在挡风玻璃上产生相应的虚像，与挡风玻璃外的真实世界形成增强显示的效果。但是由于光线传输的复杂性，光学镜片的面型偏差、挡风玻璃的面型偏差及光学镜片、挡风玻璃的生产与装配偏差都会使投影光路发生变化，从而造成图像畸变，投影显示的效果就会受到严重的影响，亟待需要通过软件处理实现预矫正。

发明内容

本申请的目的在于提供一种抬头显示处理方法、设备、交通工具及存储介质，解决了现有技术中HUD投影显示在挡风玻璃上的虚像存在图像畸变，无法准确确定预矫正位置的技术问题。

为了解决上述技术问题，本申请采用如下技术方案：

第一方面，本申请提供了一种抬头显示处理方法，包括如下步骤：

获取HUD显示设备在挡风玻璃上的投影显示图，所述投影显示图对应于所述HUD显示设备输出的标准点阵图；

响应于所述投影显示图中的点显示数小于所述标准点阵图中的点显示数，利用多项式拟合算法确定所述投影显示图中未显示点位置；

响应于所述投影显示图中的点显示数等于所述标准点阵图中的点显示数，利用插值算法确定所述投影显示图中未显示点位置；

根据所述投影显示图确定畸变参数。

在第一方面的一种可选实施方式中，所述获取HUD显示设备在挡风玻璃上的投影显示图包括：

通过设置在所述HUD显示设备眼盒范围内的相机正对所述挡风玻璃拍摄获取所述投影显示图。

在第一方面的一种可选实施方式中，所述获取HUD 显示设备在挡风玻璃上的投影显示图包括：

所述投影显示图包括所述标准点阵图在所述挡风玻璃上投影的显示点，确定对应的点显示数及点显示位置。

在第一方面的一种可选实施方式中，所述获取HUD显示设备在挡风玻璃上的投影显示图，所述投影显示图对应于所述HUD显示设备输出的标准点阵图之后，所述抬头显示处理方法还包括：

在显示界面上接收确定畸变参数的配置选项，响应于所述配置选项采用确定畸变参数的处理算法。

在第一方面的一种可选实施方式中，所述获取HUD显示设备在挡风玻璃上的投影显示图，所述投影显示图对应于所述HUD显示设备输出的标准点阵图之后，所述抬头显示处理方法还包括：

响应于配置默认多项式拟合算法，直接利用多项式拟合算法确定所述投影显示图中未显示点位置。

在第一方面的一种可选实施方式中，所述根据所述投影显示图确定畸变参数包括：

确定所述投影显示图中每个像素点与所述HUD显示设备的每个像素点之间的偏差值，根据所述偏差值确定预矫正的位置。

在第一方面的一种可选实施方式中，所述根据所述投影显示图确定畸变参数之后，所述抬头显示处理方法包括：

将所述畸变参数存储在所述HUD显示设备中，以使所述HUD显示设备根据所述畸变参数对待显示的配置图像进行预矫正。

在第一方面的一种可选实施方式中，所述将所述畸变参数存储在所述HUD显示设备中，以使所述HUD显示设备根据所述畸变参数对待显示的配置图像进行预矫正包括：

在显示界面上同时显示配置图像及对所述配置图像矫正后的预畸变图像；

响应于在所述显示界面上的输出指令，输出所述畸变参数的矫正设置文件。

在第一方面的一种可选实施方式中，所述抬头显示处理方法还包括：

在显示界面上同时显示配置图像及所述第二相机拍摄的所述预畸变图像投影的显示图像，以分析图像畸变矫正效果。

第二方面，本申请提供了一种抬头显示处理设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述抬头显示处理方法的步骤。

第三方面，本申请提供了一种交通工具，包括第二方面所述的抬头显示处理设备。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述抬头显示处理方法的步骤。

与现有技术相比，本申请为了获取不同偏差情况下对HUD 显示设备的畸变影响，控制HUD显示设备将标准点阵图投影在挡风玻璃上，利用相机等拍摄在挡风玻璃上的投影显示图的畸变情况，并根据拍摄投影显示图的扫描完整性，确定采用多项式拟合算法还是插值算法对投影显示图中未显示的像素点进行补全处理，从而确定预矫正的畸变参数用于HUD显示设备投影前的图像畸变矫正。本申请可以准确地确定预矫正的畸变参数，提高HUD显示设备畸变标定的质量，提高用户体验。

附图说明

为了更清楚地说明本申请的技术方案，下面将对技术方案描述中所需使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请中记载的一些示例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本申请一些示例中HUD投影显示示意图。

图2为本申请一些示例中图像畸变矫正流程示意图。

图3为本申请一些示例中配置图像示意图。

图4为图3示例中配置图像投影的显示图像示意图。

图5为图3示例中配置图像经过矫正后的预畸变图像示意图。

图6为图5示例中预畸变图像投影的显示图像示意图。

图7为本申请一些示例中实时畸变矫正流程图。

图8为本申请一些示例中图像畸变矫正流程示意图。

图9为本申请一些示例中投影显示图效果示意图。

图10为本申请一些示例中未缺失显示点时插值算法实现示意图。

图11为本申请一些示例中缺失显示点时插值算法实现示意图。

图12为本申请一些示例中图像畸变矫正流程示意图。

图13为本申请一些示例中抬头显示处理设备连接示意图。

图14为本申请一些示例中HUD显示设备示意图。

图15为本申请一些示例中上位机软件界面示意图。

图16为本申请一些示例中抬头显示处理方法流程示意图。

图17为本申请一些示例中抬头显示处理设备模块示意图。

图18为本申请一些示例中交通工具示意图。

实施方式

以下将结合附图对本申请进行详细的描述，但描述的内容仅仅是本申请中记载的一些示例，并不限制本申请，本领域普通技术人员根据这些示例所做出的结构、方法或功能等方面的变换均包含在本申请的保护范围内。

需要说明的是，在不同的示例中，可能使用相同的标号或标记，但是这些并不代表结构或功能上的绝对联系关系。并且，各示例中可能提到的“第一”、“第二”等仅仅是为了描述的方便，并不代表结构或功能上的绝对区分关系，也不能理解为指示或暗示相对重要性或者相应对象的数量。除非特别说明，描述中可能涉及到的“至少一个”是指一个或者一个以上，“多个”是指两个或两个以上。

另外，在表示特征时，字符“/”可以表示前后关联对象存在或的关系，例如，抬头显示/平视显示，可以表示为抬头显示或平视显示。在表示运算时，字符“/”可以表示前后关联对象存在相除的关系，例如，放大倍数M=L/P，可以表示为L(虚像大小)除以P（像源大小）。并且，不同示例中的“和/或”仅仅是为了描述前后关联对象的关联关系，这种关联关系可以包括三种情况，例如，凹面镜和/或凸面镜，可以表示为单独存在凹面镜、单独存在凸面镜、同时存在凹面镜和凸面镜。

HUD主要利用光学的反射原理，将待显示的成像光线经过透明表面反射进入人眼，人眼可以沿着光线反方向观看到相应的信息，由于不需要专门的显示屏，因此为信息显示提供了另一种方便的实现方式。特别是将透明表面（如挡风玻璃等）设置在驾驶人员的前方视野中，如果驾驶人员在驾驶车辆时需要查看信息，则不必将视野转到车辆前方以外的地方，提高了驾驶人员的驾驶安全。在一些示例中，在车辆中控台上可以固定安装一个HUD显示设备，HUD显示设备包括光机及光学镜片等，光机的背光源可以基于LED（Light EmittingDiode，发光二极管）、激光等技术实现照明，光机的像源可以基于LCD（Liquid CrystalDisplay，液晶显示器）、DLP（Digital Light Processing，数字光处理技术）、MEMS激光扫描、LCOS（Liquid Crystal on silicon，硅基液晶）等技术实现显示。其中光机对应像源的显示面会显示需要投影在成像位置上的图像（显示内容），具体通过相应的像素点来显示，并将图像的显示光投射出去，通过光学镜片的光路规划最终将显示光反射在车辆的挡风玻璃上，挡风玻璃作为反射显示光的透明表面，可以充当显示屏，驾驶人员可以通过挡风玻璃直接观察到显示内容对应的虚像，比如显示内容可以为导航信息及车速等。

如图1所示，HUD显示设备可以至少包括光机1、第一反射镜2、第二反射镜3，在本示例中，第一反射镜2、第二反射镜3为配合实现光路传输的光学镜片组，光学镜片组中的第一反射镜2、第二反射镜3可以将光机1投射出的显示光投影到挡风玻璃4上。在一些示例中，第一反射镜2、第二反射镜3可以根据需求设置为凹面镜、凸面镜等。在一些示例中，光学镜片组还可以通过一个或多个透射镜片实现光路的规划。光机1投射出显示相应信息的光线，通过第一反射镜2、第二反射镜3实现光路规划，可以在较小的空间内进行光路定制，并满足不同的投影显示要求。光机1投射出的显示光经过第一反射镜2、第二反射镜3的多次反射最终投影在车辆的挡风玻璃4上，在车内的驾驶人员6可以对着挡风玻璃4看到光机1的投射光线经过挡风玻璃4上形成的虚像5，对应的可以是车辆的参数信息等。在一些示例中，第一反射镜2、第二反射镜3还可以进行一定程度的角度调整，从而改变投射光线在挡风玻璃4上的投影位置，以适应不同驾驶人员6的高度。需要补充的是，针对不同光机的特性，对应地还可以设置有散光镜，调整相应的成像效果。在一些示例中，HUD显示设备中还可以包括菲涅尔透镜、波导光学器件、衍射光学器件、全息光学器件、锥形光纤等模块实现光路规划及优化。

由于显示光需要通过光学镜片组最终在挡风玻璃上形成相应的虚像，因此虚像的成像质量会与光学镜片组、挡风玻璃的属性有关，比如第一反射镜2、第二反射镜3及挡风玻璃4等，如果实际的投影光路与设计的投影光路存在偏差，由于光学成像的复杂性，即使这个偏差是极其微小的，形成的虚像也会与设计的投影标准图像存在偏差，即产生了图像畸变，比如虚像显示的至少部分发生了扭曲或旋转，造成实际显示的虚像与像源显示面上的图像不一致。图像畸变包括静态畸变及动态畸变，静态畸变为在特定眼点观察虚像时，看到的实际图像与投影标准图像之间的偏差，而动态畸变为在不同眼点观察虚像时，不同眼点下看到的实际图像与中心眼点下看到的实际图像之间的偏差。无论发生了哪种畸变，用户观察挡风玻璃上的显示信息都会比设计的投影标准图像要差，即并没有按照像源显示面上的图像在挡风玻璃上产生相同的虚像，因此人眼看到的图像信息就会失真变形，影响用户的观看体验。

如上所述，图像畸变的产生是由光学镜片的面型偏差、挡风玻璃的面型偏差及光学镜片、挡风玻璃的生产与装配偏差等产生的，因此，在一些示例中，可以在生产与装配前，对光学镜片的面型及挡风玻璃的面型进行提前量设计，以抵消生产与装配产生的偏差，但是这种方式对工程人员的设计能力要求很高，而且还要对不同的生产工艺及装配环境进行适应性设计，完全依赖这种方式显然难度很大，能够适应每辆车的统一设计基本不可能实现。在一些示例中，可以在HUD显示设备安装到汽车中控台之后，通过软件获取特定车辆上的光学环境产生的具体图像畸变程度，相应地可以用畸变参数来进行量化表示。由于HUD显示设备安装在车辆的中控台后，其相应产生的偏差理论上就会固定不变，因此，HUD显示设备的像源上显示的配置图像与投影在挡风玻璃上的虚像之间的畸变关系也会相对固定，相应地，在HUD显示设备进行投影显示时，就可以按照事先获取到的畸变参数对像源上显示光投射之前的图像进行预矫正，从而抵消在光学镜片组及挡风玻璃上产生的偏差，这样实际在挡风玻璃上反射形成的虚像就会与投影标准图像一致，不存在失真变形。在一些示例中，也可以结合硬件矫正与软件矫正的优势，分别进行光学镜片面型和/或挡风玻璃面型的提前量设计，及对显示图像的算法预矫正。

具体地，在确定像源显示图像与投影显示图像之间的畸变参数后，就可以针对所有在像源上显示的配置图像进行预矫正，从而保证挡风玻璃上的显示图像以正常的形状被人眼观察到。如图2所示，图像畸变矫正流程具体包括如下步骤：

步骤S201，开始。

步骤S202，配置图像、畸变参数输入。配置图像可以理解为待显示的投影标准图像，即希望挡风玻璃上被人眼看到的图像，其通过HUD显示设备处理对应的图像并在像源上显示出来。如图3所示，配置图像本身的网格线横竖都是笔直的，相应地显示在像源上也是图3所示的效果，这也是希望人眼可以在挡风玻璃上看到的投影效果。但是，如图4所示，由于光学传输的影响变化，图3所示的配置图像投影在挡风玻璃上并不能形成理想的横竖笔直的网格线，相应的网格线发生了扭曲，因此需要采用预矫正的方式将显示扭曲的网格线矫正为正常的直线。畸变参数是事先确定的用于矫正的参考数据，具体由光学镜片、挡风玻璃的生产与装配带来的与设计指标之间的偏差决定，通过这个畸变参数就可以确定需要消除的偏差大小。

步骤S203，根据畸变参数获取配置图像矫正后的预畸变图像。由于配置图像直接通过HUD显示设备投影在挡风玻璃上不能显示理想的虚像，因此需要对配置图像进行预矫正，即利用预矫正的量去抵消光学系统造成的显示扭曲等，从而保证在挡风玻璃上显示的虚像处于正常的显示形状。由于图3的图像在投影后，在挡风玻璃上形成如图4所示的向上扭曲的曲线，因此在预矫正的时候，可以如图5所示，预畸变图像可以做提前量矫正，使其向下扭曲，这样在光学传输的过程中，向下扭曲的曲线就会向上变形，正好抵消掉对应的畸变量，最终可以在挡风玻璃上形成如图6所示的图像，从而人眼可以观察到与图3一致的图像。需要说明的是，相应的提前量矫正程度是由畸变参数决定，畸变参数可以是指每个像素在光学传输前后的偏移量，只需根据这个偏移量将需要显示的图像提前做反方向偏移处理就可以实现预矫正。可选地，畸变参数还可以是每个像素在光学传输前后的位置映射关系，只需根据这个映射关系将需要显示的图像提前预矫正到对应的位置就可以实现与投影后的所需位置对应。

步骤S204，将预畸变图像发送给HUD显示设备投影显示。配置图像经过矫正后获得预畸变图像，预畸变图像相对于配置图像由于存在相应的预矫正量，因此预畸变图像存在一定的扭曲。将预畸变图像通过HUD显示设备显示在相应的像源显示面上，相应地，对应的显示光从像源投射出去，经过对应的光学镜片到达挡风玻璃，产生的偏差恰好将预畸变图像中的扭曲给抵消掉，最终在挡风玻璃上就可以显示与投影标准图像一致的虚像。

步骤S205，结束。

在一些示例中，配置图像并不局限于事先存储的图片或视频，还可以是实时采集到的用于显示的图片或视频。如图7所示，图像畸变矫正流程具体包括如下步骤：

步骤S701，开始。

步骤S702，畸变参数输入。与图2类似，畸变参数是实现预矫正的参考数据，事先可以存储在相应的数据库内供调用，不同的车辆由于生产与安装的偏差不同，因此相应的畸变参数也不同。

步骤S703，通过第一相机拍摄获得配置图像。第一相机可以安装在车辆上，比如设置在车辆的前部用于采集车辆前侧的实时视频，亦或者设置在车辆的后部用于采集车辆后侧的实时视频，但第一相机的安装位置并不以上述为限。相应地，将第一相机采集到的视频进行实时处理获得需要通过HUD 显示设备投影显示在挡风玻璃上的配置图像，配置图像可以通过HUD显示设备的像源投射出相应的显示光。

步骤S704，根据畸变参数获取配置图像矫正后的预畸变图像。

步骤S705，将预畸变图像发送给HUD 显示设备投影显示。步骤S704、步骤S705与图2的步骤S203、步骤S204类似，基于畸变参数，对实时获取的配置图像进行提前量的矫正形成预畸变图像，预畸变图像中的预矫正形状可以在光学传输的抵消下，还原成投影标准图像，因此人眼可以在投影的挡风玻璃上看到正常的图像。

步骤S706，结束。

需要说明的是，步骤S702与步骤S703之间不具有绝对的先后关系，畸变参数的输入可以在先完成，通过第一相机拍摄获得配置图像在另一个示例中也可以在先完成，亦或者步骤S702与步骤S703可以同时并行进行。

如上所述，为了获得预畸变图像，需要先获得畸变参数，由于每辆车在生产装配的过程中产生的偏差都不尽相同，因此不同车辆的畸变参数也是不一样的，相应地，每辆车上HUD显示设备的图像畸变矫正的畸变参数也不可能相同，这就需要在车辆生产装配时对每辆车分别进行畸变标定，获得适应于每辆车的准确畸变参数。在一些示例中，如图8所示，图像畸变矫正流程具体包括如下步骤：

步骤S801，开始。

步骤S802，通过HUD 显示设备投影显示标准点阵图。标准点阵图是选取关键像素点进行显示或者突出显示，在本示例中，统一将这些关键像素点称之为显示点，从而用于投影在挡风玻璃上可以作为拍摄扫描的标定基础。如图9所示，当标准点阵图以4*4的显示点阵列在HUD显示设备的像源上显示时，由于光学传输的影响，4*4 的显示点阵列最终在挡风玻璃上的投影显示图情况就会发生相应的偏移，与图4类似，是图像畸变造成的。此时，可以通过比较标准点阵图与投影显示图之间的区别来确定畸变的程度。

步骤S803，通过第二相机拍摄获得标准点阵图在挡风玻璃上的投影显示图。如上所述，投影显示图是标准点阵图通过HUD显示设备投影在挡风玻璃上的图像，因此可以通过第二相机获取具体的投影显示图内容，即图9所示投影后的排列情况。具体地，第二相机设置在HUD显示设备的眼盒范围内，眼盒（Eyebox）指的是HUD显示设备的光学系统与眼球之间的一块锥形区域，也是显示内容最清晰的区域，在眼盒范围内，眼睛可以看到HUD投影出的全部图像，当人眼超出这个范围后，可能会呈现图像扭曲、显色错误，甚至不显示内容等问题。处于眼盒范围内的第二相机正对着挡风玻璃被投影显示的位置，拍摄获取具体的投影显示图。获得投影显示图后，可以通过对投影显示图的分析，确定投影显示图中的点显示数及点显示位置，即标准点阵图中的显示点经过光学传输后的显示位置。

步骤S804，利用插值算法或多项式拟合算法确定投影显示图中未显示点位置。如上所述，为了增加第二相机的扫描可识别性，在本示例中采用的是标准点阵图实现投影显示，即第二相机在拍摄扫描时，并不会将所有像素的点都扫描出来，而是对关键像素的显示点进行扫描识别，比如关键像素的显示点是以明显的显示亮度展现在拍摄范围的挡风玻璃上。以图9为例，就是对4*4的显示点进行识别，但是计算畸变参数则需要知道所有像素对应点的偏移关系才可以实现整个图像的预矫正。相应地，在本示例中，通过一定的算法将显示点以外的未显示像素位置进行估算，从而再与像源显示中的所有像素进行偏差分析，从而可以获得整个完整图像像素的畸变参数。

在一些示例中，可以采用插值算法确定投影显示图中的未显示点位置，如图9所示，假设4*4的黑点是通过拍摄4*4标准点阵图在挡风玻璃上的投影显示图分析确定的，相应地，黑点以外应该存在很多未显示的像素点，这个与标准点阵图中未显示点是对应的，由于像素点的排列是遵照像源的排列方式的，因此无论显示点还是未显示点都是按照一定规则排列的。如图10所示，可以利用插值法，在两个显示确定的黑点之间通过插值的方式确定未显示的点，在本示例中，利用空心圆点来表示未显示点，比如可以在两个黑点之间的中心位置插入一个空心圆点来表示未显示点。进一步，根据像素的排列及大小在黑点与空心圆点之间或空心圆点与空心圆点之间的中心位置继续确定其他未显示点，从而可以确定出所有像素的位置，这样就可以对每个像素进行计算确定每个像素的畸变程度，从而畸变参数可以以矩阵的方式记录每个像素的偏差值，然后利用畸变参数对待显示的图像进行逐个像素的预矫正。

插值法的优点在于算法简单、运算快速，通过两个点之间的位置关系简单地就可以计算出两点之间的未显示点。但是缺点在于很容易出现极大的误差，特别是计算基于的显示点排列并不均匀分布，甚至存在点显示数较少或缺失的情况。如图11所示，由于扫描获得的投影显示图中，第2排第3列的显示点并没有被准确地识别到，因此此时通过插值法，只能基于第2排第2列的显示点和第2排第4列的显示点进行确定，这样必然带来极大的误差，相比图10的第2排第3列的显示点，显然存在很大的向上偏移，这就是插值法存在的误差引起的。同时，由于挡风玻璃上的投影显示图是通过相机的拍摄扫描来确定其中的显示点的，因此很容易受到显示亮度及外界环境的影响造成本应显示的点不能够被有效地识别到而造成丢失，如果采用插值法就需要通过其他显示点来进行计算确定丢失的点，而本身丢失的点在确定的时候已经产生误差，如果继续确定其他未显示点就会进一步放大误差，导致整个像素的位置确定都存在很大的偏差，这样势必会影响图像畸变矫正的效果。

在一些示例中，还可以采用多项式拟合算法来实现对未显示点的计算，其原理不同于插值法，插值法是利用相邻两个点来确定两者之间的点位置，但是多项式拟合算法是将所有拍摄扫描到的显示点位置作为输入，利用最小二乘法来拟合一个多项式模型，该多项式模型可以表示整个所有像素点的分布情况，通过多项式模型的计算可以获得每个像素点的位置。多项式拟合算法是基于所有显示点位置进行综合拟合运算获得了一个相对平均的整体分布情况，因此误差相对较小，但是由于最小二乘法需要经过复杂的多元计算，因此需要花费较长的计算时间，相应地也会对算力的要求更高。

步骤S805，根据标准点阵图及投影显示图确定畸变参数。当投影显示图中的所有显示点和未显示点位置都确定后，就可以知道标准点阵图对应的图像像素矩阵经过光学传输后，每个像素在挡风玻璃上的偏移情况，因此只需要逐个计算每个像素之间的偏移关系，就可以最终确定整个图像的畸变参数，具体地，畸变参数可以以矩阵的方式进行保存，矩阵中的每个元素表示对应像素的偏移量或偏移位置，从而将畸变参数作为图像畸变矫正的参考依据，在确定预畸变图像时，只需利用畸变参数中的数据对每个配置图像中的像素进行偏移处理就可以实现。

步骤S806，结束。

在一些示例中，为了实现快速有效的畸变标定，可以根据实际的情况来决定用多项拟合算法确定投影显示图中未显示点位置还是用插值算法确定投影显示图中未显示点位置。如图12所示，图像畸变矫正流程具体包括如下步骤：

步骤S1201，开始。

步骤S1202，通过HUD显示设备投影显示标准点阵图。与图8类似，首先需要控制HUD显示设备向对应的挡风玻璃上投影显示相应的标准点阵图，作为标定的参考依据，标准点阵图中的显示点数量可以根据实际标定的效果确定，较少可能会影响后续对未显示点计算的准确性，较多可能会造成相机拍摄扫描的准确性。

步骤S1203，通过第二相机拍摄获得标准点阵图在挡风玻璃上的投影显示图。第二相机设置在HUD显示设备投影显示的眼盒范围内，第二相机可以清楚地拍摄到挡风玻璃上的成像内容，即对应的投影显示图。

步骤S1204，判断是否默认多项式拟合算法，如果是，跳转到步骤S1206a，如果否，跳转到步骤S1205。在一些示例中，用户可以事先设置相应的配置，比如具体采用什么样算法进行未显示点位置的计算。如上所述，插值算法具有速度快的优点，如果用户需要整个过程的快速处理速度，可以在配置中选择始终采用插值算法。多项式拟合算法的计算准确性相对较好，如果用户对整个图像畸变矫正的要求很高，也可以在配置中选择始终采用多项式拟合算法。在本示例中，设置了一个默认配置，即当用户选择默认多项式拟合算法，则会在任何情况下都会采用多项式拟合算法进行未显示点的计算，这样可以保证整个图像畸变矫正的效果，但是可能会牺牲处理时间及花费，相应地，当判断用户选择了默认多项式拟合算法，就会直接跳转到步骤S1206a，直接利用多项式拟合算法确定投影显示图中未显示点的位置，具体可以参照图8示例中的描述。当用户选择不默认多项式拟合算法时，即不采用默认的算法，此时会根据不同情况来进行算法选择，具体由步骤S1205来做进一步的判断。

步骤S1205，判断投影显示图中点显示数是否缺失，如果是，跳转到步骤S1206a，如果否，跳转到步骤S1206b。在步骤S1205中，会对相机扫描获取到的点显示数进行分析，如上所述，投影显示图中的点显示数是跟HUD显示设备投影的标准点阵图中的点显示数一致的，但是由于相机扫描的问题，可能会导致在挡风玻璃上投影的显示点并没有被准确地识别出来，此时就会出现图8示例中涉及的问题，如果采用插值算法进行未显示点的计算，就会带来误差。相应地，可以将投影显示图中分析到的点显示数与标准点阵图中实际的点显示数据进行比较，如果投影显示图中的点显示数少于标准点阵图中的点显示数，说明存在缺失，此时可以跳转到步骤S1206a，利用多项式拟合算法确定投影显示图中未显示点位置。反之，如果投影显示图中的点显示数未存在缺失，此时跳转到步骤S1206b，利用插值算法确定投影显示图中未显示点位置，这样可以在保证相对图像畸变矫正质量的前提下，提高处理的速度。

步骤S1206a，利用多项式拟合算法确定投影显示图中未显示点位置。参照步骤S804，多项式拟合算法根据多个已知显示点的位置分布来拟合出整个图像所有像素点的分布多项式表示，通过确定的多项式计算出其他未显示点的位置。相应的拟合算法可以是最小二乘法，其计算过程是确定一个多项式模型与已知的显示点位置的总误差是最小的。

步骤S1206b，利用插值算法确定投影显示图中未显示点位置。参照步骤S804，插值算法不断利用相邻的两个点确定其间的插入点位置，直至找到所有像素点对应的位置，其速度快，在已知显示点的数量达到一定要求时，可以采用插值法进行计算。

步骤S1207，根据标准点阵图及投影显示图确定畸变参数。参照步骤S805，当投影显示图中的所有像素点位置都确定以后，就可以分析这些像素点在光学传输的影响下，发生了多大程度的偏移。具体可以与标准点阵图显示像源的所有像素点位置进行比较，相应地确定出具体的畸变参数。

步骤1208，结束。

如上所述，为了实现图像畸变矫正，首先需要具有HUD显示设备所在车辆对应的畸变参数，如果需要确定畸变参数，则需要在对应车辆上进行畸变标定。参照图8、图12的示例，需要控制HUD显示设备投影对应的标准点阵图，进一步还要控制相应的相机去将HUD显示设备投影在挡风玻璃上的投影显示图拍摄下来。因此，如图13所示，用于畸变标定的抬头显示处理设备包括工控机1301、HUD显示设备1302及第二相机1303，其中，HUD显示设备1302是已经安装在特定车辆上的投影显示设备，但由于刚安装并不知道生产及装配偏差对HUD显示设备的投影显示效果带来多大的畸变影响，因此需要通过标定确定具体的畸变参数。工控机1301可以与HUD显示设备1302进行有线或无线连接，从而可以控制HUD显示设备1302在挡风玻璃上投影显示特定的图像。第二相机1303可以通过支架等架设在主驾位置上，其相机的高度可以模仿驾驶人员坐在主驾的高度，以保证第二相机1303恰好处于HUD显示设备1302的眼盒范围内。相应地，工控机1301可以与第二相机1303进行有线或无线连接，工控机1301可以控制第二相机1303正对着挡风玻璃进行拍照，获取到挡风玻璃上的投影显示图。现场标定的人员可以简单通过工控机1301操作就可以完成畸变标定，即可以是利用标准点阵图进行投影显示，并通过相机将标准点阵图在挡风玻璃上成像的投影显示图获取，通过分析标准点阵图对应的像素点与投影显示图对应的像素点之间的偏差关系确定畸变参数，相应地，将确定到的畸变参数下发存储到HUD显示设备1302中，从而使HUD显示设备1302在后续的使用中利用畸变参数进行图像畸变矫正，保证投影显示的效果达到最佳的状态。在一些示例中，HUD显示设备1302可以与工控机1301集成在一起，即可以是HUD显示设备1302中具有畸变参数确定的功能，相应的第二相机1303可以是车内集成的相机，可以被HUD显示设备1302所直接调用。当车辆出厂后使用一段时间，存在HUD显示设备1302内部光学镜片等出现老化变形时，图像畸变的情况也会发生变化，此时HUD显示设备1302也可以通过集成的工控机模块自动触发畸变标定，获取新的畸变参数，HUD显示设备1302通过新的畸变参数来实现后续的图像畸变矫正。

如图14所示，集成在车辆中控台内的HUD显示设备1302具体包括光机1及包括第一反射镜2、第二反射镜3在内的光学镜片组。进一步，HUD显示设备1302还包括一个壳体，壳体通过包络形成收容相关元件的内部空间，在壳体的内部通过支架等安装光机1及第一反射镜2、第二反射镜3，第一反射镜2及第二反射镜3通过配合将光机1产生的显示光从壳体上的窗口投射出去。当HUD显示设备1302嵌入到汽车的中控台内时，壳体上的窗口正对着中控台上方的车辆挡风玻璃，相应地，投射出的显示光就会在挡风玻璃上发生反射形成人眼可以看到的虚像。HUD显示设备1302首先在生产阶段，第一反射镜2、第二反射镜3就会存在生产造成的偏差，比如第一反射镜2、第二反射镜3生产后的实际面型与设计面型存在误差，其次在装配阶段，一方面是光机1、第一反射镜2、第二反射镜3安装在壳体以内，肯定会因为支架固定的误差导致光路存在一定的偏差，另一方面整个壳体在固定在车辆的中控台内，也会产生一定角度的误差，这些都会导致显示光在挡风玻璃上反射的入射角度产生细微的变化，而这些都会带来图像形状的扭曲、旋转等畸变。因此在HUD显示设备1302安装固定完成后，都需要通过畸变标定来确定相应的畸变参数，从而作为后续投影显示时图像畸变矫正的参数数据。

在一些示例中，图13中的工控机1301可以具有信息显示的屏幕，屏幕上可以包括用于畸变标定操作的显示界面，显示界面可以包括调整畸变标定的算法与设置的配置界面，还可以具有辅助畸变标定操作人员作为参考的预览界面及触发特定操作的控件界面等。在一些示例中，用于畸变标定的显示界面也可以是直接显示在车载屏幕上，相关操作人员可以通过车载屏幕在相应的显示界面上进行信息查看及操作。如图15所示，显示界面的左上区域设置预览界面，其可以显示矫正前的配置图像及矫正后的预畸变图像，在一些示例中，预览界面还可以将相机拍摄挡风玻璃上的投影显示图直接显示，具体包括矫正前的投影显示效果及矫正后的投影显示效果，从而辅助操作人员比较确定图像畸变的效果是否达到相应的要求。在一些示例中，在显示界面的预览界面上同时显示配置图像及通过相机拍摄挡风玻璃上的预畸变图像投影的显示图像，以分析图像畸变矫正效果，如果投影的显示图像与配置图像的差别较小，就可以直观地判断矫正基于的畸变参数已经可以满足抵消特定车辆上偏差带来的影响。

显示界面的右上区域设置配置界面，其包括参数设置、算法设置等配置选项，相应的配置选项可以接收操作人员具体的输入参数，比如确定投影显示图中未显示点位置的算法可以包括多项式拟合算法及插值算法等作为配置选项，相关像素偏差定位映射算法可以包括前向映射算法及反向映射算法等作为配置选项，不同传递强度的插值算法可以包括邻近分析法、双线性插值算法、双三次插值算法等作为配置选项。

显示界面的下部区域设置控件界面，其包括多个控制按钮，比如选择图片按钮，可以通过选择图片按钮选择相应的配置图片，从而测试配置图片在HUD显示设备上的图像畸变矫正效果；配置文件按钮，可以通过配置文件按钮来一键导入相应的配置选项，不需要通过右上区域的配置界面来进行手动地设置，开始矫正按钮，可以通过开始矫正按钮触发特定的畸变标定或图像畸变矫正活动，输出文件按钮，可以通过输出文件按钮触发保存计算确定的畸变参数等矫正设置文件，HUD显示设备可以根据矫正设置文件中的畸变参数来进行具体的图像畸变矫正。需要说明的是，预览界面、配置界面、控件界面在显示界面上的位置及布局并不以图15为限，可以根据显示的需要设置在特定的位置及具有特定的尺寸和形状，同时配置界面上的配置选项也并不以上述描述为限，显示界面通过接收用户输入的确定畸变参数所需的配置选项，并响应于所述配置选项采用确定畸变参数的处理算法。

如图16所示，为了准确地确定预矫正的畸变参数，抬头显示处理方法具体包括步骤S1601、步骤S1602、步骤S1603及步骤S1604。

其中，步骤S1601，获取HUD显示设备在挡风玻璃上的投影显示图，所述投影显示图对应于所述HUD显示设备输出的标准点阵图。以图13为例，工控机1301连接第二相机1303，通过第二相机1303拍摄挡风玻璃上的投影情况，获取到HUD显示设备1302投影形成的投影显示图。参照图1，HUD显示设备在挡风玻璃上投影形成的投影显示图，是源于HUD显示设备的像源根据标准点阵图显示，像源将发出的显示光通过特定的光学镜片传输从而最终到达相应的挡风玻璃上。需要说明的是，标准点阵图是用于畸变标定而事先设置的待显示图像，一般情况下，显示点位置是横竖方向对齐的，其与配置图像在HUD显示设备上投影显示的原理是一致的，但是与配置图像不同的是，标准点阵图不是全像素显示的，或者是显示点是采用相较于其他像素点更加明显颜色或灰阶显示的，其目的就是可以使图13中的第二相机1303可以精准地扫描到对应的显示点。基于投影显示的原理，理论上标准点阵图上的显示点，在第二相机1303拍摄到的投影显示图上也有对应的显示点，只不过由于光学传输的畸变影响，导致对应的显示点位置发生了偏移。通过分析这些显示点的偏移程度就可以确定安装在特定车辆上的HUD显示设备的投影畸变程度，从而就可以进一步将待显示的配置图像进行预矫正。

步骤S1602，响应于所述投影显示图中的点显示数小于所述标准点阵图中的点显示数，利用多项式拟合算法确定所述投影显示图中未显示点位置。其中，投影显示图中的点显示数可以通过相机扫描确定，标准点阵图中的点显示数可以与标准点阵图一样事先存储供调用的，或者是通过HUD显示设备的显示判断出来的。在一些示例中，由于相机在扫描挡风玻璃上的投影显示图时，可能会将个别显示点识别遗漏（参照图11），即出现丢点，此时如果直接采用插值算法的话，就会出现图11的空心圆点位置确定存在很大的误差，此时可以采用多项式拟合算法实现对未显示点位置的确定，即定义的黑点以外像素点对应的位置，这样可以确定到HUD显示设备可显示的所有像素点投影显示时在挡风玻璃上的对应位置。

步骤S1603，响应于所述投影显示图中的点显示数等于所述标准点阵图中的点显示数，利用插值算法确定所述投影显示图中未显示点位置。相较于步骤S1602的判断过程，其可以是通过相机扫描到的投影显示图中所有的显示点都被正常地扫描到的情况，此时就与标准点阵图中的显示点一一对应，只需将标准点阵图中未定义的显示点（即未显示点）对应在挡风玻璃上的位置计算确定出来就可以了。在一些示例中，采用多项式拟合的算法实现，虽然可以提高计算的准确性，但是速度较慢。在本示例中，可以采用插值算法，即可以是在相邻的两个显示点之间通过平均分布的原则确定相应的未显示点，最终找到所有的像素点在挡风玻璃上应该投影的位置。

需要说明的是，步骤S1602和步骤S1603之间不具有绝对的顺序关系，通过判断最终确定采用具体的算法实现未显示点的计算。在一些示例中，可以在图15的显示界面中接收相应的配置选项，配置选项可以包括默认多项式拟合算法及根据相机扫描点显示数来确定算法，如果默认多项式拟合算法，即无论满足步骤S1602和步骤S1603中的任何一个条件，都采用多项式拟合算法，具体可以参照图12的步骤S1204，直接跳过步骤S1205，相应地，在本示例中，跳过步骤S1602及步骤S1603，直接利用多项式拟合算法确定所述投影显示图中未显示点位置。如果根据相机扫描点显示数来确定算法，则会按照条件判断的结果，来选择步骤 S1602或步骤S1603的算法。

步骤S1604，根据所述投影显示图确定畸变参数。在投影显示图对应的所有像素点在挡风玻璃上的位置全部通过插值算法或多项式拟合算法确定以后，就可以与HUD显示设备对应可显示的像素点位置进行比较，从而确定HUD显示设备可显示的像素点相互之间在光学传输后会在挡风玻璃上显示产生的具体偏移量，比如第1排第1列的像素点显示在挡风玻璃上会相对于理想显示位置向右偏移两个像素，第1排第2列的像素点显示在挡风玻璃上会相对于理想显示位置向右下偏移三个像素，需要说明的是，其畸变参数的记录形式并不以此为限。在一些示例中，还可以对每个像素在挡风玻璃上偏移后的位置直接进行记录，通过查询畸变参数就可以直接知道HUD显示设备可显示像素在挡风玻璃上对应的位置。在一些示例中，还可以是通过反向映射算法将挡风玻璃上的特定显示点位置映射为HUD显示设备上的对应像素点位置，在本示例中，畸变参数包括按照挡风玻璃上的理想显示顺序记录的HUD显示设备上的对应像素点位置，预矫正也可以按照畸变参数记录的像素点位置进行图像偏移处理。

如上所述，畸变参数通过在每辆车上实现自动化的畸变标定来确定，获得的畸变参数可以作为后续HUD显示设备投影前的图像畸变矫正所用，比如汽车出厂后驾驶人员驾驶车辆时对投影显示的行驶信息、导航信息等图像进行畸变矫正。在图13的示例中，可以在畸变参数确定以后，将相应的畸变参数下发给连接的HUD 显示设备1302，HUD显示设备1302会将畸变参数保存在内部的存储器中，当每次需要显示配置图像时，都会按照畸变参数的数据将配置图像矫正为符合投影显示要求的预畸变图像，具体可以参照图2、图7的示例。

如图17所示，抬头显示处理设备包括处理器1701、存储器1702、输入设备1703及输出设备1704，具体可以是计算机或者独立的上位机控制设备，在一些示例中，也可以是HUD显示设备本身。输入设备1703可以是鼠标、键盘等，抬头显示处理设备可以通过输入设备1703接收控制指令及数据，比如可以操作图15所示的显示界面。输出设备1704包括HUD显示设备、扫描相机等（具体可以参照图13），抬头显示处理设备可以通过输出设备1704输出相应的指令或数据，比如控制HUD显示设备投影相应的图像，触发扫描相机执行拍摄操作。存储器1702上存储有处理器1701上运行的计算机程序，处理器1701执行所述计算机程序时实现上述的抬头显示处理方法。在一些示例中，抬头显示处理设备集成在HUD显示设备中，在投影显示时进行自适应调整，或者在HUD显示设备的光路结构存在自然变形或者投影环境发生变化时，用户可以选择触发重新进行矫正，相应的触发按键可以设置在中控台的控制区上。在一些示例中，抬头显示处理设备可以是专门的HUD显示质量检测标定设备，车辆在出厂前由产线的工程师通过对特定车辆的投影显示进行畸变标定，以适应不同车辆的投影显示要求。

如图18所示，在一些示例中，交通工具可以集成有上述的抬头显示处理设备，交通工具在长期使用过程中，投影显示处于正常状态时，通过投影将相应的标识信息投影在车辆挡风玻璃上，从驾驶舱内观看挡风玻璃的效果就是可以看到车辆的行驶信息、导航信息等。当长期使用出现显示效果畸变时，可以利用抬头显示处理设备的功能，获取老化后环境下的畸变参数，更新投影显示的畸变参数，从而自适应修正图像畸变矫正的效果。如上所述，由于驾驶人员可以在驾驶的过程中正对着挡风玻璃查看车辆速度、导航信息等，无需低头查看传统的仪表盘，提高了驾驶的安全性。需要说明的是，交通工具并不局限于如图18所示的汽车，也可以包括公交车、卡车、挖掘机、摩托车、火车、高铁、轮船、游艇、飞机、宇宙飞船等。投影的挡风玻璃也不局限于汽车的前挡风玻璃，也可以是其他位置的透明表面。

在一些示例中，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的抬头显示处理方法。

结合上述示例，本申请涉及的技术方案可以直接体现为硬件、由控制单元执行的软件模块或二者组合，即一个或多个步骤和/或一个或多个步骤组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块，例如ASIC（Application SpecificIntegrated Circuit，专用集成电路）、FPGA（Field－Programmable Gate Array，现场可编程门阵列）或其他可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件或者其任意适当组合。为了描述的方便，在上述描述时以功能分为各种模块分别描述，当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

通过上述示例的描述，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请涉及的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来。该软件由微控制单元执行，依赖于所需要的配置，可以包括任何类型的一个或多个微控制单元，包括但不限于微控制单元8、微控制器、DSP（Digital Signal Processor，数字信号控制单元）或其任意组合。该软件存储在存储器，例如，易失性存储器（例如随机读取存储器等）、非易失性存储器（例如，只读存储器、闪存等）或其任意组合。

综上所述，本申请为了获取不同偏差情况下对HUD 显示设备的畸变影响，控制HUD显示设备将标准点阵图投影在挡风玻璃上，利用相机等拍摄在挡风玻璃上的投影显示图的畸变情况，并根据拍摄投影显示图的扫描完整性，确定采用多项式拟合算法还是插值算法对投影显示图中未显示的像素点进行补全处理，从而确定预矫正的畸变参数用于HUD显示设备投影前的图像畸变矫正。本申请可以准确地确定预矫正的畸变参数，提高HUD显示设备畸变标定的质量，提高用户体验。

应当理解，虽然本说明书包括一些示例，但这些示例中的任何一个并非仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为了清楚的目的。本领域普通技术人员应当将说明书作为一个整体，各示例中的技术方案也可以进行适当的组合，形成本领域普通技术人员可以理解的其他实施方式。

上文所列出一系列的详细说明仅仅是针对本申请的可行性实施方式的具体说明，它们并非用以限制本申请的保护范围，凡是未脱离本申请教导内容所作的等效实施方式或变型均应包含在本申请的保护范围之内。

Claims (10)

1.一种抬头显示处理方法，其特征在于，包括如下步骤：

获取HUD显示设备在挡风玻璃上的投影显示图，所述投影显示图对应于所述HUD显示设备输出的标准点阵图；

响应于所述投影显示图中的点显示数小于所述标准点阵图中的点显示数，利用多项式拟合算法确定所述投影显示图中未显示点位置；

响应于所述投影显示图中的点显示数等于所述标准点阵图中的点显示数，利用插值算法确定所述投影显示图中未显示点位置；

根据所述投影显示图确定畸变参数。

2.根据权利要求1所述的抬头显示处理方法，其特征在于，所述获取HUD显示设备在挡风玻璃上的投影显示图包括：

通过设置在所述HUD显示设备眼盒范围内的相机正对所述挡风玻璃拍摄获取所述投影显示图。

3.根据权利要求1所述的抬头显示处理方法，其特征在于，所述获取HUD 显示设备在挡风玻璃上的投影显示图包括：

所述投影显示图包括所述标准点阵图在所述挡风玻璃上投影的显示点，确定对应的点显示数及点显示位置。

4.根据权利要求1所述的抬头显示处理方法，其特征在于，所述根据所述投影显示图确定畸变参数之前，所述抬头显示处理方法包括：

在显示界面上接收确定畸变参数的配置选项，响应于所述配置选项采用确定畸变参数的处理算法。

5.根据权利要求1所述的抬头显示处理方法，其特征在于，所述根据所述投影显示图确定畸变参数包括：

确定所述投影显示图中每个像素点与所述HUD显示设备的每个像素点之间的偏差值，根据所述偏差值确定预矫正的位置。

6.根据权利要求1所述的抬头显示处理方法，其特征在于，所述根据所述投影显示图确定畸变参数之后，所述抬头显示处理方法包括：

将所述畸变参数存储在所述HUD显示设备中，以使所述HUD显示设备根据所述畸变参数对待显示的配置图像进行预矫正。

7.根据权利要求6所述的抬头显示处理方法，其特征在于，所述将所述畸变参数存储在所述HUD显示设备中，以使所述HUD显示设备根据所述畸变参数对待显示的配置图像进行预矫正包括：

在显示界面上同时显示配置图像及对所述配置图像矫正后的预畸变图像；

响应于在所述显示界面上的输出指令，输出所述畸变参数的矫正设置文件。

8.一种抬头显示处理设备，其特征在于，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7任一项所述抬头显示处理方法的步骤。

9.一种交通工具，其特征在于，包括权利要求8所述的抬头显示处理设备。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述抬头显示处理方法的步骤。