CN115905237B - 图像处理方法、装置、hud及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、HUD及存储介质，涉及智能驾驶技术领域，该方案相比现有的畸变矫正方案，可以提高畸变矫正速率，从而可以降低投影过程中的时延。该方法包括：获取输出图像；确定输出图像的非畸变矫正分区；输出图像的非畸变矫正分区为，当通过投影设备对输出图像进行投影时，畸变程度不满足预设条件的区域；基于预设畸变矫正数据集对输出图像中除输出图像的非畸变矫正分区外的区域进行处理，得到预畸变图像；对预畸变图像进行投影。

Description

图像处理方法、装置、HUD及存储介质

技术领域

本申请涉及智能驾驶技术领域，尤其涉及一种图像处理方法、装置、HUD及存储介质。

背景技术

随着抬头显示器(Head Up Display，HUD)相关技术的快速发展，HUD在智能驾驶车辆中的应用越来越广泛。

目前，HUD可以通过内部的光学系统将车辆行驶过程中的行驶信息或路况信息等投影在车辆挡风玻璃上。由于HUD自身制造误差或挡风玻璃曲率不均衡等因素的存在，会导致投影在挡风玻璃上的图像存在畸变，这些畸变很难通过光学设计规避，所以，一般会通过一些畸变矫正算法来进行畸变矫正。

然而，现有通过畸变矫正算法进行畸变矫正的过程中，HUD需要对输出图像中的每个像素点进行处理，所以畸变矫正速率不高，导致投影过程产生了较长的时延。

发明内容

本申请提供一种图像处理方法、装置、HUD及存储介质，可以提升畸变矫正速率，降低投影过程中的时延。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种图像处理方法，包括：获取输出图像；确定输出图像的非畸变矫正分区；输出图像的非畸变矫正分区为，当通过投影设备对输出图像进行投影时，畸变程度不满足预设条件的区域；基于预设畸变矫正数据集对输出图像中除输出图像的非畸变矫正分区外的区域进行处理，得到预畸变图像；对预畸变图像进行投影。

本申请提供的技术方案中，获取到输出图像后，可以通过事先得到的预设畸变矫正数据集对输出图像中，除输出图像的非畸变矫正分区外的区域进行处理，得到预畸变图像。然后可以对得到的预畸变图像进行投影，实现对畸变的矫正。可以看出，本申请在进行畸变矫正的过程中，并不是对输出图像中的每个像素点进行处理，而是仅对输出图像中部分区域(即除输出图像的非畸变矫正分区外的区域)进行处理，所以，相比现有的畸变矫正方法，本申请可以提高畸变矫正速率，从而可以降低投影过程中的时延。

另外，由于通过投影设备对输出图像进行投影时，不同区域的畸变程度是不同的，而畸变程度很低的区域投影产生的畸变人眼是观测不到的，那么，对于畸变程度很低的区域投影产生的畸变，是可以忽略的。基于该原理，本申请在进行畸变矫正的过程中，可以先确定出输出图像的非畸变矫正分区。其中，输出图像的非畸变矫正分区为，当通过投影设备对输出图像进行投影时，畸变程度不满足预设条件的区域，也即是畸变程度低到可以忽略的区域。反之，除输出图像的非畸变矫正分区外的区域为，当通过投影设备对输出图像进行投影时，畸变程度满足预设条件的区域，也即是畸变程度无法忽略的区域。所以，本申请仅对输出图像中除非畸变矫正分区外的区域进行畸变处理，是不会影响畸变矫正效果的。因此，本申请可以在保证畸变矫正效果的同时，提高畸变矫正速率，降低投影过程中的时延。

第二方面，本申请提供一种图像处理装置，包括：获取模块、确定模块、处理模块和投影模块；获取模块，用于获取输出图像；确定模块，用于确定输出图像的非畸变矫正分区；输出图像的非畸变矫正分区为，当通过投影设备对输出图像进行投影时，畸变程度不满足预设条件的区域；处理模块，用于基于预设畸变矫正数据集对输出图像中除输出图像的非畸变矫正分区外的区域进行处理，得到预畸变图像；投影模块，用于对预畸变图像进行投影。

第三方面，本申请提供一种HUD，包括存储器、处理器、总线和通信接口；存储器用于存储计算机执行指令，处理器与存储器通过总线连接；当HUD运行时，处理器执行存储器存储的计算机执行指令，以使HUD执行如上述第一方面提供的图像处理方法。

第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行指令时，使得计算机执行如第一方面提供的图像处理方法。

第五方面，本申请提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在计算机上运行时，使得计算机执行如第一方面提供的图像处理方法。

需要说明的是，上述计算机指令可以全部或者部分存储在计算机可读存储介质上。其中，计算机可读存储介质可以与HUD的处理器封装在一起的，也可以与HUD的处理器单独封装，本申请对此不做限定。

本申请中第二方面、第三方面、第四方面以及第五方面的描述，可以参考第一方面的详细描述；并且，第二方面、第三方面、第四方面以及第五方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。

在本申请中，对于上述涉及到的设备或功能模块的名称不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似，均属于本申请权利要求及其等同技术的范围之内。

本申请的这些方面或其他方面在以下的描述中会更加简明易懂。

附图说明

图1为本申请实施例提供的一种图像处理方法的流程示意图；

图2为本申请实施例提供的一种点阵图像的示意图；

图3为本申请实施例提供的一种背景图像中的封闭线段的示意图；

图4为本申请实施例提供的另一种点阵图像的示意图；

图5为本申请实施例提供的一种输出图像的示意图；

图6为本申请实施例提供的一种图像处理装置的结构示意图；

图7为本申请实施例提供的一种HUD的结构示意图。

具体实施方式

下面结合附图对本申请实施例提供的图像处理方法、装置、HUD及存储介质进行详细地描述。

本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。

此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选的还包括其他没有列出的步骤或单元，或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

另外，本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

现有通过畸变矫正算法进行畸变矫正的过程中，需要对输出图像中的每个像素点进行处理，所以畸变矫正速率不高，导致投影过程产生了较长的时延。

针对上述现有技术中存在的问题，本申请实施例提供了一种图像处理方法，该方法在进行畸变矫正的过程中，并不是对输出图像中的每个像素点进行处理，而是仅对输出图像中部分区域进行处理，所以，相比现有的畸变矫正方法，本申请实施例可以提高畸变矫正速率，从而可以降低投影过程中的时延。

本申请实施例提供的图像处理方法可以由本申请实施例提供的图像处理装置执行，该图像处理装置可以通过软件和/或硬件的方式实现，并集成在执行本方法的投影设备中。

下面结合附图对本申请实施例提供的图像处理方法进行说明。

参照图1，以投影设备为HUD为例进行说明，本申请实施例提供的图像处理方法包括S101-S104：

S101、获取输出图像。

其中，输出图像可以是HUD从中控系统接收到的待显示的图像，也可以是HUD根据从中控系统接收到的行驶信息或路况信息等实时输出的图像。

S102、确定输出图像的非畸变矫正分区。

其中，输出图像的非畸变矫正分区为，当通过HUD对输出图像进行投影时，畸变程度不满足预设条件的区域。另外，在本申请实施例中，输出图像中除非畸变矫正分区外的其他区域为输出图像的畸变矫正分区，输出图像的畸变矫正分区为，当通过HUD对输出图像进行投影时，畸变程度满足预设条件的区域。

预设条件可以是事先确定的条件。一个区域的畸变程度满足预设条件，可以表征该区域通过HUD投影产生的畸变不可以忽略，一个区域的畸变程度不满足预设条件，可以表征该区域通过HUD投影产生的畸变可以忽略。示例性的，本申请实施例中，一个区域的畸变程度满足预设条件，可以是该区域中存在至少一个像素点的畸变率大于预设畸变率；对应的，一个区域的畸变程度不满足预设条件，可以是该区域中所有像素点的畸变率均小于或等于预设畸变率。预设畸变率可以是事先确定的预设畸变率，当某个像素点的畸变率小于或等于预设畸变率时，表示该像素点的畸变程度可以忽略；当像素点的畸变率大于预设畸变率时，表示该像素点的畸变程度不可以忽略。

需要说明的是，本申请实施例中，输出图像(或点阵图像)的非畸变矫正分区和畸变矫正分区为输出图像(或点阵图像)中的两个互补区域，也即是输出图像(或点阵图像)的非畸变矫正分区和畸变矫正分区可以组成完整的输出图像(或点阵图像)，所以对除输出图像(或点阵图像)的非畸变矫正分区外的区域进行处理，也即是对输出图像(或点阵图像)的畸变矫正分区进行处理。

可选的，获取输出图像之前，本申请实施例提供的图像处理方法还可以包括：获取点阵图像中的第一特征点与投影图像中的第二特征点之间的目标畸变矫正数据集；基于目标畸变矫正数据集，确定点阵图像的畸变矫正分区或点阵图像的非畸变矫正分区；确定点阵图像的畸变矫正分区与点阵图像的第一相对位置关系，或者，确定点阵图像的非畸变矫正分区与点阵图像的第二相对位置关系；确定输出图像的非畸变矫正分区，可以包括：基于第一相对位置关系或第二相对位置关系确定输出图像的非畸变矫正分区。

其中，点阵图像为包含有第一特征点的图像，且点阵图像的分辨率及尺寸大小等图像参数与输出图像相同。第一特征点可以是点阵图像中标记的一个点状区域，一个第一特征点中可以包含有多个像素点。

投影图像为，通过HUD对点阵图像进行投影后得到的图像。示例性的，本申请实施例在通过HUD对点阵图像进行投影后，可以采用摄像机等采集设备在事先确定的眼点位置处采集点阵图像的投影图像。投影图像中的第二特征点是与点阵图像中的第一特征点相对应的，且一个第一特征点对应一个第二特征点。

点阵图像的畸变矫正分区中的第一特征点与对应的第二特征点的畸变程度满足预设条件，也即是点阵图像的畸变矫正分区通过HUD投影产生的畸变不可以忽略；点阵图像的非畸变矫正分区中的第一特征点与对应的第二特征点的畸变程度不满足预设条件，也即是点阵图像的非畸变矫正分区通过HUD投影产生的畸变可以忽略。

参照图2，为本申请实施例提供的一种点阵图像的示意图。如图2所示，点阵图像中包括有按规则排列的多个第一特征点。在对点阵图像进行投影后，投影图像中第二特征点的数量与点阵图像中第一特征点的数量相同，但相对位置会发生变化。本申请实施例可以通过对每个第一特征点与对应的第二特征点的位置变化量进行计算，得到每个第一特征点与对应的第二特征点之间的目标畸变矫正数据。示例性的，可以在点阵图像中建立直角坐标系，直角坐标系的横轴为x轴，纵轴为y轴，若第一特征点的中心位置与对应的第二特征点的中心位置在x轴方向上的坐标差值为Δx，在y轴方向上的坐标差值为Δy，且第一特征点的中心位置与对应的第二特征点的中心位置之间的直线距离为PD，则第一特征点与对应的第二特征点之间的畸变率ε可以通过表达式(1)确定，将该畸变率ε可以作为本申请实施例中的目标畸变矫正数据：

在得到每个第一特征点与对应的第二特征点之间的目标畸变矫正数据后，可以对得到的所有目标畸变矫正数据进行统计，确定出目标畸变矫正数据集。之后，可以基于目标畸变矫正数据集和事先确定的预设条件，确定点阵图像的畸变矫正分区或点阵图像的非畸变矫正分区。

示例性的，如图2所示，阴影区域可以为点阵图像的非畸变矫正分区，除阴影区域外的其他区域可以为点阵图像的畸变矫正分区。另外，如图2所示，点阵图像的畸变矫正分区与点阵图像的第一相对位置关系，可以包括点阵图像的中心像素点至点阵图像的畸变矫正分区的内侧边界的左边界(或右边界)的距离，以及点阵图像的中心像素点至点阵图像的畸变矫正分区的内侧边界的上边界(或下边界)的距离。点阵图像的非畸变矫正分区与点阵图像的第二相对位置关系，可以包括点阵图像的中心像素点至点阵图像的非畸变矫正分区的左边界(或右边界)的距离，以及点阵图像的中心像素点至点阵图像的非畸变矫正分区的上边界(或下边界)的距离。

HUD对于输出图像的处理过程，是实时矫正后进行实时投影，而在对输出图像进行投影之前，输出图像本身产生的畸变是无法知晓的，所以很难界定输出图像的畸变矫正分区和输出图像的非畸变矫正分区。在本申请实施例中，可以事先得到一副与输出图像的分辨率及尺寸大小等图像参数相同的点阵图像，然后对该点阵图像进行投影，根据点阵图像中的第一特征点与投影图像中的第二特征点的畸变情况，来确定点阵图像的非畸变矫正分区。由于点阵图像与输出图像的分辨率及尺寸大小等图像参数相同，那么输出图像投影后各像素点的畸变程度也与点阵图像相同。因此，本申请实施例中，HUD可以根据事先得到的点阵图像的畸变矫正分区与点阵图像的第一相对位置关系，或者点阵图像的非畸变矫正分区与点阵图像的第二相对位置关系，对应确定出输出图像的非畸变矫正分区。

由于非畸变矫正分区的对应区域相比畸变矫正分区的对应区域的形状更接近于规则图形，所以非畸变矫正分区相对于输出图像的位置关系更好描述，因此，本申请实施例中在进行畸变矫正时，最终确定出的是输出图像的非畸变矫正分区。在实际应用中，也可以基于第一相对位置关系或第二相对位置关系确定出输出图像的畸变矫正分区。

可选的，第一特征点为点阵图像中，通过预设标记方式标记的区域；获取点阵图像中的第一特征点与投影图像中的第二特征点之间的目标畸变矫正数据集之前，本申请实施例提供的图像处理方法还可以包括：获取预设格式的背景图像；基于背景图像的中心像素点和第一预设规则，在背景图像中确定出N条封闭线段；基于第二预设规则在N条封闭线段上分别确定采样点，并基于预设像素块确定采样点对应的采样区域；通过预设标记方式对背景图像中的采样区域进行标记，得到点阵图像。

其中，预设标记方式可以是事先确定的标记方式。示例性的，预设标记方式可以是采用与背景图像的背景色不同的颜色对采样区域进行渲染。比如，若背景图像的背景色为黑色，则预设标记方式可以是采用白色对采样区域进行渲染。

预设格式可以是事先确定的图片格式。示例性的，预设格式可以是，图像的分辨率及尺寸大小等图像参数与输出图像相同，颜色为事先确定的颜色，比如白色或黑色。

第一预设规则可以是事先得到的确定N条封闭线段的规则。示例性的，第一预设规则中可以包括各条封闭线段之间的间距和各条封闭线段所围成的封闭区域的图形样式。比如，各条封闭线段所围成的封闭区域可以是矩形或圆形等规则图形。N条封闭线段所围成的N个封闭区域均包含中心像素点，且N条封闭线段互不相交；N为正整数。

第二预设规则可以是事先得到的确定采样点的规则，示例性的，第二预设规则可以包括确定的采样点的数量，以及各采样点之间的间距。

预设像素块可以是事先基于背景图像的分辨率确定的像素块，比如，预设像素块可以是1*1(单位：像素)、3*3或5*5大小的像素块。基于预设像素块确定采样点对应的采样区域，可以是将以采样点为中心的预设像素块大小的区域确定为采样区域。

一般的，在通过HUD对图像投影后，越靠近中心像素点的位置畸变程度越小，越远离中心像素点的位置畸变程度越大，所以，对于包含有中心像素点的区域，区域边界线上的畸变程度是最大的，那么，对于包含有中心像素点的区域而言，区域边界线上的像素点的畸变程度可以表征该区域的畸变程度。因此，本申请实施例在确定点阵图像的第一特征点的过程中，可以先在背景图像中确定出多条封闭线段，并在封闭线段上进行采样点的选取，然后对应确定出每个采样点的第一特征点。这样，在确定点阵图像的非畸变矫正分区或畸变矫正分区时，可以基于每个封闭线段上的第一特征点的目标畸变矫正数据，快速从N条封闭线段所围成的N个封闭区域中确定出点阵图像的畸变矫正分区或点阵图像的非畸变矫正分区。

可选的，第一预设规则可以包括如下规则中的至少一个：确定出的N条封闭线段所围成的N个封闭区域均为矩形；确定出的N条封闭线段所围成的N个封闭区域为相似图形。

示例性的，参照图3，为本申请实施例提供的一种背景图像中的封闭线段的示意图。在得到背景图像后，可以基于其图像参数计算背景图像的图像中心，如图3所示，可以通过一个中心特征点对计算出的图像中心进行标记。之后，以中心特征点为中心，基于d11和d12在背景图像中确定出一条封闭线段；同时以中心特征点为中心，基于d21和d22在背景图像中确定出一条封闭线段；且可以以中心特征点为中心，基于d31和d32在背景图像中确定出一条封闭线段；并且可以以中心特征点为中心，基于d41和d42在背景图像中确定出一条封闭线段。如图3所示，确定出的4条封闭线段围成的4个封闭区域均为矩形。另外，d11和d12的比值可以等于d21和d22的比值，且可以等于d31和d32的比值，且可以等于d41和d42的比值，也即是4条封闭线段围成的4个封闭区域为对应边成比例的相似图形。

本申请实施例中，可以直接将目标畸变矫正数据集作为预设畸变矫正数据集，对输出图像的畸变矫正分区进行处理。为了对畸变矫正效果进行测试，在得到目标畸变矫正数据集后，可以通过该目标畸变矫正数据集对点阵图像进行畸变矫正处理，然后对矫正后的点阵图像进行投影。之后，可以根据矫正后的点阵图像的投影图像中的特征点的分布情况来确定是否达到预期的矫正效果。由于成矩形状分布或成相似图形状分布的特征点的矫正效果更易观测或计算，所以，为了便于对矫正效果进行测试，本申请实施例中，确定出的N条封闭线段所围成的N个封闭区域均为矩形，进一步的，N个封闭区域可以是对应边成比例的相似图形。

可选的，为了确保标记后的点阵图像中的第一特征点无重叠区域，本申请实施例中，相邻两条封闭线段的最小间距应大于预设像素块的边长，并且，最靠近图像边缘的一条封闭线段与图像边缘的最小间距也应大于预设像素块的边长。另外，为了提高在畸变矫正过程中的计算速率，从而进一步提高畸变矫正速率，本申请实施例中，N条封闭线段所围成的N个封闭区域的长宽比例可以与背景图像的长宽比例相同。

可选的，第一封闭线段至第二封闭线段的第一距离，与第一封闭线段至中心像素点的第二距离相关，且第二距离越大则第一距离越小，第二距离越小则第一距离越大；第一封闭线段和第二封闭线段为N条封闭线段中任意两条相邻的封闭线段。

在一种可能的实现方式中，当封闭区域为矩形时，第一距离可以是第一封闭线段和第二封闭线段的左右两条边界(或上下两条边界)之间的距离。当封闭区域为圆形时，第一距离可以是两个圆形的半径差值。示例性的，如图3所示，d11小于d21小于d31小于d41，d21-d11＞d31-d21＞d41-d31；d12小于d22小于d32小于d42，d22-d12＞d32-d22＞d42-d32。

一般的，在通过HUD对图像投影后，越靠近中心像素点的位置畸变程度越小，越远离中心像素点的位置畸变程度越大。基于此，本申请实施例中，可以在靠近背景图像的边缘处部署密集的封闭线段，在靠近背景图像的中心像素点处部署稀疏的封闭线段，也即是在靠近背景图像的边缘处部署数量较多的采样点，在靠近背景图像的中心像素点处部署数量较少的采样点。这样，可以提高对图像边缘处的畸变的描述能力，从而可以在进一步提升畸变矫正效果的同时，提高畸变矫正速率。

可选的，第二预设规则可以为各条封闭线段上的采样点的数量相同。另外，若封闭线段围成的封闭区域为矩形，则对于同一封闭线段上的采样点而言，长边界上的所有采样点的间隔相同，短边界上的所有采样点的间隔相同，也即是如图4所示的分布方式。若封闭线段围成的封闭区域为圆形，则对于同一封闭线段上的采样点而言，所有采样点的间隔相同。

可选的，基于目标畸变矫正数据集，确定点阵图像的畸变矫正分区或点阵图像的非畸变矫正分区，可以包括：基于目标畸变矫正数据集，确定点阵图像的N个特征点集合中每个特征点集合的最大畸变率；基于每个特征点集合的最大畸变率，从特征点集合中确定出目标特征点集合；根据目标特征点集合对应的封闭线段所围成的封闭区域，确定点阵图像的畸变矫正分区或点阵图像的非畸变矫正分区。

其中，特征点集合中的各第一特征点对应的采样点属于同一条封闭线段；特征点集合的最大畸变率为，畸变矫正数据最大的第一特征点对应的畸变矫正数据。

在一种可能的实现方式中，可以将N个特征点集合中，最大畸变率大于预设畸变率的所有特征点集合确定为候选特征点集合，然后可以将候选特征点集合中，对应的封闭线段围成的封闭区域最大的集合确定为目标特征点集合。之后，可以将目标特征点集合对应的封闭线段围成的封闭区域确定为点阵图像的非畸变矫正分区，将目标特征点集合对应的封闭线段围成的封闭区域外的其他区域确定为点阵图像的畸变矫正分区。

参照图4，为本申请实施例提供的另一种点阵图像的示意图。如图4所示，点阵图像中的第一特征点对应的采样点属于封闭线段A、封闭线段B、封闭线段C及封闭线段D上的采样点，对应特征点集合A、特征点集合B、特征点集合C及特征点集合D。示例性的，若特征点集合A的最大畸变率小于预设畸变率，特征点集合B、特征点集合C及特征点集合D的最大畸变率均大于预设畸变率，则可以将特征点集合A对应的封闭线段A围成的矩形区域确定为点阵图像的非畸变矫正分区，封闭线段A围成的矩形区域外的其他区域可以确定为点阵图像的畸变矫正分区。

S103、基于预设畸变矫正数据集对输出图像中除输出图像的非畸变矫正分区外的区域进行处理，得到预畸变图像。

在实际应用中，若确定出的是输出图像的畸变矫正分区，也可以基于预设畸变矫正数据集对输出图像中输出图像的畸变矫正分区进行处理，得到输出图像的预畸变图像。

可选的，预设畸变矫正数据集，用于表征模板图像中的M个第一像素点的畸变矫正数据；M为正整数；基于预设畸变矫正数据集对输出图像中输出图像的畸变矫正分区进行处理，得到输出图像的预畸变图像可以包括：对输出图像中的M个第二像素点进行遍历，在遍历过程中，若当前第二像素点属于输出图像的畸变矫正分区，则基于当前第二像素点对应的第一像素点的畸变矫正数据对当前第二像素点进行畸变矫正处理；若当前第二像素点不属于输出图像的畸变矫正分区，则不对当前第二像素点进行处理；将遍历结束后的输出图像确定为预畸变图像；一个第二像素点对应一个第一像素点；基于预设畸变矫正数据集对输出图像中除输出图像的非畸变矫正分区外的区域进行处理，得到预畸变图像，包括：对M个第二像素点进行遍历，在遍历过程中，若当前第二像素点不属于输出图像的非畸变矫正分区，则基于当前第二像素点对应的第一像素点的畸变矫正数据对当前第二像素点进行畸变矫正处理；若当前第二像素点属于输出图像的非畸变矫正分区，则不对当前第二像素点进行处理；将遍历结束的输出图像确定为预畸变图像。

其中，模板图像可以是本申请实施例提供的点阵图像，预设畸变矫正数据集可以是目标畸变矫正数据集。当然，在实际应用中，模板图像可以是不同于本申请实施例提供的点阵图像的其他图像，本申请实施例对此不做限定。

示例性的，预设畸变矫正数据集中可以包括有模板图像中的多个特征点的畸变矫正数据，在畸变矫正过程中，若需要对当前第二像素点进行畸变矫正处理，可以先通过插值运算(或其他现有的运算方式)得到当前第二像素点在模板图像中对应的第一像素点的畸变矫正数据，然后再通过该第一像素点的畸变矫正数据对当前第二像素点进行畸变矫正处理。具体基于畸变矫正数据对像素点进行处理的过程，可以参照现有技术中的相关描述，本申请实施例在此不再赘述。

可选的，在确定出的是输出图像的畸变矫正分区的情况下，畸变矫正分区可以包括X个畸变矫正子区域，预设畸变矫正数据集包括X个畸变矫正子区域对应的X个畸变矫正数据子集；畸变矫正数据子集，用于表征对应的畸变矫正子区域通过HUD投影后的畸变程度；X为大于1的正整数；基于预设畸变矫正数据集对输出图像中输出图像的畸变矫正分区进行处理，得到输出图像的预畸变图像，可以包括：根据X个畸变矫正数据子集，分别对输出图像中的X个畸变矫正子区域进行畸变矫正处理，得到预畸变图像。

示例性的，参照图5，为本申请实施例提供的一种输出图像的示意图。如图5所示，畸变矫正分区可以包括畸变矫正子区域A、畸变矫正子区域B、畸变矫正子区域C、畸变矫正子区域D和非畸变矫正分区E。当然，在实际应用中，还可以通过其他方式确定划分畸变矫正子区域，本申请实施例对此不做限定。

本申请实施例中，可以将畸变矫正分区划分为多个畸变矫正子区域，这样可以同时分别对多个畸变矫正子区域进行矫正，从而可以进一步提高畸变矫正效率。

S104、对预畸变图像进行投影。

本申请实施例中，HUD最终投影的是预畸变图像，该预畸变图像是对输出图像进行畸变矫正后的图像，所以，对预畸变图像进行投影，可以实现对HUD投影产生的畸变的反向对冲，从而达到畸变矫正的目的。

综合以上描述，本申请实施例提供的图像处理方法中，获取到输出图像后，可以通过事先得到的预设畸变矫正数据集对输出图像中，除输出图像的非畸变矫正分区外的区域进行处理，得到预畸变图像。然后可以对得到的预畸变图像进行投影，实现对畸变的矫正。可以看出，本申请实施例在进行畸变矫正的过程中，并不是对输出图像中的每个像素点进行处理，而是仅对输出图像的部分区域(即除输出图像的非畸变矫正分区外的区域)进行处理，所以，相比现有的畸变矫正方法，本申请可以提高畸变矫正速率，从而可以降低投影过程中的时延。

另外，由于通过HUD对输出图像进行投影时，不同区域的畸变程度是不同的，而畸变程度很低的区域投影产生的畸变人眼是观测不到的，那么，对于畸变程度很低的区域投影产生的畸变，是可以忽略的。基于该原理，本申请实施例在进行畸变矫正的过程中，可以先确定出输出图像的非畸变矫正分区。其中，输出图像的非畸变矫正分区为，当通过HUD对输出图像进行投影时，畸变程度不满足预设条件的区域，也即是畸变程度低到可以忽略的区域。反之，除输出图像的非畸变矫正分区外的区域为，当通过HUD对输出图像进行投影时，畸变程度满足预设条件的区域，也即是畸变程度无法忽略的区域。所以，本申请实施例仅对输出图像中除非畸变矫正分区外的区域进行畸变处理，是不会影响畸变矫正效果的。因此，本申请可以在保证畸变矫正效果的同时，提高畸变矫正速率，降低投影过程中的时延。

如图6所示，本申请实施例还提供了一种图像处理装置，该装置可以包括：获取模块11、确定模块12、处理模块13和投影模块14。

其中，获取模块11执行上述方法实施例中的S101，确定模块12执行上述方法实施例中的S102，处理模块13执行上述方法实施例中的S103，投影模块14执行上述方法实施例中的S104。

获取模块11，用于获取输出图像；确定模块12，用于确定输出图像的非畸变矫正分区；输出图像的非畸变矫正分区为，当通过投影设备对输出图像进行投影时，畸变程度不满足预设条件的区域；处理模块13，用于基于预设畸变矫正数据集对输出图像中除输出图像的非畸变矫正分区外的区域进行处理，得到预畸变图像；投影模块14，用于对预畸变图像进行投影。

可选的，在一种可能的实施方式中，获取模块11，还用于在获取输出图像之前，获取点阵图像中的第一特征点与投影图像中的第二特征点之间的目标畸变矫正数据集；投影图像为，通过投影设备对点阵图像进行投影后得到的图像；一个第一特征点对应一个第二特征点；确定模块12，还用于基于目标畸变矫正数据集，确定点阵图像的畸变矫正分区或点阵图像的非畸变矫正分区；点阵图像的畸变矫正分区中的第一特征点与对应的第二特征点的畸变程度满足预设条件；点阵图像的非畸变矫正分区中的第一特征点与对应的第二特征点的畸变程度不满足预设条件；确定模块12，还用于确定点阵图像的畸变矫正分区与点阵图像的第一相对位置关系，或者，确定点阵图像的非畸变矫正分区与点阵图像的第二相对位置关系；

确定模块12具体用于：基于第一相对位置关系或第二相对位置关系确定输出图像的非畸变矫正分区。

可选的，在另一种可能的实施方式中，第一特征点为点阵图像中，通过预设标记方式标记的区域；

获取模块11，还用于在获取点阵图像中的第一特征点与投影图像中的第二特征点之间的目标畸变矫正数据集之前，获取预设格式的背景图像；确定模块12，还用于基于背景图像的中心像素点和第一预设规则，在背景图像中确定出N条封闭线段；N条封闭线段所围成的N个封闭区域均包含中心像素点，且N条封闭线段互不相交；N为正整数；确定模块12，还用于基于第二预设规则在N条封闭线段上分别确定采样点，并基于预设像素块确定采样点对应的采样区域；处理模块13，还用于通过预设标记方式对背景图像中的采样区域进行标记，得到点阵图像。

可选的，在另一种可能的实施方式中，确定模块12具体用于：基于目标畸变矫正数据集，确定点阵图像的N个特征点集合中每个特征点集合的最大畸变率；特征点集合中的各第一特征点对应的采样点属于同一条封闭线段；特征点集合的最大畸变率为，畸变矫正数据最大的第一特征点对应的畸变矫正数据；基于每个特征点集合的最大畸变率，从特征点集合中确定出目标特征点集合；根据目标特征点集合对应的封闭线段所围成的封闭区域，确定点阵图像的畸变矫正分区或点阵图像的非畸变矫正分区。

可选的，在另一种可能的实施方式中，第一预设规则包括如下规则中的至少一个：确定出的N条封闭线段所围成的N个封闭区域均为矩形；确定出的N条封闭线段所围成的N个封闭区域为相似图形。

可选的，在另一种可能的实施方式中，第一封闭线段至第二封闭线段的第一距离，与第一封闭线段至中心像素点的第二距离相关，且第二距离越大则第一距离越小，第二距离越小则第一距离越大；第一封闭线段和第二封闭线段为N条封闭线段中任意两条相邻的封闭线段。

可选的，在另一种可能的实施方式中，预设畸变矫正数据集，用于表征模板图像中的M个第一像素点的畸变矫正数据；M为正整数；

处理模块13具体用于：对输出图像中的M个第二像素点进行遍历，在遍历过程中，若当前第二像素点不属于输出图像的非畸变矫正分区，则基于当前第二像素点对应的第一像素点的畸变矫正数据对当前第二像素点进行畸变矫正处理；若当前第二像素点属于输出图像的非畸变矫正分区，则不对当前第二像素点进行处理；将遍历结束的输出图像确定为预畸变图像；一个第二像素点对应一个第一像素点。

可选的，图像处理装置还可以包括存储模块，存储模块用于存储该图像处理装置的程序代码等。

如图7所示，本申请实施例还提供一种HUD，包括存储器41、处理器42、总线43和通信接口44；存储器41用于存储计算机执行指令，处理器42与存储器41通过总线43连接；当HUD运行时，处理器42执行存储器41存储的计算机执行指令，以使HUD执行如上述实施例提供的图像处理方法。

在具体的实现中，作为一种实施例，处理器42可以包括一个或多个中央处理器(central processing unit，CPU)，例如图7中所示的CPU0和CPU1。且作为一种实施例，HUD可以包括多个处理器42，例如图7中所示的两个处理器42。这些处理器42中的每一个CPU可以是一个单核处理器(single-CPU)，也可以是一个多核处理器(multi-CPU)。这里的处理器42可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

存储器41可以是只读存储器41(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器41可以是独立存在，通过总线43与处理器42相连接。存储器41也可以和处理器42集成在一起。

在具体的实现中，存储器41，用于存储本申请中的数据和执行本申请的软件程序对应的计算机执行指令。处理器42可以通过运行或执行存储在存储器41内的软件程序，以及调用存储在存储器41内的数据，HUD的各种功能。

通信接口44，使用任何收发器一类的设备，用于与其他设备或通信网络通信，如控制系统、无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。通信接口44可以包括接收单元实现接收功能，以及发送单元实现发送功能。

总线43，可以是工业标准体系结构(industry standard architecture，ISA)总线、外部设备互连(peripheral component interconnect，PCI)总线或扩展工业标准体系结构(extended industry standard architecture，EISA)总线等。该总线43可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

作为一个示例，结合图6，图像处理装置中的处理模块实现的功能与图7中的处理器实现的功能相同，图像处理装置中的获取模块实现的功能与图7中接收单元实现的功能相同。当图像处理装置包括有存储模块时，存储模块实现的功能与图7中的存储器实现的功能相同。

本实施例中相关内容的解释可参考上述方法实施例，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，使得计算机执行上述实施例提供的图像处理方法。

其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(erasable programmable read only memory，EPROM)、寄存器、硬盘、光纤、CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(application specificintegrated circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种图像处理方法，其特征在于，包括：

获取预设格式的背景图像，基于所述背景图像的中心像素点和第一预设规则，在所述背景图像中确定出N条封闭线段，所述N条封闭线段所围成的N个封闭区域均包含所述中心像素点，且所述N条封闭线段互不相交；N为正整数；第一封闭线段至第二封闭线段的第一距离，与所述第一封闭线段至所述中心像素点的第二距离相关，且所述第二距离越大则所述第一距离越小，所述第二距离越小则所述第一距离越大；所述第一封闭线段和所述第二封闭线段为所述N条封闭线段中任意两条相邻的封闭线段；

所述N条封闭线段中任意两条相邻的封闭线段的最小间距大于预设像素块的边长，最靠近图像边缘的一条封闭线段与所述图像边缘的最小间距大于预设像素块的边长；基于第二预设规则在所述N条封闭线段上分别确定采样点，并基于预设像素块确定所述采样点对应的采样区域，通过预设标记方式对所述背景图像中的所述采样区域进行标记，得到点阵图像；

所述点阵图像中包括第一特征点，所述第一特征点为所述点阵图像中，通过所述预设标记方式标记的区域；

所述第二预设规则包括：所述N条封闭线段上的采样点的数量相同，所述N条封闭线段围成的封闭区域为矩形时，对于同一封闭线段上的采样点，矩形长边界上的所有采样点的间隔相同，短边界上的所有采样点的间隔相同；

所述N条封闭线段围成的封闭区域为圆形时，在同一封闭线段上，所有采样点的间隔相同；

获取输出图像，所述输出图像与所述点阵图像的图像参数相同；

确定所述输出图像的非畸变矫正分区；所述输出图像的非畸变矫正分区为，当通过投影设备对所述输出图像进行投影时，畸变程度不满足预设条件的区域；

基于预设畸变矫正数据集对所述输出图像中除所述输出图像的非畸变矫正分区外的区域进行处理，得到预畸变图像；

对所述预畸变图像进行投影。

2.根据权利要求1所述的图像处理方法，其特征在于，所述获取输出图像之前，所述方法还包括：

获取点阵图像中的第一特征点与投影图像中的第二特征点之间的目标畸变矫正数据集；所述投影图像为，通过所述投影设备对所述点阵图像进行投影后得到的图像；一个第一特征点对应一个第二特征点；

基于所述目标畸变矫正数据集，确定所述点阵图像的畸变矫正分区或所述点阵图像的非畸变矫正分区；所述点阵图像的畸变矫正分区中的第一特征点与对应的第二特征点的畸变程度满足所述预设条件；所述点阵图像的非畸变矫正分区中的第一特征点与对应的第二特征点的畸变程度不满足所述预设条件；

确定所述点阵图像的畸变矫正分区与所述点阵图像的第一相对位置关系，或者，确定所述点阵图像的非畸变矫正分区与所述点阵图像的第二相对位置关系；

所述确定所述输出图像的非畸变矫正分区，包括：基于所述第一相对位置关系或所述第二相对位置关系确定所述输出图像的非畸变矫正分区。

3.根据权利要求2所述的图像处理方法，其特征在于，所述基于所述目标畸变矫正数据集，确定所述点阵图像的畸变矫正分区或所述点阵图像的非畸变矫正分区，包括：

基于所述目标畸变矫正数据集，确定所述点阵图像的N个特征点集合中每个特征点集合的最大畸变率；特征点集合中的各第一特征点对应的采样点属于同一条封闭线段；特征点集合的最大畸变率为，畸变矫正数据最大的第一特征点对应的畸变矫正数据；

基于所述每个特征点集合的最大畸变率，从所述特征点集合中确定出目标特征点集合；

根据所述目标特征点集合对应的封闭线段所围成的封闭区域，确定所述点阵图像的畸变矫正分区或所述点阵图像的非畸变矫正分区。

4.根据权利要求1所述的图像处理方法，其特征在于，所述第一预设规则包括如下规则中的至少一个：确定出的所述N条封闭线段所围成的所述N个封闭区域均为矩形；确定出的所述N条封闭线段所围成的所述N个封闭区域为相似图形。

5.根据权利要求1-4任意一项所述的图像处理方法，其特征在于，所述预设畸变矫正数据集，用于表征模板图像中的M个第一像素点的畸变矫正数据；M为正整数；

所述基于预设畸变矫正数据集对所述输出图像中除所述输出图像的非畸变矫正分区外的区域进行处理，得到预畸变图像，包括：对所述输出图像中的M个第二像素点进行遍历，在遍历过程中，若当前第二像素点不属于所述输出图像的非畸变矫正分区，则基于当前第二像素点对应的第一像素点的畸变矫正数据对当前第二像素点进行畸变矫正处理；若当前第二像素点属于所述输出图像的非畸变矫正分区，则不对当前第二像素点进行处理；将遍历结束的输出图像确定为所述预畸变图像；一个第二像素点对应一个第一像素点。

6.一种图像处理装置，其特征在于，包括：

获取模块，用于获取预设格式的背景图像；

确定模块，用于基于所述背景图像的中心像素点和第一预设规则，在所述背景图像中确定出N条封闭线段，所述N条封闭线段所围成的N个封闭区域均包含中心像素点，且所述N条封闭线段互不相交；N为正整数；第一封闭线段至第二封闭线段的第一距离，与所述第一封闭线段至所述中心像素点的第二距离相关，且所述第二距离越大则所述第一距离越小，所述第二距离越小则所述第一距离越大；所述第一封闭线段和所述第二封闭线段为所述N条封闭线段中任意两条相邻的封闭线段；所述N条封闭线段中任意两条相邻的封闭线段的最小间距大于预设像素块的边长，最靠近图像边缘的一条封闭线段与所述图像边缘的最小间距大于预设像素块的边长；基于第二预设规则在所述N条封闭线段上分别确定采样点，并基于预设像素块确定所述采样点对应的采样区域，通过预设标记方式对所述背景图像中的所述采样区域进行标记，得到点阵图像；

所述点阵图像中包括第一特征点，所述第一特征点为所述点阵图像中，通过所述预设标记方式标记的区域；

所述获取模块，还用于获取输出图像，所述输出图像与点阵图像的图像参数相同；

所述确定模块，还用于确定所述输出图像的非畸变矫正分区；所述输出图像的非畸变矫正分区为，当通过投影设备对所述输出图像进行投影时，畸变程度不满足预设条件的区域；

处理模块，用于基于预设畸变矫正数据集对所述输出图像中除所述输出图像的非畸变矫正分区外的区域进行处理，得到预畸变图像；

投影模块，用于对所述预畸变图像进行投影；

所述第二预设规则包括：所述N条封闭线段上的采样点的数量相同，所述N条封闭线段围成的封闭区域为矩形时，对于同一封闭线段上的采样点，矩形长边界上的所有采样点的间隔相同，短边界上的所有采样点的间隔相同；

所述N条封闭线段围成的封闭区域为圆形时，在同一封闭线段上，所有采样点的间隔相同。

7.一种HUD，其特征在于，包括存储器、处理器、总线和通信接口；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接；

当所述HUD运行时，处理器执行所述存储器存储的所述计算机执行指令，以使所述HUD执行如权利要求1-5任意一项所述的图像处理方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当计算机执行所述指令时，使得所述计算机执行如权利要求1-5任意一项所述的图像处理方法。