CN115205138A - 图像畸变的矫正方法和系统 - Google Patents

图像畸变的矫正方法和系统 Download PDF

Info

Publication number
CN115205138A
CN115205138A CN202210633667.XA CN202210633667A CN115205138A CN 115205138 A CN115205138 A CN 115205138A CN 202210633667 A CN202210633667 A CN 202210633667A CN 115205138 A CN115205138 A CN 115205138A
Authority
CN
China
Prior art keywords
distortion
image
test
final
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210633667.XA
Other languages
English (en)
Inventor
孙孝文
杨珂
吕涛
张永波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zejing Xi'an Automotive Electronics Co ltd
Original Assignee
Zejing Xi'an Automotive Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zejing Xi'an Automotive Electronics Co ltd filed Critical Zejing Xi'an Automotive Electronics Co ltd
Priority to CN202210633667.XA priority Critical patent/CN115205138A/zh
Publication of CN115205138A publication Critical patent/CN115205138A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本申请适用于辅助驾驶设备技术领域，提供了一种图像畸变的矫正方法和系统，检测标准测试图像在HUD系统中的第一畸变量，对行车图像设置与在HUD系统中的第一畸变量抵消的反畸变量，对行车图像进行矫正。并通过生成反畸变测试图像，如果反畸变测试图像在HUD系统中的畸变度大于预设值，则计算反畸变测试图像的第二畸变量，然后将第二畸变量叠加到第一畸变量上对第一畸变量进行更新，然后依据更新后的第一畸变量对行车图像进行变形，提高了对行车图像的矫正效果。

Description

图像畸变的矫正方法和系统
技术领域
本申请属于辅助驾驶设备技术领域，尤其涉及图像畸变的矫正方法和系统。
背景技术
抬头显示系统(head up display，HUD)是将包含时速、导航等重要的行车信息的图像投影到车辆驾驶员前面的挡风玻璃上进行显示的系统，能够让车辆驾驶员做到不低头、不转头就能看到行车信息。抬头显示系统的输出图像经过挡风玻璃的反射和折射进入到车辆驾驶员的眼中，经过挡风玻璃的反射和折射后具有一定的畸变，畸变影响抬头显示系统的成像效果。因此，需要对抬头显示系统的图像进行矫正，现有技术中，对抬头显示系统的图像进行矫正一般通过液晶显示器(liquid crystal display，LCD)驱动芯片或者HUD控制芯片进行矫正，矫正效果受到LCD驱动芯片或者HUD控制芯片的限制。
发明内容
本申请实施例提供了一种图像畸变的矫正方法和系统，解决了现有的图像畸变矫正方法的可移植性差的问题，提高了对图像畸变矫正的方法的可移植性和对图像进行矫正处理的效果。
第一方面，本申请实施例提供了一种图像畸变的矫正方法，可以应用于HUD系统中，HUD系统包括图像投影组件和拍摄组件，方法包括：
拍摄组件获取第一最终畸变测试图像，第一最终畸变测试图像是车辆的挡风玻璃对第一中间畸变测试图像反射的图像，第一中间畸变测试图像是图像投影组件输出的与标准测试图像对应的图像；确定第一最终畸变测试图像相对于标准测试图像的第一畸变量；将与第一畸变量相关的信息发送至图像投影组件，以便图像投影组件根据与第一畸变量相关的信息将反畸变行车图像对应的图像入射至挡风玻璃上；其中，标准测试图像上有多个测试点，反畸变行车图像具有与第一畸变量大小相等、方向相反的反畸变量。
本申请实施例通过标准测试图像获取HUD系统的第一畸变量，进而根据第一畸变量对行车图像进行变形得到反畸变行车图像，然后图像投影组件根据反畸变行车图像输出图像，图像经过挡风玻璃反射后进入驾驶员眼中，达到对行车图像的矫正目的，本方法不限于特定的芯片或者平台，能够根据软件方法对行车图像进行矫正，可移植性强，能够提高根据HUD系统对行车图像矫正的适应性。
在第一方面一种可能的实现方式中，第一畸变度小于或等于预设值，第一最终畸变测试图像的第一畸变度根据第一畸变量计算得到。在该实现方式中，通过第一最终畸变测试图像的第一畸变度对标准测试图像的矫正效果进行判断，进而能够提高对行车图像的矫正效果。
在第一方面另一种可能的实现方式中，第一最终畸变测试图像的第一畸变度大于预设值时，方法还包括：根据第一畸变量对标准测试图像进行变形，得到反畸变测试图像；图像投影组件输出与反畸变测试图像对应的第二中间畸变测试图像，第二中间畸变测试图像入射至挡风玻璃上；拍摄组件获取挡风玻璃反射的与第二中间畸变测试图像对应的第二最终畸变测试图像；计算第二最终畸变测试图像相对于标准测试图像的第二畸变量，第二最终畸变测试图像的第二畸变度不大于预设值；将与第一畸变量相关的信息发送至图像投影组件，包括：将与第一畸变量和第二畸变量相关的信息发送至图像投影组件，以便图像投影组件根据与第一畸变量和第二畸变量相关的信息将反畸变行车图像对应的图像入射至所述挡风玻璃上；其中，第一畸变度根据第一畸变量计算得到，第二畸变度根据第二畸变量计算得到；与第一畸变量和第二畸变量相关的信息为畸变量信息，即第一畸变量和第二畸变量的和；或者，与第一畸变量和第二畸变量相关的信息为图像信息，即根据第一畸变量和第二畸变量的和对行车图像变形得到的反畸变行车图像。在该实现方式中，第一畸变度大于预设值时，根据第一畸变量对标准测试图像进行矫正得到反畸变测试图像，根据反畸变测试图像得到第二最终畸变测试图像相对于标准测试图像的第二畸变量，如果根据第二畸变量计算得到的第二畸变度的值小于或等于预设值，则根据第一畸变量和第二畸变量的和对行车图像进行变形，提高对行车图像的矫正效果。
应理解的是，本申请实施例的方法还可以根据畸变量对标准测试图像进行三次、四次或者五次变形，直至矫正后的图像的畸变度小于或等于预设值，然后将对标准测试图像进行三次、四次或者五次变形的畸变量与第一畸变量和第二畸变量相加，然后根据三次、四次或者五次变形的畸变量与第一畸变量和第二畸变量相加后的畸变量对行车图像变形，进一步地提高对行车图像的矫正效果。
在第一方面另一种可能的实现方式中，第一畸变量和第二畸变量通过如下公式计算得到：
Figure BDA0003681093980000021
其中，(Δx，Δy)是第一畸变量或第二畸变量，(xan，yan)是第n个测试点在标准测试图像中的坐标，(xbn，ybn)是第n个测试点在第一最终畸变测试图像中对应点的坐标或者在第二最终畸变测试图像中对应点的坐标。在该实现方式中，通过计算出第一畸变量和第二畸变量，进而能够根据第一畸变量和第二畸变量对行车图像进行变形。
在第一方面另一种可能的实现方式中，第一畸变度为多个测试点在第一最终畸变测试图像中的畸变值的最大值，第二畸变度为多个测试点在第二最终畸变测试图像中的畸变值的最大值，多个测试点在第一最终畸变测试图像中的畸变值或者多个测试点在第二最终畸变测试图像中的畸变值通过如下公式计算得到：
Figure BDA0003681093980000022
其中，Disn表示第n个测试点在第一最终畸变测试图像中的畸变值或者在第二最终畸变测试图像中的畸变值，(xan，yan)是第n个测试点在标准测试图像中的坐标，(xbn，ybn)是第n个测试点在第一最终畸变测试图像中对应点的坐标或者在第二最终畸变测试图像中对应点的坐标。在该实现方式中，通过各个测试点的畸变值的最大值作为畸变度，能够准确地判断第一最终畸变测试图像或者第二最终畸变测试图像的畸变程度。
在第一方面另一种可能的实现方式中，第一畸变度为多个测试点在第一最终畸变测试图像中的畸变率的最大值，第二畸变度为多个测试点在第二最终畸变测试图像中的畸变率的最大值，多个测试点在第一最终畸变测试图像中的畸变率或者多个测试点在第二最终畸变测试图像中的畸变率通过如下公式计算得到：
Figure BDA0003681093980000023
其中，△n表示第n个测试点在第一最终畸变测试图像中的畸变率或者在第二最终畸变测试图像中的畸变率，(xan，yan)是第n个测试点在标准测试图像中的坐标，(xbn，ybn)是第n个测试点在第一最终畸变测试图像中对应点的坐标或者在第二最终畸变测试图像中对应点的坐标。在该实现方式中，通过各个测试点的畸变率的最大值作为畸变度，能够准确地判断第一最终畸变测试图像或者第二最终畸变测试图像的畸变程度。
在第一方面另一种可能的实现方式中，与第一畸变量相关的信息为畸变量信息，将与第一畸变量相关的信息发送至图像投影组件，包括：将与第一畸变量对应的反畸变量或者第一畸变量发送至图像投影组件；相应的，由图像投影组件根据与第一畸变量对应的反畸变量或第一畸变量对行车图像变形，得到反畸变行车图像。在该实现方式中，可以通过图像投影组件生成反畸变行车图像，更便于生成反畸变行车图像。
在第一方面另一种可能的实现方式中，与第一畸变量相关的信息为图像信息，将与第一畸变量相关的信息发送至图像投影组件，包括：拍摄组件根据与第一畸变量对应的反畸变量或第一畸变量对行车图像变形，得到反畸变行车图像；将反畸变行车图像发送至图像投影组件。在该实现方式中，拍摄组件只传递畸变量信息，不必生成图像，提高了拍摄组件的处理效率。
在第一方面另一种可能的实现方式中，根据第一畸变量对行车图像变形，得到反畸变行车图像，包括：在用于渲染矢量图形的应用程序编程接口中基于行车图像生成纹理贴图和纹理坐标；根据第一畸变量对纹理坐标变换得到矫正纹理坐标；在用于渲染矢量图形的应用程序编程接口中基于标准测试图像生成网格模型；根据矫正纹理坐标将纹理贴图绑定到网格模型上，得到反畸变行车图像。在该实现方式中，通过用于渲染矢量图形的应用程序编程接口对行车图像进行处理，能够提高本方法的可移植性。
在第一方面另一种可能的实现方式中，根据第一畸变量对纹理坐标变换得到矫正纹理坐标，包括：对第一畸变量插值得到中间畸变量；根据第一畸变量和中间畸变量对纹理坐标变换得到矫正纹理坐标。在该实现方式中，通过插入中间畸变量，能够提高对矫正纹理坐标变换的处理精度，提高对图像的处理效果。
示例性的，可以在第一畸变量之间插入中间平均值作为中间畸变量，得到第一畸变量的中间畸变量。
在第一方面另一种可能的实现方式中，基于标准测试图像生成网格模型，包括：在多个测试点之间插入多个中间测试点；根据多个测试点和多个中间测试点生成网格模型。在该实现方式中，通过插入多个中间测试点，能够得到精度更高的网格模型，能够提高对图像的处理效果。
示例性的，可以通过对多个测试点插入中间平均位置点作为中间测试点坐标，得到多个中间测试点。
第二方面，本申请实施例提供一种图像畸变的矫正系统，该图像畸变的矫正系统包括图像投影组件和拍摄组件，图像投影组件用于执行如第一方面中任一项的方法中由图像投影组件执行的步骤，拍摄组件用于执行如第一方面中任一项的方法中由拍摄组件执行的步骤。
第三方面，本申请实施例提供一种车辆，该车辆包括第二方面的图像畸变的矫正系统。
第四方面，本申请实施例提供一种计算机存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一项的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在图像畸变的矫正系统上运行时，使得图像畸变的矫正系统执行上述第一方面中任一项的图像畸变的矫正方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：
通过标准测试图像获取HUD系统的第一畸变量，进而根据第一畸变量对行车图像进行变形得到反畸变行车图像，然后图像投影组件根据反畸变行车图像输出图像，图像经过挡风玻璃反射后进入驾驶员眼中，达到对行车图像的矫正目的，本方法不限于特定的芯片或者平台，可移植性强，能够提高根据HUD系统对行车图像矫正的适应性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术中的抬头显示系统的结构示意图；
图2是本申请一实施例提供的一种图像畸变的矫正系统的结构示意图；
图3是本申请一实施例中行车图像的畸变效果的示意图；
图4是本申请一实施例中反畸变行车图像的畸变效果的示意图；
图5是本申请一实施例提供的图像畸变的矫正方法的流程示意图；
图6是本申请一实施例中对标准测试图像进行矫正的过程示意图；
图7是本申请另一实施例中对标准测试图像进行第二次矫正的流程示意图；
图8是本申请实施例中对图像进行变换处理的流程示意图；
图9是本申请实施例提供的网格模型的示意图；
图10是本申请实施例提供的将行车图像绑定到网格模型的过程示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
抬头显示系统(head up display，HUD)是把包含时速、导航等行车信息的图像投影到车辆驾驶员前方的挡风玻璃上的系统，能够让车辆驾驶员做到不低头、不转头就能在挡风玻璃上看到时速、导航等行车信息，又称为平视显示系统。
图1是一例抬头显示系统的示意图，如图1所示，该抬头显示系统包括图像投影组件110，图像投影组件110在图1中使用虚线矩形框表示，图像投影组件110包括成像组件111、反射镜112、投影镜113，成像组件111用于投射出行车图像120，行车图像120包含时速、导航等行车信息，成像组件111发射出的行车图像入射至反射镜112上，行车图像120经过反射镜112的反射入射至投影镜113上，投影镜113对行车图像120再次反射后入射至挡风玻璃130上，挡风玻璃130对行车图像120反射，然后入射至驾驶座102上的驾驶员101眼中。其中，投影镜113和挡风玻璃130具有一定的曲率，行车图像120在反射镜112、投影镜113和挡风玻璃130上经过反射和折射后会形成畸变行车图像140，入射至驾驶员101眼中的图像就是畸变行车图像140，畸变行车图像140带给驾驶员101的视觉效果较差。
目前，有利用LCD(liquid crystal display，液晶显示器)驱动芯片或者HUD控制芯片对抬头显示系统的图像进行矫正的方法，这种矫正方法只能适用于特定类型的LCD驱动芯片或者HUD控制芯片，通过LCD驱动芯片或者HUD控制芯片提供的矫正功能对失真图像进行矫正，导致这种矫正方法不能在具有不同LCD驱动芯片或者HUD控制芯片的平台上使用，在不同平台上的可移植性差。同时，LCD驱动芯片或者HUD控制芯片的参数和性能往往会限制行车图像的矫正效果，导致仅依靠LCD驱动芯片或者HUD控制芯片进行图像矫正的方法效果受到LCD驱动芯片或者HUD控制芯片的极大限制。另外，仅依靠LCD驱动芯片或者HUD控制芯片进行图像矫正的方法单纯依靠抬头显示系统的硬件(LCD驱动芯片或者HUD控制芯片)完成，导致抬头显示系统不能通过软件模拟方法对图像的矫正效果进行测试。
有鉴于此，本申请实施例提供一种图像畸变的矫正方法和系统，通过获取HUD系统的畸变图像，并对畸变图像计算处理，得到畸变图像的畸变量，HUD系统依据畸变量对行车图像进行变形处理得到反畸变行车图像，反畸变行车图像包含依据畸变量计算得到的反畸变量，反畸变行车图像投射到车辆的挡风玻璃上之后被折射、反射，反畸变行车图像的反畸变量在折射、反射过程中与畸变量抵消，进而使得车辆驾驶员观察到对畸变图像矫正后的矫正行车图像，使得车辆驾驶员能够通过矫正行车图像更清楚地看到车辆的行车信息，提高车辆驾驶员的视觉体验。
在一些场景中，本申请实施例的图像畸变的矫正方法和系统可以应用于车辆的HUD系统中，能够在车辆行驶的过程中通过软件方法对包含车辆行驶信息的图像进行矫正，无需限制于具有特定LCD驱动芯片的平台，使得对HUD系统的图像矫正方法不会受到平台和硬件的限制。
在另一些场景中，本申请实施例的图像畸变的矫正方法和系统还可以应用于船舶等其他交通工具中，船舶的HUD系统可以在船舶的挡风玻璃上显示包含时速、航道等信息的图像，通过本申请实施例的方法也能够实时对包含时速、航道等信息的图像进行矫正，提高包含时速、航道等信息的图像的视觉效果。
下面结合具体的例子说明本申请实施例的图像畸变的矫正方法和系统。
本申请实施例的图像畸变的矫正系统的系统结构包括图像投影组件和拍摄组件，图2是本申请实施例提供的一例图像畸变的矫正系统的结构示意图。该图像畸变的矫正系统可以应用在车辆等交通工具上。
如图2所示，该图像畸变的矫正系统包括图像投影组件210和拍摄组件214，图像投影组件210使用图2中的虚线矩形框表示，图像投影组件210包括成像组件211、反射镜212、投影镜213，成像组件211用于生成包含车辆的行车信息(例如时速、导航)的行车图像220，成像组件211或者拍摄组件214中存在处理器，处理器用于执行计算以及处理的工作，行车图像220从成像组件211投影出并入射至反射镜212，反射镜212对行车图像220反射后入射至投影镜213上，投影镜213将行车图像220反射后入射至挡风玻璃230上，挡风玻璃230将行车图像220反射并入射至拍摄组件214中。
如图2所示，成像组件211、反射镜212、投影镜213的布置方式和结构可以与现有的HUD系统的成像结构相同，拍摄组件214通过支架215安装在驾驶座201的上方，进而从驾驶员的视角获取入射至驾驶员眼中的图像，反射镜212、投影镜213和挡风玻璃230对行车图像220反射和折射以后会产生畸变形成畸变行车图像240。
其中，HUD设备的成像组件211可以从车辆的数据总线(data bus)获取车辆的时速、导航等行车信息，成像组件211将车辆的时速、导航等行车信息进行组合、渲染生成包含时速、导航等行车信息的行车图像220。
成像组件渲染得到的行车图像220一般为标准形状(例如矩形)，但是经过反射和折射后形成的图像会产生畸变，得到畸变行车图像。例如，矩形的行车图像，在畸变后可能会得到平行四边形或者其他形状扭曲的畸变行车图像。
在图2所示的图像畸变的矫正系统中，拍摄组件214用于拍摄来自于挡风玻璃230反射的畸变行车图像240，成像组件211中的处理器对畸变行车图像240进行计算处理，得到畸变行车图像240的畸变量，并通过畸变量计算得到反畸变量，成像组件211能够依据反畸变量对行车图像220进行变形处理，得到反畸变行车图像，并将反畸变行车图像从投影组件211投射出。
或者，在图2所示的图像畸变的矫正系统中，拍摄组件214中的处理器对畸变行车图像240进行计算处理，得到畸变行车图像240的畸变量，并通过畸变量计算得到反畸变量，拍摄组件214将反畸变量发送到成像组件211上，使得成像组件211能够依据反畸变量对行车图像220进行变形处理，得到反畸变行车图像，并将反畸变行车图像从投影组件211投射出。
反畸变行车图像的光路为：反畸变行车图像从成像组件211入射至反射镜212，反射镜212对反畸变行车图像反射后入射至投影镜213上，投影镜213对反畸变行车图像反射后入射至挡风玻璃230上，挡风玻璃230对反畸变行车图像反射后入射至车辆驾驶员眼中，反畸变行车图像在经过反射镜212、投影镜213和挡风玻璃230的反射和折射产生的畸变会与反畸变量相抵消，使得驾驶员能够看到对畸变行车图像矫正后的矫正行车图像。
应理解的是，拍摄组件214可以为摄像头，能够用于拍摄HUD系统在挡风玻璃上投射的图像或者视频。如图2中拍摄组件214的安装结构所示的，拍摄组件214可以通过支架215安装在车辆的车顶上。
在一些实施例中，畸变行车图像可以通过拍摄组件拍摄行车图像的静态照片获取；也可以通过拍摄行车图像的视频，然后通过抽帧的方式从行车图像的视频中获取畸变行车图像的静态照片，本申请实施例对畸变行车图像的获取方式不作限制。
应理解的是，拍摄组件214可以通过有线通信方式与成像组件211通信连接。例如，拍摄组件214可以通过数据线与成像组件211连接。同时，拍摄组件214也可以通过无线通信方式与成像组件211连接。例如，拍摄组件214可以通过蓝牙(blue-tooth)、WiFi等连接方式与成像组件211连接，本申请实施例对拍摄组件214与成像组件211的通信连接方式不作限制。
对于其他实施例的拍摄组件214安装结构，拍摄组件214也可以通过支架安装在车辆的顶部，进而通过拍摄组件214模拟驾驶员的视角；另外，拍摄组件214也可以是头戴式摄像头，本申请实施例对拍摄组件214的安装固定方式和具体形式不作限制。
可以理解的是，本申请实施例示意的结构并不构成对本图像畸变的矫正系统的具体限定，在本申请另一些实施例中，本图像畸变的矫正系统可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以是硬件，软件或软件和硬件的结合实现。
图3为一例行车图像的畸变效果示意图，如图3所示，包括行车图像301和畸变行车图像302，行车图像301经过HUD系统和挡风玻璃折射和反射后得到畸变行车图像302，畸变行车图像302相对于行车图像301具有从四周向外扩张的畸变。
图4为一例反畸变行车图像的畸变效果示意图，如图4所示，反畸变行车图像401和矫正行车图像402，反畸变行车图像401经过HUD系统和挡风玻璃折射和反射后得到矫正行车图像402。矫正行车图像402相对于反畸变行车图像401具有从四周向外扩张的畸变，由于将反畸变行车图像401设置成从四周向内收缩的畸变，使得图4中的反畸变行车图像401的从四周向外扩张的畸变和从四周向内收缩的畸变相抵消，最终得到矫正行车图像402，矫正行车图像402相对于图3中的行车图像301没有畸变，即达到了对畸变行车图像302进行矫正的目的。
由于本申请实施例的拍摄组件的位置模拟车辆驾驶员的人眼位置，在HUD系统的位置、投影角度、挡风玻璃、拍摄组件的位置确定的情况下，行车图像的畸变量也是确定值，所以通过测试图像和畸变测试图像能够获取行车图像在本HUD系统下的畸变量，然后根据畸变量能够对各个行车图像矫正，即能够获取对各个行车图像矫正后对应的矫正图像。
在一些实施例中，为了降低通过计算机图像处理技术获取畸变行车图像相对于行车图像的畸变量的难度，可以通过在HUD系统中投影易于计算得出畸变量的标准测试图像，即首先获取标准测试图像的畸变测试图像，然后获取畸变测试图像相对于标准测试图像的畸变量。
在另一些实施例中，可以通过人工智能算法对畸变行车图像和行车图像比较计算，得到畸变行车图像的畸变量。例如，可以首先训练人工智能模型，然后通过训练完成的人工智能模型对行车图像和畸变行车图像进行比较计算，得到畸变行车图像相对于行车图像的畸变量。
图5是本申请实施例的图像畸变的矫正方法的流程示意图，如图5所示，通过图2中图像畸变的矫正系统对行车图像进行矫正的方法包括S501至S505。
首先，将标准测试图像输入至图像投影组件。其中，图像投影组件能够将标准测试图像通过成像组件投射出，然后对标准测试图像进行反射和折射，进而实现HUD系统根据标准测试图像的成像。通过标准测试图像，能够更准确地得到HUD系统会对图像产生的畸变量，进而更准确地对行车图像进行矫正。
其中，可以从驾驶员的视角获取标准测试图像对应的畸变测试图像，也可以从乘客的视角获取标准测试图像对应的畸变测试图像，本申请实施例对获取畸变测试图像的视角不作限制。
图6为一例对标准测试图像进行矫正的过程示意图，通过设置标准测试图像提高对行车图像的畸变量识别准确度，如图6所示，包括标准测试图像601、第一最终畸变测试图像602、反畸变测试图像603和第二最终畸变测试图像604。测试图像601包括白色的基底601a和均匀填充基底601a的测试点601b。
标准测试图像601中，测试点601b具有m行×n列，通过设置标准测试图像601，便于通过图像识别算法从标准测试图像601中识别出测试点601b，并通过计算得出测试点601b的坐标。
其中，识别测试点601b的位置坐标的算法可以是opencv或者其他图像处理库，能够实现对测试点601b在图像中位置坐标的准确识别。
具体地，为了便于确定标准测试图像601的中心点，可以将m和n设置为奇数，进而将m行和n列的测试点601b的中心点作为所有测试点601b的中心，并设定m行和n列的测试点601b的中心点的坐标为Xc(0，0)。
S501、图像投影组件输出与标准测试图像对应的第一图像，第一图像入射至挡风玻璃上。
图像投影组件对标准测试图像会产生畸变，图像投影组件对标准测试图像产生畸变后得到的是第一图像，即第一图像与标准测试图像对应，第一图像也可以记为第一中间畸变测试图像；第一图像投射到挡风玻璃上，挡风玻璃会对第一图像进行反射，并进一步对第一图像产生畸变。
S502、拍摄组件获取挡风玻璃反射的与第一图像对应的第二图像。
经过挡风玻璃的反射，会对第一图像产生畸变，得到第二图像，第二图像与第一图像对应，通过拍摄组件能够获取第一图像发生畸变后对应的第二图像，第二图像也可以记为第一最终畸变测试图像。如图6的第二图像602所示的，标准测试图像601经过畸变形成第二图像602，第二图像602包括基底602a和畸变点602b，畸变点602b在基底602a上发生位置畸变，可以通过图像识别算法识别出畸变点602b的坐标。
S503、计算第二图像相对于标准测试图像的第一畸变量。
第二图像相对于标准测试图像的第一畸变量可以通过相应的测试点的坐标变化进行计算。为了得到各个测试点601b畸变后对应的各个畸变点602b，可以通过建立位置映射的方式得到各个测试点601b畸变后对应的各个畸变点602b。
例如，为了得到各个测试点601b畸变后对应的各个畸变点602b，可以对各个测试点601b的中心点为中心按照一定顺序(例如顺时针顺序)对各个测试点601b排序，得到序列XA(A1，A2…An)，并根据与各个测试点601b排序规则相同的排序规则(例如从各个畸变点602b的中心点出发按照顺时针顺序对各个畸变点602b排序)得到序列XB(B1，B2…Bn)，即通过序列XA(A1，A2…An)和序列XB(B1，B2…Bn)能够得到测试点A1矫正后对应的为矫正测试点B1，测试点A2矫正后对应的为矫正测试点B2，依次类推，即能够得到各个测试点601b矫正后对应的各个畸变点602b。
应理解的是，以上描述的是对各个测试点601b和各个畸变点602b按照一维序列进行编号排序的方法。在另一些实施例中，也可以根据二维序列对各个测试点601b和各个畸变点602b进行编号进行排序的方法。例如，如图6所示的，对各个测试点601b和各个畸变点602b根据二维序列进行排序时，各个测试点601b和各个畸变点602b的位置可以使用序列T(x，y)进行定位，本申请实施例对获取各个测试点和各个畸变点的对应位置的方法不作限制。
其中，畸变点602b相对于测试点601b的第一畸变量可以表示为(ΔX,ΔY)，其中，ΔX表示畸变点602b相对于测试点601b的横坐标的畸变量，ΔY表示畸变点602b相对于测试点601b的纵坐标的畸变量。
S501至S503是根据标准测试图像获取第一畸变量的过程，然后依据S504至S505即可以对行车图像进行变形处理，达到对行车图像进行矫正的目的。
S504、根据第一畸变量对行车图像变形，得到反畸变行车图像。
其中，反畸变行车图像具有与第一畸变量大小相等、方向相反的反畸变量。
反畸变行车图像为根据第二图像602的畸变量对行车图像进行变形处理得到的，反畸变行车图像中的点坐标相对于行车图像的反畸变量可以为(-ΔX,-ΔY)，其中，ΔX表示畸变点602b相对于测试点601b的横坐标的畸变量，ΔY表示畸变点602b相对于测试点601b的纵坐标的畸变量。通过计算反畸变行车图像中各个点的坐标，能够近似地得到反畸变行车图像。
应理解，本申请实施例中，既可以通过拍摄组件根据第一畸变量或与第一畸变量对应的反畸变量对行车图像变形，得到反畸变行车图像；也可以通过图像投影组件的成像组件得到反畸变行车图像。例如，可以将第一畸变量或与第一畸变量对应的反畸变量输入至图像投影组件的成像组件，然后通过图像投影组件的成像组件根据第一畸变量或与第一畸变量对应的反畸变量对行车图像变形，进而得到反畸变行车图像。本申请实施例对实现根据第一畸变量或与第一畸变量对应的反畸变量对行车图像变形，进而得到反畸变行车图像这一过程的执行单元的位置和形式不作限制。
例如，本申请实施例提供一种简单的方式对第二图像602进行变形处理，该过程根据标准测试图像601中各个测试点An的坐标An(xan，yan)和第二图像602中的畸变点Bn的坐标Bn(xbn，ybn)对An(xan，yan)通过公式(1)作变换：
Figure BDA0003681093980000091
通过公式(1)即得到反畸变行车图像中各个点的坐标值Cn(xcn，ycn)，其中，xbn-xan表示畸变点602b相对于测试点601b的横坐标的畸变量Δx，ybn-yan表示畸变点602b相对于测试点601b的纵坐标的畸变量Δy。
S505、图像投影组件输出与反畸变行车图像对应的图像，与反畸变行车图像对应的图像入射至挡风玻璃上。
其中，图像投影组件的成像组件将反畸变行车图像进行投影，图像投影组件会对反畸变行车图像产生一定的畸变，使得图像投影组件输出与反畸变行车图像对应的图像，与反畸变行车图像对应的图像入射至挡风玻璃上，车辆驾驶员看到的图像即与反畸变行车图像对应的图像经过挡风玻璃反射产生畸变的图像，得到最终矫正后的图像。通过图像投影组件和挡风玻璃配合对反畸变行车图像进行成像，即达到了对行车图像进行矫正显示目的。
为了判断对行车图像的矫正效果，可以通过第二图像的第一畸变度对图像矫正的效果进行判断。其中，第一畸变度根据第一畸变量计算得到，如果第二图像的第一畸变度小于或等于预设值，则执行S504至S505，进而对行车图像进行矫正。如果第二图像的第一畸变度大于预设值，则可以根据第一畸变量对标准测试图像进行变形得到反畸变测试图像，输出与反畸变测试图像对应的第三图像至挡风玻璃，然后获取挡风玻璃反射的与第三图像对应的第四图像，再次计算第四图像相对于标准测试图像的第二畸变量，并根据第二畸变量计算第二畸变度，进而再次判断畸变度与预设值的大小关系，进而提高对行车图像的矫正效果。
图7是对标准测试图像进行第二次矫正的流程示意图，通过标准测试图像进行变形得到反畸变测试图像，然后根据反畸变测试图像获取第二畸变量，具体包括S701至S705，下文结合图7对这一流程进行说明。
S701、根据第一畸变量对标准测试图像进行变形，得到反畸变测试图像。
具体地，S701可以在图6中进行表示，如图6的反畸变测试图像603所示的，反畸变测试图像603为根据第二图像602的第一畸变量对标准测试图像601进行变形处理得到，反畸变测试图像603包括基底603a和反畸变点603b。
其中，反畸变点603b相对于测试点601b的反畸变量可以为(-ΔX,-ΔY)，其中，ΔX表示畸变点602b相对于测试点601b的横坐标的畸变量，ΔY表示畸变点602b相对于测试点601b的纵坐标的畸变量。通过计算各个反畸变点603b的坐标，能够近似地得到反畸变测试图像603。
具体地，反畸变图像603的各个反畸变点603b的坐标可以表示为Cn(xcn，ycn)，Cn(xcn，ycn)与An(xan，yan)和Bn(xbn，ybn)对应，反畸变图像603的各个反畸变点603b的坐标Cn(xcn，ycn)是经过反向畸变处理得到的。其中，反畸变点603b和测试点601b的对应关系可以通过类似畸变点602b和测试点601b的对应关系获得。
例如，本申请实施例提供一种简单的方式对第二图像602进行变形处理，该过程根据标准测试图像601中各个测试点An的坐标An(xan，yan)和第二图像602中的畸变点Bn的坐标Bn(xbn，ybn)对An(xan，yan)通过公式(1)作变换：
Figure BDA0003681093980000101
通过公式(1)即得到反畸变点的坐标值Cn(xcn，ycn)，其中，xbn-xan表示畸变点602b相对于测试点601b的横坐标的畸变量Δx，ybn-yan表示畸变点602b相对于测试点601b的纵坐标的畸变量Δy。
然后，将反畸变测试图像输入至图像投影组件。通过HUD系统对反畸变测试图像进行成像，能够得到反畸变测试图像对应的最终图像，进而获取S701对图像的矫正效果。其中，图像投影组件会对反畸变测试图像产生畸变。
S702、图像投影组件输出与反畸变测试图像对应的第三图像，第三图像入射至挡风玻璃上。
图像投影组件对反畸变测试图像进行投影产生畸变，得到第三图像，第三图像与反畸变测试图像对应，第三图像也可以记为第二中间畸变测试图像，第三图像会通过挡风玻璃反射，挡风玻璃会再次对反畸变测试图像产生畸变。
S703、拍摄组件获取挡风玻璃反射的与第三图像对应的第四图像。
通过拍摄组件获取第四图像，第四图像与第三图像对应，第四图像也可以记为第二最终畸变测试图像，第四图像包括图像投影组件和挡风玻璃对反畸变测试图像折射和反射产生的畸变量。如图6的第四图像604所示，第三图像603经过HUD系统的畸变，得到第四图像604，第四图像604包括基底604a和畸变点604b。
S704、计算第四图像相对于标准测试图像的第二畸变量，第四图像的第二畸变度小于或等于预设值。
结合公式(1)，可以知道第一畸变量和第二畸变量均可以通过公式(2)计算得到：
Figure BDA0003681093980000111
公式(2)中，(Δx，Δy)是第一畸变量或第二畸变量，标准测试图像中第n个测试点An在标准测试图像中的坐标为(xan，yan)，测试点An(xan，yan)在第二图像或者第四图像中的畸变点为Bn(xbn，ybn)。在畸变点Bn(xbn，ybn)为第二图像中的畸变点时，(Δx，Δy)是第一畸变量；在畸变点Bn(xbn，ybn)为第四图像中的畸变点时，(Δx，Δy)是第二畸变量。其中，第四图像中的畸变点Bn(xbn，ybn)和测试点601b的对应关系可以通过类似第二图像中的畸变点602b和测试点601b的对应关系获得。
其中，第一畸变度和第二畸变度可以通过如下计算过程得出。
具体地，定义点An(xan，yan)和点Bn(xbn，ybn)之间的畸变值Disn，畸变值Disn可以通过公式(3)计算得到：
Figure BDA0003681093980000112
在一些实施例中，可以通过计算n个测试点的畸变值Disn中的最大值得到Dismax，然后将Dismax作为衡量第二图像或者第四图像相对于标准测试图像的畸变度的值，其中Dismax可以表示为公式(4)：
Dismax＝Max(Dis1，Dis2…Disn) (4)
公式(4)中Max(Dis1，Dis2…Disn)表示计算第二图像或者第四图像的n个测试点的畸变值Disn中的最大值。
本申请实施例中，可以通过设定第一畸变度和第二畸变度的阈值Disset，对第二图像或者第四图像的畸变度进行检验，判断是否还需要对第二图像或者第四图像继续进行矫正。如果第二图像或者第四图像的畸变度Dismax大于设定的阈值Disset，则判断需要对第二图像或者第四图像继续进行矫正；如果，第第一畸变度或者第二畸变度Dismax小于或等于设定的阈值Disset，则判断不需要对第二图像或者第四图像继续矫正。
在一些实施例中，第一畸变度和第二畸变度的阈值Disset的取值可以设定为30像素或者50像素。
在另一些实施例中，可以通过畸变率△n作为第一畸变度或者第二畸变度，其中△n可以通过公式(5)计算得到：
Figure BDA0003681093980000121
公式(5)中，
Figure BDA0003681093980000122
表示标准测试图像中的测试点An(xan，yan)到标准测试图像的中心点Xc(0，0)的距离，
Figure BDA0003681093980000123
表示点An(xan，yan)在第二图像或者第四图像中畸变后通过公式(3)得到的的畸变值。
在另一些实施例中，可以计算第二图像或者第四图像的测试点的畸变率△n的最大值△max，进而通过第二图像或者第四图像的测试点的畸变率的最大值△max衡量第二图像或者第四图像的畸变程度。具体地，对△max可以通过公式(6)表示：
△max＝Max(△1，△2…△n) (6)
公式(6)中，Max(△1，△2…△n)表示计算第二图像或者第四图像的n个测试点的畸变率△n的最大值。
本申请实施例中，可以通过设定畸变率的阈值△set，如果第二图像(即第一最终畸变测试图像)或者第四图像(即第二最终畸变测试图像)的畸变度△max大于阈值△set，则判断需要对第一最终畸变测试图像或者第二最终畸变测试图像继续进行矫正；如果第二图像或者第四图像的畸变程度△max小于或等于阈值△set，则判断不需要对第一最终畸变测试图像或者第二最终畸变测试图像继续进行矫正。
在一些实施例中，畸变率的阈值△set的值可以设定为0.05或者0.08。
S705、根据第一畸变量和第二畸变量的和，对行车图像变形，得到反畸变行车图像。
应理解的是，在步骤S701中根据第一畸变量对标准测试图像继续进行变形处理，得到反畸变测试图像，然后根据第四图像计算得到第二畸变量后，再根据第四图像的第二畸变量和第二图像的第一畸变量叠加对标准测试图像进行变形处理，得到新的反畸变测试图像，以使得最终的畸变测试图像能够综合第一畸变量和第二畸变量，进一步提升对标准测试图像的矫正效果。
进一步地，可以综合多次的畸变量对标准测试图像进行变形，得到的新的反畸变测试图像的坐标可以通过公式(7)表示：
Figure BDA0003681093980000124
公式(7)中，Δxi和Δyi分别表示对标准测试图像进行第i次变形处理的第i个畸变量。例如，当i等于1时，Δx1表示第1次矫正的畸变量，当i≥2时，Δxi表示对标准测试图像进行第i次变形处理的畸变量，通过公式(7)即得到经过n次变形处理后的坐标。对Δyi进行累加的原理与Δxi的累加原理相同。通过公式(7)，即得到对畸变测试图像进行多次变形处理后的坐标Cn(xcn，ycn)的坐标值。
例如，如果第二畸变度大于预设值，就可以根据第一畸变量和第二畸变量的和对标准测试图像进行变形，得到与第一畸变量和第二畸变量的和对应的反畸变测试图像，然后将与第一畸变量和第二畸变量的和对应的反畸变测试图像输入至图像投影组件，图像投影组件输出第五图像，第五图像入射至挡风玻璃上，拍摄组件获取挡风玻璃反射的第六图像，计算第六图像相对于标准测试图像的第三畸变量，并根据第三畸变量计算出第三畸变度，如果第三畸变度小于或等于预设值，则根据第一畸变量、第二畸变量和第三畸变量的和对行车图像进行变形，得到反畸变行车图像。如果第三畸变度大于预设值，则再次重复上述的步骤，得到第四畸变量和第四畸变度，达到提高对行车图像矫正效果的目的。
因此，通过重复S701至S705，直至标准测试图像的畸变度不大于预设值。然后依据叠加后的畸变量对行车图像进行变形处理，使得最终的畸变行车图像的畸变量综合了多次进行变形处理的畸变量，即可得到最佳的对行车图像处理的畸变量。
应理解的是，S701至S705的依据标准测试图像获取HUD系统的畸变量的过程可以在HUD系统初始化的过程中进行，通过初始化过程获取HUD系统的畸变量以后，在HUD系统后续投影行车图像时，通过S701至S705得到的最终畸变量对行车图像进行矫正，即可完成在HUD系统中对行车图像的矫正。
除了上文中所提供的变形处理方式，为了提高对行车图像的变形处理效果，可以通过与语言无关、平台无关的用于渲染矢量图形的应用程序编程接口对行车图像进行变形处理，结合本申请实施例中的图像特点，能够提高对行车图像进行变形处理的效果。
通过与语言无关、平台无关的用于渲染矢量图形的应用程序编程接口对图像进行矫正，能够实现HUD系统的图像矫正过程与硬件设备、窗口系统和操作系统相互独立，大大提高了本申请实施例对HUD系统的图像矫正方法的可移植性。
图8是对图像进行变换处理的流程示意图，通过用于渲染矢量图形的应用程序编程接口对图像进行变换处理，具体包括S801至S804，下文结合具体的例子说明对图像进行处理的过程。
S801、基于行车图像生成纹理贴图和纹理坐标。
纹理贴图可以理解为将需要显示的图像进行切分形成的一张张小图片，纹理坐标是纹理贴图对应的位置，根据纹理坐标对纹理贴图进行拼合，能够实现对多张纹理贴图拼合再次形成需要显示的图像。
S802、根据第一畸变量对纹理坐标变换得到矫正纹理坐标。
如果对纹理坐标进行变换，即可以根据变换处理后的纹理坐标对纹理贴图进行拼合，得到各个纹理贴图的位置变换组成的新的图像。
例如，对测试图像进行处理时，将测试图像进行切分，得到多张纹理贴图，纹理贴图分别对应有纹理坐标，纹理坐标为纹理贴图对应显示的位置，然后对纹理坐标进行变换处理，并根据变换处理后的纹理坐标对纹理贴图进行拼合，得到变形处理后的测试图像。
又例如，对行车图像进行处理时，将行车图像进行切分，得到多张纹理贴图，纹理贴图分别对应有纹理坐标，然后对纹理坐标进行变换处理，并根据变换处理后的纹理坐标对纹理贴图进行拼合，得到变形处理后的行车图像。
这里，可以根据上文的公式(7)对图像的纹理坐标进行变换处理，得到新的纹理坐标，然后将图像的各个纹理贴图根据变换处理后的矫正纹理坐标拼合显示，即可得到变换处理后的图像。
其中，由于纹理坐标的数量大于各个测试点数量，可以对各个纹理坐标依据测试点的畸变量进行插值，得到多个测试点的中间畸变量，进而将多个测试点的畸变量和多个测试点的中间畸变量对各个纹理坐标进行变换处理的畸变值。
具体地，可以首先建立各个纹理坐标与各个测试点An(xan，yan)的对应关系，然后依据第n-1个测试点An-1(xan-1，yan-1)和第n个测试点An(xan，yan)的畸变量取均值，得到中间畸变量，并依据中间畸变量对纹理坐标进行变换，得到变换后的矫正纹理坐标的坐标值(x′an，y′an)，得到矫正纹理坐标的坐标值(x′an，y′an)的具体过程可以表示为公式(8)：
Figure BDA0003681093980000141
应理解的是，通过公式(8)的插值方式仅是一种对测试点的畸变量插值，进而得到矫正纹理坐标的方式，也可以通过其他方式对纹理坐标进行插值变换得到矫正纹理坐标，例如按比例插值进行变换，本申请实施例对纹理坐标进行插值变换的方式不作限制。
应理解的是，还可以在相邻的测试点之间的畸变值中插入多个中间畸变值，然后依据多个中间畸变值对纹理坐标进行变换得到多个矫正纹理坐标，实现对纹理坐标的高精度变换处理，提高对纹理贴图进行拼合的精度，本申请实施例对插入的中间畸变值的数量和插值方式不作限制。
S803、基于测试图像生成网格模型。
网格模型是为了对图像进行显示的模型，网格模型的区域是图像进行显示的区域，通过网格模型能够生成图像、对图像进行渲染或者变形处理。图9是网格模型的示意图，如图9所示，包括边界点901、网格点902和网格线903。边界点901表示网格模型的边界，边界点901和网格点902之间通过网格线903连接，边界点901、网格点902和网格线903组成网格模型。
应理解的是，实际的各个网格点902之间的实际间距值非常小，而大量的网格点902能够保证精细的图像处理能力。为了便于表示网格点902，图9中的显示网格示意图中的网格点902之间的间距表示的较大，以方便进行说明。因此，网格点902的数量大于测试点An(xan，yan)的数量。
具体地，由于网格点902的数量大于测试点An(xan，yan)的数量，因此为了能够通过各个测试点An(xan，yan)得到各个网格点902的位置坐标，可以将各个测试点An(xan，yan)进行插值，以得到网格模型中对应的网格点902对应的各个测试点An(xan，yan)。
下文结合具体的例子对各个测试点An(xan，yan)的坐标进行插值的过程进行描述。
对各个测试点An(xan，yan)排序的方式或者各个网格点902排序的方式可以为建立位置映射，使得测试点An(xan，yan)与若干网格点Dn(xdn，ydn)之间建立位置映射。例如可以通过如下方式建立位置映射。
首先，对网格模型中的各个网格点902按照与测试图像中的各个测试点An(xan，yan)相同的排序方式进行排序，得到各个网格点902的序列XD(D1，D2…Dn)，其中第n个网格点902的坐标为Dn(xdn，ydn)。
然后，对各个测试点An(xan，yan)的坐标进行插值，得到各个测试点An(xan，yan)对应的插值后的中间测试点A′n(x′an，y′an)。其中，对各个测试点An(xan，yan)的插值方式可以按照平均插值的方式进行插值。
具体地，可以通过对第n-1个测试点An-1(xan-1，yan-1)和第n个测试点An(xan，yan)取中间值，得到中间测试点A′n(x′an，y′an)的坐标，具体可以通过公式(9)计算得到：
Figure BDA0003681093980000151
通过公式(9)便得到了各个中间测试点A′n的坐标，所有中间测试点A′n(x′an，y′an)的序列为X′A(A′1，A′2…A′3)。
应理解的是，通过公式(9)的插值方式仅是一种获取插值测试点的方式，插值测试点还可以通过其他方式获得，例如按比例插值等，本申请实施例对插值测试点的具体获取方式不作限制。
最后，将网格点902按照序列XD(D1，D2…Dn)与各个中间测试点A′n的序列X′A(A′1，A′2…A′n)按照位置对应关系进行绑定，即完成了根据测试图像建立网格模型的过程。
S804、根据矫正纹理坐标将纹理贴图绑定到网格模型上，得到反畸变行车图像。
网格模型表示行车图像的显示区域，首先建立纹理坐标与网格模型的对应关系，然后依据网格模型对纹理贴图进行拼合，即能够实现将纹理贴图绑定到网格模型上，实现了将纹理贴图依据网格模型进行显示的目的。
其中，建立纹理坐标与网格模型的对应关系可以通过测试图像完成，由于网格模型是依据测试图像的各个测试点建立的，对纹理坐标的变换是通过测试图像的各个测试点的畸变量进行插值变换处理的，所以可以通过测试图像的测试点建立纹理坐标与网格模型的对应关系。
例如，在网格点902的序列XD(D1，D2…Dn)与各个插值测试点A′n的序列X′A(A′1，A′2…A′n)之间建立对应关系，同时，也建立各个纹理坐标与各个插值测试点A′n的序列X′A(A′1，A′2…A′n)的对应关系，即可得到各个网格点902的序列XD(D1，D2…Dn)与各个纹理坐标的对应关系。
通过建立纹理坐标与网格模型的对应关系，便可以依据纹理坐标将纹理贴图在网格模型上进行显示，即在特定显示区域上对行车图像进行显示，同时通过S802对纹理坐标进行变换处理，即可得到变形处理后的行车图像。
图10是将行车图像绑定到网格模型的过程示意图，如图10所示，包括行车图像1010、纹理贴图1011和网格模型1020。通过将行车图像1010处理形成纹理贴图1011，纹理贴图1011具有纹理坐标，然后通过帧缓冲技术将纹理贴图1011依据纹理坐标绑定到网格模型1020上，然后将网格模型1020显示，即可得到进行变形处理后的反畸变行车图像。
本申请实施例还提供一种车辆，该种车辆具有上述的图像畸变的矫正系统，该图像畸变的矫正系统能够提高对行车图像的矫正效果，进而能够提高车辆上的图像畸变的矫正系统的使用效果。
本申请实施例通过HUD系统对标准测试图像进行投影、成像，得到HUD系统的畸变量，之后只需要对行车图像依据HUD系统的畸变量进行变换，即得到对行车图像变换处理后的反畸变行车图像，并通过对反畸变行车图像进行投影、成像，即可达到对行车图像的矫正目的。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
应理解，上述只是为了帮助本领域技术人员更好地理解本申请实施例，而非要限制本申请实施例的范围。本领域技术人员根据所给出的上述示例，显然可以进行各种等价的修改或变化，例如，上述方法各个方法中某些步骤可以是不必须的，或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本申请实施例的范围内。
还应理解，本申请实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便，不应构成特别的限定，各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。
还应理解，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
还应理解，上文对本申请实施例的描述着重于强调各个实施例之间的不同之处，未提到的相同或相似之处可以互相参考，为了简洁，这里不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在图像畸变的矫正系统上运行时，使得图像畸变的矫正系统执行时实现可实现上述各个方法实施例中的步骤。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (13)

1.一种图像畸变的矫正方法，其特征在于，所述方法包括：
拍摄组件获取第一最终畸变测试图像，所述第一最终畸变测试图像是车辆的挡风玻璃对第一中间畸变测试图像反射的图像，所述第一中间畸变测试图像是图像投影组件输出的与标准测试图像对应的图像；
确定所述第一最终畸变测试图像相对于所述标准测试图像的第一畸变量；
将与所述第一畸变量相关的信息发送至所述图像投影组件，以便所述图像投影组件根据与所述第一畸变量相关的信息将反畸变行车图像对应的图像入射至所述挡风玻璃上；
其中，所述标准测试图像上有多个测试点，所述反畸变行车图像具有与所述第一畸变量大小相等、方向相反的反畸变量。
2.如权利要求1所述的图像畸变的矫正方法，其特征在于，所述第一最终畸变测试图像对应的第一畸变度小于或等于预设值，所述第一畸变度根据所述第一畸变量确定。
3.如权利要求1所述的图像畸变的矫正方法，其特征在于，所述第一最终畸变测试图像的第一畸变度大于预设值时，所述方法还包括：
根据所述第一畸变量对所述标准测试图像进行变形，得到反畸变测试图像；
所述图像投影组件输出与所述反畸变测试图像对应的第二中间畸变测试图像，所述第二中间畸变测试图像入射至所述挡风玻璃上；
所述拍摄组件获取所述挡风玻璃反射的与所述第二中间畸变测试图像对应的第二最终畸变测试图像；
确定所述第二最终畸变测试图像相对于所述标准测试图像的第二畸变量，所述第二最终畸变测试图像对应的第二畸变度小于或等于预设值；
所述将与所述第一畸变量相关的信息发送至所述图像投影组件，包括：
将与所述第一畸变量和所述第二畸变量相关的信息发送至所述图像投影组件；
其中，所述第一畸变度根据所述第一畸变量确定，所述第二畸变度根据所述第二畸变量确定。
4.如权利要求3所述的图像畸变的矫正方法，其特征在于，所述第一畸变量和所述第二畸变量通过如下公式计算得到：
Figure FDA0003681093970000011
其中，(Δx，Δy)是第一畸变量或第二畸变量，(xan，yan)是第n个测试点在所述标准测试图像中的坐标，(xbn，ybn)是第n个测试点在所述第一最终畸变测试图像中对应点的坐标或者在所述第二最终畸变测试图像中对应点的坐标。
5.如权利要求3所述的图像畸变的矫正方法，其特征在于，所述第一畸变度为所述多个测试点在所述第一最终畸变测试图像中的畸变值的最大值，所述第二畸变度为所述多个测试点在所述第二最终畸变测试图像中的畸变值的最大值，所述多个测试点在所述第一最终畸变测试图像中的畸变值或者所述多个测试点在所述第二最终畸变测试图像中的畸变值通过如下公式计算得到：
Figure FDA0003681093970000021
其中，Disn表示第n个测试点在所述第一最终畸变测试图像中的畸变值或者在所述第二最终畸变测试图像中的畸变值，(xan，yan)是第n个测试点在所述标准测试图像中的坐标，(xbn，ybn)是第n个测试点在所述第一最终畸变测试图像中对应点的坐标或者在所述第二最终畸变测试图像中对应点的坐标。
6.如权利要求3所述的图像畸变的矫正方法，其特征在于，所述第一畸变度为所述多个测试点在所述第一最终畸变测试图像中的畸变率的最大值，所述第二畸变度为所述多个测试点在所述第二最终畸变测试图像中的畸变率的最大值，所述多个测试点在所述第一最终畸变测试图像中的畸变率或者所述多个测试点在所述第二最终畸变测试图像中的畸变率通过如下公式计算得到：
Figure FDA0003681093970000022
其中，Δn表示第n个测试点在所述第一最终畸变测试图像中的畸变率或者在所述第二最终畸变测试图像中的畸变率，(xan，yan)是第n个测试点在所述标准测试图像中的坐标，(xbn，ybn)是第n个测试点在所述第一最终畸变测试图像中对应点的坐标或者在所述第二最终畸变测试图像中对应点的坐标。
7.如权利要求1所述的图像畸变的矫正方法，其特征在于，与所述第一畸变量相关的信息为畸变量信息，所述将与所述第一畸变量相关的信息发送至所述图像投影组件，包括：
所述拍摄组件将与所述第一畸变量对应的反畸变量或者所述第一畸变量发送至所述图像投影组件。
8.如权利要求1所述的图像畸变的矫正方法，其特征在于，与所述第一畸变量相关的信息为图像信息，所述将与所述第一畸变量相关的信息发送至所述图像投影组件，包括：
所述拍摄组件根据与所述第一畸变量对应的反畸变量或所述第一畸变量对行车图像变形，得到反畸变行车图像；将所述反畸变行车图像发送至所述图像投影组件。
9.如权利要求1至8中任一项所述的图像畸变的矫正方法，其特征在于，所述根据所述第一畸变量对行车图像变形，得到反畸变行车图像，包括：
基于所述行车图像生成纹理贴图和纹理坐标；
根据所述第一畸变量对所述纹理坐标变换得到矫正纹理坐标；
基于所述标准测试图像生成网格模型；
根据所述矫正纹理坐标将所述纹理贴图绑定到所述网格模型上，得到所述反畸变行车图像。
10.如权利要求9所述的图像畸变的矫正方法，其特征在于，所述根据所述第一畸变量对所述纹理坐标变换得到矫正纹理坐标，包括：
对所述第一畸变量插值得到中间畸变量；
根据所述第一畸变量和所述中间畸变量对所述纹理坐标变换得到矫正纹理坐标。
11.如权利要求9所述的图像畸变的矫正方法，其特征在于，所述基于所述标准测试图像生成网格模型，包括：
在所述多个测试点之间插入多个中间测试点；
根据所述多个测试点和所述多个中间测试点生成所述网格模型。
12.一种图像畸变的矫正系统，其特征在于，所述图像畸变的矫正系统包括图像投影组件和拍摄组件，所述图像投影组件用于执行如所述权利要求1至11中任一项所述的方法中由所述图像投影组件执行的步骤，所述拍摄组件用于执行如所述权利要求1至11中任一项所述的方法中由所述拍摄组件执行的步骤。
13.一种车辆，其特征在于，包括如权利要求11所述的图像畸变的矫正系统。
CN202210633667.XA 2022-06-07 2022-06-07 图像畸变的矫正方法和系统 Pending CN115205138A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210633667.XA CN115205138A (zh) 2022-06-07 2022-06-07 图像畸变的矫正方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210633667.XA CN115205138A (zh) 2022-06-07 2022-06-07 图像畸变的矫正方法和系统

Publications (1)

Publication Number Publication Date
CN115205138A true CN115205138A (zh) 2022-10-18

Family

ID=83576502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210633667.XA Pending CN115205138A (zh) 2022-06-07 2022-06-07 图像畸变的矫正方法和系统

Country Status (1)

Country Link
CN (1) CN115205138A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342435A (zh) * 2023-05-30 2023-06-27 合肥埃科光电科技股份有限公司 一种线扫描相机畸变校正方法、计算设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342435A (zh) * 2023-05-30 2023-06-27 合肥埃科光电科技股份有限公司 一种线扫描相机畸变校正方法、计算设备及存储介质
CN116342435B (zh) * 2023-05-30 2023-08-22 合肥埃科光电科技股份有限公司 一种线扫描相机畸变校正方法、计算设备及存储介质

Similar Documents

Publication Publication Date Title
JP4435145B2 (ja) 幾何情報を校正してパノラマ映像を提供する方法および装置
JP4618287B2 (ja) 調整方法、及びシステム
US10789762B2 (en) Method and apparatus for estimating parameter of virtual screen
US20190096092A1 (en) Method and device for calibration
EP3621041B1 (en) Three-dimensional representation generating system
CN112927279A (zh) 一种图像深度信息生成方法、设备及存储介质
CN110260857A (zh) 视觉地图的校准方法、装置及存储介质
CN111127365A (zh) 基于三次样条曲线拟合的hud畸变矫正方法
WO2018146048A1 (en) Apparatus and method for controlling a vehicle display
CN115205138A (zh) 图像畸变的矫正方法和系统
JP2019175283A (ja) 認識装置、認識システム、プログラムおよび位置座標検出方法
CN105427315B (zh) 数字仪表图像位置测试方法及装置
KR100945555B1 (ko) 증강현실 공간을 제공하는 장치 및 방법
US11983838B2 (en) Circuit apparatus, display system, and image processing method
CN117173324A (zh) 点云着色方法、系统、终端及存储介质
CN113160059B (zh) 一种水下图像拼接方法、装置及存储介质
CN115272124A (zh) 一种畸变图像校正方法、装置
JP2020184059A (ja) 回路装置、電子機器及び移動体
CN115578283B (zh) Hud成像的畸变矫正方法、装置、终端设备及存储介质
JP7364726B2 (ja) 物体の画像を形成する方法、コンピュータプログラム製品、及びその方法を実行するための画像形成システム
CN112991229B (zh) 增强现实投影的校准方法、电子设备、系统及存储介质
CN115097628B (zh) 一种行车信息显示方法、装置及系统
WO2018145956A1 (en) Apparatus and method for controlling a vehicle display
US20240046601A1 (en) Deep recognition model training method, electronic device and readable storage medium
CN118229613A (zh) 抬头显示图像的畸变测试方法、装置、设备、介质及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination