CN114037620A - 车载平视显示系统图像畸变矫正方法和装置 - Google Patents

车载平视显示系统图像畸变矫正方法和装置 Download PDF

Info

Publication number
CN114037620A
CN114037620A CN202111204135.6A CN202111204135A CN114037620A CN 114037620 A CN114037620 A CN 114037620A CN 202111204135 A CN202111204135 A CN 202111204135A CN 114037620 A CN114037620 A CN 114037620A
Authority
CN
China
Prior art keywords
image
display system
input image
mounted head
target vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111204135.6A
Other languages
English (en)
Inventor
邓苏南
周志鹏
刘毅
罗志平
李冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority to CN202111204135.6A priority Critical patent/CN114037620A/zh
Publication of CN114037620A publication Critical patent/CN114037620A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

本申请提出一种车载平视显示系统图像畸变矫正方法和装置，其中，方法包括：获取待投影的图像；利用预设的矫正模型对所述待投影的图像进行矫正处理，得到矫正后的待投影的图像；将矫正后的待投影的图像输入目标车载平视显示系统进行投射显示，其中，预设的矫正模型为利用与目标车载平视显示系统对应的训练数据集及目标车载平视显示系统训练生成的。该方法在对图像进行投影显示之前，先利用矫正模型对图像进行矫正处理，对图像矫正处理后再输入车载平视显示系统进行投影显示，利用矫正模型进行畸变矫正，相比通过增加光学元件的方式，设计难度低、且成本低。

Description

车载平视显示系统图像畸变矫正方法和装置
技术领域
本申请涉及显示技术领域，尤其涉及一种车载平视显示系统图像畸变矫正方法和装置。
背景技术
随着技术的发展，平视显示设备越来越多的用在车辆上，逐渐发展成一种趋势。车辆上的平视显示设备是图像经过车辆的前挡风玻璃投射到车前。由于挡风玻璃是不规则曲面，图像通过挡风玻璃投射到车外会产生畸变、相差，使得图像的显示质量较差。
目前，多用光学的方法进行矫正，比如在挡风玻璃之前加入非连续曲面镜或者其它光学元件，来矫正挡风玻璃的引起的成像效果下降。但是，这种矫正方式，需要为不同的挡风玻璃设计不同的光学元件，不仅设计难度高，而且增加了车辆的成本。
发明内容
本申请提出一种车载平视显示系统图像畸变矫正方法和装置，用于解决相关技术中通过增加光学元件进行畸变矫正的方法，具有设计难度高、成本高的问题。
本申请一方面实施例提出了一种车载平视显示系统图像畸变矫正方法，包括：
获取待投影的图像；
利用预设的矫正模型对所述待投影的图像进行矫正处理，得到矫正后的待投影的图像；
将所述矫正后的待投影的图像输入目标车载平视显示系统进行投射显示，其中，所述预设的矫正模型为利用与所述目标车载平视显示系统对应的训练数据集及所述目标车载平视显示系统训练生成的。
本申请实施例的车载平视显示系统图像畸变矫正方法，通过获取待投影的图像，利用预设的矫正模型对待投影的图像进行矫正处理，得到矫正后的待投影的图像，将矫正后的待投影的图像输入目标车载平视显示系统进行投射显示，其中，预设的矫正模型为利用与目标车载平视显示系统对应的训练数据集及目标车载平视显示系统训练生成的。由此，在对图像进行投影显示之前，先利用矫正模型对图像进行矫正处理，对图像矫正处理后再输入车载平视显示系统进行投影显示，利用矫正模型进行畸变矫正，相比通过增加光学元件的方式，设计难度低、且成本低。
本申请另一方面实施例提出了一种车载平视显示系统图像畸变矫正装置，包括：
第一获取模块，用于获取待投影的图像；
矫正模块，用于利用预设的矫正模型对所述待投影的图像进行矫正处理，得到矫正后的待投影的图像；
显示模块，用于将所述矫正后的待投影的图像输入目标车载平视显示系统进行投射显示，其中，所述预设的矫正模型为利用与所述目标车载平视显示系统对应的训练数据集及所述目标车载平视显示系统训练生成的。
本申请实施例的车载平视显示系统图像畸变矫正装置，通过获取待投影的图像，利用预设的矫正模型对待投影的图像进行矫正处理，得到矫正后的待投影的图像，将矫正后的待投影的图像输入目标车载平视显示系统进行投射显示，其中，预设的矫正模型为利用与目标车载平视显示系统对应的训练数据集及目标车载平视显示系统训练生成的。由此，在图像进行投影显示之前，先利用矫正模型对图像进行矫正处理，对图像矫正处理后再输入车载平视显示系统进行投影显示，利用矫正模型进行畸变矫正，相比通过增加光学元件的方式，设计难度低、且成本低。
本申请另一方面实施例提出了一种计算机设备，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上述一方面实施例所述的车载平视显示系统图像畸变矫正方法。
本申请另一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述一方面实施例所述的车载平视显示系统图像畸变矫正方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种车载平视显示系统图像畸变矫正方法的流程示意图；
图2为本申请实施例提供的另一种车载平视显示系统图像畸变矫正方法的流程示意图；
图3为本申请实施例提供的又一种车载平视显示系统图像畸变矫正方法的流程示意图；
图4为本申请实施例提供的一种车载平视显示系统图像畸变矫正装置的结构示意图；
图5示出了适于用来实现本申请实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的车载平视显示系统图像畸变矫正方法和装置。
本申请实施例，针对相关技术中，通过增加光学元件进行畸变矫正的方法，具有设计难度高、成本高的问题，提出一种车载平视显示系统图像畸变矫正方法。
图1为本申请实施例提供的一种车载平视显示系统图像畸变矫正方法的流程示意图。
本申请实施例的车载平视显示系统图像畸变矫正方法，可通过本申请实施例提供的车载平视显示系统图像畸变矫正装置执行，该装置可配置于计算机设中，以通过利用预设的矫正模型对待投影的图像进行矫正后再投影显示，实现对待投影的图像进行畸变矫正。
如图1所示，该车载平视显示系统图像畸变矫正方法包括：
步骤101，获取待投影的图像。
本实施例中，车辆上安装的车载平视显示系统可对视频如影片或者图像进行投射显示，那么待投影的图像可以是视频帧图像，也可是单张图像等。
步骤102，利用预设的矫正模型对待投影的图像进行矫正处理，得到矫正后的待投影的图像。
其中，预设的矫正模型是利用目标车载平视显示系统对应的训练数据集及目标车载平视显示系统训练生成的，用于对图像进行矫正处理，以使矫正处理后的图像发生畸变。其中，训练数据集中包含大量的图像。
获取待投影的图像之后，利用预设的矫正模型对待投影的图像进行矫正处理，得到矫正后的待投影的图像。这里，矫正后的待投影的图像为存在畸变的图像。
步骤103，将矫正后的待投影的图像输入目标车载平视显示系统进行投射显示。
在获取矫正后的待投影的图像后，将矫正后的待投影的图像输入目标车载平视显示系统进行投射显示，经过前挡风玻璃后，投影显示的图像畸变较小或者没有畸变，从而大大提高了投影显示质量。
当对视频进行投影显示时，可利用预设的矫正模型对每帧图像进行矫正处理，矫正处理后再输入目标车载平视显示系统进行投射显示。由此，用户观看视频时，投射显示的画面畸变较小或者没有畸变，提高了用户观看体验。
正常情况下，若待投影的图像直接输入目标车载平视显示系统，会因为挡风玻璃的作用，使得投影显示对图像存在畸变。本实施例中，将待投影的图像先经过预设的矫正模型进行矫正处理，使得矫正后的后图像存在畸变。当矫正后的待投影图像输入至目标车载平视显示系统投影至挡风玻璃时，矫正后的图像经过挡风玻璃的畸变作用后，最终投影显示的图像正常显示。
相关技术中，通常是在挡风玻璃之前加入非连续曲面镜或者其它光学元件，来补偿挡风玻璃的引起的成像效果下降，但是在增加光元件不仅设计难度大，而且成本高，车载的平视显示系统的体积也比较大。
而本申请实施例中，在利用目标车载平视显示系统对待投影的图像进行投射显示时，先通过矫正模型对待投影的图像进行矫正处理，再将矫正后的待投影图像进行投射显示，由此，利用矫正模型进行畸变矫正，成本较低、减少了车载平视显示系统的体积，并且也无需考虑前挡风玻璃的参数。
在利用预设的矫正模型对待投影的图像进行矫正处理前，可先通过深度学习，获取预设的矫正模型。下面结合图2进行说明，图2为本申请实施例提供的另一种车载平视显示系统图像畸变矫正方法的流程示意图。
在利用预设的矫正模型对待投影的图像进行矫正处理之前，如图2所示，该车载平视显示系统图像畸变矫正方法还包括：
步骤201，获取目标车载平视显示系统对应的训练数据集，其中训练数据集中包括输入图像集。
其中，训练数据集中包含输入图像集，输入图像集中包含大量图像。在获取训练数据集时，可收集大量图像，这些图像组成输入图像集，或者将视频作为输入图像集，视频中的每帧图像为输入图像集中的图像。
步骤202，利用目标车载平视显示系统依次将输入图像集中的每个输入图像进行投射显示，采集每个输入图像对应的输出图像。
本实施例中，可在目标车载平视显示系统投影时，记录人观看投影图像的人眼位置，然后在观看投影图像时人眼的位置处放置图像采集设备，如摄像机等。
在目标车载平视显示系统，依次将输入图像集中每个输入图像投射显示的过程中，通过放置在人眼位置处的图像采集设备拍摄每个输入图像对应的投影图像，这里将每个输入图像对应的投影图像，称为输出图像。
可以理解的是，每个输入图像的输出图像是存在畸变的图像。
步骤203，对每个输入图像及对应的输出图像进行深度学习，确定目标车载平视显示系统对应的图像处理模型。
在获取输入图像集中每个输入图像对应的输出图像后，可利用每个输入图像和及其对应的输出图像，通过深度学习，获取目标车载平视显示系统对应的图像处理模型。其中，图像处理模型可用于确定输入图像与输出图像之间的关系。
具体而言，将输入图像集中的输入图像作为训练样本，通过对初始的图像处理模型进行深度学习，得到图像处理模型。在训练迭代过程，根据模型预测的图像，与输入图像实际对应的输出图像，计算损失函数，根据计算结果调整模型参数，直至训练完毕。
步骤204，根据图像处理模型及每个输入图像，确定每个输入图像对应的参考图像。
本实施例中，每个输出图像是每个输入图像投影显示的图像，根据图像处理模型可以确定输入图像与输出图像的关系，且每个输出图像是存在畸变的图像。那么，要使车载平视显示系统投影出的输入图像不存在畸变，那么可以根据图像处理模型和每个输入图像，确定图像处理模型的输入，那么这里的确定的图像处理模型的输入，称为参考图像。
比如，P1表示输入图像，P2表示与输入图像P1对应的输出图像，C1表示图像处理模型，输入图像与对应的输出图像之间的关系可表示为P2＝C1(P1)。那么要使投影显示的图像为P1，也就是使投影的图像正常显示，那么模P1＝C1(P0)，这里P0即为参考图像。由此，在已经输入图像P1和图像处理模型C1的情况下，可根据P1和C1确定参考图像。
步骤205，对每个输入图像对应的参考图像及输入图像进行深度学习，确定预设的矫正模型。
本实施例中，可以认为当待显示的图像为参考图像时，经过前挡风玻璃投影显示的图像为正常图像。由此，为了使待显示的图像能够被正常投影显示，那么应该对待显示的图像进行一定的处理，从而能够正常显示待显示的图像。
在获取每个输入图像及其对应的参考图像后，可利用输入图像对初始矫正模型进行训练，得到目标车载平视显示系统对应的矫正模型。在训练迭代过程，根据初始矫正模型预测的图像，与输入图像实际对应的参考图像，计算损失函数，根据计算结果调整模型参数，直至训练完毕。
由于每个车辆的前挡风玻璃和车载平视显示系统的硬件参数可能不完全一致，因此，对于不同的车辆，利用上述方式可以获取每个车辆的车载平视显示系统对应的矫正模型。
在实际应用中，用于采集的输出图像的图像采集设备的分辨率可能与输入图像的分辨率不一致。当分辨率不一致时，会使采集的输出图像的分辨率与输入图像的不一致，由此，根据输入图像和输出图像确定的图像处理模型会不准确，从而会导致矫正模型不准确。
因此，在上述对每个输入图像及对应的输出图像进行深度学习，确定目标车载平视显示系统对应的图像处理模型之前，可先确定图像采集设备的第一分辨率与输入图像的第二分辨率一致。在确定输入图像与图像采集设备的分辨率一致的情况下，图像采集设备采集的输出图像的分辨率与输入图像一致，对每个输入图像与输出图像进行深度学习，得到图像处理模型。
本申请实施例中，通过在对每个输入图像及其对应的输出图像进行深度学习之前，确定图像采集设备与输入图像的分辨率一致，在确定分辨率一致时，再对输入图像及对应的输出图像进行深度学习，可以保证矫正模型的准确性。
在实际应用中，输入图像的分辨率与图像采集设备的分辨率可能会不一致。下面结合图3说明分辨率不一致时，如何确定矫正模型。图3为本申请实施例提供的又一种车载平视显示系统图像畸变矫正方法的流程示意图。
在利用预设的矫正模型对待投影的图像进行矫正处理之前，如图3所示，该车载平视显示系统图像畸变矫正方法还包括：
步骤301，获取目标车载平视显示系统对应的训练数据集，其中训练数据集中包括输入图像集。
步骤302，利用目标车载平视显示系统依次将输入图像集中的每个输入图像进行投射显示，采集每个输入图像对应的输出图像。
本实施例中，步骤301-步骤302与上述步骤201-步骤202类似，故在此不再赘述。
步骤303，根据图像采集设备的第一分辨率及输入图像对应的第二分辨率，确定每个输出图像与对应的输入图像间的缩放矩阵。
由于若图像采集设备的分辨率与输入图像的分辨率不一致，那么图像采集设备采集的输出图像对应的分辨率与输入图像对应的分辨率不一致，在两者不一致的情况下，对输入图像与输出图像进行深度学习，会使得到的图像处理模型的准确性较低。
为了保证图像处理模型的准确性，本实施例中，当图像采集设备的第一分辨率与输入图像对应的第二分辨率不一致时，根据图像采集设备的第一分辨率及每个输入图像对应的第二分辨率，确定每个输出图像与对应的输入图像之间的缩放矩阵。
比如，输入图像为P1，与输入图像P1对应的输出图像为P2，P1与P2间的缩放矩阵为M，P1与P2的关系可以表示为P2＝M*P1。
由于输入图像集中输入图像之间的分辨率可能相同，也可能不同。因此，确定输入图像集中每个输入图像与对应的输出图像间的缩放矩阵。可以理解的是，每对输入图像与输出图像对应的缩放矩阵可能相同，也可能不同。
步骤304，根据每个输出图像与对应的输入图像间的缩放矩阵、将每个输入图像进行缩放处理，得到缩放图像。
本实施例中，根据每个输出图像与对应的输入图像间的缩放矩阵，对每个输入图像进行缩放处理，可以得到每个输入图像的缩放图像。其中，每个输入图像对应的缩放图像的分辨率，与图像采集设备的分辨率一致。
比如，输入图像对应的分辨率大于图像采集设备的分辨率，那么利用缩放矩阵对输入图像进行缩放处理，得到的缩放图像的分辨率与图像采集设备的分辨率一致。由此，利用图像采集设备采集的输出图像的分辨率与缩放图像的分辨率一致。
步骤305，对每个缩放图像及对应的输出图像进行深度学习，确定目标车载平视显示系统对应的图像处理模型。
本实施例中，每个缩放图像与对应的输出图像的分辨率相同，对每个缩放图像及对应的输出图像进行深度学习，得到目标车载平视显示系统对应的图像处理模型。具体过程与上述实施例中记载的对输入图像与输出图像进行深度学习的过程相同，在此不再赘述。
步骤306，根据图像处理模型及每个输入图像，确定每个输入图像对应的参考图像。
步骤307，对每个输入图像对应的参考图像及输入图像进行深度学习，确定预设的矫正模型。
本实施例中，步骤306-步骤307，与上述步骤204-步骤205类似，故在此不再赘述。
本申请实施例中，当图像采集设备的第一分辨率与输入图像对应的第二分辨率不一致时，先根据图像采集设备的第一分辨率与输入图像对应的第二分辨率，确定每个输出图像与对应的输入图像之间的缩放矩阵，利用缩放矩阵对每个输入图像进行缩放处理，利用缩放处理得到的每个缩放图像及对应的输出图像，得到图像处理模型，从而保证了图像处理模型的准确性及矫正模型的准确性。
在实际应用中，可通过收集方式获取目标车载平视显示系统对应的训练数据集，为了提高效率，在本申请的一个实施例中，也可利用预设的图像生成函数，生成目标车载平视显示系统对应的训练数据集。
由于每个输入图像及输出图像，可以看作一个矩阵，矩阵中的每个元素值对应图像中的每个像素点的灰度值，那么可以利用图像生成函数生成图像，将生成的图像作为输入图像集中的图像。
在具体实现时，可通过图像生成函数中的参数，设置需要生成的图像的数量、图像的大小、图像中像素点的取值等。由此，利用图像生成函数，可以快速获取训练数据集。
为了提高图像处理模型的准确度，在利用每个输入图像及对应的输出图像，获取图像处理模型之后，可利用多张新生成的输入图像及对应的输出图像，对训练得到的图像处理模型进行测试，根据模型预测的图像和实际的输出图像计算准确度，判断图像处理模型的准确度是否大于阈值。
当图像处理模型的准确度小于或等于阈值时，可以认为图像处理模型的准确度未达到要求，那么可对预设的图像生成函数进行调整，生成新的训练数据集，以利用新的训练数据集，继续对图像处理模型进行训练。
在对预设的图像生成函数进行调整时，可以对预设的图像生成函数的取值和/或包含的元素数量进行调整。其中，取值可以指生成的图像的数量，也可以是图像中像素点的取值。
在具体实现时，可以对预设的图像生成函数的取值和包含的数量都进行调整，也可以对取值或包含的数量进行调整。在调整时，可通过改变与取值和/或包含的数量对应的参数取值实现。
当图像处理模型的准确度大于阈值时，可以认为图像处理模型的准确度达到了要求，那么可直接利用图像处理模型和每个输入图像，获取每个输入图像对应的参考图像，然后利用输入图像与参考图像，获取矫正模型。
本申请实施例中，通过判断图像处理模型的准确度是否大于阈值，在准确度未满足要求时，通过对预设的图像生成函数进行调整，获取新的训练数据集，利用新的训练数据集继续对图像处理模型进行训练，可以提高图像处理模型的准确度，进而提高矫正模型的准确度。
为了实现上述实施例，本申请实施例还提出一种车载平视显示系统图像畸变矫正装置。图4为本申请实施例提供的一种车载平视显示系统图像畸变矫正装置的结构示意图。
如图4所示，该车载平视显示系统图像畸变矫正装置包括：第一获取模块410、矫正模块420、显示模块430。
第一获取模块410，用于获取待投影的图像；
矫正模块420，用于利用预设的矫正模型对所述待投影的图像进行矫正处理，得到矫正后的待投影的图像；
显示模块430，用于将矫正后的待投影的图像输入目标车载平视显示系统进行投射显示，其中，预设的矫正模型为利用与所述目标车载平视显示系统对应的训练数据集及目标车载平视显示系统训练生成的。
在本申请实施例一种可能的实现方式中，该装置还可包括：
第二获取模块，用于获取目标车载平视显示系统对应的训练数据集，其中训练数据集中包括输入图像集；
采集模块，用于利用目标车载平视显示系统依次将输入图像集中的每个输入图像进行投射显示，采集每个输入图像对应的输出图像；
第一确定模块，用于对每个输入图像及对应的输出图像进行深度学习，确定目标车载平视显示系统对应的图像处理模型；
第二确定模块，用于根据图像处理模型及每个输入图像，确定每个输入图像对应的参考图像；
第三确定模块，用于对每个输入图像对应的参考图像及输入图像进行深度学习，确定预设的矫正模型。
在本申请实施例一种可能的实现方式中，上述采集模块，具体用于：利用图像采集设备采集每个输入图像对应的输出图像；
该装置还可包括：
第四确定模块，用于确定图像采集设备的第一分辨率与输入图像对应的第二分辨率一致。
在本申请实施例一种可能的实现方式中，若图像采集设备的第一分辨率与输入图像对应的第二分辨率不同，该装置还可包括：
第五确定模块，用于根据图像采集设备的第一分辨率及输入图像对应的第二分辨率，确定每个输出图像与对应的输入图像间的缩放矩阵；
上述第一确定模块，具体用于：
根据每个输出图像与对应的输入图像间的缩放矩阵、将每个输入图像进行缩放处理，得到缩放图像；
对每个缩放图像及对应的输出图像进行深度学习，确定目标车载平视显示系统对应的图像处理模型。
在本申请实施例一种可能的实现方式中，上述第二获取模块，具体用于：
利用预设的图像生成函数，生成目标车载平视显示系统对应的训练数据集；
该装置还可包括：
判断模块，用于判断图像处理模型的准确度是否大于阈值；
生成模块，用于当图像处理模型的准确度小于或等于阈值时，对预设的图像生成函数进行调整，以生成新的训练数据集。
在本申请实施例一种可能的实现方式中，上述生成模块，具体用于：
对预设的图像生成函数的取值和/或包含的元素数量进行调整。
需要说明的是，上述对车载平视显示系统图像畸变矫正方法实施例的解释说明，也适用于该实施例的车载平视显示系统图像畸变矫正装置，故在此不再赘述。
本申请实施例的车载平视显示系统图像畸变矫正装置，通过获取待投影的图像，利用预设的矫正模型对待投影的图像进行矫正处理，得到矫正后的待投影的图像，将矫正后的待投影的图像输入目标车载平视显示系统进行投射显示，其中，预设的矫正模型为利用与目标车载平视显示系统对应的训练数据集及目标车载平视显示系统训练生成的。由此，在图像进行投影显示之前，先利用矫正模型对图像进行矫正处理，对图像矫正处理后再输入车载平视显示系统进行投影显示，利用矫正模型进行畸变矫正，相比通过增加光学元件的方式，设计难度低、且成本低。
为了实现上述实施例，本申请实施例还提出一种计算机设备，包括处理器和存储器；
其中，处理器通过读取存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上述实施例所述的车载平视显示系统图像畸变矫正方法。
图5示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图5显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
为了实现上述实施例，本申请实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例所述的车载平视显示系统图像畸变矫正方法。
在本说明书的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种车载平视显示系统图像畸变矫正方法，其特征在于，包括：
获取目标车载平视显示系统对应的训练数据集，其中，所述训练数据集中包括输入图像集；
利用所述目标车载平视显示系统依次将所述输入图像集中的每个输入图像进行投射显示，采集每个输入图像对应的输出图像；
对每个输入图像及对应的输出图像进行深度学习，确定所述目标车载平视显示系统对应的图像处理模型；
根据所述图像处理模型及每个输入图像，确定每个输入图像对应的参考图像；
对每个输入图像对应的参考图像及输入图像进行深度学习，确定所述目标车载平视显示系统对应的矫正模型，其中，所述矫正模型用于对待投影的图像进行矫正处理，得到矫正后的待投影的图像。
2.如权利要求1所述的方法，其特征在于，所述采集每个输入图像对应的输出图像，包括：
利用图像采集设备采集每个输入图像对应的输出图像；
所述对每个输入图像及对应的输出图像进行深度学习，确定所述目标车载平视显示系统对应的图像处理模型之前，还包括：
确定所述图像采集设备的第一分辨率与所述输入图像对应的第二分辨率一致。
3.如权利要求2所述的方法，其特征在于，若所述图像采集设备的第一分辨率与所述输入图像对应的第二分辨率不同，则所述对每个输入图像及对应的输出图像进行深度学习，确定所述目标车载平视显示系统对应的图像处理模型之前，还包括：
根据所述图像采集设备的第一分辨率及所述输入图像对应的第二分辨率，确定每个输出图像与对应的输入图像间的缩放矩阵；
所述对每个输入图像及对应的输出图像进行深度学习，确定所述目标车载平视显示系统对应的图像处理模型，包括：
根据每个输出图像与对应的输入图像间的缩放矩阵、将每个输入图像进行缩放处理，得到缩放图像；
对每个缩放图像及对应的输出图像进行深度学习，确定所述目标车载平视显示系统对应的图像处理模型。
4.如权利要求1所述的方法，其特征在于，所述获取目标车载平视显示系统对应的训练数据集，包括：
利用预设的图像生成函数，生成所述目标车载平视显示系统对应的训练数据集；
所述对每个输入图像及对应的输出图像进行深度学习，确定所述目标车载平视显示系统对应的图像处理模型之后，还包括：
判断所述图像处理模型的准确度是否大于阈值；
若否，则对所述预设的图像生成函数进行调整，以生成新的训练数据集。
5.如权利要求4所述的方法，其特征在于，所述对所述预设的图像生成函数进行调整，包括：
对所述预设的图像生成函数的取值和/或包含的元素数量进行调整。
6.一种车载平视显示系统图像畸变矫正装置，其特征在于，包括：
第二获取模块，用于获取目标车载平视显示系统对应的训练数据集，其中，所述训练数据集中包括输入图像集；
采集模块，用于利用所述目标车载平视显示系统依次将所述输入图像集中的每个输入图像进行投射显示，采集每个输入图像对应的输出图像；
第一确定模块，用于对每个输入图像及对应的输出图像进行深度学习，确定所述目标车载平视显示系统对应的图像处理模型；
第二确定模块，用于根据所述图像处理模型及每个输入图像，确定每个输入图像对应的参考图像；
第三确定模块，用于对每个输入图像对应的参考图像及输入图像进行深度学习，确定所述目标车载平视显示系统对应的矫正模型，其中，所述矫正模型用于对待投影的图像进行矫正处理，得到矫正后的待投影的图像。
7.如权利要求6所述的装置，其特征在于，所述采集模块，具体用于：利用图像采集设备采集每个输入图像对应的输出图像；
所述装置还包括：
第四确定模块，用于确定所述图像采集设备的第一分辨率与所述输入图像对应的第二分辨率一致。
8.如权利要求7所述的装置，其特征在于，若所述图像采集设备的第一分辨率与所述输入图像对应的第二分辨率不同，所述装置还包括：
第五确定模块，用于根据所述图像采集设备的第一分辨率及所述输入图像对应的第二分辨率，确定每个输出图像与对应的输入图像间的缩放矩阵；
所述第一确定模块，具体用于：
根据每个输出图像与对应的输入图像间的缩放矩阵、将每个输入图像进行缩放处理，得到缩放图像；
对每个缩放图像及对应的输出图像进行深度学习，确定所述目标车载平视显示系统对应的图像处理模型。
9.如权利要求6所述的装置，其特征在于，所述第二获取模块，具体用于：
利用预设的图像生成函数，生成所述目标车载平视显示系统对应的训练数据集；
所述装置还包括：
判断模块，用于判断所述图像处理模型的准确度是否大于阈值；
生成模块，用于当所述图像处理模型的准确度小于或等于阈值时，对所述预设的图像生成函数进行调整，以生成新的训练数据集。
10.如权利要求9所述的装置，其特征在于，所述生成模块，具体用于：
对所述预设的图像生成函数的取值和/或包含的元素数量进行调整。
11.一种计算机设备，其特征在于，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-5中任一所述的车载平视显示系统图像畸变矫正方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的车载平视显示系统图像畸变矫正方法。
CN202111204135.6A 2019-04-04 2019-04-04 车载平视显示系统图像畸变矫正方法和装置 Withdrawn CN114037620A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111204135.6A CN114037620A (zh) 2019-04-04 2019-04-04 车载平视显示系统图像畸变矫正方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910270514.1A CN109993713B (zh) 2019-04-04 2019-04-04 车载平视显示系统图像畸变矫正方法和装置
CN202111204135.6A CN114037620A (zh) 2019-04-04 2019-04-04 车载平视显示系统图像畸变矫正方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910270514.1A Division CN109993713B (zh) 2019-04-04 2019-04-04 车载平视显示系统图像畸变矫正方法和装置

Publications (1)

Publication Number Publication Date
CN114037620A true CN114037620A (zh) 2022-02-11

Family

ID=67132386

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111204135.6A Withdrawn CN114037620A (zh) 2019-04-04 2019-04-04 车载平视显示系统图像畸变矫正方法和装置
CN201910270514.1A Active CN109993713B (zh) 2019-04-04 2019-04-04 车载平视显示系统图像畸变矫正方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910270514.1A Active CN109993713B (zh) 2019-04-04 2019-04-04 车载平视显示系统图像畸变矫正方法和装置

Country Status (1)

Country Link
CN (2) CN114037620A (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942434B (zh) * 2019-11-22 2023-05-05 华兴源创(成都)科技有限公司 一种显示面板的显示补偿系统及方法
CN111141492B (zh) * 2019-12-13 2021-11-02 中国航空工业集团公司洛阳电光设备研究所 一种平视显示系统光机校验台
CN112995620B (zh) * 2019-12-17 2024-01-02 青岛海高设计制造有限公司 用于矫正柱面投影的方法、用于柱面投影的装置和家电
CN111260586B (zh) 2020-01-20 2023-07-04 北京百度网讯科技有限公司 扭曲文档图像的矫正方法和装置
CN114415369B (zh) * 2020-05-15 2024-09-06 华为技术有限公司 成像方法、成像装置、光学成像系统及车辆
CN113628282A (zh) * 2021-08-06 2021-11-09 深圳市道通科技股份有限公司 图案投影矫正装置、方法及计算机可读存储介质
CN114581290B (zh) * 2022-03-03 2024-06-28 合众新能源汽车股份有限公司 一种基于hud的用户图像显示方法及装置
CN115115552B (zh) * 2022-08-25 2022-11-18 腾讯科技（深圳）有限公司 图像矫正模型训练及图像矫正方法、装置和计算机设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202075492U (zh) * 2011-06-15 2011-12-14 陈嘉华 车后窗影像信息发布系统
CN102663734A (zh) * 2012-03-15 2012-09-12 天津理工大学 鱼眼镜头的标定及鱼眼图像的畸变矫正方法
JP6390032B2 (ja) * 2015-09-02 2018-09-19 カルソニックカンセイ株式会社 ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置
CN105404006A (zh) * 2015-12-24 2016-03-16 深圳点石创新科技有限公司 一种抬头显示装置
CN108876725A (zh) * 2017-05-12 2018-11-23 深圳市魔眼科技有限公司 一种虚拟图像畸变矫正方法及系统
CN107527324B (zh) * 2017-07-13 2019-07-12 江苏泽景汽车电子股份有限公司 一种hud的图像畸变矫正方法
CN107749048B (zh) * 2017-07-31 2021-06-08 中国银联股份有限公司 图像矫正系统及方法、色盲图像矫正系统及方法
CN108053373A (zh) * 2017-12-05 2018-05-18 长沙全度影像科技有限公司 一种基于深度学习模型鱼眼图像校正方法
CN108171673B (zh) * 2018-01-12 2024-01-23 京东方科技集团股份有限公司 图像处理方法、装置、车载抬头显示系统及车辆
CN108470328A (zh) * 2018-03-28 2018-08-31 百度在线网络技术（北京）有限公司 用于处理图像的方法和装置
CN109034017B (zh) * 2018-07-12 2021-05-14 北京华捷艾米科技有限公司 头部姿态估计方法及机器可读存储介质

Also Published As

Publication number Publication date
CN109993713A (zh) 2019-07-09
CN109993713B (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN109993713B (zh) 车载平视显示系统图像畸变矫正方法和装置
CN110969580B (zh) 图像显示方法和装置
CN109873997A (zh) 投影画面校正方法及装置
CN112614192B (zh) 一种车载相机的在线标定方法和车载信息娱乐系统
US11657535B2 (en) System and method for optimal camera calibration
CN110618803B (zh) 图像显示方法和装置
CN110070623B (zh) 引导线绘制提示方法、装置、计算机设备和存储介质
CN110084230B (zh) 基于图像的车身方向检测方法和装置
CN113807160A (zh) 图像采集设备劫持的检测方法、装置及计算机设备
CN113672077A (zh) 一种数据处理方法及其设备
CN114494448A (zh) 标定误差的评估方法、装置、计算机设备及存储介质
CN114418908A (zh) 图像处理方法、装置、电子设备及存储介质
CN110189242B (zh) 图像处理方法和装置
CN112114427A (zh) Hud投影高度的调节方法、装置、设备及车辆
CN117061727A (zh) 倒车影像流畅度测试方法、设备及倒车影像系统
CN116862788A (zh) 一种cms视野校核方法、系统、装置及存储介质
CN113837987B (zh) 舌部图像采集方法、装置及计算机设备
CN115205138A (zh) 图像畸变的矫正方法和系统
CN114821544A (zh) 感知信息生成方法、装置、车辆、电子设备及存储介质
CN115578283B (zh) Hud成像的畸变矫正方法、装置、终端设备及存储介质
US20240112307A1 (en) Image processing device and image display device
CN113063432B (zh) 一种烟雾环境下的可见光视觉导航方法
CN118628368B (zh) 获取hdr图像的融合比例的方法、装置、设备及介质
CN111126105B (zh) 人体关键点检测方法和装置
CN115866400A (zh) 防抖控制方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220211

WW01 Invention patent application withdrawn after publication