CN117857757A - 图像投影方法、装置、电子设备和存储介质 - Google Patents

图像投影方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN117857757A
CN117857757A CN202311629123.7A CN202311629123A CN117857757A CN 117857757 A CN117857757 A CN 117857757A CN 202311629123 A CN202311629123 A CN 202311629123A CN 117857757 A CN117857757 A CN 117857757A
Authority
CN
China
Prior art keywords
image
projection
camera view
view cone
front windshield
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311629123.7A
Other languages
English (en)
Inventor
李凡
韩雨龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Dongruan Zhixing Technology Co ltd
Dongsoft Group Dalian Co ltd
Neusoft Corp
Original Assignee
Dalian Dongruan Zhixing Technology Co ltd
Dongsoft Group Dalian Co ltd
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Dongruan Zhixing Technology Co ltd, Dongsoft Group Dalian Co ltd, Neusoft Corp filed Critical Dalian Dongruan Zhixing Technology Co ltd
Priority to CN202311629123.7A priority Critical patent/CN117857757A/zh
Publication of CN117857757A publication Critical patent/CN117857757A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/001Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles integrated in the windows, e.g. Fresnel lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本公开涉及一种图像投影方法、装置、电子设备和存储介质,涉及车辆抬头显示技术领域,该方法包括:确定投影装置待投影到车辆前挡风玻璃上的原始图像,根据前挡风玻璃的畸变参数,确定原始图像的期望外形参数。并根据期望外形参数,通过在模拟的相机视锥体中进行模拟投影,确定满足期望外形参数的任一投影显示图像在相机视锥体中的位置信息,进而基于该位置信息,将原始图像渲染到相机视锥体中,得到包括原始图像的图像内容的校正图像,最后将校正图像投影至前挡风玻璃,即可在前挡风玻璃上显示出与原始图像的形状一致的目标投影显示图像。

Description

图像投影方法、装置、电子设备和存储介质
技术领域
本公开涉及车辆抬头显示技术领域,具体地,涉及一种图像投影方法、装置、电子设备和存储介质。
背景技术
针对车辆的抬头显示,由于汽车前挡风玻璃与投影装置之间并不是垂直的,有一定的倾斜角,导致投影到前挡风玻璃上的图像会产生畸变效果,例如,投影前的矩形图像投影到前挡风玻璃上时,驾驶员从正面看上去呈现出梯形(上短下长)的图像效果,从而影响用户体验。
发明内容
本公开的目的是提供一种图像投影方法、装置、电子设备和存储介质,通过前挡风玻璃的畸变参数来确定期望的对应于原始图像的投影外形,并基于该投影外形,模拟投影得到包括原始图像的图像内容的校正图像,再将校正图像投影出去,即可得到与原始图像的形状一致且内容准确的目标投影显示图像,提高用户的体验。
根据本公开实施例的第一方面,提供一种图像投影方法,包括:
确定投影装置待投影到车辆前挡风玻璃上的原始图像;
根据所述前挡风玻璃的畸变参数,确定所述原始图像的期望外形参数,所述畸变参数表征所述前挡风玻璃对所述投影装置投影的图像的畸变情况,所述期望外形参数表征期望的所述投影装置对所述原始图像校正畸变后的投影外形;
根据所述期望外形参数,通过在模拟的相机视锥体中进行模拟投影,确定满足所述期望外形参数的任一投影显示图像在所述相机视锥体中的位置信息;
基于所述位置信息,将所述原始图像渲染到所述相机视锥体中,得到包括所述原始图像的图像内容的校正图像;
将所述校正图像投影至所述前挡风玻璃,以在所述前挡风玻璃上显示出与所述原始图像的形状一致的目标投影显示图像。
可选地,所述根据所述期望外形参数,通过在模拟的相机视锥体中进行模拟投影,确定满足所述期望外形参数的任一投影显示图像在所述相机视锥体中的位置信息的步骤,具体包括:
在所述相机视锥体中放入任意图像;
以在所述相机视锥体的近平面上投影出与所述期望外形参数相符的投影显示图像为目标,对所述任意图像在所述相机视锥体中的外形进行调整,得到调整后的所述任意图像在所述相机视锥体中的所述位置信息。
可选地,所述位置信息包括投影坐标;
所述得到调整后的所述任意图像在所述相机视锥体中的所述位置信息的步骤,具体包括:
根据所述期望外形参数、所述调整后的所述任意图像的基准距离以及所述相机视锥体对应的视场角,确定所述调整后的所述任意图像在所述相机视锥体中的所述投影坐标,所述基准距离为所述调整后的所述任意图像与所述相机视锥体的顶点的距离。
可选地,所述原始图像的形状为矩形;
所述期望外形参数包括上边缘期望长度、下边缘期望长度和总期望高度,所述基准距离包括第一坐标参数,所述第一坐标参数为所述调整后的所述任意图像的上边缘与所述相机视锥体的中轴线的交点到所述相机视锥体的顶点的距离。
可选地,所述根据所述期望外形参数、所述调整后的所述任意图像的基准距离以及所述相机视锥体对应的视场角,确定所述调整后的所述任意图像在所述相机视锥体中的所述投影坐标的步骤,具体包括:
根据所述第一坐标参数、所述视场角以及所述上边缘期望长度、所述下边缘期望长度和所述总期望高度,确定所述调整后的所述任意图像的第二坐标参数,所述第二坐标参数包括所述调整后的所述任意图像的上边缘长度、下边缘长度、上边缘高度、下边缘高度和下边缘距离,所述上边缘高度为所述调整后的所述任意图像的上边缘到所述相机视锥体的中轴线的距离,所述下边缘高度为所述调整后的所述任意图像的下边缘到所述相机视锥体的中轴线的距离,所述下边缘距离为所述调整后的所述任意图像的下边缘与所述相机视锥体的中轴线的交点到所述相机视锥体的顶点的距离;
根据所述第一坐标参数和所述第二坐标参数,确定所述调整后的所述任意图像在所述相机视锥体中的所述投影坐标。
可选地,在根据所述前挡风玻璃的畸变参数,确定所述原始图像的期望外形参数之前,所述方法还包括:
确定所述原始图像在所述前挡风玻璃上的目标投影区域;
确定所述目标投影区域对应的畸变参数;
将所述目标投影区域对应的畸变参数确定为所述前挡风玻璃的畸变参数;
所述将所述校正图像投影至所述前挡风玻璃的步骤,具体包括:
将所述校正图像投影至所述前挡风玻璃上的所述目标投影区域。
可选地,所述根据所述前挡风玻璃的畸变参数,确定所述原始图像的期望外形参数的步骤,具体包括:
基于所述前挡风玻璃的畸变参数,得到校正参数;
根据所述校正参数,对所述原始图像进行校正,得到所述原始图像的期望外形参数。
可选地,所述确定所述目标投影区域对应的畸变参数的步骤,具体包括:
获取原始投影显示图像,所述原始投影显示图像为在将样本图像投影至所述目标投影区域的情况下,驾驶员视角所对应的投影图像;
根据所述原始投影图像和所述样本图像,得到所述目标投影区域对应的畸变参数。
可选地,所述车辆的前挡风玻璃包括至少一个标定区域,一个标定区域关联一个标定畸变参数;
所述确定所述目标投影区域对应的畸变参数的步骤,具体包括:
在所述目标投影区域为标定区域的情况下,获取所述目标投影区域关联的标定畸变参数,得到所述目标投影区域对应的畸变参数。
可选地,所述确定所述原始图像在所述前挡风玻璃上的目标投影区域的步骤,具体包括:
获取所述车辆的驾驶员的目标视角;
基于所述目标视角,确定所述原始图像在所述前挡风玻璃上的目标投影区域,所述目标投影区域为位于所述前挡风玻璃上的投影区域内且与所述目标视角对应的区域。
根据本公开实施例的第二方面,提供一种图像投影装置,包括:
第一确定模块,被配置为确定投影装置待投影到车辆前挡风玻璃上的原始图像;
第二确定模块,被配置为根据所述前挡风玻璃的畸变参数,确定所述原始图像的期望外形参数,所述畸变参数表征所述前挡风玻璃对所述投影装置投影的图像的畸变情况,所述期望外形参数表征期望的所述投影装置对所述原始图像校正畸变后的投影外形;
第三确定模块,被配置为根据所述期望外形参数,通过在模拟的相机视锥体中进行模拟投影,确定满足所述期望外形参数的任一投影显示图像在所述相机视锥体中的位置信息;
获得模块,被配置为基于所述位置信息,将所述原始图像渲染到所述视锥体中,得到包括所述原始图像的图像内容的校正图像;
投影模块,被配置为将所述校正图像投影至所述前挡风玻璃,以在所述前挡风玻璃上显示出与所述原始图像的形状一致的目标投影显示图像。
根据本公开实施例的第三方面,提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一方面中所述方法的步骤。
根据本公开实施例的第四方面,提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现上述第一方面中所述方法的步骤。
通过上述技术方案,先确定投影装置待投影到车辆前挡风玻璃上的原始图像,再根据前挡风玻璃的畸变参数,确定原始图像的期望外形参数,该畸变参数表征前挡风玻璃对投影装置投影的图像的畸变情况,该期望外形参数表征期望的投影装置对原始图像校正畸变后的投影外形。并根据期望外形参数,通过在模拟的相机视锥体中进行模拟投影,确定满足期望外形参数的任一投影显示图像在相机视锥体中的位置信息,进而基于该位置信息,将原始图像渲染到相机视锥体中,得到包括原始图像的图像内容的校正图像,最后将校正图像投影至前挡风玻璃,即可在前挡风玻璃上显示出与原始图像的形状一致的目标投影显示图像。
通过先确定具备期望外形参数的校正图像,再将校正图像投影出去,从而能够对前挡风玻璃造成的畸变进行校正,以便得到与原始图像的形状一致的目标投影显示图像,提高用户的体验,且该校正图像基于期望外形参数和原始图像的内容,通过模拟投影得到,能够使得到的校正图像的内容更加准确,进而使投影出的目标投影显示图像的内容更加准确且自然。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是本公开根据一示例性实施例示出的一种图像投影方法的流程图。
图2是本公开根据一示例性实施例示出的一种校正图像的示意图。
图3是本公开根据一示例性实施例示出的一种确定位置信息的方法的流程图。
图4是本公开根据一示例性实施例示出的一种相机视锥体的示意图。
图5是本公开根据一示例性实施例示出的一种调整后的该任意图像的正面示意图。
图6是本公开根据一示例性实施例示出的一种模拟投影得到的校正图像的示意图。
图7是本公开根据一示例性实施例示出的一种图像投影装置的框图。
图8是本公开根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
在本公开实施例中尽管在附图中以特定的顺序描述操作或步骤,但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作或步骤,或是要求执行全部所示的操作或步骤以得到期望的结果。在本公开的实施例中,可以串行执行这些操作或步骤;也可以并行执行这些操作或步骤;也可以执行这些操作或步骤中的一部分。
可以理解的是,在使用本公开各实施例公开的技术方案之前,均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
同时,可以理解的是,本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
下面结合具体实施例对本公开进行说明。
图1是本公开根据一示例性实施例示出的一种图像投影方法的流程图,图2是本公开根据一示例性实施例示出的一种校正图像的示意图,如图1和图2所示,该方法可包括以下步骤:
在步骤S101中,确定投影装置待投影到车辆前挡风玻璃上的原始图像。
在步骤S102中,根据前挡风玻璃的畸变参数,确定原始图像的期望外形参数,该畸变参数表征前挡风玻璃对投影装置投影的图像的畸变情况,该期望外形参数表征期望的投影装置对原始图像校正畸变后的投影外形。
在步骤S103中,根据期望外形参数,通过在模拟的相机视锥体中进行模拟投影,确定满足期望外形参数的任一投影显示图像在相机视锥体中的位置信息。
在步骤S104中,基于位置信息,将原始图像渲染到相机视锥体中,得到包括原始图像的图像内容的校正图像。
在步骤S105中,将校正图像投影至前挡风玻璃,以在前挡风玻璃上显示出与原始图像的形状一致的目标投影显示图像。
本公开实施例中,投影装置可为车辆的抬头显示装置,例如AR-HUD(AugmentedReality-head-up display,增强现实抬头显示)产品。原始图像即为投影装置中待投影到车辆的前挡风玻璃上的图像。该原始图像可包括车辆工作的各种数据以及车道、模拟车辆等,也可为其它娱乐性的视频内容、图像内容以及文本内容等。
由于车辆的前挡风玻璃与投影装置之间并不是垂直的,有一定的倾斜角,导致投影到前挡风玻璃上的图像会产生畸变。本公开实施例中,可基于该车辆的前挡风玻璃的畸变参数,预先确定一个用于对前挡风玻璃的畸变参数进行校正,且与原始图像对应的期望外形参数,该期望外形参数可包括期望形状和期望尺寸。其中,该畸变参数表征前挡风玻璃对投影装置投影的图像的畸变情况,该畸变情况可为前挡风玻璃对投影装置投影的图像在不同位置的缩放程度。例如,若原始图像为一个矩形图像,若直接通过投影装置将原始图像投影至前挡风玻璃上,会使投影出的图像呈现上短下长的梯形。从而可基于前挡风玻璃的畸变参数,预先确定出一个上长下短的梯形图像作为校正图像,如图2所示,以便对前挡风玻璃对原始图像投影造成的畸变进行校正。再将校正图像投影至前挡风玻璃上,即可得到与原始图像的形状一致的目标投影显示图像,以便提高用户的驾驶体验。
其中,可基于期望外形参数,通过模拟投影的方式投影出包括原始图像的图像内容的校正图像。具体地,可基于期望外形参数,通过在模拟的相机视锥体中进行模拟投影,确定满足期望外形参数的任一投影显示图像在相机视锥体中的位置信息。并基于该位置信息,将原始图像渲染到视锥体中,得到包括原始图像的图像内容的校正图像。其中,位置信息可包括原始图像在模拟的相机视锥体中的投影坐标。以便基于该投影坐标,将原始图像渲染至相机视锥体中,从而通过模拟投影,在相机视锥体的近平面上投影出包括原始图像的图像内容的校正图像。通过模拟投影得到的校正图像,不需要计算原始图像中的复杂的纹理坐标,避免大量的坐标计算造成的纹理坐标的错误,能够得到更加准确且自然的校正图像,以便投影出更加准确且自然的目标投影显示图像。
图3是本公开根据一示例性实施例示出的一种确定位置信息的方法的流程图,图4是本公开根据一示例性实施例示出的一种相机视锥体的示意图,如图3和图4所示,在一些实施例中,根据期望外形参数,通过在模拟的相机视锥体中进行模拟投影,确定满足期望外形参数的任一投影显示图像在相机视锥体中的位置信息,可包括以下步骤:
在步骤S301中,在相机视锥体中放入任意图像。
在步骤S302中,以在相机视锥体的近平面上投影出与期望外形参数相符的投影显示图像为目标,对任意图像在相机视锥体中的外形进行调整,得到调整后的该任意图像在相机视锥体中的位置信息。在本公开实施例中,可在模拟出的相机视锥体中放入任意图像,该任意图像可为原始图像,也可为其它图像,模拟出的相机视锥体可基于投影装置的参数模拟得到,也可基于其它任意相机的参数模拟得到。相机视锥体的大小由对应的相机或者投影装置的视场角确定,只有在相机视锥体内的近平面与远平面之间的图像才能够被投射显示出来,并显示在相机视锥体的近平面上。
在本实施方式中,期望外形参数可包括待投影出的校正图像的期望形状和期望尺寸,以在相机视锥体的近平面上投影出与期望外形参数相符的投影显示图像为目标,对该任意图像在相机视锥体中的外形进行调整,其中,调整方式包括但不限于对该任意图像的部分位置进行拉伸或者缩小,以及,调整该任意图像在相机视锥体中距离相机视锥体的顶点的距离,以及,对该任意图像进行斜放等等。在调整的过程中,能够实时得到对应的调整后的该任意图像在相机视锥体中的近平面上的投影图像,并基于该投影图像的外形参数和期望外形参数之间的距离,持续调整。通过不断调整,直到在相机视锥体的近平面上投影出满足期望外形参数的图像,即投影出形状与尺寸与期望外形参数中的形状和尺寸均相同的图像为止,并确定最终调整后的任意图像在相机视锥体中的位置信息。即,满足该位置信息的任意图像均能够在相机视锥体的近平面上投影出满足期望外形参数的投影显示图像,进而在将原始图像基于该位置信息渲染到相机视锥体中,即可在相机视锥体的近平面上投影得到包括原始图像的图像内容,且满足期望外形参数的校正图像。
在一些实施例中,得到调整后的任意图像在相机视锥体中的位置信息,可包括以下步骤:
根据期望投影形状、调整后的该任意图像的基准距离以及相机视锥体对应的视场角,确定调整后的该任意图像在相机视锥体中的投影坐标。
在本公开实施例中,位置信息可包括投影坐标,该投影坐标为图像在相机视锥体中的坐标,可基于期望投影形状、调整后的该任意图像的基准距离以及相机视锥体对应的视场角,计算得到调整后的该任意图像在相机视锥体中的顶点坐标,并将该调整后的该任意图像在相机视锥体中的顶点坐标确定为调整后的任意图像在相机视锥体中的投影坐标。进而可基于该投影坐标,将原始图像渲染到相机视锥体中,即可在相机视锥体的近平面上投影得到包括原始图像的图像内容,且满足期望外形参数的校正图像。
可选地,原始图像可为矩形图像,对应的校正图像的形状可为梯形。期望外形参数可包括上边缘期望长度、下边缘期望长度和总期望高度。基准距离包括第一坐标参数,第一坐标参数为调整后的该任意图像的上边缘与相机视锥体的中轴线的交点到相机视锥体的顶点的距离。
在一些实施例中,根据期望外形参数、调整后的该任意图像的基准距离以及相机视锥体对应的视场角,确定调整后的任意图像在相机视锥体中的投影坐标,可包括以下步骤:
根据第一坐标参数、视场角以及上边缘期望长度、下边缘期望长度和总期望高度,确定调整后的任意图像的第二坐标参数,第二坐标参数包括调整后的该任意图像的上边缘长度、下边缘长度、上边缘高度、下边缘高度和下边缘距离,上边缘高度为调整后的任意图像的上边缘到相机视锥体的中轴线的距离,下边缘高度为调整后的任意图像的下边缘到相机视锥体的中轴线的距离,下边缘距离为调整后的任意图像的下边缘与相机视锥体的中轴线的交点到相机视锥体的顶点的距离;根据第一坐标参数和第二坐标参数,确定调整后的该任意图像在相机视锥体中的投影坐标。
在本公开实施例中,第二坐标参数包括调整后的该任意图像的上边缘长度、下边缘长度、上边缘高度、下边缘高度和下边缘距离。上边缘高度为调整后的该任意图像的上边缘到视锥体的中轴线的距离,下边缘高度为调整后的该任意图像的下边缘到视锥体的中轴线的距离,下边缘距离为调整后的该任意图像的下边缘与视锥体的中轴线的交点到相机的距离。基于调整后的该任意图像的上边缘长度、下边缘长度、上边缘高度、下边缘高度、下边缘距离,以及调整后的该任意图像的上边缘与相机视锥体的中轴线的交点到相机视锥体的顶点的距离,即可得到调整后的该任意图像的四个顶点在相机视锥体中的顶点坐标。其中,该调整后的该任意图像的四个顶点的顶点坐标可为基于该相机视锥体的坐标系所对应的坐标,以相机视锥体水平横放为例,该相机视锥体的坐标系可以为以相机视锥体的顶点为原点,相机视锥体的中轴线为Z轴,水平方向且与相机视锥体的中轴线垂直的方向为X轴,竖直方向为Y轴。
下面以一个示例来对得到投影坐标的过程进行说明:
图5是本公开根据一示例性实施例示出的一种调整后的该任意图像的正面示意图,参考图2、图4和图5,示例性地,假设原始图像为矩形,投影出的校正图像满足期望外形参数,即校正图像的样子即为上长下短的梯形,假设满足期望外形参数的校正图像的上边缘期望长度L1为800,下边缘期望长度L2为720,总期望高度H1为480;调整后的该任意图像在相机视锥体中的基准距离,即调整后的该任意图像的上边缘与相机视锥体的中轴线的交点到相机视锥体的顶点的距离Z1为1000,相机视锥体对应的视场角θ为45度,则可基于余弦函数,得到调整后的该任意图像的上边缘高度h,其计算公式可为:
再根据上边缘高度h、上边缘期望长度L1和总期望高度H1,确定调整后的该任意图像的上边缘长度W1,其计算公式可为:
W1=2h×L1÷H1=2×414.21×800÷480=1380.7
再根据上边缘长度W1、上边缘期望长度L1和下边缘期望长度L2,确定调整后的该任意图像的下边缘最大宽度W2,其中,下边缘最大宽度W2为下边缘处与上边缘长度W1的显示长度相等的长度所对应的实际长度,其计算公式可为:
W2=W1×L1÷L2=1380.7×800÷720=1534.11
再根据下边缘最大宽度W2、上边缘期望长度L1和总期望高度H1,确定下边缘高度h1,其计算公式可为:
h1=W2×H1÷2L1=1534.11×480÷(2×800)=460.23
再根据下边缘高度h1和相机视锥体对应的视场角θ,确定调整后的该任意图像的下边缘距离Z2,其计算公式可为:
下边缘长度W3与上边缘长度W1相同,从而根据上述计算方法,即可得到调整后的该任意图像的上边缘长度、下边缘长度、上边缘高度、下边缘高度和下边缘距离,从而得到调整后的该任意图像的多个顶点坐标,即投影坐标,可为(-690.35,414.21,1000),(690.35,414.21,1000),(-690.35,-460.23,1111.1)和(690.35,-460.23,1111.1)。
图6是本公开根据一示例性实施例示出的一种模拟投影得到的校正图像的示意图,示例地,为了便于观察图像前后的变化,原始图像以整齐的呈矩形的白色阵列点组成,对原始图像按照投影坐标进行渲染后并模拟投影得到的校正图像如图6所示。其中,白色的阵列点即为校正图像,黑色背景为投影区域的背景,校正图像中的白色的阵列点之间的间隔出现了变化,上部的阵列点之间的间隔大于下部的阵列点之间的间隔,导致校正图像由整齐的矩形变为了上宽下窄的梯形。
在一些实施例中,在根据前挡风玻璃的畸变参数,确定原始图像的期望外形参数之前,还可先确定该前挡风玻璃的畸变参数,具体方法可包括以下步骤:
确定原始图像在前挡风玻璃上的目标投影区域;确定目标投影区域对应的畸变参数;将目标投影区域对应的畸变参数确定为前挡风玻璃的畸变参数。
在本公开实施例中,基于投影装置与前挡风玻璃的相对位置,在前挡风玻璃的不同的投影区域,其对投影装置投影的图像的畸变情况是不同的,即前挡风玻璃上的不同的投影区域可对应不同的畸变参数。可先确定原始图像在前挡风玻璃上的目标投影区域,进而获取该目标投影区域对应的畸变参数,进而将目标投影区域对应的畸变参数确定为前挡风玻璃的畸变参数。以便根据该畸变参数,确定原始图像的期望外形参数,进而通过模拟投影得到包括原始图像的图像内容,且满足期望外形参数的校正图像。
由于确定了原始图像的目标投影区域,在得到校正图像之后,即可将校正图像投影至前挡风玻璃上的目标投影区域,即可在前挡风玻璃上显示出与原始图像的形状一致的目标投影显示图像。
可选地,投影装置在车辆的前挡风玻璃上的目标投影区域可以是固定的,也可以是变化的,其中,在目标投影区域是变化的情况下,在一定的范围内,该目标投影区域可根据车辆的驾驶员的目标视角的变化而变化。
在一些实施例中,确定原始图像在前挡风玻璃上的目标投影区域,可包括以下步骤:
获取车辆的驾驶员的目标视角;基于目标视角,确定原始图像在前挡风玻璃上的目标投影区域,该目标投影区域为位于前挡风玻璃上的投影区域内且与目标视角对应的区域。
在本公开实施例中,目标投影区域可根据车辆的驾驶员的目标视角的变化而变化。其中,由于投影装置的位置关系,无法投影到前挡风玻璃的任意区域,该目标投影区域被限制在前挡风玻璃上的投影区域内,该投影区域即为投影装置能够投影到的区域。可实时或者周期性地获取车辆的驾驶员的目标视角,该目标视角可通过车辆内驾驶位置的摄像头采集的驾驶员的脸部图像确定。并可基于驾驶员的目标视角,确定驾驶员所注视的前挡风玻璃上的对应区域,即可得到目标投影区域。也可先针对驾驶员的不同视角,对每一视角预先关联一个对应的目标投影区域,在得到驾驶员的目标视角后,即可根据关联关系确定对应的目标投影区域。通过追踪驾驶员的视角,能够尽量使驾驶员随时都能看见投影的目标投影图像,以便提升驾驶体验。
在一些实施例中,根据前挡风玻璃的畸变参数,确定原始图像的期望外形参数,可包括以下步骤:
基于前挡风玻璃的畸变参数,得到校正参数;根据校正参数,对原始图像进行校正,得到原始图像的期望外形参数。
在本公开实施例中,可获取该前挡风玻璃的畸变参数,并基于该畸变参数,得到校正参数,该校正参数可为畸变参数的相反数,即,针对原始图像的某一位置,畸变参数针对该位置的具体参数为1.2,即畸变参数对该位置为拉伸1.2倍,则校正参数针对该位置的具体参数可为-1.2,即校正参数则对该位置为缩小1.2倍。进而根据该校正参数对原始图像进行校正处理,得到对应于原始图像的期望外形参数,从而使该期望外形参数能够对原始图像进行校正畸变。
在一些实施例中,确定目标投影区域对应的畸变参数,可包括以下步骤:
获取原始投影图像,原始投影图像为在将样本图像投影至目标投影区域的情况下,驾驶员视角所对应的投影图像;根据原始投影图像和样本图像,得到目标投影区域对应的畸变参数。
在本公开实施例中,可根据样本图像来确定目标投影区域的畸变参数。其中样本图像可为任意图像,例如,棋盘格图像或者其它任意图像。该图像的尺寸可符合投影装置待投影的图像的尺寸,即,该样本图像的尺寸与原始图像的尺寸可相同。通过将样本图像投影至目标投影区域,即可在驾驶员视角获取对应的原始投影图像,即驾驶员视角看见的目标投影区域的投影图像。并基于该原始投影图像与样本图像之间的差距,确定目标投影区域对应的畸变参数。
在一些实施例中,车辆的前挡风玻璃包括至少一个标定区域,一个标定区域关联一个标定畸变参数,确定目标投影区域对应的畸变参数的方法可为:在目标投影区域为标定区域的情况下,获取目标投影区域关联的标定畸变参数,得到目标投影区域对应的畸变参数。
在本公开实施例中,可预先标定前挡风玻璃的至少一个标定区域,并对前挡风玻璃的至少一个标定区域进行畸变参数的关联。在确定目标投影区域之后,即可先判断该目标投影区域是否为标定区域,在该目标投影区域为标定区域的情况下,可直接获取目标投影区域关联的标定畸变参数,得到目标投影区域对应的畸变参数。从而不需要再对目标投影区域的畸变参数进行重新计算,提升投影反应速度。
基于同一发明构思,本公开还提供一种图像投影装置,图7是本公开根据一示例性实施例示出的一种图像投影装置的框图,参照图7,所述图像投影装置700包括:
第一确定模块701,被配置为确定投影装置待投影到车辆前挡风玻璃上的原始图像;
第二确定模块702,被配置为根据所述前挡风玻璃的畸变参数,确定所述原始图像的期望外形参数,所述畸变参数表征所述前挡风玻璃对所述投影装置投影的图像的畸变情况,所述期望外形参数表征期望的所述投影装置对所述原始图像校正畸变后的投影外形;
第三确定模块703,被配置为根据所述期望外形参数,通过在模拟的相机视锥体中进行模拟投影,确定满足所述期望外形参数的任一投影显示图像在所述相机视锥体中的位置信息;
获得模块704,被配置为基于所述位置信息,将所述原始图像渲染到所述相机视锥体中,得到包括所述原始图像的图像内容的校正图像;
投影模块705,被配置为将所述校正图像投影至所述前挡风玻璃,以在所述前挡风玻璃上显示出与所述原始图像的形状一致的目标投影显示图像。
可选地,所述第三确定模块703,具体包括:
放入子模块,被配置为在所述相机视锥体中放入任意图像;
第一获得子模块,被配置为以在所述相机视锥体的近平面上投影出与所述期望外形参数相符的投影显示图像为目标,对所述任意图像在所述相机视锥体中的外形进行调整,得到调整后的所述任意图像在所述相机视锥体中的所述位置信息。
可选地,所述位置信息包括投影坐标;
所述第一获得子模块,具体包括:
确定单元,被配置为根据所述期望外形参数、所述调整后的所述任意图像的基准距离以及所述相机视锥体对应的视场角,确定所述调整后的所述任意图像在所述相机视锥体中的所述投影坐标,所述基准距离为所述调整后的所述任意图像与所述相机视锥体的顶点的距离。
可选地,所述原始图像的形状为矩形;
所述期望外形参数包括上边缘期望长度、下边缘期望长度和总期望高度,所述基准距离包括第一坐标参数,所述第一坐标参数为所述调整后的所述任意图像的上边缘与所述相机视锥体的中轴线的交点到所述相机视锥体的顶点的距离。
可选地,所述确定单元,具体包括:
第一确定子单元,被配置为根据所述第一坐标参数、所述视场角以及所述上边缘期望长度、所述下边缘期望长度和所述总期望高度,确定所述调整后的所述任意图像的第二坐标参数,所述第二坐标参数包括所述调整后的所述任意图像的上边缘长度、下边缘长度、上边缘高度、下边缘高度和下边缘距离,所述上边缘高度为所述调整后的所述任意图像的上边缘到所述相机视锥体的中轴线的距离,所述下边缘高度为所述调整后的所述任意图像的下边缘到所述相机视锥体的中轴线的距离,所述下边缘距离为所述调整后的所述任意图像的下边缘与所述相机视锥体的中轴线的交点到所述相机视锥体的顶点的距离;
第二确定子单元,被配置为根据所述第一坐标参数和所述第二坐标参数,确定所述调整后的所述任意图像在所述相机视锥体中的所述投影坐标。
可选地,所述图像投影装置700还包括:
第四确定模块,被配置为确定所述原始图像在所述前挡风玻璃上的目标投影区域;
第五确定模块,被配置为确定所述目标投影区域对应的畸变参数;
第六确定模块,被配置为将所述目标投影区域对应的畸变参数确定为所述前挡风玻璃的畸变参数;
所述投影模块705,具体包括:
投影子模块,被配置为将所述校正图像投影至所述前挡风玻璃上的所述目标投影区域。
可选地,所述第二确定模块702,具体包括:
第二获得子模块,被配置为基于所述前挡风玻璃的畸变参数,得到校正参数;
第三获得子模块,被配置为根据所述校正参数,对所述原始图像进行校正,得到所述原始图像的期望外形参数。
可选地,所述第五确定模块,具体包括:
第一获取子模块,被配置为获取原始投影显示图像,所述原始投影显示图像为在将样本图像投影至所述目标投影区域的情况下,驾驶员视角所对应的投影图像;
第四获得子模块,被配置为根据所述原始投影图像和所述样本图像,得到所述目标投影区域对应的畸变参数。
可选地,所述车辆的前挡风玻璃包括至少一个标定区域,一个标定区域关联一个标定畸变参数;
所述第五确定模块,具体包括:
第五获得子模块,被配置为在所述目标投影区域为标定区域的情况下,获取所述目标投影区域关联的标定畸变参数,得到所述目标投影区域对应的畸变参数。
可选地,所述第四确定模块,具体包括:
第二获取子模块,被配置为获取所述车辆的驾驶员的目标视角;
确定子模块,被配置为基于所述目标视角,确定所述原始图像在所述前挡风玻璃上的目标投影区域,所述目标投影区域为位于所述前挡风玻璃上的投影区域内且与所述目标视角对应的区域。
关于上述实施例中的图像投影装置700,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
基于同一发明构思,本公开还提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现本公开所提供的图像投影方法的步骤。
图8是本公开根据一示例性实施例示出的一种电子设备的框图,在可能的方式中。参照图8,该电子设备800可以包括:处理器801,存储器802。该电子设备800还可以包括多媒体组件803,输入/输出(I/O)接口804,以及通信组件805中的一者或多者。
其中,处理器801用于控制该电子设备800的整体操作,以完成上述的图像投影方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该电子设备800的操作,这些数据例如可以包括用于在该电子设备800上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该电子设备800与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件805可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的图像投影方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的图像投影方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器802,上述程序指令可由电子设备800的处理器801执行以完成上述的图像投影方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的图像投影方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任一组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

Claims (13)

1.一种图像投影方法,其特征在于,包括:
确定投影装置待投影到车辆前挡风玻璃上的原始图像;
根据所述前挡风玻璃的畸变参数,确定所述原始图像的期望外形参数,所述畸变参数表征所述前挡风玻璃对所述投影装置投影的图像的畸变情况,所述期望外形参数表征期望的所述投影装置对所述原始图像校正畸变后的投影外形;
根据所述期望外形参数,通过在模拟的相机视锥体中进行模拟投影,确定满足所述期望外形参数的任一投影显示图像在所述相机视锥体中的位置信息;
基于所述位置信息,将所述原始图像渲染到所述相机视锥体中,得到包括所述原始图像的图像内容的校正图像;
将所述校正图像投影至所述前挡风玻璃,以在所述前挡风玻璃上显示出与所述原始图像的形状一致的目标投影显示图像。
2.根据权利要求1所述的图像投影方法,其特征在于,
所述根据所述期望外形参数,通过在模拟的相机视锥体中进行模拟投影,确定满足所述期望外形参数的任一投影显示图像在所述相机视锥体中的位置信息的步骤,具体包括:
在所述相机视锥体中放入任意图像;
以在所述相机视锥体的近平面上投影出与所述期望外形参数相符的投影显示图像为目标,对所述任意图像在所述相机视锥体中的外形进行调整,得到调整后的所述任意图像在所述相机视锥体中的所述位置信息。
3.根据权利要求2所述的图像投影方法,其特征在于,所述位置信息包括投影坐标;
所述得到调整后的所述任意图像在所述相机视锥体中的所述位置信息的步骤,具体包括:
根据所述期望外形参数、所述调整后的所述任意图像的基准距离以及所述相机视锥体对应的视场角,确定所述调整后的所述任意图像在所述相机视锥体中的所述投影坐标,所述基准距离为所述调整后的所述任意图像与所述相机视锥体的顶点的距离。
4.根据权利要求3所述的图像投影方法,其特征在于,所述原始图像的形状为矩形;
所述期望外形参数包括上边缘期望长度、下边缘期望长度和总期望高度,所述基准距离包括第一坐标参数,所述第一坐标参数为所述调整后的所述任意图像的上边缘与所述相机视锥体的中轴线的交点到所述相机视锥体的顶点的距离。
5.根据权利要求4所述的图像投影方法,其特征在于,
所述根据所述期望外形参数、所述调整后的所述任意图像的基准距离以及所述相机视锥体对应的视场角,确定所述调整后的所述任意图像在所述相机视锥体中的所述投影坐标的步骤,具体包括:
根据所述第一坐标参数、所述视场角以及所述上边缘期望长度、所述下边缘期望长度和所述总期望高度,确定所述调整后的所述任意图像的第二坐标参数,所述第二坐标参数包括所述调整后的所述任意图像的上边缘长度、下边缘长度、上边缘高度、下边缘高度和下边缘距离,所述上边缘高度为所述调整后的所述任意图像的上边缘到所述相机视锥体的中轴线的距离,所述下边缘高度为所述调整后的所述任意图像的下边缘到所述相机视锥体的中轴线的距离,所述下边缘距离为所述调整后的所述任意图像的下边缘与所述相机视锥体的中轴线的交点到所述相机视锥体的顶点的距离;
根据所述第一坐标参数和所述第二坐标参数,确定所述调整后的所述任意图像在所述相机视锥体中的所述投影坐标。
6.根据权利要求1-5中任一项所述的图像投影方法,其特征在于,
在根据所述前挡风玻璃的畸变参数,确定所述原始图像的期望外形参数之前,所述方法还包括:
确定所述原始图像在所述前挡风玻璃上的目标投影区域;
确定所述目标投影区域对应的畸变参数;
将所述目标投影区域对应的畸变参数确定为所述前挡风玻璃的畸变参数;
所述将所述校正图像投影至所述前挡风玻璃的步骤,具体包括:
将所述校正图像投影至所述前挡风玻璃上的所述目标投影区域。
7.根据权利要求6所述的图像投影方法,其特征在于,
所述根据所述前挡风玻璃的畸变参数,确定所述原始图像的期望外形参数的步骤,具体包括:
基于所述前挡风玻璃的畸变参数,得到校正参数;
根据所述校正参数,对所述原始图像进行校正,得到所述原始图像的期望外形参数。
8.根据权利要求6所述的图像投影方法,其特征在于,
所述确定所述目标投影区域对应的畸变参数的步骤,具体包括:
获取原始投影显示图像,所述原始投影显示图像为在将样本图像投影至所述目标投影区域的情况下,驾驶员视角所对应的投影图像;
根据所述原始投影图像和所述样本图像,得到所述目标投影区域对应的畸变参数。
9.根据权利要求6所述的图像投影方法,其特征在于,所述车辆的前挡风玻璃包括至少一个标定区域,一个标定区域关联一个标定畸变参数;
所述确定所述目标投影区域对应的畸变参数的步骤,具体包括:
在所述目标投影区域为标定区域的情况下,获取所述目标投影区域关联的标定畸变参数,得到所述目标投影区域对应的畸变参数。
10.根据权利要求6所述的图像投影方法,其特征在于,
所述确定所述原始图像在所述前挡风玻璃上的目标投影区域的步骤,具体包括:
获取所述车辆的驾驶员的目标视角;
基于所述目标视角,确定所述原始图像在所述前挡风玻璃上的目标投影区域,所述目标投影区域为位于所述前挡风玻璃上的投影区域内且与所述目标视角对应的区域。
11.一种图像投影装置,其特征在于,包括:
第一确定模块,被配置为确定投影装置待投影到车辆前挡风玻璃上的原始图像;
第二确定模块,被配置为根据所述前挡风玻璃的畸变参数,确定所述原始图像的期望外形参数,所述畸变参数表征所述前挡风玻璃对所述投影装置投影的图像的畸变情况,所述期望外形参数表征期望的所述投影装置对所述原始图像校正畸变后的投影外形;
第三确定模块,被配置为根据所述期望外形参数,通过在模拟的相机视锥体中进行模拟投影,确定满足所述期望外形参数的任一投影显示图像在所述相机视锥体中的位置信息;
获得模块,被配置为基于所述位置信息,将所述原始图像渲染到所述视锥体中,得到包括所述原始图像的图像内容的校正图像;
投影模块,被配置为将所述校正图像投影至所述前挡风玻璃,以在所述前挡风玻璃上显示出与所述原始图像的形状一致的目标投影显示图像。
12.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-10中任一项所述图像投影方法的步骤。
13.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-10中任一项所述图像投影方法的步骤。
CN202311629123.7A 2023-11-30 2023-11-30 图像投影方法、装置、电子设备和存储介质 Pending CN117857757A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311629123.7A CN117857757A (zh) 2023-11-30 2023-11-30 图像投影方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311629123.7A CN117857757A (zh) 2023-11-30 2023-11-30 图像投影方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN117857757A true CN117857757A (zh) 2024-04-09

Family

ID=90536839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311629123.7A Pending CN117857757A (zh) 2023-11-30 2023-11-30 图像投影方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN117857757A (zh)

Similar Documents

Publication Publication Date Title
US20180053286A1 (en) Image processing apparatus and image processing method
CN111107333B (zh) 一种亮度校正方法、系统、设备及计算机可读存储介质
CN112399158B (zh) 投影图像校准方法、装置及投影设备
US11423518B2 (en) Method and device of correcting image distortion, display device, computer readable medium, electronic device
KR100914211B1 (ko) 왜곡 영상 보정 장치 및 방법
CN106648510B (zh) 一种显示分辨率的显示方法及装置
CN111540004A (zh) 单相机极线校正方法及装置
US20140327666A1 (en) Display control system, display control apparatus, storage medium having stored therein display control program, and display control method
CN113170070A (zh) 影像显示装置和方法
US8895829B2 (en) Music playing movement display device, method and recording medium
US20120032951A1 (en) Apparatus and method for rendering object in 3d graphic terminal
CN111324200B (zh) 一种虚拟现实的显示方法及装置、计算机存储介质
CN113256742A (zh) 界面展示方法、装置、电子设备和计算机可读介质
US8675961B2 (en) Image processing system, display device, program and information storage medium for correction of color information
CN115185415A (zh) 扫描数据显示方法、装置、设备及存储介质
CN109741414B (zh) 一种场景中半透明物体的渲染方法、装置及电子设备
JP7318669B2 (ja) 表示方法および表示システム
CN117857757A (zh) 图像投影方法、装置、电子设备和存储介质
JP2022123300A (ja) 表示方法および表示システム
CN114782611B (zh) 图像处理方法、装置、存储介质和电子设备
CN116437061A (zh) 演示图像激光投射方法、装置、计算机设备及存储介质
CN114339179B (zh) 投影校正方法、装置、存储介质以及投影设备
CN115619904A (zh) 图像处理方法、装置及设备
CN111142825B (zh) 多屏视野的显示方法、系统及电子设备
CN114331888A (zh) 一种反畸变方法、装置以及平视显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination