CN114820396B - 图像处理方法、装置、设备及存储介质 - Google Patents
图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114820396B CN114820396B CN202210763577.2A CN202210763577A CN114820396B CN 114820396 B CN114820396 B CN 114820396B CN 202210763577 A CN202210763577 A CN 202210763577A CN 114820396 B CN114820396 B CN 114820396B
- Authority
- CN
- China
- Prior art keywords
- image
- perspective transformation
- partitions
- distance
- partition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000005192 partition Methods 0.000 claims abstract description 238
- 239000011159 matrix material Substances 0.000 claims abstract description 193
- 230000009466 transformation Effects 0.000 claims abstract description 159
- 238000012545 processing Methods 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000001514 detection method Methods 0.000 claims description 44
- 238000004891 communication Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G06T3/02—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Abstract
本申请公开了一种图像处理方法、装置、设备及存储介质,涉及智能驾驶技术领域,该方案可以实现在眼点位置动态变化的情况下对畸变的矫正。该方法包括:获取采集设备基于N个预设眼点位置采集的点阵图像的投影图像;基于特征点将点阵图像划分为M个第一分区,并将N个投影图像分别划分为与M个第一分区对应的M个第二分区;基于M个第一分区中的特征点的像素坐标和M个第二分区中的特征点的像素坐标,分别确定N个投影图像的各第二分区与对应的第一分区的透视变换矩阵,基于透视变换矩阵得到N个透视变换矩阵集合;在车辆行驶过程中,基于驾驶员的当前眼点位置和N个透视变换矩阵集合对待投影的原始图像进行处理,并对处理后的原始图像进行投影。
Description
技术领域
本申请涉及智能驾驶技术领域,尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
随着增强现实(Augmented Reality,AR)技术与抬头显示(Head Up Display,HUD)技术的融合,抬头显示器在智能驾驶车辆中的应用越来越广泛。目前,基于AR技术的抬头显示器可以以车辆挡风玻璃作为显示屏,通过内部的光学系统将车辆行驶过程中的实时车速信息以及前方车辆的信息等形成远距离的虚拟图像,并将虚拟图像与实际交通路况结合起来进行呈现。
然而,由于抬头显示器自身制造误差以及挡风玻璃曲率不均衡等因素的存在,会导致投影在挡风玻璃上的图像存在畸变,影响用户的视觉体验。并且,驾驶员在驾驶过程中眼点位置可能会发生变化,在不同眼点位置观测到的畸变情况也不相同。所以,如何在眼点位置动态变化的情况下对畸变进行矫正,成为亟待解决的技术问题。
发明内容
本申请提供一种图像处理方法、装置、设备及存储介质,该方案可以实现在眼点位置动态变化的情况下对畸变的矫正,可以改善用户的视觉体验。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请提供一种图像处理方法,包括:获取N个投影图像;N个投影图像为,在通过抬头显示器对点阵图像进行投影时,采集设备基于N个预设眼点位置采集的点阵图像的投影图像;N为大于1的正整数;基于点阵图像中的特征点和N个投影图像中的特征点,将点阵图像划分为M个第一分区,并将N个投影图像分别划分为与M个第一分区对应的M个第二分区;M为正整数;基于M个第一分区中的特征点的像素坐标和M个第二分区中的特征点的像素坐标,分别确定N个投影图像的各第二分区与对应的第一分区的透视变换矩阵,并基于透视变换矩阵得到N个透视变换矩阵集合;一个透视变换矩阵集合对应一个预设眼点位置,用于表示一个投影图像与点阵图像的透视变换关系;在车辆行驶过程中,基于驾驶员的当前眼点位置和N个透视变换矩阵集合对待投影的原始图像进行处理,并对处理后的原始图像进行投影。
本申请提供的技术方案中,可以先获取在不同的眼点位置(即本申请中的N个预设眼点位置)采集的点阵图像的投影图像,然后基于特征点对点阵图像和投影图像进行分区划分,之后可以根据M个第一分区中的特征点的像素坐标和M个第二分区中的特征点的像素坐标确定出投影图像的第二分区与点阵图像的第一分区的透视变换矩阵,并得到N个预设眼点位置对应的N个透视变换矩阵集合。之后,在车辆行驶过程中,可以根据驾驶员的当前眼点位置从N个透视变换矩阵集合中选择与当前眼点位置对应的透视变换矩阵集合对待投影的原始图像进行处理,并对处理后的原始图像进行投影。由于透视变换矩阵是根据第二分区与第一分区的像素坐标得到的,所以透视变换矩阵可以表征第二分区与第一分区的透视变换关系,那么根据透视变换矩阵得到的透视变换矩阵集合即可以表示投影图像与点阵图像之间的透视变换关系。因此,采用透视变换矩阵集合对待投影的原始图像进行处理后再进行投影,也即是先将原始图像调整为反向畸变图像,再对反向畸变图像投影,则可以实现对畸变的对冲,从而可以削弱投影过程中产生的畸变。另外,为了实现在眼点位置动态变化的情况下对畸变的矫正,本申请可以根据实时的眼点位置选择不同的透视变换矩阵集合对待投影的原始图像进行处理。
可以看出,本申请提供的技术方案,通过对点阵图像及其N个投影图像进行分区处理,可以确定出N个预设眼点位置处投影图像与点阵图像的N个透视变换矩阵集合。之后,可以在车辆行驶过程中,根据当前眼点位置选择对应的透视变换矩阵集合对原始图像进行处理再投影,因此,可以实现在眼点位置动态变化的情况下对畸变的矫正,从而可以改善用户的视觉体验。
可选的,在一种可能的实施方式中,上述“基于点阵图像中的特征点和N个投影图像中的特征点,将点阵图像划分为M个第一分区,并将N个投影图像分别划分为与M个第一分区对应的M个第二分区”可以包括:
遍历点阵图像中的子点阵,基于点阵图像中的子点阵将点阵图像划分为M个第一分区;并且,分别遍历N个投影图像中的子点阵,基于N个投影图像中的子点阵将N个投影图像分别划分为M个第二分区;点阵图像中的子点阵和N个投影图像中的子点阵包括第一特征点、第二特征点、第三特征点和第四特征点,第一特征点与第二特征点位于同一行的相邻列,第三特征点与第四特征点位于同一行的相邻列,第一特征点与第三特征点位于同一列的相邻行,第二特征点与第四特征点位于同一列的相邻行。
可选的,在另一种可能的实施方式中,上述“基于透视变换矩阵得到N个透视变换矩阵集合”可以包括:
基于第一图像的各第二分区与对应的第一分区的第一透视变换矩阵,对第一图像的各第二分区进行处理,得到第一图像的各第二分区的还原图像;第一图像为N个投影图像中的任一图像;确定第一图像的各第二分区的还原图像与对应的第一分区的畸变率是否小于预设值;在确定畸变率大于或等于预设值的情况下,调整M个第二分区中的特征点的像素坐标,并基于调整后的像素坐标重新确定第一透视变换矩阵,直至畸变率小于预设值;在确定畸变率小于预设值的情况下,根据当前的第一透视变换矩阵确定第一透视变换矩阵集合;第一透视变换矩阵集合用于表示第一图像与点阵图像的透视变换关系。
可选的,在另一种可能的实施方式中,上述“基于驾驶员的当前眼点位置和N个透视变换矩阵集合对待投影的原始图像进行处理”可以包括:
基于当前眼点位置,从N个预设眼点位置中确定目标眼点位置,并从N个透视变换矩阵集合中确定出目标眼点位置对应的目标透视变换矩阵集合;根据目标透视变换矩阵集合中的透视变换矩阵,分别对原始图像中的M个第三分区进行处理,得到原始图像的M个第三分区的调整图像;对M个第三分区的调整图像进行拼接处理,得到处理后的原始图像。
可选的,在另一种可能的实施方式中,上述“基于当前眼点位置,从N个预设眼点位置中确定目标眼点位置”可以包括:
获取检测设备与当前眼点位置的实际距离;检测设备用于追踪驾驶员的眼点位置;根据实际距离确定第一距离和第二距离;第一距离为实际距离在第一平面上的投影距离,第二距离为实际距离在第二平面上的投影距离;第一平面垂直于地平面,且第一平面平行于车身纵轴方向;第二平面平行于地平面;基于第一距离、第二距离以及预设距离,从N个预设眼点位置中确定目标眼点位置;预设距离为检测设备到眼盒区域所在的第三平面的距离;第三平面垂直于地平面,且第三平面平行于车身横轴方向。
可选的,在另一种可能的实施方式中,眼盒区域包括九个眼盒分区,一个眼盒分区对应一个预设眼点位置,上述“基于第一距离、第二距离以及预设距离,从N个预设眼点位置中确定目标眼点位置”可以包括:
基于第一距离和预设距离确定当前眼点位置在眼盒区域所属的纵向分区,并基于第二距离和预设距离确定当前眼点位置在眼盒区域所属的横向分区;根据纵向分区和横向分区,确定当前眼点位置所属的目标眼盒分区,并确定目标眼盒分区对应的目标眼点位置。
可选的,在另一种可能的实施方式中,检测设备的装配位置和眼盒区域的中心位置的连线与第一平面平行,且检测设备的检测视野覆盖眼盒区域。
第二方面,本申请提供一种图像处理装置,包括:获取模块、划分模块、确定模块和处理模块;
获取模块,用于获取N个投影图像;N个投影图像为,在通过抬头显示器对点阵图像进行投影时,采集设备基于N个预设眼点位置采集的点阵图像的投影图像;N为大于1的正整数;
划分模块,用于基于点阵图像中的特征点和N个投影图像中的特征点,将点阵图像划分为M个第一分区,并将N个投影图像分别划分为与M个第一分区对应的M个第二分区;M为正整数;
确定模块,用于基于M个第一分区中的特征点的像素坐标和M个第二分区中的特征点的像素坐标,分别确定N个投影图像的各第二分区与对应的第一分区的透视变换矩阵,并基于透视变换矩阵得到N个透视变换矩阵集合;一个透视变换矩阵集合对应一个预设眼点位置,用于表示一个投影图像与点阵图像的透视变换关系;
处理模块,用于在车辆行驶过程中,基于驾驶员的当前眼点位置和N个透视变换矩阵集合对待投影的原始图像进行处理,并对处理后的原始图像进行投影。
可选的,在一种可能的实施方式中,划分模块具体用于:
遍历点阵图像中的子点阵,基于点阵图像中的子点阵将点阵图像划分为M个第一分区;并且,分别遍历N个投影图像中的子点阵,基于N个投影图像中的子点阵将N个投影图像分别划分为M个第二分区;点阵图像中的子点阵和N个投影图像中的子点阵包括第一特征点、第二特征点、第三特征点和第四特征点,第一特征点与第二特征点位于同一行的相邻列,第三特征点与第四特征点位于同一行的相邻列,第一特征点与第三特征点位于同一列的相邻行,第二特征点与第四特征点位于同一列的相邻行。
可选的,在另一种可能的实施方式中,确定模块具体用于:
基于第一图像的各第二分区与对应的第一分区的第一透视变换矩阵,对第一图像的各第二分区进行处理,得到第一图像的各第二分区的还原图像;第一图像为N个投影图像中的任一图像;确定第一图像的各第二分区的还原图像与对应的第一分区的畸变率是否小于预设值;在确定畸变率大于或等于预设值的情况下,调整M个第二分区中的特征点的像素坐标,并基于调整后的像素坐标重新确定第一透视变换矩阵,直至畸变率小于预设值;在确定畸变率小于预设值的情况下,根据当前的第一透视变换矩阵确定第一透视变换矩阵集合;第一透视变换矩阵集合用于表示第一图像与点阵图像的透视变换关系。
可选的,在另一种可能的实施方式中,处理模块具体用于:
基于当前眼点位置,从N个预设眼点位置中确定目标眼点位置,并从N个透视变换矩阵集合中确定出目标眼点位置对应的目标透视变换矩阵集合;根据目标透视变换矩阵集合中的透视变换矩阵,分别对原始图像中的M个第三分区进行处理,得到原始图像的M个第三分区的调整图像;对M个第三分区的调整图像进行拼接处理,得到处理后的原始图像。
可选的,在另一种可能的实施方式中,处理模块具体还用于:
获取检测设备与当前眼点位置的实际距离;检测设备用于追踪驾驶员的眼点位置;根据实际距离确定第一距离和第二距离;第一距离为实际距离在第一平面上的投影距离,第二距离为实际距离在第二平面上的投影距离;第一平面垂直于地平面,且第一平面平行于车身纵轴方向;第二平面平行于地平面;基于第一距离、第二距离以及预设距离,从N个预设眼点位置中确定目标眼点位置;预设距离为检测设备到眼盒区域所在的第三平面的距离;第三平面垂直于地平面,且第三平面平行于车身横轴方向。
可选的,在另一种可能的实施方式中,眼盒区域包括九个眼盒分区,一个眼盒分区对应一个预设眼点位置,处理模块具体还用于:
基于第一距离和预设距离确定当前眼点位置在眼盒区域所属的纵向分区,并基于第二距离和预设距离确定当前眼点位置在眼盒区域所属的横向分区;根据纵向分区和横向分区,确定当前眼点位置所属的目标眼盒分区,并确定目标眼盒分区对应的目标眼点位置。
可选的,在另一种可能的实施方式中,检测设备的装配位置和眼盒区域的中心位置的连线与第一平面平行,且检测设备的检测视野覆盖眼盒区域。
第三方面,本申请提供一种图像处理设备,包括存储器、处理器、总线和通信接口;存储器用于存储计算机执行指令,处理器与存储器通过总线连接;当图像处理设备运行时,处理器执行存储器存储的计算机执行指令,以使图像处理设备执行如上述第一方面提供的图像处理方法。
第四方面,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当计算机执行指令时,使得计算机执行如第一方面提供的图像处理方法。
第五方面,本申请提供一种计算机程序产品,该计算机程序产品包括计算机指令,当计算机指令在计算机上运行时,使得计算机执行如第一方面提供的图像处理方法。
需要说明的是,上述计算机指令可以全部或者部分存储在计算机可读存储介质上。其中,计算机可读存储介质可以与图像处理设备的处理器封装在一起的,也可以与图像处理设备的处理器单独封装,本申请对此不做限定。
本申请中第二方面、第三方面、第四方面以及第五方面的描述,可以参考第一方面的详细描述;并且,第二方面、第三方面、第四方面以及第五方面的描述的有益效果,可以参考第一方面的有益效果分析,此处不再赘述。
在本申请中,对于上述涉及到的设备或功能模块的名称不构成限定,在实际实现中,这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似,均属于本申请权利要求及其等同技术的范围之内。
本申请的这些方面或其他方面在以下的描述中会更加简明易懂。
附图说明
图1为本申请实施例提供的一种图像处理方法的流程示意图;
图2为本申请实施例提供的一种点阵图像的示意图;
图3为本申请实施例提供的一种沿车身纵轴方向的切面示意图;
图4为本申请实施例提供的一种沿车身横轴方向的切面示意图;
图5为本申请实施例提供的一种眼盒区域的区域划分示意图;
图6为本申请实施例提供的另一种沿车身纵轴方向的切面示意图;
图7为本申请实施例提供的另一种沿车身横轴方向的切面示意图;
图8为本申请实施例提供的另一种图像处理方法的流程示意图;
图9为本申请实施例提供的一种图像处理装置的结构示意图;
图10为本申请实施例提供的一种图像处理设备的结构示意图。
具体实施方式
下面结合附图对本申请实施例提供的图像处理方法、装置、设备及存储介质进行详细地描述。
本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象,或者用于区别对同一对象的不同处理,而不是用于描述对象的特定顺序。
此外,本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选的还包括其他没有列出的步骤或单元,或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请的描述中,除非另有说明,“多个”的含义是指两个或两个以上。
另外,本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
现有的,由于抬头显示器自身制造误差以及挡风玻璃曲率不均衡等因素的存在,会导致投影在挡风玻璃上的图像存在畸变,影响用户的视觉体验。并且,驾驶员在驾驶过程中眼点位置可能会发生变化,在不同眼点位置观测到的畸变情况也不相同。所以,如何在眼点位置动态变化的情况下对畸变进行矫正,成为亟待解决的技术问题。
针对上述现有技术中存在的问题,本申请实施例提供了一种图像处理方法,该方法通过对点阵图像及其N个投影图像进行分区处理,可以确定出N个预设眼点位置处的投影图像与点阵图像的N个透视变换矩阵集合。在车辆行驶过程中,可以根据当前眼点位置选择对应的透视变换矩阵集合对原始图像进行处理,将原始图像调整为反向畸变图像,再对反向畸变图像投影则可以实现对畸变的对冲,从而可以削弱投影过程中产生的畸变。因此,本申请实施例可以实现在眼点位置动态变化的情况下对畸变的矫正,从而改善用户的视觉体验。
本申请实施例提供的图像处理方法可以由本申请实施例提供的图像处理装置执行,该图像处理装置可以通过软件和/或硬件的方式实现,并集成在执行本方法的图像处理设备中。在一种可能的实现方式中,图像处理设备可以是抬头显示器。
下面结合附图对本申请实施例提供的图像处理方法进行说明。
参照图1,本申请实施例提供的图像处理方法包括S101-S104:
S101、获取N个投影图像。
N个投影图像为,在通过抬头显示器对点阵图像进行投影时,采集设备基于N个预设眼点位置采集的点阵图像的投影图像。其中,N为大于1的正整数。示例性的,N可以为3、6或9。
点阵图像可以是事先确定的模板图像,点阵图像中包括多行多列的特征点。示例性的,参照图2,提供了一种点阵图像的示意图。如图2所示,该点阵图像由11行25列的特征点排列组成。
预设眼点位置可以是事先确定的眼点位置。本申请实施例中,可以基于平面透视变换的原理确定投影图像与点阵图像的透视变换关系,以实现对畸变的矫正。而在驾驶过程中,驾驶员的眼点位置可能会发生变化,当眼点位置变化波动较小时,畸变的变化程度不大,在人眼观测可以忽略的范围内。而当眼点位置变化波动较大时,人眼可以明显观测到畸变的变化情况。为此,本申请实施例中,可以先将眼盒区域划分为多个眼盒分区,当眼点位置在每个眼盒分区内移动时,畸变的变化程度属于人眼观测可以忽略的范围。然后,可以在每个眼盒分区中确定一个预设眼点位置,当眼点位置在某个眼盒分区中移动时,将该眼盒分区中的预设眼点位置近似看作当前眼点位置。示例性的,预设眼点位置可以是眼盒分区的中心位置。
在具体实施时,可以通过抬头显示器将点阵图像投影在挡风玻璃上,之后,可以分别将采集设备(比如,可以是工业相机)固定在各个眼盒分区对应的预设眼点位置,采集点阵图像的投影图像。
另外,本申请实施例中涉及的眼盒区域,是抬头显示器的一个显示参数,该显示参数规定了一个眼点的有效区域,这个有效区域就是眼盒区域。当驾驶员的眼点位置在这个有效区域内移动时,驾驶员才可以看到挡风玻璃上的投影图像。
S102、基于点阵图像中的特征点和N个投影图像中的特征点,将点阵图像划分为M个第一分区,并将N个投影图像分别划分为与M个第一分区对应的M个第二分区。
其中,M为正整数,M可以事先根据特征点的数量确定。
可选的,在一种可能的实现方式中,可以遍历点阵图像中的子点阵,基于点阵图像中的子点阵将点阵图像划分为M个第一分区;并且,分别遍历N个投影图像中的子点阵,基于N个投影图像中的子点阵将N个投影图像分别划分为M个第二分区。
其中,点阵图像中的子点阵和N个投影图像中的子点阵均包括第一特征点、第二特征点、第三特征点和第四特征点,第一特征点与第二特征点位于同一行的相邻列,第三特征点与第四特征点位于同一行的相邻列,第一特征点与第三特征点位于同一列的相邻行,第二特征点与第四特征点位于同一列的相邻行。示例性的,图2中第一行第一列、第一行第二列、第二行第一列及第二行第二列的四个特征点即为点阵图像中的一个子点阵。
示例性的,以对图2所示的点阵图像进行分区处理为例,可以先从第一行和第二行的特征点开始横向遍历。第一行第一列、第一行第二列、第二行第一列和第二行第二列的四个特征点可以作为一个点阵图像中的子点阵,则可以将包括这四个特征点的点阵图像中的子点阵作为一个第一分区;类似的,之后可以将由第一行第二列、第一行第三列、第二行第二列和第二行第三列的四个特征点组成的点阵图像中的子点阵作为一个第一分区,直至将第一行和第二行的特征点横向遍历完成。然后,可以从第二行和第三行的特征点开始横向遍历,将第二行第一列、第二行第二列、第三行第一列和第三行第二列的四个特征点组成的点阵图像中的子点阵作为一个第一分区。第二行和第三行的特征点横向遍历完成后,继续纵向往下遍历,直至倒数第二行和倒数第一行的特征点遍历完成,将得到的所有第一分区确定为点阵图像的M个第一分区。
在将点阵图像投影至挡风玻璃上时,投影图像中各特征点的位置排列关系相比点阵图像会发生变化,而特征点的位置排列关系的变化情况可以反映出投影过程中产生的畸变。所以,本申请实施例中,可以基于特征点对点阵图像和投影图像进行分区划分,这样,可以在各分区内通过对特征点的位置排列关系的变化进行分析,确定出各分区产生的畸变。另外,本申请实施例中在进行分区划分时,采取遍历特征点的方式,这样可以确保划分出的分区可以覆盖整个图像。
进一步可选的,由于投影图像是投影在挡风玻璃上之后通过采集设备采集的图像,采集设备在采集过程中,投影图像的分辨率相比点阵图像可能会发生变换。所以,为了保证在分析透视变换关系时投影图像与点阵图像的分辨率的一致性,在对投影图像进行分区划分之前,还可以对投影图像的分辨率进行调整,使投影图像的长宽比接近于点阵图像。
S103、基于M个第一分区中的特征点的像素坐标和M个第二分区中的特征点的像素坐标,分别确定N个投影图像的各第二分区与对应的第一分区的透视变换矩阵,并基于透视变换矩阵得到N个透视变换矩阵集合。
其中,M个第一分区中的特征点的像素坐标可以是M个第一分区中的特征点的中心位置处的像素坐标,M个第二分区中的特征点的像素坐标可以是M个第二分区中的特征点的中心位置处的像素坐标;一个透视变换矩阵集合对应一个预设眼点位置,用于表示一个投影图像与点阵图像的透视变换关系。
其中,A表示各第二分区与对应的第一分区的透视变换矩阵A。将各第二分区的四个特征点的像素坐标和对应的第一分区的四个特征点的像素坐标代入表达式(1),则可以求解出透视变换矩阵A。
需要说明的是,在对点阵图像进行投影时,虽然挡风玻璃是个曲面,但是由于采集设备采集到的投影图像是二维平面图像,所以本申请实施例实际还是对二维平面图像进行处理。那么,在计算透视变换矩阵A的过程中,可以将z1和z2视为常数进行计算。具体求解透视变换矩阵A的方法可以参照现有技术中平面透视变换的相关描述,本申请实施例在此不再赘述。
可选的,基于透视变换矩阵得到N个透视变换矩阵集合可以包括:基于第一图像的各第二分区与对应的第一分区的第一透视变换矩阵,对第一图像的各第二分区进行处理,得到第一图像的各第二分区的还原图像;确定第一图像的各第二分区的还原图像与对应的第一分区的畸变率是否小于预设值;在确定畸变率大于或等于预设值的情况下,调整M个第二分区中的特征点的像素坐标,并基于调整后的像素坐标重新确定第一透视变换矩阵,直至畸变率小于预设值;在确定畸变率小于预设值的情况下,根据当前的第一透视变换矩阵确定第一透视变换矩阵集合。
其中,第一透视变换矩阵集合用于表示第一图像与点阵图像的透视变换关系,第一图像为N个投影图像中的任一图像,预设值可以是事先确定的值。畸变率可以根据还原图像与第二分区对应的第一分区的特征点的位置变化计算得到,具体计算方式可以参照现有的相关描述,本申请实施例在此不再赘述。
示例性的,若用src(x,y)表示第一图像的第二分区,dst(x,y)表示第一图像的第二分区的还原图像,则可以根据表达式(2)得到dst(x,y):
在一种可能的实现方式中,对透视变换矩阵进行微调时,可以根据第一分区和还原图像的对应特征点的位置变化进行调整。比如还原图像中的某个特征点相比第一分区中对应的特征点,位置偏向右上方,那么可以通过对第二分区的特征点的像素坐标的微调整,使还原图像中对应的特征点向左下方移动。之后,再根据调整后的像素坐标重新计算透视变换矩阵,并根据调整后的透视变换矩阵重新计算畸变率,若不达标则反复执行上述操作进行调整,直至畸变率达标。
本申请实施例中,点阵图像中的特征点是有尺寸的圆斑,在确定M个第一分区中的特征点的像素坐标和M个第二分区中的特征点的像素坐标时可能会存在测量误差,也即是确定出的像素坐标并不一定是圆斑的正中心点的坐标。当像素坐标的测量误差过大时,得到的透视变换矩阵与真实的透视变换关系的误差也会过大。所以,本申请实施例中,在得到透视变换矩阵之后,可以基于该透视变换矩阵对第二分区进行处理,得到第二分区的还原图像。然后,可以测量该还原图像与第二分区对应的第一分区的畸变率,该畸变率的大小可以表征像素坐标的测量误差。之后,可以通过调整M个第二分区中的特征点的像素坐标的大小使畸变率小于事先确定的预设值。类似的,可以对每个投影图像的每个第二分区进行处理,得到矫正达标的透视变换矩阵,然后可以根据预设眼点位置将得到的透视变换矩阵存入对应的透视变换矩阵集合。
S104、在车辆行驶过程中,基于驾驶员的当前眼点位置和N个透视变换矩阵集合对待投影的原始图像进行处理,并对处理后的原始图像进行投影。
其中,原始图像为在车辆行驶过程中需要通过抬头显示器进行投影的图像。
可选的,本申请实施例中,可以基于当前眼点位置,从N个预设眼点位置中确定目标眼点位置,并从N个透视变换矩阵集合中确定出目标眼点位置对应的目标透视变换矩阵集合;然后可以根据目标透视变换矩阵集合中的透视变换矩阵,分别对原始图像中的M个第三分区进行处理,得到原始图像的M个第三分区的调整图像;之后可以对M个第三分区的调整图像进行拼接处理,得到处理后的原始图像。
为了实现在眼点位置动态变化的情况下对畸变的矫正,本申请实施例可以对驾驶员实时的眼点位置进行检测,根据当前眼点位置选择对应的目标透视变换矩阵集合。并且,可以对原始图像进行分区划分,划分原则与对点阵图像的划分原则相同。然后,可以采用透视变换矩阵集合中的透视变换矩阵依次对原始图像的各第三分区进行处理,处理后再根据分区之间的位置关系重新对各第三分区进行拼接,对拼接得到的图像进行投影,则可以实现对畸变的矫正。
另外,由于人眼存在视觉停留,所以在短时间内眼点位置变化导致的畸变人眼是观测不到的,因此,本申请实施例中,可以每间隔预设时长重新确定一次眼点位置。其中,预设时长可以根据人眼视觉停留的时长事先得到。
具体的,根据目标透视变换矩阵集合中的透视变换矩阵,分别对原始图像中的M个第三分区进行处理,得到原始图像的M个第三分区的调整图像的方法,可以参照表达式(2)中对投影图像的第二分区处理得到还原图像的方法,本申请实施例在此不再赘述。
可选的,基于当前眼点位置,从N个预设眼点位置中确定目标眼点位置可以包括:获取检测设备与当前眼点位置的实际距离;根据实际距离确定第一距离和第二距离;基于第一距离、第二距离以及预设距离,从N个预设眼点位置中确定目标眼点位置。
其中,检测设备用于追踪驾驶员的眼点位置。示例性的,检测设备可以是装配在车辆挡风玻璃顶部的摄像机。参照图3,提供了一种沿车身纵轴方向的切面示意图。如图3所示,挡风玻璃的顶部位置与车顶的交界处设有检测设备,用于对眼盒区域的眼点位置进行追踪,抬头显示器可以根据图3中光路方向(3个箭头的指向)对调整后的原始图像进行投影。参照图4,提供了一种沿车身横轴方向的切面示意图。如图4所示,挡风玻璃的顶部位置设有检测设备,用于对眼盒区域的眼点位置进行追踪。
第一距离为实际距离在第一平面上的投影距离,第二距离为实际距离在第二平面上的投影距离;第一平面垂直于地平面,且第一平面平行于车身纵轴方向;第二平面平行于地平面。预设距离为检测设备到眼盒区域所在的第三平面的距离,即检测设备到第三平面的垂直距离;第三平面垂直于地平面,且第三平面平行于车身横轴方向。其中,车身横轴方向为平行于前轮车轴的方向,或者相对驾驶员而言的左右水平线方向;车身纵轴方向垂直于车身横轴方向且平行于地平面。
示例性的,眼盒区域和检测设备在车内空间中的位置坐标可以在车身坐标系下给出,可以根据眼盒区域在车身坐标系下的坐标和检测设备在车身坐标系下的坐标得到检测设备到眼盒区域所在的第三平面的距离,即预设距离。另外,可以通过检测设备对眼点位置进行追踪,得到检测设备与当前眼点位置的实际距离。该实际距离在第一平面上的投影距离(即第一距离),可以表征当前眼点位置相对于眼盒区域的中心位置的纵向偏离方向,该实际距离在第二平面上的投影距离(即第二距离),可以表征当前眼点位置相对于眼盒区域的中心位置的横向偏离方向。所以,根据第一距离、第二距离以及预设距离,可以确定出当前眼点位置在眼盒区域中所属的位置,然后可以根据当前眼点位置在眼盒区域中所属的位置从N个预设眼点位置中确定目标眼点位置。
可选的,检测设备的装配位置和眼盒区域的中心位置的连线与第一平面平行,且检测设备的检测视野覆盖眼盒区域。
在装配检测设备时,若检测设备的装配位置与眼盒区域偏离过大,检测设备可能无法对眼盒区域中的所有位置进行追踪。因此,本申请实施例中,可以使得检测设备的装配位置和眼盒区域的中心位置的连线与第一平面平行,然后可以调整检测设备的采集视角,将其尽可能的对准眼盒区域的中心,以保证检测设备的检测视野可以覆盖整个眼盒区域。
可选的,眼盒区域可以包括九个眼盒分区,一个眼盒分区对应一个预设眼点位置,基于第一距离、第二距离以及预设距离,从N个预设眼点位置中确定目标眼点位置可以包括:基于第一距离和预设距离确定当前眼点位置在眼盒区域所属的纵向分区,并基于第二距离和预设距离确定当前眼点位置在眼盒区域所属的横向分区;根据纵向分区和横向分区,确定当前眼点位置所属的目标眼盒分区,并确定目标眼盒分区对应的目标眼点位置。
为了进一步提高对畸变矫正的准确率,并且在保证畸变矫正准确率的同时保证投影效果,本申请实施例中,可以将眼盒区域划分为九个眼盒分区。
参照图5,提供了一种眼盒区域的区域划分示意图,如图5所示,眼盒区域可以包括左上区、中上区、右上区、中左区、中心区、中右区、左下区、中下区和右下区共九个眼盒分区。
示例性的,参照图6,提供了另一种沿车身纵轴方向的切面示意图。如图6所示,d2表示预设距离,d1表示第一距离,则在得到d2和d1之后,可以根据勾股定理得到h,h可以表征当前眼点位置相对于眼盒区域的中心位置的纵向偏离方向,则根据h可以确定出当前眼点位置在眼盒区域中所属的纵向分区。比如,根据h可以确定当前眼点位置在眼盒区域中所属的纵向分区为中区,即图5中的区域A。
参照图7,提供了另一种沿车身横轴方向的切面示意图。如图7所示,d2表示预设距离,d3表示第二距离,则在得到d2和d3之后,可以根据勾股定理得到w,w可以表征当前眼点位置相对于眼盒区域的中心位置的横向偏离方向,则根据w可以确定出当前眼点位置在眼盒区域中所属的横向分区。比如,根据w可以确定当前眼点位置在眼盒区域中所属的横向分区为左区,即图5中的区域B。区域A和区域B的交集区域为中左区,则可以确定当前眼点位置所属的目标眼盒分区为中左区。
综合以上描述,本申请实施例提供的图像处理方法中,可以先获取在不同的眼点位置(即本申请中的N个预设眼点位置)采集的点阵图像的投影图像,然后基于特征点对点阵图像和投影图像进行分区划分,之后可以根据M个第一分区中的特征点的像素坐标和M个第二分区中的特征点的像素坐标确定出投影图像的第二分区与点阵图像的第一分区的透视变换矩阵,并得到N个预设眼点位置对应的N个透视变换矩阵集合。在车辆行驶过程中,可以根据驾驶员的当前眼点位置从N个透视变换矩阵集合中选择与当前眼点位置对应的透视变换矩阵集合对待投影的原始图像进行处理,并对处理后的原始图像进行投影。由于透视变换矩阵是根据第二分区与第一分区的像素坐标得到的,所以透视变换矩阵可以表征第二分区与第一分区的透视变换关系,那么根据透视变换矩阵得到的透视变换矩阵集合即可以表示投影图像与点阵图像之间的透视变换关系。因此,采用透视变换矩阵集合对待投影的原始图像进行处理后再进行投影,也即是先将原始图像调整为反向畸变图像,再对反向畸变图像投影则可以实现对畸变的对冲,从而可以削弱投影过程中产生的畸变。另外,为了实现在眼点位置动态变化的情况下对畸变的矫正,本申请实施例可以根据实时的眼点位置选择不同的透视变换矩阵集合对待投影的原始图像进行处理。
可以看出,本申请实施例中,通过对点阵图像及其N个投影图像进行分区处理,可以确定出N个预设眼点位置处的投影图像与点阵图像的N个透视变换矩阵集合。之后,可以在车辆行驶过程中,根据当前眼点位置选择对应的透视变换矩阵集合对原始图像进行处理再投影,因此,可以实现在眼点位置动态变化的情况下对畸变的矫正,从而可以改善用户的视觉体验。
可选的,如图8所示,本申请实施例还提供了一种图像处理方法,该方法可以包括S801-S808:
S801、获取采集设备基于N个预设眼点位置采集的点阵图像的投影图像。
S802、遍历点阵图像中的子点阵,基于点阵图像中的子点阵将点阵图像划分为M个第一分区;并且,分别遍历N个投影图像中的子点阵,基于N个投影图像中的子点阵将N个投影图像分别划分为M个第二分区。
S803、基于M个第一分区中的特征点的像素坐标和M个第二分区中的特征点的像素坐标,分别确定N个投影图像的各第二分区与对应的第一分区的透视变换矩阵,并基于透视变换矩阵得到N个透视变换矩阵集合。
S804、在车辆行驶过程中,获取检测设备与当前眼点位置的实际距离,并根据实际距离确定第一距离和第二距离。
S805、基于第一距离和预设距离确定当前眼点位置在眼盒区域所属的纵向分区,并基于第二距离和预设距离确定当前眼点位置在眼盒区域所属的横向分区。
S806、根据纵向分区和横向分区,确定当前眼点位置所属的目标眼盒分区,并确定目标眼盒分区对应的目标眼点位置,且从N个透视变换矩阵集合中确定出目标眼点位置对应的目标透视变换矩阵集合。
S807、根据目标透视变换矩阵集合中的透视变换矩阵,分别对原始图像中的M个第三分区进行处理,得到原始图像的M个第三分区的调整图像。
S808、对M个第三分区的调整图像进行拼接处理,得到处理后的原始图像。
如图9所示,本申请实施例还提供了一种图像处理装置,该装置可以包括:获取模块11、划分模块12、确定模块13和处理模块14。
其中,获取模块11执行上述方法实施例中的S101,划分模块12执行上述方法实施例中的S102,确定模块13执行上述方法实施例中的S103,处理模块14执行上述方法实施例中的S104。
获取模块11,用于获取N个投影图像;N个投影图像为,在通过抬头显示器对点阵图像进行投影时,采集设备基于N个预设眼点位置采集的点阵图像的投影图像;N为大于1的正整数;
划分模块12,用于基于点阵图像中的特征点和N个投影图像中的特征点,将点阵图像划分为M个第一分区,并将N个投影图像分别划分为与M个第一分区对应的M个第二分区;M为正整数;
确定模块13,用于基于M个第一分区中的特征点的像素坐标和M个第二分区中的特征点的像素坐标,分别确定N个投影图像的各第二分区与对应的第一分区的透视变换矩阵,并基于透视变换矩阵得到N个透视变换矩阵集合;一个透视变换矩阵集合对应一个预设眼点位置,用于表示一个投影图像与点阵图像的透视变换关系;
处理模块14,用于在车辆行驶过程中,基于驾驶员的当前眼点位置和N个透视变换矩阵集合对待投影的原始图像进行处理,并对处理后的原始图像进行投影。
可选的,在一种可能的实施方式中,划分模块12具体用于:
遍历点阵图像中的子点阵,基于点阵图像中的子点阵将点阵图像划分为M个第一分区;并且,分别遍历N个投影图像中的子点阵,基于N个投影图像中的子点阵将N个投影图像分别划分为M个第二分区;点阵图像中的子点阵和N个投影图像中的子点阵包括第一特征点、第二特征点、第三特征点和第四特征点,第一特征点与第二特征点位于同一行的相邻列,第三特征点与第四特征点位于同一行的相邻列,第一特征点与第三特征点位于同一列的相邻行,第二特征点与第四特征点位于同一列的相邻行。
可选的,在另一种可能的实施方式中,确定模块13具体用于:
基于第一图像的各第二分区与对应的第一分区的第一透视变换矩阵,对第一图像的各第二分区进行处理,得到第一图像的各第二分区的还原图像;第一图像为N个投影图像中的任一图像;确定第一图像的各第二分区的还原图像与对应的第一分区的畸变率是否小于预设值;在确定畸变率大于或等于预设值的情况下,调整M个第二分区中的特征点的像素坐标,并基于调整后的像素坐标重新确定第一透视变换矩阵,直至畸变率小于预设值;在确定畸变率小于预设值的情况下,根据当前的第一透视变换矩阵确定第一透视变换矩阵集合;第一透视变换矩阵集合用于表示第一图像与点阵图像的透视变换关系。
可选的,在另一种可能的实施方式中,处理模块14具体用于:
基于当前眼点位置,从N个预设眼点位置中确定目标眼点位置,并从N个透视变换矩阵集合中确定出目标眼点位置对应的目标透视变换矩阵集合;根据目标透视变换矩阵集合中的透视变换矩阵,分别对原始图像中的M个第三分区进行处理,得到原始图像的M个第三分区的调整图像;对M个第三分区的调整图像进行拼接处理,得到处理后的原始图像。
可选的,在另一种可能的实施方式中,处理模块14具体还用于:
获取检测设备与当前眼点位置的实际距离;检测设备用于追踪驾驶员的眼点位置;根据实际距离确定第一距离和第二距离;第一距离为实际距离在第一平面上的投影距离,第二距离为实际距离在第二平面上的投影距离;第一平面垂直于地平面,且第一平面平行于车身纵轴方向;第二平面平行于地平面;基于第一距离、第二距离以及预设距离,从N个预设眼点位置中确定目标眼点位置;预设距离为检测设备到眼盒区域所在的第三平面的距离;第三平面垂直于地平面,且第三平面平行于车身横轴方向。
可选的,在另一种可能的实施方式中,眼盒区域包括九个眼盒分区,一个眼盒分区对应一个预设眼点位置,处理模块14具体还用于:
基于第一距离和预设距离确定当前眼点位置在眼盒区域所属的纵向分区,并基于第二距离和预设距离确定当前眼点位置在眼盒区域所属的横向分区;根据纵向分区和横向分区,确定当前眼点位置所属的目标眼盒分区,并确定目标眼盒分区对应的目标眼点位置。
可选的,在另一种可能的实施方式中,检测设备的装配位置和眼盒区域的中心位置的连线与第一平面平行,且检测设备的检测视野覆盖眼盒区域。
可选的,图像处理装置还可以包括存储模块,存储模块用于存储该图像处理装置的程序代码等。
如图10所示,本申请实施例还提供一种图像处理设备,包括存储器41、处理器42、总线43和通信接口44;存储器41用于存储计算机执行指令,处理器42与存储器41通过总线43连接;当图像处理设备运行时,处理器42执行存储器41存储的计算机执行指令,以使图像处理设备执行如上述实施例提供的图像处理方法。
在具体的实现中,作为一种实施例,处理器42可以包括一个或多个中央处理器(central processing unit,CPU),例如图10中所示的CPU0和CPU1。且作为一种实施例,图像处理设备可以包括多个处理器42,例如图10中所示的两个处理器42。这些处理器42中的每一个CPU可以是一个单核处理器(single-CPU),也可以是一个多核处理器(multi-CPU)。这里的处理器42可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
存储器41可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器41可以是独立存在,通过总线43与处理器42相连接。存储器41也可以和处理器42集成在一起。
在具体的实现中,存储器41,用于存储本申请中的数据和执行本申请的软件程序对应的计算机执行指令。处理器42可以通过运行或执行存储在存储器41内的软件程序,以及调用存储在存储器41内的数据,图像处理设备的各种功能。
通信接口44,使用任何收发器一类的设备,用于与其他设备或通信网络通信,如控制系统、无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN)等。通信接口44可以包括接收单元实现接收功能,以及发送单元实现发送功能。
总线43,可以是工业标准体系结构(industry standard architecture,ISA)总线、外部设备互连(peripheral component interconnect,PCI)总线或扩展工业标准体系结构(extended industry standard architecture,EISA)总线等。该总线43可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
作为一个示例,结合图9,图像处理装置中的处理模块实现的功能与图10中的处理器实现的功能相同,图像处理装置中的获取模块实现的功能与图10中接收单元实现的功能相同。当图像处理装置包括有存储模块时,存储模块实现的功能与图10中的存储器实现的功能相同。
本实施例中相关内容的解释可参考上述方法实施例,此处不再赘述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,设备和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当计算机执行该指令时,使得计算机执行上述实施例提供的图像处理方法。
其中,计算机可读存储介质,例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(erasable programmable read only memory,EPROM)、寄存器、硬盘、光纤、CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(application specificintegrated circuit,ASIC)中。在本申请实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
获取N个投影图像;所述N个投影图像为,在通过抬头显示器对点阵图像进行投影时,采集设备基于N个预设眼点位置采集的所述点阵图像的投影图像;N为大于1的正整数;
基于所述点阵图像中的特征点和所述N个投影图像中的特征点,将所述点阵图像划分为M个第一分区,并将所述N个投影图像分别划分为与所述M个第一分区对应的M个第二分区;M为正整数;
基于M个第一分区中的特征点的像素坐标和M个第二分区中的特征点的像素坐标,分别确定所述N个投影图像的各所述第二分区与对应的所述第一分区的透视变换矩阵,并基于所述透视变换矩阵得到N个透视变换矩阵集合;一个所述透视变换矩阵集合对应一个所述预设眼点位置,用于表示一个投影图像与所述点阵图像的透视变换关系;
在车辆行驶过程中,基于驾驶员的当前眼点位置和所述N个透视变换矩阵集合对待投影的原始图像进行处理,并对处理后的原始图像进行投影。
2.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述点阵图像中的特征点和所述N个投影图像中的特征点,将所述点阵图像划分为M个第一分区,并将所述N个投影图像分别划分为与所述M个第一分区对应的M个第二分区,包括:
遍历所述点阵图像中的子点阵,基于所述点阵图像中的子点阵将所述点阵图像划分为所述M个第一分区;并且,分别遍历所述N个投影图像中的子点阵,基于所述N个投影图像中的子点阵将所述N个投影图像分别划分为所述M个第二分区;所述点阵图像中的子点阵和所述N个投影图像中的子点阵均包括第一特征点、第二特征点、第三特征点和第四特征点,所述第一特征点与所述第二特征点位于同一行的相邻列,所述第三特征点与所述第四特征点位于同一行的相邻列,所述第一特征点与所述第三特征点位于同一列的相邻行,所述第二特征点与所述第四特征点位于同一列的相邻行。
3.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述透视变换矩阵得到N个透视变换矩阵集合,包括:
基于第一图像的各所述第二分区与对应的所述第一分区的第一透视变换矩阵,对所述第一图像的各所述第二分区进行处理,得到所述第一图像的各所述第二分区的还原图像;所述第一图像为所述N个投影图像中的任一图像;
确定所述第一图像的各所述第二分区的还原图像与对应的所述第一分区的畸变率是否小于预设值;
在确定所述畸变率大于或等于所述预设值的情况下,调整所述M个第二分区中的特征点的像素坐标,并基于调整后的像素坐标重新确定所述第一透视变换矩阵,直至所述畸变率小于所述预设值;在确定所述畸变率小于所述预设值的情况下,根据当前的第一透视变换矩阵确定第一透视变换矩阵集合;所述第一透视变换矩阵集合用于表示所述第一图像与所述点阵图像的透视变换关系。
4.根据权利要求1所述的图像处理方法,其特征在于,所述基于驾驶员的当前眼点位置和所述N个透视变换矩阵集合对待投影的原始图像进行处理,包括:
基于所述当前眼点位置,从所述N个预设眼点位置中确定目标眼点位置,并从所述N个透视变换矩阵集合中确定出所述目标眼点位置对应的目标透视变换矩阵集合;
根据所述目标透视变换矩阵集合中的透视变换矩阵,分别对所述原始图像中的M个第三分区进行处理,得到所述原始图像的M个第三分区的调整图像;
对所述M个第三分区的调整图像进行拼接处理,得到处理后的原始图像。
5.根据权利要求4所述的图像处理方法,其特征在于,所述基于所述当前眼点位置,从所述N个预设眼点位置中确定目标眼点位置,包括:
获取检测设备与所述当前眼点位置的实际距离;所述检测设备用于追踪所述驾驶员的眼点位置;
根据所述实际距离确定第一距离和第二距离;所述第一距离为所述实际距离在第一平面上的投影距离,所述第二距离为所述实际距离在第二平面上的投影距离;所述第一平面垂直于地平面,且所述第一平面平行于车身纵轴方向;所述第二平面平行于地平面;
基于所述第一距离、所述第二距离以及预设距离,从所述N个预设眼点位置中确定所述目标眼点位置;所述预设距离为所述检测设备到眼盒区域所在的第三平面的距离;所述第三平面垂直于地平面,且所述第三平面平行于车身横轴方向。
6.根据权利要求5所述的图像处理方法,其特征在于,所述眼盒区域包括九个眼盒分区,一个所述眼盒分区对应一个所述预设眼点位置,所述基于所述第一距离、所述第二距离以及预设距离,从所述N个预设眼点位置中确定所述目标眼点位置,包括:
基于所述第一距离和所述预设距离确定所述当前眼点位置在所述眼盒区域所属的纵向分区,并基于所述第二距离和所述预设距离确定所述当前眼点位置在所述眼盒区域所属的横向分区;
根据所述纵向分区和所述横向分区,确定所述当前眼点位置所属的目标眼盒分区,并确定所述目标眼盒分区对应的所述目标眼点位置。
7.根据权利要求5或6所述的图像处理方法,其特征在于,所述检测设备的装配位置和所述眼盒区域的中心位置的连线与所述第一平面平行,且所述检测设备的检测视野覆盖所述眼盒区域。
8.一种图像处理装置,其特征在于,包括:
获取模块,用于获取N个投影图像;所述N个投影图像为,在通过抬头显示器对点阵图像进行投影时,采集设备基于N个预设眼点位置采集的所述点阵图像的投影图像;N为大于1的正整数;
划分模块,用于基于所述点阵图像中的特征点和所述N个投影图像中的特征点,将所述点阵图像划分为M个第一分区,并将所述N个投影图像分别划分为与所述M个第一分区对应的M个第二分区;M为正整数;
确定模块,用于基于M个第一分区中的特征点的像素坐标和M个第二分区中的特征点的像素坐标,分别确定所述N个投影图像的各所述第二分区与对应的所述第一分区的透视变换矩阵,并基于所述透视变换矩阵得到N个透视变换矩阵集合;一个所述透视变换矩阵集合对应一个所述预设眼点位置,用于表示一个投影图像与所述点阵图像的透视变换关系;
处理模块,用于在车辆行驶过程中,基于驾驶员的当前眼点位置和所述N个透视变换矩阵集合对待投影的原始图像进行处理,并对处理后的原始图像进行投影。
9.一种图像处理设备,其特征在于,包括存储器、处理器、总线和通信接口;所述存储器用于存储计算机执行指令,所述处理器与所述存储器通过所述总线连接;
当所述图像处理设备运行时,处理器执行所述存储器存储的所述计算机执行指令,以使所述图像处理设备执行如权利要求1-7任意一项所述的图像处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当计算机执行所述指令时,使得所述计算机执行如权利要求1-7任意一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210763577.2A CN114820396B (zh) | 2022-07-01 | 2022-07-01 | 图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210763577.2A CN114820396B (zh) | 2022-07-01 | 2022-07-01 | 图像处理方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114820396A CN114820396A (zh) | 2022-07-29 |
CN114820396B true CN114820396B (zh) | 2022-09-13 |
Family
ID=82523261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210763577.2A Active CN114820396B (zh) | 2022-07-01 | 2022-07-01 | 图像处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114820396B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117631280A (zh) * | 2022-08-17 | 2024-03-01 | 华为技术有限公司 | 一种显示设备和交通工具 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011155412A (ja) * | 2010-01-26 | 2011-08-11 | Panasonic Electric Works Co Ltd | 投影システムおよび投影システムにおける歪み修正方法 |
CN111242866A (zh) * | 2020-01-13 | 2020-06-05 | 重庆邮电大学 | 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法 |
CN111476104A (zh) * | 2020-03-17 | 2020-07-31 | 重庆邮电大学 | 动态眼位下ar-hud图像畸变矫正方法、装置、系统 |
DE102019206922A1 (de) * | 2019-05-13 | 2020-11-19 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Objektmarkierung in Fahrzeugen |
WO2021197189A1 (zh) * | 2020-03-31 | 2021-10-07 | 深圳光峰科技股份有限公司 | 基于增强现实的信息显示方法、系统、装置及投影设备 |
CN114460743A (zh) * | 2022-03-25 | 2022-05-10 | 泽景(西安)汽车电子有限责任公司 | 图像展示设备的成像效果分析方法、装置、设备及介质 |
CN114584785A (zh) * | 2022-02-07 | 2022-06-03 | 武汉卓目科技有限公司 | 视频图像的实时稳像方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108196366B (zh) * | 2018-01-03 | 2020-07-31 | 京东方科技集团股份有限公司 | 一种调节显示亮度的方法和装置 |
-
2022
- 2022-07-01 CN CN202210763577.2A patent/CN114820396B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011155412A (ja) * | 2010-01-26 | 2011-08-11 | Panasonic Electric Works Co Ltd | 投影システムおよび投影システムにおける歪み修正方法 |
DE102019206922A1 (de) * | 2019-05-13 | 2020-11-19 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Objektmarkierung in Fahrzeugen |
CN111242866A (zh) * | 2020-01-13 | 2020-06-05 | 重庆邮电大学 | 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法 |
CN111476104A (zh) * | 2020-03-17 | 2020-07-31 | 重庆邮电大学 | 动态眼位下ar-hud图像畸变矫正方法、装置、系统 |
WO2021197189A1 (zh) * | 2020-03-31 | 2021-10-07 | 深圳光峰科技股份有限公司 | 基于增强现实的信息显示方法、系统、装置及投影设备 |
CN114584785A (zh) * | 2022-02-07 | 2022-06-03 | 武汉卓目科技有限公司 | 视频图像的实时稳像方法及装置 |
CN114460743A (zh) * | 2022-03-25 | 2022-05-10 | 泽景(西安)汽车电子有限责任公司 | 图像展示设备的成像效果分析方法、装置、设备及介质 |
Non-Patent Citations (2)
Title |
---|
distortion correction algorithm of AR-HUD virtual image based on Neural Network Model of Spatial Continuous Mapping;Ke li etal.;《2020 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct)》;20201216;全文 * |
基于机器学习的智能汽车目标检测与场景增强技术研究;周中奎;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20220115;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114820396A (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109688392B (zh) | Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法 | |
US10331958B2 (en) | Method and apparatus for acquiring information | |
CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
CN107636679B (zh) | 一种障碍物检测方法及装置 | |
CN114998157B (zh) | 图像处理方法、装置、抬头显示器及存储介质 | |
CN110136273B (zh) | 一种用于机器学习中的样本数据标注方法及装置 | |
CN112655024B (zh) | 一种图像标定方法及装置 | |
KR102295809B1 (ko) | 이동체의 전방향에 대한 거리 취득 장치 및 방법 | |
US20140297059A1 (en) | Visual confirmation evaluating apparatus and method | |
US20220276360A1 (en) | Calibration method and apparatus for sensor, and calibration system | |
CN114820396B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN112365549B (zh) | 车载相机的姿态校正方法、装置和存储介质及电子装置 | |
CN105205459A (zh) | 一种图像特征点类型的识别方法和装置 | |
CN112525147B (zh) | 自动驾驶设备测距方法及相关装置 | |
CN111932627B (zh) | 一种标识物绘制方法及系统 | |
CN112634359A (zh) | 车辆防碰撞预警方法、装置、终端设备及存储介质 | |
CN112927309A (zh) | 一种车载相机标定方法、装置、车载相机及存储介质 | |
KR20210061971A (ko) | 차량용 장애물 회피 방법, 장치, 전자 기기 및 컴퓨터 저장 매체 | |
JP7010535B2 (ja) | 情報処理装置 | |
US5897604A (en) | Apparatus and method for navigating mobile body using bird's eye view on display screen | |
CN115410167A (zh) | 目标检测与语义分割方法、装置、设备及存储介质 | |
CN111950428A (zh) | 目标障碍物识别方法、装置及运载工具 | |
CN110751598B (zh) | 车辆铰接点坐标标定方法、装置、计算机设备和存储介质 | |
CN113658262A (zh) | 相机外参标定方法、装置、系统及存储介质 | |
CN116152347A (zh) | 一种车载摄像头安装姿态角标定方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |