CN118298025A - 内参标定的评估方法、评估装置、电子设备和存储介质 - Google Patents
内参标定的评估方法、评估装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN118298025A CN118298025A CN202410288682.4A CN202410288682A CN118298025A CN 118298025 A CN118298025 A CN 118298025A CN 202410288682 A CN202410288682 A CN 202410288682A CN 118298025 A CN118298025 A CN 118298025A
- Authority
- CN
- China
- Prior art keywords
- calibration
- area
- target image
- projection error
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000000007 visual effect Effects 0.000 claims description 14
- 230000002596 correlated effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
本申请实施例提供的一种内参标定的评估方法、评估装置、电子设备和存储介质,所述方法包括:从不同视角采集多个标定图像;对所述多个标定图像进行标定,得到摄像头内参;基于所述多个标定图像生成目标图像,所述目标图像的特征点包括每个所述标定图像的标定特征点;计算所述特征点的特征点覆盖率、全局重投影误差和局部重投影误差;基于所述特征点覆盖率、所述全局重投影误差和所述局部重投影误差对所述摄像头内参进行评估。本申请实施例采用特征点覆盖率、全局重投影误差和局部重投影误差多项评估指标对摄像头内参标定结果进行评估,不仅能评估内参标定结果的全局的标定质量,也能对局部的去畸变效果进行量化评估,从而提供更为全面的评估结果。
Description
技术领域
本申请涉及图像处理技术领域,具体地涉及一种内参标定的评估方法、评估装置、电子设备和存储介质。
背景技术
随着计算机视觉技术的发展,鱼眼摄像头因其广阔的视场角越来越多地被应用于监控、自动驾驶、机器人导航等领域。鱼眼摄像头的内参标定是确保图像准确处理的关键步骤,但由于鱼眼镜头固有的严重畸变,传统的标定方法往往难以准确评估标定结果的质量。
目前的评估方法大多侧重于全局误差指标,例如全局重投影误差,而忽略了局部的畸变效果,这不仅限制了标定结果评估的有效性和可靠性,而且无法评估使用摄像头内参对图像进行去畸变后,不同图像区域的去畸变效果。这种情况下,对于具有严重畸变的鱼眼镜头,可能会出现局部区域去畸变效果不佳,但全局误差较小的情况,导致实际应用效果大打折扣。因此,我们需要一种新的标定评估方法,能够考虑到鱼眼摄像头的局部畸变效果,以及在使用内参进行去畸变后,不同图像区域的去畸变效果,从而更准确地评估标定结果的质量。
发明内容
有鉴于此,本申请提供一种内参标定的评估方法、评估装置、电子设备和存储介质,以利于解决现有技术中对于摄像头内参标定的评估不准确的问题。
第一方面,本申请实施例提供了一种内参标定的评估方法,所述方法包括:
从不同视角采集多个标定图像;
对所述多个标定图像进行标定,得到摄像头内参;
基于所述多个标定图像生成目标图像,所述目标图像的特征点包括每个所述标定图像的标定特征点;
计算所述特征点的特征点覆盖率、全局重投影误差和局部重投影误差;
基于所述特征点覆盖率、所述全局重投影误差和所述局部重投影误差对所述摄像头内参进行评估。
在一种可能的实现方式中,所述基于所述多个标定图像生成目标图像,所述目标图像的特征点包括每个所述标定图像的标定特征点包括:
获取第一图像,所述第一图像的大小与所述标定图像的大小相等;
提取每个所述标定图像的标定特征点;
将所述每个所述标定图像的标定特征点作为所述第一图像的特征点,生成目标图像。
在一种可能的实现方式中,所述计算所述特征点的特征点覆盖率包括:
获取所述特征点的最外层特征点;
基于所述最外层特征点计算所述特征点的包围面积;
确定所述目标图像的有效标定面积;
基于所述特征点的包围面积与所述目标图像的有效标定面积计算所述特征点的特征点覆盖率,所述特征点的特征点覆盖率与所述特征点的包围面积正相关,与所述目标图像的有效标定面积负相关。
在一种可能的实现方式中,所述确定所述目标图像的有效标定面积包括:
确定所述目标图像的图像面积;
确定所述目标图像的暗角面积;
根据所述图像面积与所述暗角面积确定所述目标图像的有效标定面积,所述目标图像的有效标定面积与所述图像面积正相关,与所述暗角面积负相关。
在一种可能的实现方式中,所述根据所述图像面积与所述暗角面积确定所述目标图像的有效标定面积包括:
根据所述图像面积与所述暗角面积的差值确定所述目标图像的有效标定面积。
在一种可能的实现方式中,所述基于所述特征点的包围面积与所述目标图像的有效标定面积计算所述特征点的特征点覆盖率包括:
基于所述特征点的包围面积与所述目标图像的有效标定面积的比值确定所述特征点的特征点覆盖率。
在一种可能的实现方式中,所述计算所述特征点的全局重投影误差包括:
获取所述特征点中每个特征点的重投影误差;
根据所述重投影误差的平均误差确定所述特征点的全局重投影误差。
在一种可能的实现方式中,所述计算所述特征点的局部重投影误差包括:
将所述目标图像的有效标定区域划分为多个区域,所述有效标定区域为所述目标图像除去暗角以外的其它区域;
根据每个区域的重投影误差确定所述特征点的局部重投影误差。
在一种可能的实现方式中,所述将所述目标图像的有效标定区域划分为多个区域包括:
以所述目标区域的中心为圆心,按照径向方向将所述目标图像的有效标定区域划分为多个区域。
在一种可能的实现方式中,所述以所述目标区域的中心为圆心,按照径向方向将所述目标图像的有效标定区域划分为多个区域包括:
以所述目标区域的中心为圆心,按照径向方向,以径向长度占比为依据将所述目标图像的有效标定区域划分为多个区域,其中,每个所述区域的径向长度占比相等。
在一种可能的实现方式中,所述根据每个区域的重投影误差确定所述特征点的局部重投影误差包括:
获取每个区域所包括的每个特征点的重投影误差;
根据所述每个区域所包括的每个特征点的重投影误差计算每个区域的平均重投影误差;
根据所述每个区域的平均重投影误差确定所述特征点的局部重投影误差。
在一种可能的实现方式中,所述方法还包括:
根据评估结果生成可视化报告,所述可视化报告包括特征点覆盖率报告和特征点重投影误差分布报告,所述特征点重投影误差分布报告包括特征点全局重投影误差分布报告和特征点局部重投影误差分布报告。
第二方面,本申请实施例提供了一种内参标定的评估装置,所述装置包括:
采集单元,用于从不同视角采集多个标定图像;
标定单元,用于对所述多个标定图像进行标定,得到摄像头内参;
生成单元,用于基于所述多个标定图像生成目标图像,所述目标图像的特征点包括每个所述标定图像的标定特征点;
计算单元,用于计算所述特征点的特征点覆盖率、全局重投影误差和局部重投影误差;
评估单元,用于基于所述特征点覆盖率、所述全局重投影误差和所述局部重投影误差对所述摄像头内参进行评估。
第三方面,本申请实施例提供了一种电子设备,包括:
处理器;
存储器;
所述存储器中存储有计算机程序,当所述计算机程序被执行时,使得所电子设备执行第一方面任一项所述的方法
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行第一方面任一项所述的方法
与现有技术相比,本申请实施例采用特征点覆盖率、全局重投影误差和局部重投影误差多项评估指标对摄像头内参标定结果进行评估,不仅能评估摄像头内参标定结果的全局的标定质量,也能对局部的去畸变效果进行量化评估,从而提供更为全面的评估结果。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种应用场景示意图;
图2为本申请实施例提供的一种内参标定的评估方法的流程示意图;
图3为本申请实施例提供的一种标定板图像示意图;
图4为本申请实施例提供的一种目标图像的示意图;
图5为本申请实施例提供的一种特征点覆盖率计算示意图;
图6为本申请实施例提供的一种目标图像的有效标定区域的示意图;
图7为本申请实施例提供的一种对目标图像的有效标定区域进行区域划分的示意图;
图8为本申请实施例提供的一种目标图像的有效标定区域的区域划分结果示意图;
图9为本申请实施例提供的一种可视化报告的示意图;
图10为本申请实施例提供的一种内参标定的评估装置的结构示意图;
图11为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了更好的理解本申请的技术方案,下面结合附图对本申请实施例进行详细描述。
应当明确,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,甲和/或乙,可以表示:单独存在甲,同时存在甲和乙,单独存在乙这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
参见图1,为本申请实施例提供的一种应用场景示意图。该应用场景包括:相机101、标定板102和服务器103,其中,相机101与服务器103通过有线或无线的方式通信连接。在相机内参的标定过程中,相机101用于从不同姿态对标定板102进行拍摄,并将拍摄得到的标定图像发送给服务器103,由服务器103根据标定图像对相机内参进行标定。
需要指出的是,图1仅是一种示例性描述,并不应当将其作为本申请保护范围的限制。例如,相机101可以是鱼眼相机、双目相机、单反相机、车载相机、监控摄像头等可以进行拍摄的电子设备,标定板102可以为纸板图卡、显示屏图卡等可以进行图像显示的设备,服务器103可以为终端、平板电脑、笔记本电脑、云服务器、企业服务器等可以进行内参计算的电子设备。
在一些可能的实现方式中,服务器103也可能被称为主机、上位机。
随着计算机视觉技术的发展,鱼眼摄像头因其广阔的视场角越来越多地被应用于监控、自动驾驶、机器人导航等领域。鱼眼摄像头的内参标定是确保图像准确处理的关键步骤,但由于鱼眼镜头固有的严重畸变,传统的标定方法往往难以准确评估标定结果的质量。
目前的评估方法大多侧重于全局误差指标,例如全局重投影误差,而忽略了局部的畸变效果,这不仅限制了标定结果评估的有效性和可靠性,而且无法评估使用摄像头内参对图像进行去畸变后,不同图像区域的去畸变效果。这种情况下,对于具有严重畸变的鱼眼镜头,可能会出现局部区域去畸变效果不佳,但全局误差较小的情况,导致实际应用效果大打折扣。因此,我们需要一种新的标定评估方法,能够考虑到鱼眼摄像头的局部畸变效果,以及在使用内参进行去畸变后,不同图像区域的去畸变效果,从而更准确地评估标定结果的质量。
针对上述问题,本申请实施例提供了一种内参标定的评估方法、评估装置、电子设备和存储介质,本申请实施例采用特征点覆盖率、全局重投影误差和局部重投影误差多项评估指标对摄像头内参标定结果进行评估,不仅能评估摄像头内参标定结果的全局的标定质量,也能对局部的去畸变效果进行量化评估,从而提供更为全面的评估结果。
下面结合附图进行详细介绍。
参见图2,为本申请实施例提供的一种内参标定的评估方法的流程示意图。该方法可应用于图1所示的应用场景,如图2所示,其主要包括以下步骤。
S201:从不同视角采集多个标定图像。
在本申请实施例中,对于需要进行内参标定评估的摄像头,可以采用该摄像头对标定板进行拍摄,以获得多个标定图像。具体实施中,标定板上设置有具有标识参考物的图案,如黑白正方形棋盘格、原点矩阵图案、二维码图案或者线条图案等,以使得获得的标定图像为具有标识参考物的图像。
在一种可能的实现方式中,为保证标定结果的准确性,需要从多个不同视角采集标定图像,具体的,可以通过调整摄像头的拍摄位置、拍摄角度及拍摄姿态等来获取不同视角下的多个标定图像。需要注意的是,摄像头拍摄出的标定图像需包含完成的标定板。当然实际应用中,也可以通过调整标定版的位置、角度、姿态等来使得摄像头拍摄获取到多个不同视角下的标定图像。
在本申请实施例中,对于标定图像的初次采集通常可以采用张正友标定法,即标定版为黑白正方形棋盘格,如图3所示,标定版可以采用一内角点数量为8×8的黑白正方形棋盘格。黑白正方形棋盘格相比于其他图案具有稳定性高、容易识别等优势。具体实施中,标定板可以为图卡形式或显示屏形式,本申请实施例对此不做具体要求。
S202:对多个标定图像进行标定,得到摄像头内参。
在本申请实施例中,在获取到多个标定图像后,可以采用摄像头标定算法对标定图像进行处理,从而得到摄像头的内参。
实际应用中,摄像头的参数可以包括内参、外参和畸变参数,其中,内参为摄像头自身的属性参数,内参可以包括焦距f、使用像素来描述x轴方向焦距的长度fx、使用像素来描述y轴方向焦距的长度fy、相对于成像平面的主点坐标(u0,v0)等等。相机外参可以包括旋转参数以及平移参数等。畸变参数可以包括3个径向畸变参以及2个切向畸变参等。
在一种可能的实现方式中,还可以对标定图像进行预处理,例如进行灰度处理,从而提升图片的对比度,以及还可以进行白平衡、滤波等处理,得到预处理后的标定图像。本申请实施例通过对标定图像进行预处理,能够提升摄像头内参标定的精度。
S203:基于多个标定图像生成目标图像,目标图像的特征点包括每个标定图像的标定特征点。
由于标定图像包括多个,且对于每一个标定图像,均具备标定特征点,因此,在对内参进行评估的过程中,为处理方便,可将每个标定图像的标定特征点均聚集于同一个图像上。具体的,包括:获取第一图像,第一图像的大小与标定图像的大小相等,提取每个标定图像的标定特征点,形成特征点数组,将特征点数组中的每个特征点均表示在第一图像上,以作为第一图像的特征点,从而生成目标图像。如图4所示,为本申请实施例提供的一种目标图像的示意图,图4中的点即为各标定图像的特征点,也为目标图像的特征点。需要说明的是,图4所示的目标图像仅为本申请的一个示例性说明,并不应当将其作为本申请保护范围的限制。例如,目标图像的形状还可以为圆形、椭圆形、正方形等,目标图像的形状及大小与摄像机的本身性能有关,具体的可以参考相关技术的描述,为表述简洁,本申请在此不再进行赘述。
S204:计算特征点的特征点覆盖率、全局重投影误差和局部重投影误差。
在本申请实施例中,对于目标图像的特征点,可以融合特征点覆盖率、全局重投影误差和局部重投影误差等多个指标共同进行内参评估,以提高内参评估的全面性与准确性。
在一种可能的实现方式中,计算目标图像特征点的特征点覆盖率具体包括:获取目标图像特征点的最外层特征点,基于最外层特征点得到特征点的最外层轮廓,基于特征点的最外层轮廓计算目标图像的特征点所包围的面积,如图5所示,图中线条即为特征点的最外层轮廓,最外层轮廓所包围的区域的面积即为目标图像的特征点所包围的面积,将该面积与目标图像的有效标定面积相除,即可得到目标图像特征点的特征点覆盖率。其中,目标图像的有效标定面积为目标图像的有效标定区域的面积,可以通过目标图像的图像面积减去目标图像的暗角面积获得。
参见图6,为本申请实施例提供的一种目标图像的有效标定区域的示意图。如图6所示,目标图像的图像面积为S目标图像=X·Y,其中X、Y分别为目标图像的边长,目标图像的暗角区域有4个,每个暗角区域的暗角面积可以采用三角形近似计算,具体为其中x、y为分别为暗角区域两个直角边长,R为摄像头的像圈半径。因此,可得目标图像的有效标定面积为S有效标定=S目标图像-4×S暗角,表现在图6中即为图6中的斜线部分的面积,特征点的覆盖率为:
其中,S为目标图像的特征点所包围的面积,P为特征点的覆盖率。可见,特征点覆盖率与目标图像的特征点所包围的面积正相关,与目标图像的有效标定面积负相关。
当然,当目标图像为其他形状时,目标图像的图像面积及目标图像的暗角面积可以采用对应的相关公式进行计算,为表述简洁,本申请在此不再进行赘述。
暗角为摄像机中常见的一种拍摄现象,一般是指对着亮度均匀景物,画面四角变暗的现象,也叫做"失光"。实际应用中,由于暗角的影响,在拍摄标定图像时,一般不会让标定特征点出现在暗角区域,因此,为了使得特征点覆盖率计算准确,一般会将暗角从目标图像中剔除,利用目标图像减去暗角剩下的有效标定区域去进行计算。暗角的大小主要与摄像头像圈的大小有关,一般像圈半径越大,暗角越小,像圈半径越小,暗角越大。如图6所示,图6中的圆即为摄像头像圈,方形即为目标图像,像圈与目标图像的交集(斜线部分)即为有效目标定区域,剩下的目标图像四角的黑色区域即为暗角。
在本申请实施例中,通过计算特征点的特征点覆盖率,可以清楚的了解特征点在目标图像中的覆盖程度,以便对特征点进行管控,保证基于内参进行图像矫正时图像边缘区域的去畸变效果。
重投影误差为真实三维空间点在图像平面上的投影(也就是图像上的像素点)和重投影(计算值得到的虚拟的像素点)的差值。在本申请实施例中,全局重投影误差为世界坐标系下每个角点映射到二维图像坐标系的角点坐标理论位置与计算位置之间的平均距离。其中,世界坐标系是三维真实世界里用以描述摄像头位置所建立的坐标系;图像坐标系是以光心为标定图像中点所建立的坐标系;像素坐标系是以标定图像左上角为原点所建立的坐标系。
在一种可能的实现方式中,计算目标图像特征点的全局重投影误差具体包括:计算目标图像特征点中的每个特征点的重投影误差,并将每个特征点的重投影误差求和后除以特征点数量,以获得重投影误差的平均误差,根据重投影误差的平均误差即可确定特征点的全局重投影误差。
具体的,目标图像特征点的全局重投影误差的计算公式如下:
其中,m为标定图像的数量,n为单张标定图像的特征点数量,需要说明的是,由于摄像头拍摄的是同一个标定板,因此每个标定图像的特征点数量相等,为重投影点的像素坐标,(x,y)为特征点的像素坐标,RMS为目标图像特征点的全局重投影误差。
在一种可能的实现方式中,也可以计算特征点的全局最大重投影误差,将特征点的全局最大重投影误差作为内标标定评估的一个指标,可以进一步保证摄像头内参标定评估的准确性。具体的,特征点的全局最大重投影误差为目标图像特征点中各特征点的重投影误差的最大值。
在本申请实施例中,对于目标图像的特征点进行全局重投影误差计算,有利于管控内参标定的整体质量,提高内参评估的准确度。
由于全局重投影误差注重的是内参标定的整体质量,对于局部去畸变质量无法把控,因此还需要一种对内参标定的局部质量可以评价的指标,例如局部重投影误差。
在一种可能的实现方式中,计算特征点的局部重投影误差具体包括:将目标图像的有效标定区域划分为多个区域,计算每个区域所包括的每个特征点的重投影误差,根据每个区域所包括的每个特征点的重投影误差计算每个区域的平均重投影误差,根据每个区域的平均重投影误差即可确定目标图像特征点的局部重投影误差。
实质上,计算特征点的局部重投影误差是将目标图像所有特征点的重投影误差按划分区域分别进行统计,计算每个区域的平均重投影误差,通过这种方式即可得到不同区域的重投影误差。具体的,特征点的局部重投影误差的计算公式为:
其中,为重投影点的像素坐标,(x,y)为特征点的像素坐标,N为每个区域的特征点数量,RMSk为第k个区域的平均重投影误差,为每个特征点的重投影误差。
在一种可能实现方式中,在对目标图像的有效标定区域进行划分时,可以以目标区域的中心为圆心,按照径向方向将目标图像的有效标定区域划分为多个区域,如图7所示。具体实施中的,可以以径向长度占比为依据,对目标图像的有效标定区域进行区域划分,如可以将径向长度均分为五个部分,每个部分的占比相等,即划分后的每个区域的径向占比相等,划分后的每个区域的分布情况如图8所示,由里到外,每个区域的径向占比部分分别为0%-20%,20%-40%,40%-60%,60%-80%,80%-100%,其中0%-20%部分也被称为第一区域,20%-40%部分也被称为第二区域,40%-60%部分也被称为第三区域,60%-80%部分也被称为第四区域,80%-100%部分也被称为第五区域。
可以理解的是,径向长度的值即为摄像头像圈半径的值。
实际应用中,用户也可以根据需求按照其他方式对目标图像的有效标定区域进行区域划分,本申请实施例对此不做具体要求。
在本申请实施例中,局部重投影误差可用于评估优化全局重投影误差时是否导致部分区域精度下降至标准以下。
S205:基于特征点覆盖率、全局重投影误差和局部重投影误差对摄像头内参进行评估。
在本申请实施例中,在获取了特征点覆盖率、全局重投影误差和局部重投影误差后,可以基于特征点覆盖率、全局重投影误差和局部重投影误差指标对摄像头内参进行评估。当摄像头内参的各项指标均满足设定标准时,则认为摄像头符合质量管控指标,否则可以通过调整标定图像的采集方法或者优化摄像头的标定算法等方式重新进行摄像头内参标定。当摄像头符合质量管控指标时,则认为摄像头产品合格,否则则认为摄像头产品不合格。
具体实施中,各项指标的设定标准,如特征点覆盖率设定标准、全局重投影误差设定标准和局部重投影误差设定标准,都与摄像头本身的性能相关,即每个摄像头均有各自的指标设定标准,用户也可根据自身需求进行标准设定,本申请实施例对此不做具体要求。
本申请实施例通过融合多个评价指标,不仅能评估全局的标定质量,也能对局部的去畸变效果进行量化评估,从而提供更为全面的评估结果。相较于单一指标评估方法,本申请的多指标融合评估方法能更准确地反映鱼眼摄像头标定的质量。
S206:根据评估结果生成可视化报告。
当完成对摄像头内参标定的评估后,可根据评估结果生成可视化报告。具体的,可视化报告可包括特征点覆盖率报告和特征点重投影误差分布报告,特征点重投影误差分布报告包括特征点全局重投影误差分布报告和特征点局部重投影误差分布报告。如图9所示,为本申请实施例提供的一种可视化报告示意图,从图9中我们可以直观的得出摄像头内参的评估结果,包括特征点覆盖率附图及特征点覆盖率结果(90.60%),以及特征点全局重投影误差(0.3)、特征点全局最大重投影误差(0.5)、特征点第一区域重投影误差(0.2)、特征点第二区域重投影误差(0.2)、特征点第三区域重投影误差(0.3)、特征点第四区域重投影误差(0.3)和特征点第五区域重投影误差(0.4)。
本申请实施例输出的包含评估结果的可视化报告,可以使得评估结果更直观,更加方便算法开发工程师和质量工程师的理解使用。同时,本申请实施例提供的综合评估结果也可以作为优化鱼眼摄像头标定方案的依据,用于制定调整标定算法和图像采集策略的方案,以进一步优化图像标定的质量。
与上述实施例相对应,本申请实施例还提供了一种内参标定的评估装置。
参见图10,为本申请实施例提供的一种内参标定的评估装置的结构示意图。如图10所示,该评估装置1000包括:采集单元1001,用于从不同视角采集多个标定图像;标定单元1002,用于对多个标定图像进行标定,得到摄像头内参;生成单元1003,用于基于多个标定图像生成目标图像,其中目标图像的特征点包括每个标定图像的标定特征点;计算单元1004,用于计算特征点的特征点覆盖率、全局重投影误差和局部重投影误差;评估单元1005,用于基于特征点覆盖率、全局重投影误差和局部重投影误差对摄像头内参进行评估。
本申请实施例的具体内容可以参见上述方法实施例的描述,为了表述简洁,在此不再赘述。
与上述实施例相对应,本申请还提供了一种电子设备。
参见图11,为本申请实施例提供的一种电子设备的结构示意图,所述电子设备1100可以包括:处理器1101、存储器1102及通信单元1103。这些组件通过一条或多条总线进行通信,本领域技术人员可以理解,图中示出的电子设备的结构并不构成对本发明实施例的限定,它既可以是总线形结构,也可以是星型结构,还可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中,所述通信单元1103,用于建立通信信道,从而使所述电子设备可以与其它设备进行通信。接收其他设备发是的用户数据或者向其他设备发送用户数据。
所述处理器1101,为电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器1102内的软件程序、指令、和/或模块,以及调用存储在存储器内的数据,以执行电子设备的各种功能和/或处理数据。所述处理器可以由集成电路(integrated circuit,IC)组成,例如可以由单颗封装的IC所组成,也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说,处理器1101可以仅包括中央处理器(central processing unit,CPU)。在本申请实施方式中,CPU可以是单运算核心,也可以包括多运算核心。
所述存储器1102,用于存储处理器1101的执行指令,存储器1102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
当存储器1102中的执行指令由处理器1101执行时,使得电子设备1100能够执行图2所示实施例中的部分或全部步骤。
与上述实施例相对应,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当该指令在计算机上运行时,使得计算机执行本申请实施例评估方法的部分实施步骤。
具体实现中,本申请实施例还提供了一种包含指令的计算机程序产品,当该计算机程序产品在计算机或任一至少一种处理器上运行时,使得计算机执行本申请实施例评估方法的部分实施步骤。
具体实现中,本申请实施例还提供一种芯片,包括处理器与数据接口,所述处理器通过所述数据接口读取存储器上存储的指令,以执行本申请提供的评估方法执行的相应操作和/或流程。
可选地,该芯片还包括存储器,该存储器与该处理器通过电路或电线与存储器连接,处理器用于读取并执行该存储器中的计算机程序。进一步可选地,该芯片还包括通信接口,处理器与该通信接口连接。通信接口用于接收需要处理的数据和/或信息,处理器从该通信接口获取该数据和/或信息,并对该数据和/或信息进行处理。该通信接口可以是输入输出接口。
存储器可以是只读存储器(read-only memory,ROM)、可存储静态信息和指令的其它类型的静态存储设备、随机存取存储器(random access memory,RAM)或可存储信息和指令的其它类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备,或者还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质等。
本申请实施例中,“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达,是指的这些项中的任意组合,包括单项或复数项的任意组合。例如,a,b和c中的至少一项可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
本领域普通技术人员可以意识到,本文中公开的实施例中描述的各单元及算法步骤,能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-on ly memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。
Claims (15)
1.一种内参标定的评估方法,其特征在于,所述方法包括:
从不同视角采集多个标定图像;
对所述多个标定图像进行标定,得到摄像头内参;
基于所述多个标定图像生成目标图像,所述目标图像的特征点包括每个所述标定图像的标定特征点;
计算所述特征点的特征点覆盖率、全局重投影误差和局部重投影误差;
基于所述特征点覆盖率、所述全局重投影误差和所述局部重投影误差对所述摄像头内参进行评估。
2.根据权利要求1所述的方法,其特征在于,所述基于所述多个标定图像生成目标图像,所述目标图像的特征点包括每个所述标定图像的标定特征点包括:
获取第一图像,所述第一图像的大小与所述标定图像的大小相等;
提取每个所述标定图像的标定特征点;
将所述每个所述标定图像的标定特征点作为所述第一图像的特征点,生成目标图像。
3.根据权利要求1所述的方法,其特征在于,所述计算所述特征点的特征点覆盖率包括:
获取所述特征点的最外层特征点;
基于所述最外层特征点计算所述特征点的包围面积;
确定所述目标图像的有效标定面积;
基于所述特征点的包围面积与所述目标图像的有效标定面积计算所述特征点的特征点覆盖率,所述特征点的特征点覆盖率与所述特征点的包围面积正相关,与所述目标图像的有效标定面积负相关。
4.根据权利要求3所述的方法,其特征在于,所述确定所述目标图像的有效标定面积包括:
确定所述目标图像的图像面积;
确定所述目标图像的暗角面积;
根据所述图像面积与所述暗角面积确定所述目标图像的有效标定面积,所述目标图像的有效标定面积与所述图像面积正相关,与所述暗角面积负相关。
5.根据权利要求4所述的方法,其特征在于,所述根据所述图像面积与所述暗角面积确定所述目标图像的有效标定面积包括:
根据所述图像面积与所述暗角面积的差值确定所述目标图像的有效标定面积。
6.根据权利要求3所述的方法,其特征在于,所述基于所述特征点的包围面积与所述目标图像的有效标定面积计算所述特征点的特征点覆盖率包括:
基于所述特征点的包围面积与所述目标图像的有效标定面积的比值确定所述特征点的特征点覆盖率。
7.根据权利要求1所述的方法,其特征在于,所述计算所述特征点的全局重投影误差包括:
获取所述特征点中每个特征点的重投影误差;
根据所述重投影误差的平均误差确定所述特征点的全局重投影误差。
8.根据权利要求1所述的方法,其特征在于,所述计算所述特征点的局部重投影误差包括:
将所述目标图像的有效标定区域划分为多个区域,所述有效标定区域为所述目标图像除去暗角以外的其它区域;
根据每个区域的重投影误差确定所述特征点的局部重投影误差。
9.根据权利要求8所述的方法,其特征在于,所述将所述目标图像的有效标定区域划分为多个区域包括:
以所述目标区域的中心为圆心,按照径向方向将所述目标图像的有效标定区域划分为多个区域。
10.根据权利要求9所述的方法,其特征在于,所述以所述目标区域的中心为圆心,按照径向方向将所述目标图像的有效标定区域划分为多个区域包括:
以所述目标区域的中心为圆心,按照径向方向,以径向长度占比为依据将所述目标图像的有效标定区域划分为多个区域,其中,每个所述区域的径向长度占比相等。
11.根据权利要求8所述的方法,其特征在于,所述根据每个区域的重投影误差确定所述特征点的局部重投影误差包括:
获取每个区域所包括的每个特征点的重投影误差;
根据所述每个区域所包括的每个特征点的重投影误差计算每个区域的平均重投影误差;
根据所述每个区域的平均重投影误差确定所述特征点的局部重投影误差。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据评估结果生成可视化报告,所述可视化报告包括特征点覆盖率报告和特征点重投影误差分布报告,所述特征点重投影误差分布报告包括特征点全局重投影误差分布报告和特征点局部重投影误差分布报告。
13.一种内参标定的评估装置,其特征在于,所述装置包括:
采集单元,用于从不同视角采集多个标定图像;
标定单元,用于对所述多个标定图像进行标定,得到摄像头内参;
生成单元,用于基于所述多个标定图像生成目标图像,所述目标图像的特征点包括每个所述标定图像的标定特征点;
计算单元,用于计算所述特征点的特征点覆盖率、全局重投影误差和局部重投影误差;
评估单元,用于基于所述特征点覆盖率、所述全局重投影误差和所述局部重投影误差对所述摄像头内参进行评估。
14.一种电子设备,其特征在于,包括:
处理器;
存储器;
所述存储器中存储有计算机程序,当所述计算机程序被执行时,使得所电子设备执行权利要求1-12任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1-12任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410288682.4A CN118298025A (zh) | 2024-03-13 | 2024-03-13 | 内参标定的评估方法、评估装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410288682.4A CN118298025A (zh) | 2024-03-13 | 2024-03-13 | 内参标定的评估方法、评估装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118298025A true CN118298025A (zh) | 2024-07-05 |
Family
ID=91683902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410288682.4A Pending CN118298025A (zh) | 2024-03-13 | 2024-03-13 | 内参标定的评估方法、评估装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118298025A (zh) |
-
2024
- 2024-03-13 CN CN202410288682.4A patent/CN118298025A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11570423B2 (en) | System and methods for calibration of an array camera | |
CN110717942B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN106846409B (zh) | 鱼眼相机的标定方法及装置 | |
CN106815869B (zh) | 鱼眼相机的光心确定方法及装置 | |
CN107920246B (zh) | 摄像头模组的倾斜度测试方法及装置 | |
US8917317B1 (en) | System and method for camera calibration | |
CN113643414A (zh) | 一种三维图像生成方法、装置、电子设备及存储介质 | |
CN112365421B (zh) | 图像矫正处理方法及装置 | |
JPWO2016175044A1 (ja) | 画像処理装置及び画像処理方法 | |
CN113052912A (zh) | 摄像机标定方法和装置 | |
CN114119701A (zh) | 图像处理方法及其装置 | |
CN107067441A (zh) | 摄像机标定方法及装置 | |
CN113793392A (zh) | 一种相机参数标定方法及装置 | |
CN112598751A (zh) | 标定方法及装置、终端和存储介质 | |
CN116524022A (zh) | 偏移数据计算方法、图像融合方法、装置及电子设备 | |
CN111353945A (zh) | 鱼眼图像校正方法、装置及存储介质 | |
CN118298025A (zh) | 内参标定的评估方法、评估装置、电子设备和存储介质 | |
CN113393506B (zh) | 图像配准方法及相关装置、设备 | |
CN112233185B (zh) | 相机标定方法、图像配准方法及摄像器件、存储装置 | |
CN115661258A (zh) | 标定方法及装置、畸变校正方法及装置、存储介质、终端 | |
JP6684454B2 (ja) | 画像処理装置及び画像処理方法 | |
CN111260781B (zh) | 一种生成图像信息的方法、装置和电子设备 | |
CN113643377B (zh) | 基于多次标定的单镜头一致性误差分析的方法和系统 | |
CN114862934B (zh) | 十亿像素成像的场景深度估计方法及装置 | |
CN110728714B (zh) | 图像处理方法和装置、存储介质、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |