CN116012242A - 一种相机畸变矫正效果评价方法、装置、介质及设备 - Google Patents

一种相机畸变矫正效果评价方法、装置、介质及设备 Download PDF

Info

Publication number
CN116012242A
CN116012242A CN202211680266.6A CN202211680266A CN116012242A CN 116012242 A CN116012242 A CN 116012242A CN 202211680266 A CN202211680266 A CN 202211680266A CN 116012242 A CN116012242 A CN 116012242A
Authority
CN
China
Prior art keywords
feature point
straight line
camera
point
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211680266.6A
Other languages
English (en)
Inventor
李谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Human Horizons Shanghai Autopilot Technology Co Ltd
Original Assignee
Human Horizons Shanghai Autopilot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Human Horizons Shanghai Autopilot Technology Co Ltd filed Critical Human Horizons Shanghai Autopilot Technology Co Ltd
Priority to CN202211680266.6A priority Critical patent/CN116012242A/zh
Publication of CN116012242A publication Critical patent/CN116012242A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种相机畸变矫正效果评价方法、装置、介质及设备，所述方法包括：对目标物图像去畸变后进行仿射变换处理，使得目标物处于图像范围内，且处理后的目标物图像的中间部分和边缘部分的特征点尺度一致；检测处理后的目标物图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线；针对每一个特征点，计算获得特征点到特征点所在的直线的距离误差，并将特征点对应的距离误差转换为特征点到相机的镜头主点的角度误差；根据所有的特征点对应的角度误差对畸变矫正效果进行评价。本发明通过将直线度误差由距离误差转换为角度误差，能够使用统一的评价标准，从而实现对相机畸变矫正效果的统一评价。

Description

一种相机畸变矫正效果评价方法、装置、介质及设备
技术领域
本发明涉及机器视觉矫正技术领域，尤其涉及一种相机畸变矫正效果评价方法、装置、计算机可读存储介质及终端设备。
背景技术
在相机标定中，对相机的畸变参数进行标定是相机标定任务中非常重要的一部分，并且还需要对畸变参数的标定误差进行评估，即对相机的畸变矫正效果进行评估。现有技术提供了一种评估方法，先拍摄含有标定模板的图像，利用标定获得的畸变参数将图像去畸变，并提取去畸变图像中的所有特征点，再基于理论上应位于同一直线的特征点拟合其所在直线，求出每个特征点与其所在直线之间的垂直距离，并根据该垂直距离统计分析直线度误差，以根据直线度误差评估畸变矫正效果是否满足要求。
但是，上述方案中使用的是以绝对距离记的直线度误差，随着相机与标定模板之间的拍摄距离、拍摄角度的改变，直线度误差也会随之变化，例如，在大畸变、大FOV(Fieldof View，视场角)的情况下(如鱼眼相机)，图像中间部分被缩小，使得直线度误差的数值相应变小，同时，图像边缘部分的畸变一般更加严重，是畸变矫正效果评价中比较感兴趣的部分，而若是直接对图像进行去畸变，图像边缘部分会超出范围，此时根本无法获取边缘部分对应的直线度误差，可见，上述方案中的直线度误差无法作为统一的评估标准，无法对不同情况下的畸变矫正效果进行统一评估。
发明内容
本发明实施例的目的在于，提供一种相机畸变矫正效果评价方法、装置、计算机可读存储介质及终端设备，通过将直线度误差由距离误差转换为角度误差，能够使用统一的评价标准，从而实现对相机畸变矫正效果的统一评价。
为了实现上述目的，本发明实施例提供了一种相机畸变矫正效果评价方法，包括：
利用相机拍摄目标物图像；其中，所述目标物图像上包括若干个可提取的特征点，且特征点位于同一直线或多条直线上；
对所述目标物图像去畸变后进行仿射变换处理，使得目标物处于图像范围内，且处理后的目标物图像的中间部分和边缘部分的特征点尺度一致；
检测所述处理后的目标物图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线；
针对每一个特征点，计算获得特征点到特征点所在的直线的距离误差；
针对每一个特征点，将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差；
根据所有的特征点对应的角度误差，对畸变矫正效果进行评价。
进一步地，所述针对每一个特征点，将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差，具体包括：
计算获得所述相机在世界坐标系下的坐标；
针对每一个特征点，根据公式
Figure BDA0004017035380000021
将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差；其中，θ表示特征点对应的角度误差，d表示特征点对应的距离误差，(u，v，0)表示特征点在世界坐标系下的坐标，(x，y，z)表示所述相机在世界坐标系下的坐标。
进一步地，所述计算获得所述相机在世界坐标系下的坐标，具体包括：
根据公式
Figure BDA0004017035380000022
计算获得所述相机在世界坐标系下的坐标；其中，R表示所述相机的标定外参中的旋转矩阵，T表示所述相机的标定外参中的平移向量。
进一步地，所述根据所有的特征点对应的角度误差，对畸变矫正效果进行评价，具体包括：
根据所有的特征点对应的角度误差进行统计分析，确定角度误差的平均值和/或最大值；
根据角度误差的平均值和/或最大值，对所述相机的畸变矫正效果进行评价；其中，角度误差的平均值越大，畸变矫正效果越差；角度误差的最大值越大，畸变矫正效果越差。
进一步地，所述检测所述处理后的目标物图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线，具体包括：
对所述处理后的目标物图像进行特征点检测，获得所述处理后的目标物图像中所有的特征点；
利用最小二乘法对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线；其中，位于同一直线上的特征点对应为被拍摄的目标物上位于同一直线上的点。
进一步地，所述目标物图像为棋盘格图像；则，
所述检测所述处理后的目标物图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线，具体为：
检测处理后的棋盘格图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的横向直线和纵向直线；
所述针对每一个特征点，计算获得特征点到特征点所在的直线的距离误差，具体为：
针对每一个特征点，计算获得特征点到特征点所在的横向直线的第一距离误差，以及，特征点到特征点所在的纵向直线的第二距离误差；
所述针对每一个特征点，将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差，具体为：
针对每一个特征点，将特征点对应的第一距离误差转换为特征点到所述相机的镜头主点的第一角度误差，将特征点对应的第二距离误差转换为特征点到所述相机的镜头主点的第二角度误差；
所述根据所有的特征点对应的角度误差，对畸变矫正效果进行评价，具体为：
根据所有的特征点对应的第一角度误差和第二角度误差，对畸变矫正效果进行评价。
进一步地，所述根据所有的特征点对应的第一角度误差和第二角度误差，对畸变矫正效果进行评价，具体包括：
根据所有的特征点对应的第一角度误差和第二角度误差进行统计分析，确定角度误差的平均值和/或最大值；
根据角度误差的平均值和/或最大值，对所述相机的畸变矫正效果进行评价；其中，角度误差的平均值越大，畸变矫正效果越差；角度误差的最大值越大，畸变矫正效果越差。
为了实现上述目的，本发明实施例还提供了一种相机畸变矫正效果评价装置，用于实现上述任一项所述的相机畸变矫正效果评价方法，所述装置包括：
目标物图像获取模块，用于利用相机拍摄目标物图像；其中，所述目标物图像上包括若干个可提取的特征点，且特征点位于同一直线或多条直线上；
去畸变及仿射变换处理模块，用于对所述目标物图像去畸变后进行仿射变换处理，使得目标物处于图像范围内，且处理后的目标物图像的中间部分和边缘部分的特征点尺度一致；
直线拟合模块，用于检测所述处理后的目标物图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线；
距离误差计算模块，用于针对每一个特征点，计算获得特征点到特征点所在的直线的距离误差；
角度误差计算模块，用于针对每一个特征点，将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差；
畸变矫正效果评价模块，用于根据所有的特征点对应的角度误差，对畸变矫正效果进行评价。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的相机畸变矫正效果评价方法。
本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现上述任一项所述的相机畸变矫正效果评价方法。
与现有技术相比，本发明实施例提供了一种相机畸变矫正效果评价方法、装置、计算机可读存储介质及终端设备，先利用相机拍摄目标物图像，目标物图像上包括若干个可提取的特征点，且特征点位于同一直线或多条直线上；并对目标物图像去畸变后进行仿射变换处理，使得目标物处于图像范围内，且处理后的目标物图像的中间部分和边缘部分的特征点尺度一致；再检测处理后的目标物图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线；针对每一个特征点，计算获得特征点到特征点所在的直线的距离误差，并将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差；最后根据所有的特征点对应的角度误差对畸变矫正效果进行评价；本发明实施例通过将直线度误差由距离误差转换为角度误差，能够使用统一的评价标准，从而实现对相机畸变矫正效果的统一评价。
附图说明
图1是本发明提供的一种相机畸变矫正效果评价方法的一个优选实施例的流程图；
图2是本发明实施例提供的距离误差转换为角度误差的示意图；
图3A至图3B是本发明实施例提供的棋盘格图像的示意图；
图4是本发明提供的一种相机畸变矫正效果评价装置的一个优选实施例的结构框图；
图5是本发明提供的一种终端设备的一个优选实施例的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种相机畸变矫正效果评价方法，参见图1所示，是本发明提供的一种相机畸变矫正效果评价方法的一个优选实施例的流程图，所述方法包括步骤S11至步骤S16：
步骤S11、利用相机拍摄目标物图像；其中，所述目标物图像上包括若干个可提取的特征点，且特征点位于同一直线或多条直线上；
步骤S12、对所述目标物图像去畸变后进行仿射变换处理，使得目标物处于图像范围内，且处理后的目标物图像的中间部分和边缘部分的特征点尺度一致；
步骤S13、检测所述处理后的目标物图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线；
步骤S14、针对每一个特征点，计算获得特征点到特征点所在的直线的距离误差；
步骤S15、针对每一个特征点，将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差；
步骤S16、根据所有的特征点对应的角度误差，对畸变矫正效果进行评价。
具体的，首先，选择目标物作为标靶，利用已经完成参数标定(包括内参、外参和畸变参数标定)的相机拍摄包含目标物的图像，相应获得目标物图像，在目标物图像上，具有多个可以提取的特征点，并且特征点位于同一直线或者多条直线上；接着，利用相机的标定参数对获得的目标物图像进行去畸变处理以及仿射变换处理，相应获得处理后的目标物图像，以使得处理后的目标物图像的视角正对着目标物平面，保证目标物位于图像范围内，并且处理后的目标物图像的中间部分的特征点和边缘部分的特征点的尺度保持一致；然后，检测获得处理后的目标物图像中的所有的特征点，并对理论上应位于同一直线上的特征点进行直线拟合，相应获得每一个特征点所在的直线(即拟合直线)；接着，针对每一个特征点，分别计算获得该特征点到该特征点所在的拟合直线的距离误差(即直线度误差，也即该特征点到该特征点所在的拟合直线的垂直距离)，并且针对每一个特征点，分别将计算获得的该特征点所对应的距离误差转换为该特征点到相机的镜头主点的角度误差；最后，根据获得的所有的特征点所对应的角度误差，对相机的畸变矫正效果进行评价。
需要说明的是，在本发明实施例中，相机的参数标定方式可以采用现有技术提供的标定方案进行实现，以及，利用相机的标定参数(相机内参、旋转矩阵和平移向量)对目标物图像进行去畸变处理以及仿射变换处理，也可以采用现有技术提供的去畸变方案以及仿射变换方案进行实现，本发明实施例不作具体限定。
示例性，针对目标物图像，有两种选择，(1)可以直接沿用相机内参标定过程中使用的图片作为目标物图像；(2)可以如上述内容所述，在相机的内参标定完成之后，利用标定后的相机再单独采集用于畸变矫正效果评价的目标物图像。
示例性的，针对目标物图像的去畸变以及仿射变换处理，利用的是相机标定参数中的内参，内参用于去畸变处理，而仿射变换处理需要额外获得相机到标靶的外参，并且根据使用的目标物图像的不同，获取外参有两种情况：(1)若沿用相机内参标定时的图片作为目标物图像，则外参在内参标定过程中会一并获得，不需要单独计算外参；(2)若拍摄新图片作为目标物图像，则在具体执行步骤S12时，应该为：在拍摄的原图片中检测特征点，根据原图片中的特征点、相机内参以及特征点在目标物上的实际坐标，计算相机到目标物的外参，再通过获得的内参与外参，对拍摄的原图片进行去畸变和仿射变换处理。
本发明实施例所提供的一种相机畸变矫正效果评价方法，先利用相机拍摄目标物图像，目标物图像上包括若干个可提取的特征点，且特征点位于同一直线或多条直线上；并对目标物图像去畸变后进行仿射变换处理，使得目标物处于图像范围内，且处理后的目标物图像的中间部分和边缘部分的特征点尺度一致；再检测处理后的目标物图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线；针对每一个特征点，计算获得特征点到特征点所在的直线的距离误差，并将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差；最后根据所有的特征点对应的角度误差对畸变矫正效果进行评价；本发明实施例通过将直线度误差由距离误差转换为角度误差，能够使用统一的评价标准，从而实现对相机畸变矫正效果的统一评价。
在另一个优选实施例中，所述针对每一个特征点，将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差，具体包括：
计算获得所述相机在世界坐标系下的坐标；
针对每一个特征点，根据公式
Figure BDA0004017035380000081
将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差；其中，θ表示特征点对应的角度误差，d表示特征点对应的距离误差，(u，v，0)表示特征点在世界坐标系下的坐标，(x，y，z)表示所述相机在世界坐标系下的坐标。
具体的，结合上述实施例，在将每一个特征点所对应的距离误差转换为相应的角度误差时，可以先计算获得相机在世界坐标系下所对应的坐标；再针对每一个特征点，均可以根据公式
Figure BDA0004017035380000082
将该特征点对应的距离误差d转换为该特征点到相机的镜头主点的角度误差θ；其中，(u，v，0)表示该特征点在世界坐标系下所对应的坐标，(x，y，z)表示相机在世界坐标系下所对应的坐标。
示例性的，参见图2所示，是本发明实施例提供的距离误差转换为角度误差的示意图，图2中的点P(u，v，0)表示标靶上的当前特征点(即以目标物作为标靶时的目标物图像上的特征点)，点P’表示点P到其所在的直线的垂足，点P’与点P之间的距离d即为当前特征点到其所在的直线的距离误差d，点O(x，y，z)表示相机的镜头主点(即为相机在世界坐标系下所对应的坐标)，(u-x)2+(v-y)2+z2表示点O与点P之间的距离，即为相机与当前特征点之间的距离，则有
Figure BDA0004017035380000091
需要说明的是，在由图2所示的点P、点P’和点O构成的三角形中，各参数之间应该满足一定的三角函数关系，但是，正常情况下，经过参数标定的相机，其畸变矫正效果一般是比较好的，误差(即d的值)不会很大，因此，无需利用三角函数关系进行计算，直接将d与
Figure BDA0004017035380000092
相除，就可以获得一个近似的角度值，在实际应用中可以减少计算量，并且即使误差(即d的值)很大，直接将d与
Figure BDA0004017035380000093
相除，获得的商值仍然是单调的，仍然符合“θ越大，畸变矫正效果越差”这一评价标准。
需要说明的是，针对每一个特征点在世界坐标系下所对应的坐标，均可以在对去畸变及仿射变换处理后的目标物图像进行特征点检测时，通过检测获得每一个特征点在世界坐标系下所对应的坐标，其中，特征点的检测方式可以采用现有技术提供的检测方案进行实现，本发明实施例不作具体限定。
在又一个优选实施例中，所述计算获得所述相机在世界坐标系下的坐标，具体包括：
根据公式
Figure BDA0004017035380000094
计算获得所述相机在世界坐标系下的坐标；其中，R表示所述相机的标定外参中的旋转矩阵，T表示所述相机的标定外参中的平移向量。
具体的，结合上述实施例，在实际计算相机在世界坐标系下所对应的坐标时，可以利用相机的标定外参中的旋转矩阵R和平移向量T，根据公式
Figure BDA0004017035380000095
进行计算，即，先将世界坐标系到相机坐标系的旋转矩阵R的逆矩阵(或转置矩阵)，乘以世界坐标系到相机坐标系的平移向量T，再取两者乘积的负值，即获得相机在世界坐标系下的坐标值(x，y，z)。
在又一个优选实施例中，所述根据所有的特征点对应的角度误差，对畸变矫正效果进行评价，具体包括：
根据所有的特征点对应的角度误差进行统计分析，确定角度误差的平均值和/或最大值；
根据角度误差的平均值和/或最大值，对所述相机的畸变矫正效果进行评价；其中，角度误差的平均值越大，畸变矫正效果越差；角度误差的最大值越大，畸变矫正效果越差。
具体的，结合上述实施例，在根据获得的所有的特征点所对应的角度误差对畸变矫正效果进行评价时，可以先根据获得的所有的特征点所对应的角度误差进行统计分析，相应获得角度误差的平均值和/或最大值，再根据获得的角度误差的平均值和/或最大值，来评价相机的畸变矫正效果是否满足要求。
可以理解的，角度误差的平均值越大，表示相机的畸变矫正效果越差；角度误差的最大值越大，也表示相机的畸变矫正效果越差；其中，角度误差的平均值主要用来评价畸变矫正的整体效果，角度误差的最大值主要用来评价最差的局部区域的畸变矫正效果。
在又一个优选实施例中，所述检测所述处理后的目标物图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线，具体包括：
对所述处理后的目标物图像进行特征点检测，获得所述处理后的目标物图像中所有的特征点；
利用最小二乘法对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线；其中，位于同一直线上的特征点对应为被拍摄的目标物上位于同一直线上的点。
具体的，结合上述实施例，在获得去畸变及仿射变换处理后的目标物图像之后，可以先对处理后的目标物图像进行特征点检测，相应获得处理后的目标物图像中的所有的特征点；再利用最小二乘法对理论上应位于同一直线上的特征点进行直线拟合，相应获得每一个特征点所在的直线；其中，位于同一直线上的特征点对应为被拍摄的目标物实物上位于同一直线上的点，也就是说，特征点是否位于同一直线上，可以根据特征点在目标物实物上所对应的点是否位于同一直线上进行判断。
在又一个优选实施例中，所述目标物图像为棋盘格图像；则，
所述检测所述处理后的目标物图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线，具体为：
检测处理后的棋盘格图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的横向直线和纵向直线；
所述针对每一个特征点，计算获得特征点到特征点所在的直线的距离误差，具体为：
针对每一个特征点，计算获得特征点到特征点所在的横向直线的第一距离误差，以及，特征点到特征点所在的纵向直线的第二距离误差；
所述针对每一个特征点，将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差，具体为：
针对每一个特征点，将特征点对应的第一距离误差转换为特征点到所述相机的镜头主点的第一角度误差，将特征点对应的第二距离误差转换为特征点到所述相机的镜头主点的第二角度误差；
所述根据所有的特征点对应的角度误差，对畸变矫正效果进行评价，具体为：
根据所有的特征点对应的第一角度误差和第二角度误差，对畸变矫正效果进行评价。
具体的，结合上述实施例，选择棋盘格标靶，则，先利用已经完成参数标定的相机拍摄包含棋盘格标靶的图像，相应获得棋盘格图像；接着，利用相机的标定参数对获得的棋盘格图像进行去畸变处理以及仿射变换处理，相应获得处理后的棋盘格图像；然后，检测获得处理后的棋盘格图像中的所有的特征点，并对理论上应位于同一直线上的特征点进行直线拟合，相应获得每一个特征点所在的横向直线和纵向直线(在棋盘格标靶中，每一个特征点所对应的拟合直线包括横纵两个方向上的直线)；接着，针对每一个特征点，分别计算获得该特征点到该特征点所在的横向直线的第一距离误差，以及，计算获得该特征点到该特征点所在的纵向直线的第二距离误差，并且针对每一个特征点，分别将计算获得的该特征点所对应的第一距离误差转换为该特征点到相机的镜头主点的第一角度误差，以及，将计算获得的该特征点所对应的第二距离误差转换为该特征点到相机的镜头主点的第二角度误差；最后，根据获得的所有的特征点所对应的第一角度误差和第二角度误差，对相机的畸变矫正效果进行评价。
需要说明的是，本发明实施例选择的标靶为棋盘格，而除了棋盘格之外，存在有规律的点阵的目标物或者将点阵中的点替换成任意形状之后的目标物均可以作为标靶，本发明实施例不作具体限定。
参见图3A至图3B所示，是本发明实施例提供的棋盘格图像的示意图，其中，图3A表示利用相机拍摄的棋盘格图像，图3B表示经过去畸变及仿射变换处理后的棋盘格图像，经过去畸变及仿射变换处理，可以使得处理后的棋盘格图像的视角正对着标靶平面，保证棋盘格标靶位于图像范围内，且图像的中间部分和边缘部分的特征点的尺度保持一致。
在图3B中，棋盘格中的角点对应为棋盘格图像中的特征点，以其中的角点P(即为特征点P)为例，通过对理论上应位于同一直线上的特征点进行直线拟合，相应获得特征点P所在的横向直线L1和纵向直线L2，通过计算特征点P到横向直线L1的垂直距离，即可获得第一距离误差，以及，通过计算特征点P到纵向直线L2的垂直距离，即可获得第二距离误差。
需要说明的是，对于图3B所示的棋盘格图像来说，理论上位于同一直线上的特征点，在图像上本身就已经近似于处于同一直线上，特征点P所对应的第一距离误差和第二距离误差很小，因此图3B中并未具体示出第一距离误差和第二距离误差，并且图3B中仅示出了位于横向直线L1和纵向直线L2上的部分特征点，也没有将所有特征点全部示出。
结合图2和图3B所示，在将每一个特征点所对应的第一距离误差和第二距离误差转换为相应的第一角度误差和第二角度误差时，与上述实施例同理，针对每一个特征点，均可以根据公式
Figure BDA0004017035380000131
将该特征点对应的第一距离误差d1转换为该特征点到相机的镜头主点的第一角度误差θ1，根据公式
Figure BDA0004017035380000132
将该特征点对应的第二距离误差d2转换为该特征点到相机的镜头主点的第二角度误差θ2；其中，(u，v，0)表示该特征点在世界坐标系下所对应的坐标，(x，y，z)表示相机在世界坐标系下所对应的坐标。
在又一个优选实施例中，所述根据所有的特征点对应的第一角度误差和第二角度误差，对畸变矫正效果进行评价，具体包括：
根据所有的特征点对应的第一角度误差和第二角度误差进行统计分析，确定角度误差的平均值和/或最大值；
根据角度误差的平均值和/或最大值，对所述相机的畸变矫正效果进行评价；其中，角度误差的平均值越大，畸变矫正效果越差；角度误差的最大值越大，畸变矫正效果越差。
具体的，结合上述实施例，在根据获得的所有的特征点所对应的第一角度误差和第二角度误差对畸变矫正效果进行评价时，可以先根据获得的所有的特征点所对应的第一角度误差和第二角度误差进行统计分析，相应获得角度误差的平均值和/或最大值，再根据获得的角度误差的平均值和/或最大值，来评价相机的畸变矫正效果是否满足要求。
需要说明的是，根据获得的所有的特征点所对应的第一角度误差和第二角度误差进行统计分析，无需分别针对所有的第一角度误差进行统计分析，以及，针对所有的第二角度误差进行统计分析，可以直接将所有的特征点所对应的第一角度误差和第二角度误差作为一个整体，集中进行平均值计算，并寻找最大值。
本发明实施例还提供了一种相机畸变矫正效果评价装置，用于实现上述任一实施例所述的相机畸变矫正效果评价方法，参见图4所示，是本发明提供的一种相机畸变矫正效果评价装置的一个优选实施例的结构框图，所述装置包括：
目标物图像获取模块11，用于利用相机拍摄目标物图像；其中，所述目标物图像上包括若干个可提取的特征点，且特征点位于同一直线或多条直线上；
去畸变及仿射变换处理模块12，用于对所述目标物图像去畸变后进行仿射变换处理，使得目标物处于图像范围内，且处理后的目标物图像的中间部分和边缘部分的特征点尺度一致；
直线拟合模块13，用于检测所述处理后的目标物图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线；
距离误差计算模块14，用于针对每一个特征点，计算获得特征点到特征点所在的直线的距离误差；
角度误差计算模块15，用于针对每一个特征点，将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差；
畸变矫正效果评价模块16，用于根据所有的特征点对应的角度误差，对畸变矫正效果进行评价。
优选地，所述角度误差计算模块15具体包括：
相机坐标计算单元，用于计算获得所述相机在世界坐标系下的坐标；
角度误差计算单元，用于针对每一个特征点，根据公式
Figure BDA0004017035380000141
将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差；其中，θ表示特征点对应的角度误差，d表示特征点对应的距离误差，(u，v，0)表示特征点在世界坐标系下的坐标，(x，y，z)表示所述相机在世界坐标系下的坐标。
优选地，所述相机坐标计算单元具体用于：
根据公式
Figure BDA0004017035380000142
计算获得所述相机在世界坐标系下的坐标；其中，R表示所述相机的标定外参中的旋转矩阵，T表示所述相机的标定外参中的平移向量。
优选地，所述畸变矫正效果评价模块16具体包括：
第一角度误差统计分析单元，用于根据所有的特征点对应的角度误差进行统计分析，确定角度误差的平均值和/或最大值；
第一畸变矫正效果评价单元，用于根据角度误差的平均值和/或最大值，对所述相机的畸变矫正效果进行评价；其中，角度误差的平均值越大，畸变矫正效果越差；角度误差的最大值越大，畸变矫正效果越差。
优选地，所述直线拟合模块13具体包括：
特征点检测单元，用于对所述处理后的目标物图像进行特征点检测，获得所述处理后的目标物图像中所有的特征点；
直线拟合单元，用于利用最小二乘法对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线；其中，位于同一直线上的特征点对应为被拍摄的目标物上位于同一直线上的点。
优选地，所述目标物图像为棋盘格图像；则，
所述直线拟合模块13具体用于：
检测处理后的棋盘格图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的横向直线和纵向直线；
所述距离误差计算模块14具体用于：
针对每一个特征点，计算获得特征点到特征点所在的横向直线的第一距离误差，以及，特征点到特征点所在的纵向直线的第二距离误差；
所述角度误差计算模块15具体用于：
针对每一个特征点，将特征点对应的第一距离误差转换为特征点到所述相机的镜头主点的第一角度误差，将特征点对应的第二距离误差转换为特征点到所述相机的镜头主点的第二角度误差；
所述畸变矫正效果评价模块16具体用于：
根据所有的特征点对应的第一角度误差和第二角度误差，对畸变矫正效果进行评价。
优选地，所述畸变矫正效果评价模块16具体包括：
第二角度误差统计分析单元，用于根据所有的特征点对应的第一角度误差和第二角度误差进行统计分析，确定角度误差的平均值和/或最大值；
第二畸变矫正效果评价单元，用于根据角度误差的平均值和/或最大值，对所述相机的畸变矫正效果进行评价；其中，角度误差的平均值越大，畸变矫正效果越差；角度误差的最大值越大，畸变矫正效果越差。
需要说明的是，本发明实施例所提供的一种相机畸变矫正效果评价装置，能够实现上述任一实施例所述的相机畸变矫正效果评价方法的所有流程，装置中的各个模块、单元的作用以及实现的技术效果分别与上述实施例所述的相机畸变矫正效果评价方法的作用以及实现的技术效果对应相同，这里不再赘述。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一实施例所述的相机畸变矫正效果评价方法。
本发明实施例还提供了一种终端设备，参见图5所示，是本发明提供的一种终端设备的一个优选实施例的结构框图，所述终端设备包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10在执行所述计算机程序时实现上述任一实施例所述的相机畸变矫正效果评价方法。
优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、……)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器10也可以是任何常规的处理器，所述处理器10是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。
所述存储器20主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器20可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡和闪存卡(Flash Card)等，或所述存储器20也可以是其他易失性固态存储器件。
需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图5结构框图仅仅是上述终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
综上，本发明实施例所提供的一种相机畸变矫正效果评价方法、装置、计算机可读存储介质及终端设备，先利用相机拍摄目标物图像，目标物图像上包括若干个可提取的特征点，且特征点位于同一直线或多条直线上；并对目标物图像去畸变后进行仿射变换处理，使得目标物处于图像范围内，且处理后的目标物图像的中间部分和边缘部分的特征点尺度一致；再检测处理后的目标物图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线；针对每一个特征点，计算获得特征点到特征点所在的直线的距离误差，并将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差；最后根据所有的特征点对应的角度误差对畸变矫正效果进行评价；本发明实施例通过将直线度误差由距离误差转换为角度误差，能够使用统一的评价标准，从而实现对相机畸变矫正效果的统一评价。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种相机畸变矫正效果评价方法，其特征在于，包括：
利用相机拍摄目标物图像；其中，所述目标物图像上包括若干个可提取的特征点，且特征点位于同一直线或多条直线上；
对所述目标物图像去畸变后进行仿射变换处理，使得目标物处于图像范围内，且处理后的目标物图像的中间部分和边缘部分的特征点尺度一致；
检测所述处理后的目标物图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线；
针对每一个特征点，计算获得特征点到特征点所在的直线的距离误差；
针对每一个特征点，将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差；
根据所有的特征点对应的角度误差，对畸变矫正效果进行评价。
2.如权利要求1所述的相机畸变矫正效果评价方法，其特征在于，所述针对每一个特征点，将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差，具体包括：
计算获得所述相机在世界坐标系下的坐标；
针对每一个特征点，根据公式
Figure FDA0004017035370000011
将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差；其中，θ表示特征点对应的角度误差，d表示特征点对应的距离误差，(u，v，0)表示特征点在世界坐标系下的坐标，(x，y，z)表示所述相机在世界坐标系下的坐标。
3.如权利要求2所述的相机畸变矫正效果评价方法，其特征在于，所述计算获得所述相机在世界坐标系下的坐标，具体包括：
根据公式
Figure FDA0004017035370000021
计算获得所述相机在世界坐标系下的坐标；其中，R表示所述相机的标定外参中的旋转矩阵，T表示所述相机的标定外参中的平移向量。
4.如权利要求1所述的相机畸变矫正效果评价方法，其特征在于，所述根据所有的特征点对应的角度误差，对畸变矫正效果进行评价，具体包括：
根据所有的特征点对应的角度误差进行统计分析，确定角度误差的平均值和/或最大值；
根据角度误差的平均值和/或最大值，对所述相机的畸变矫正效果进行评价；其中，角度误差的平均值越大，畸变矫正效果越差；角度误差的最大值越大，畸变矫正效果越差。
5.如权利要求1所述的相机畸变矫正效果评价方法，其特征在于，所述检测所述处理后的目标物图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线，具体包括：
对所述处理后的目标物图像进行特征点检测，获得所述处理后的目标物图像中所有的特征点；
利用最小二乘法对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线；其中，位于同一直线上的特征点对应为被拍摄的目标物上位于同一直线上的点。
6.如权利要求1所述的相机畸变矫正效果评价方法，其特征在于，所述目标物图像为棋盘格图像；则，
所述检测所述处理后的目标物图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线，具体为：
检测处理后的棋盘格图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的横向直线和纵向直线；
所述针对每一个特征点，计算获得特征点到特征点所在的直线的距离误差，具体为：
针对每一个特征点，计算获得特征点到特征点所在的横向直线的第一距离误差，以及，特征点到特征点所在的纵向直线的第二距离误差；
所述针对每一个特征点，将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差，具体为：
针对每一个特征点，将特征点对应的第一距离误差转换为特征点到所述相机的镜头主点的第一角度误差，将特征点对应的第二距离误差转换为特征点到所述相机的镜头主点的第二角度误差；
所述根据所有的特征点对应的角度误差，对畸变矫正效果进行评价，具体为：
根据所有的特征点对应的第一角度误差和第二角度误差，对畸变矫正效果进行评价。
7.如权利要求6所述的相机畸变矫正效果评价方法，其特征在于，所述根据所有的特征点对应的第一角度误差和第二角度误差，对畸变矫正效果进行评价，具体包括：
根据所有的特征点对应的第一角度误差和第二角度误差进行统计分析，确定角度误差的平均值和/或最大值；
根据角度误差的平均值和/或最大值，对所述相机的畸变矫正效果进行评价；其中，角度误差的平均值越大，畸变矫正效果越差；角度误差的最大值越大，畸变矫正效果越差。
8.一种相机畸变矫正效果评价装置，其特征在于，用于实现如权利要求1～7中任一项所述的相机畸变矫正效果评价方法，所述装置包括：
目标物图像获取模块，用于利用相机拍摄目标物图像；其中，所述目标物图像上包括若干个可提取的特征点，且特征点位于同一直线或多条直线上；
去畸变及仿射变换处理模块，用于对所述目标物图像去畸变后进行仿射变换处理，使得目标物处于图像范围内，且处理后的目标物图像的中间部分和边缘部分的特征点尺度一致；
直线拟合模块，用于检测所述处理后的目标物图像中所有的特征点，并对位于同一直线上的特征点进行直线拟合，获得每一个特征点所在的直线；
距离误差计算模块，用于针对每一个特征点，计算获得特征点到特征点所在的直线的距离误差；
角度误差计算模块，用于针对每一个特征点，将特征点对应的距离误差转换为特征点到所述相机的镜头主点的角度误差；
畸变矫正效果评价模块，用于根据所有的特征点对应的角度误差，对畸变矫正效果进行评价。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1～7中任一项所述的相机畸变矫正效果评价方法。
10.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1～7中任一项所述的相机畸变矫正效果评价方法。
CN202211680266.6A 2022-12-26 2022-12-26 一种相机畸变矫正效果评价方法、装置、介质及设备 Pending CN116012242A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211680266.6A CN116012242A (zh) 2022-12-26 2022-12-26 一种相机畸变矫正效果评价方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211680266.6A CN116012242A (zh) 2022-12-26 2022-12-26 一种相机畸变矫正效果评价方法、装置、介质及设备

Publications (1)

Publication Number Publication Date
CN116012242A true CN116012242A (zh) 2023-04-25

Family

ID=86034833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211680266.6A Pending CN116012242A (zh) 2022-12-26 2022-12-26 一种相机畸变矫正效果评价方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN116012242A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823681A (zh) * 2023-08-31 2023-09-29 尚特杰电力科技有限公司 红外图像的畸变矫正方法、装置、系统及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823681A (zh) * 2023-08-31 2023-09-29 尚特杰电力科技有限公司 红外图像的畸变矫正方法、装置、系统及存储介质
CN116823681B (zh) * 2023-08-31 2024-01-26 尚特杰电力科技有限公司 红外图像的畸变矫正方法、装置、系统及存储介质

Similar Documents

Publication Publication Date Title
CN107633536B (zh) 一种基于二维平面模板的相机标定方法及系统
JP6934026B2 (ja) ビジョンシステムでラインを検出するためのシステム及び方法
CN108932698B (zh) 图像畸变的校正方法、装置、电子设备和存储介质
JP5075757B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
CN109479082B (zh) 图象处理方法及装置
CN109784250B (zh) 自动引导小车的定位方法和装置
CN111145271B (zh) 相机参数的精确度的确定方法、装置、存储介质及终端
CN106570907B (zh) 一种相机标定方法及装置
CN110738707A (zh) 一种相机的畸变校正方法及装置、设备、存储介质
CN111681186A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN112862895B (zh) 一种鱼眼摄像头标定方法、装置及系统
CN112308934B (zh) 标定检测方法及装置、存储介质、计算设备
CN112270719A (zh) 相机标定方法、装置及系统
CN111311671B (zh) 一种工件测量方法、装置、电子设备及存储介质
CN107680035B (zh) 一种参数标定方法和装置、服务器及可读存储介质
CN116012242A (zh) 一种相机畸变矫正效果评价方法、装置、介质及设备
CN111445513A (zh) 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
US10728476B2 (en) Image processing device, image processing method, and image processing program for determining a defective pixel
CN116071562A (zh) 一种植物种子识别方法、装置、电子设备及存储介质
CN116051652A (zh) 一种参数标定方法及电子设备、存储介质
CN112734721B (zh) 一种光轴偏转角度检测方法、装置、设备和介质
CN112288649A (zh) 一种圆柱状物体透视成像失真的图像校正方法及设备
CN112907462A (zh) 超广角摄像器件畸变校正方法、系统及包括其的拍摄装置
JP2016111585A (ja) 画像処理装置、システム、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination