CN117541661B - 双目相机外参数自动校正方法、系统、装置及存储介质 - Google Patents
双目相机外参数自动校正方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN117541661B CN117541661B CN202410009743.9A CN202410009743A CN117541661B CN 117541661 B CN117541661 B CN 117541661B CN 202410009743 A CN202410009743 A CN 202410009743A CN 117541661 B CN117541661 B CN 117541661B
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- point
- initial
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012937 correction Methods 0.000 title claims abstract description 45
- 238000012360 testing method Methods 0.000 claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Abstract
本申请涉及一种双目相机外参数自动校正方法、系统、装置及存储介质,其属于机器视觉中的相机标定技术领域,该方法包括:获取双目相机的初始相机参数和测试图像,测试图像包括左图像和右图像,左图像和右图像中均存在多个特征点;根据初始相机参数确定初始外参数;将左图像和右图像中同名的特征点作为一个点对,计算点对的拟合值;根据初始相机参数和目标点对的拟合值,将初始外参数调整为目标外参数,目标点对根据拟合值的大小和拟合值出现的频次而得,目标外参数与目标点对的拟合值对应。本申请依据双目相机所拍摄的测试图像自动调整双目相机的初始外参数,以实现提升校正效率的同时,也能够使校正的准确度得到提升。
Description
技术领域
本申请涉及机器视觉中的相机标定技术领域,尤其是涉及一种双目相机外参数自动校正方法、系统、装置及存储介质。
背景技术
双目相机的标定或者校准是计算机视觉中的核心研究内容之一,是由二维图像对重建三维信息的关键技术。标定就是确立空间物点和其像素点的精确几何映射关系的过程。当前,常用的相机标定方法有以下几种。
1、张正友棋盘格标定法。该方法是将世界坐标系固定于棋盘格上,由于标定板的世界坐标系是人为事先定义好的,标定板上每一个格子的大小是已知的,可以计算得到每一个角点在世界坐标系下的物理坐标,以此来进行相机的标定,获得相机的内外参矩阵、畸变参数。但在标定过程中,存在需要人工(或者高精度机械臂)调整标定板的摆放位置和姿态,由人工判断图像状态等流程,不仅标定效率低,而且准确度由人为主观的影响因素存在。
2、立体标定场法。该方法是先获得标定点在空间中的三维坐标,该三维坐标通过人为设定或者通过高精度电子经纬仪测得,图像中的标定点的像素坐标通过相应的检测算法得到,根据得到的标定点的三维坐标以及像素坐标,计算得到相机的内外参矩阵和畸变系数。但该方法在标定前,需要事先设置或测量好每个标定点的精确三维坐标。
3、编码标志块法等。该方法是在物方标志块上加载唯一的身份信息(即编码),然后在图像中对每一个含编码信息的标志块进行识别(即解码)。同样地,编码标志块法也需要人工参与设计好每个标志块的图像,并精确测量每个标志块的三维坐标,该种标定方法的准确度同样由人为主观的影响因素存在。
由此可知,在使用环境复杂和测距精度要求高的工业场景中,如港口码头或者起重机等使用的相机设备,若继续使用上述的标定方法,则需要对相机设备进行频繁拆卸和安装,即在相机设备安装之前,可以使用以上的方法进行标定,而在安装固定之后,相机设备在外力影响下相机参数可能发生改变,甚至需要重复进行标定。所以使用现有的标定方法的效率低下,准确度也得不到保障。
发明内容
为了解决双目相机标定效率低的问题,本申请提供一种双目相机外参数自动校正方法、系统、装置及存储介质。
在本申请的第一方面,提供了一种双目相机外参数自动校正方法。该方法包括:
获取双目相机的初始相机参数和测试图像,所述测试图像包括左图像和右图像,所述左图像为左相机输出的图像,所述右图像为右相机输出的图像,所述左图像和所述右图像中均存在多个特征点;
根据所述初始相机参数确定初始外参数;
将所述左图像和所述右图像中同名的特征点作为一个点对,计算所述点对的拟合值;
根据所述初始相机参数和目标点对的拟合值,将所述初始外参数调整为目标外参数,所述目标点对根据拟合值的大小和拟合值出现的频次而得,所述目标外参数与所述目标点对的拟合值对应。
通过采用上述技术方案,一方面,本申请的方法无需标定板,也无需拆卸双目设备,全自动的双目校正能够提高双目校正效率。另一方面,本申请的校正方法中,首先获取双目相机的初始相机参数和测试图像,然后根据初始相机参数计算得到初始外参数,同时计算测试图像中点对的拟合值。最后,从多个点对中选择出一个目标点对,并根据目标点对确定目标外参数,再根据目标点对的拟合值调整初始相机参数,以使得初始外参数与目标外参数相同。由此可知,本申请依据双目相机所拍摄的测试图像实时调整双目相机的初始外参数,以实现提升校正效率的同时,也能够使校正的准确度不断提升。
在一种可能的实现方式中:所述初始相机参数包括双目相机基线的长度和多个初始角度值;
通过如下计算公式确定所述初始外参数,包括:
;
;
其中,为双目相机基线向量,βɩ、γɩ、αr、βr、γr分别为左相机在y方向上的旋转角度、左相机在z方向上的旋转角度、右相机在x方向上的旋转角度、右相机在y方向上的旋转角度、右相机在z方向上的旋转角度。
通过采用上述技术方案,初始外参数与双目相机基线的长度和多个初始角度值相关,而双目相机基线的长度可以通过测量而得,所以初始外参数实际是与多个初始角度值相关。因此,可以通过调整上述的多个初始角度值,来实现不断使初始外参数朝向目标外参数靠近的目的。
在一种可能的实现方式中:通过如下计算公式计算得到所述点对的拟合值,包括:,
其中,F为基本矩阵,T表示矩阵转置,x1为物理空间中的特征点X在左图像中的投影点,x2为物理空间中的特征点X在右图像中的投影点,dsampson为左图像中的点x1与右图像中的点x2的拟合值,点x1和点x2为一个点对。
通过采用上述技术方案,点x1和点x2越相同,则上述的分母值越大,则dsampson值越小,所以一个点对的dsampson值小,则说明该点对的拟合程度越高。
在一种可能的实现方式中:所述根据所述初始相机参数和目标点对的拟合值,将所述初始外参数调整为目标外参数,包括:
统计所有点对的拟合值的频次分布,以拟合值的出现频次最高且频次最高的拟合值最小时,所对应的外参数为目标外参数;
调整所述初始相机参数,使得所述初始外参数与所述目标外参数相等。
通过采用上述技术方案,由于一个点对的dsampson值小,则说明该点对的拟合程度越高,所以本申请以拟合值的出现频次最高且拟合值最小所对应的外参数为目标外参数,并调整初始相机参数,使得初始外参数与目标外参数相等,从而提高校正的准确度。
在一种可能的实现方式中:所述将所述左图像和所述右图像中同名的特征点作为一个点对,包括:
提取所述左图像和所述右图像中的特征点;
匹配所述左图像和所述右图像中同名的特征点;
采用畸变系数对所述同名的特征点去畸变;
将所述去畸变后的同名的特征点作为一个点对。
通过采用上述技术方案,本申请提取左图像和右图像中的特征点,并匹配左图像和右图像中同名的特征点,再对同名的特征点去畸变,最后将去畸变后的同名的特征点作为一个点对,从而为计算得到准确的点对的拟合值提供技术支持,进而为得到准确的校正结果提供技术保障。
在一种可能的实现方式中:所述特征点包括标记点和角点;
所述提取所述左图像和所述右图像中的特征点,包括:
采用Sfit算法和sur算法提取所述标记点和/或采用Harris和Shi-Tomasi提取所述角点。
通过采用上述技术方案,采用多种特征提取算法来提取左图像和右图像中的特征点,从而为计算得到准确的点对的拟合值提供技术支持。
在一种可能的实现方式中:所述匹配所述左图像和所述右图像中同名的特征点,包括:采用暴力匹配方法和FLANN算法来匹配左图像和右图像中同名的特征点。
通过采用上述技术方案,采用多种特征匹配算法来匹配左图像和右图像中同名的特征点,进一步为计算得到准确的点对的拟合值提供技术支持。
在本申请的第二方面,提供了一种双目相机外参数自动校正系统。该系统包括:
数据获取模块,用于获取双目相机的初始相机参数和测试图像,所述测试图像包括左图像和右图像,所述左图像为左相机输出的图像,所述右图像为右相机输出的图像,所述左图像和所述右图像中均存在多个特征点;
数据确定模块,用于根据所述初始相机参数确定初始外参数:
数据计算模块,用于将所述左图像和所述右图像中同名的特征点作为一个点对,计算所述点对的拟合值;
数据处理模块,用于根据所述初始相机参数和目标点对的拟合值,将所述初始外参数调整为目标外参数,所述目标点对根据拟合值的大小和拟合值出现的频次而得,所述目标外参数与所述目标点对的拟合值对应。
在本申请的第三方面,提供了一种双目相机外参数自动校正装置。该装置包括:存储器和处理器,所述存储器上存储有计算机程序,所述处理器执行所述程序时实现上述任一种双目相机外参自动校正方法。
在本申请的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一种双目相机外参自动校正方法。
综上所述,本申请包括以下至少一种有益技术效果:
一方面,本申请的方法无需标定板,也无需拆卸双目设备,即可动态实现全自动的双目校正,提高双目校正效率;
另一方面,本申请的校正方法中,首先获取双目相机的初始相机参数和测试图像,然后根据初始相机参数计算得到初始外参数,同时计算测试图像中点对的拟合值。最后,从多个点对中选择出一个目标点对,并根据目标点对确定目标外参数,再根据目标点对的拟合值调整初始相机参数,以使得初始外参数达到或者接近目标外参数。由此可知,本申请依据双目相机所拍摄的测试图像实时调整双目相机的初始外参数,以实现提升校正效率的同时,也能够使校正的准确度得到提升。
附图说明
图1是本申请的实施例的示例性运行环境的示意图。
图2是本申请实施例的双目相机外参数自动校正方法流程图。
图3是本申请方法实施例中计算点对的拟合值的示例图。
图4是本申请实施例的双目相机外参数自动校正系统框图。
附图标记说明:1、数据获取模块;2、数据确定模块;3、数据计算模块;4、数据处理模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例,都属于本申请保护的范围。
图1示出了能够在其中实现本申请的实施例的示例性运行环境的示意图,该运行环境包括测试场以及设置在测试场中的双目相机。具体地,测试场为无移动物体的室内,在室内设置有驱动装置,该驱动装置能够驱动双目相机在室内靠近墙壁的位置,沿着墙边移动,且移动过程中双目相机的摄像头朝向室内的中心处,驱动装置如机械臂、移动机器人等智能电子设备。驱动装置在任意两次相邻的移动过程中,移动的距离相等,例如每次移动0.5米。同时,驱动装置每驱动双目相机移动一次,就控制双目相机拍摄一组测试图像,由于双目相机包括左相机和右相机,所以得到的一组测试图像中,将左相机拍摄得到的图像称为左图像,而将右相机拍摄得到的图像称为右图像,即一组测试图像包括左图像和右图像。
需要说明的是,驱动装置驱动双目相机移动的过程中,在移动双目相机时可以自动更换双目相机的拍摄角度和控制其距离室内中心的距离,而在控制双目相机拍摄时,保持双目相机静止,以保障测试图像中的物体的清晰度,便于后续利用。在本示例中,驱动装置控制双目相机拍摄的测试图像有多组,例如测试图像不小于100组,以便于依据多组测试图像来确定标定的双目相机是否准确。图1中,箭头方向为双目相机的移动方向,黑色三角形区域为左相机和右相机的共同视线范围。
还需要说明的是,图1所示的运行环境仅是解释性的,绝不是为了限制本发明实施例的应用或用途。例如,该运行环境中可以包括多个驱动装置、多个驱动装置中的每一个均对应驱动一个双目相机移动。
图2示出了根据本申请实施例的双目相机外参数自动校正方法的流程图,该方法的主要流程描述如下。
步骤S100、获取双目相机的初始相机参数和测试图像,测试图像包括左图像和右图像,左图像和右图像中均存在多个特征点。
双目相机的初始相机参数是提前设定的,即先通过设定的初始相机参数,并不断调整初始相机参数值,再根据不断调整的相机参数值,通过测试图像来验证调整的相机参数值是否在逐渐朝着准确度更高的方向上改变,以此能够实现不断优化双目相机的相机参数的目的。
具体地,初始相机参数包括双目相机基线和多个初始角度值,其中双目相机基线为左右两个相机的视线中心连成的直线,而多个初始角度值分别为βɩ、γɩ、αr、βr、γr,βɩ为左相机在y方向上的旋转角度、γɩ为左相机在z方向上的旋转角度、αr为右相机在x方向上的旋转角度、βr为右相机在y方向上的旋转角度、γr为右相机在z方向上的旋转角度。在本示例中,双目相机基线可以通过双目相机的左右两个相机的视线中心之间的距离而得到,如可以在其中一个相机上设置激光测距仪,则可以通过激光测距仪测量得到该双目相机基线,而多个初始角度值中的每一个初始角度值均设置为0,即βɩ、γɩ、αr、βr、γr均为0。在其他示例中,还可以根据双目相机的摆放角度预估出每一个初始角度值。
步骤S200、根据初始相机参数确定初始外参数。
具体地,对于双目相机,定义左相机的坐标系为,而右相机的坐标系为Or,则左右相机的坐标系之间存在旋转矩阵R和平移向量T,在理想情况下,即去除环境影响和左右相机的摄像头去畸变的情况下,双目相机在标定之前,世界坐标系中的点P在左右相机的坐标系中的坐标满足:
,其中/>,/>分别为物理空间中的P点在左右相机的坐标系下的坐标。
在双目相机标定之后,P点在左右相机的坐标系下的坐标发生变化,并满足:
和/>,其中/>,分别为双目相机标定后的P点左右相机的坐标系下的坐标,R1、R2分别为在标定过程中,P点在左右相机的坐标系中发生的旋转。
在双目相机标定后,若P点在左右相机坐标系下的坐标只存在沿X轴的平移,不存在旋转,则满足:
,其中I为单位矩阵,Tr为只有X分量不为零的平移向量。
结合上述四个公式可以计算出,在理想情况下,双目相机标定前和标定后,两个坐标系的变换矩阵满足:
。
由此,可以计算出和/>,考虑到旋转矩阵可以分解为沿着x、y、z三个坐标轴的旋转矩阵,所以R1和R2分别可以表示为/>和,其中Rx,Ry,Rz分别为沿着三个坐标轴的旋转矩阵,αr、βr、γr分别为对应的旋转角度。
最后,旋转矩阵R和平移向量T可以分别表示为:
,
。
由旋转矩阵R的公式可知,左右相机沿X轴的旋转可以合并,统一用右相机沿X轴的旋转表示,即/>。旋转矩阵R和平移向量T一共存在6个自由度,通过旋转矩阵R的计算公式和平移向量T的计算公式可知,其可以用βɩ、γɩ、αr、βr、γr,以及一个表示尺寸的向量Tr表示,Tr的长度(即其沿X轴的分量)即为双目相机基线的长度,也称为双目相机基线向量。
因此,已知双目相机基线的长度L,且保持不变,此时即可用βɩ、γɩ、αr、βr、γr表示左右相机的旋转矩阵R和平移向量T,即根据初始相机参数即可计算出初始外参数,初始外参数包括旋转矩阵R和平移向量T。
步骤S300、将左图像和右图像中同名的特征点作为一个点对,计算点对的拟合值。
首先,得到测试图像后,提取测试图像中的特征点,特征点可以是测试图像中显示的物件,该物件可以是提前设定的标记点,还可以是室内原本摆放的物件形成的特征点或者室内的角点,以能够在左右相机的共同视线范围内为准,不对具体的特征点进行限制。在本示例中,可以采用Sfit、surf等特征点提取算法提取标记点,而采用Harris、Shi-Tomasi等角点提取算法来提取角点,还可以采用基于机器学习或者深度学习算法来提取标记点和角点。
然后,采用暴力匹配方法和FLANN算法来共同匹配左图像和右图像中同名的特征点,即识别出左图像和右图像中相同的标记点和/或角点,并建立相同的标记点的对应关系和/或相同的角点的对应关系。当然,也可以采用机器学习或者深度学习的方式来匹配左图像和右图像中同名的标记点和/或同名的角点,本申请均不作限制。
左右相机因其自身成像特性无法避免的会在成像时产生图像变形,所以对于从左图像和右图像中匹配出来的同名的特征点,需要先获取左右相机的畸变系数d=[k1、k2、k3、p1、p2],其中k1,k2,k3为径向畸变系数,p1,p2为切向畸变系数,左右相机的畸变系数可通过有限次的试验计算而得。然后,基于畸变系数对同名的特征点去畸变,以降低同名的特征点的误差。在本示例中,仅对提取的同名的特征点去畸变,而无需对整个测试图像去畸变,以此来减少本申请的计算量。
在得到去畸变的同名的特征点后,将去畸变后的同名的特征点作为一个点对,然后根据初始相机参数计算去畸变后的点对的Sampson距离,即计算每一个点对的拟合值,在理想情况下,去畸变后的点对的Sampson距离为0。具体地,如图3所示,假如存在物理空间的特征点X,其在左图像中的投影点为x1,在右图像中的投影点为x2,所以点x1和点x2为一个点对,由于测量存在噪声和误差,左图像中的点x1的延长线和右图像中的点x2的延长线可能不完全相交于X点,为了使x1的延长线和x2的延长线相交于X点,可以通过优化算法,调整上述的五个初始角度值,直至调整后的外参数使得点x1和点x2的重投影距离最小为止,即:
,
其中,d(.)为欧式距离,dReproj为x1到x2的重投影距离,为根据五个初始角度值对应的相机外参计算出的物理空间特征点X的估计值,P1和P2分别为此时左、右相机的投影矩阵,经过一阶近似得到Sampson距离:
,
其中,F为基本矩阵,基本矩阵可以通过结合左右相机的内参以及双目相机的外参计算而得,T表示矩阵转置,如FT表示矩阵F的转置矩阵。通过使用Sampson距离,可以直接得到一个点对之间的距离,而不需要知道优化过程中的x0。在实际使用时,Sampson距离用来表示一个点对相互支持的程度,也表示一个点对的拟合程度,Sampson距离越小,则拟合程度越好。
步骤S400、根据初始相机参数和目标点对的拟合值,将初始外参数调整为目标外参数。
由步骤S300可知,一个点对的拟合值是该点对的Sampson距离,在本示例中,使用统计的方法统计出所有测试图像中所有点对的Sampson距离的频次分布,以Sampson距离的出现频次最高且频次最高的Sampson距离最小时所对应的外参数为目标外参数。也就是说,不断调整双目相机的初始外参数,直至所有点对的Sampson距离的出现频次最高且频次最高的Sampson距离最小时,调整所得的外参数为目标外参数。为了便于说明该调整过程,举例如下:
设定初始角度值βɩ0、γɩ0、αr0、βr0、γr0均为0,假如双目相机的基线长度为1400毫米,此时初始外参数为:
,
,
若使用传统的双目相机标定算法来进行标定,则
,
,
通过计算,将和转为角度值后,对应的初始角度值βɩ0、γɩ0、αr0、βr0、γr0分别为-0.0048792947842125,-0.022190223980117205,-0.03341409273319262,0.017872184134397874,-0.006793370504559556,双目相机基线值为1400毫米。
使用优化算法,计算优化角度值。具体地,使用基于Nelder-Mead的优化算法,不断改变初始角度值βɩ、γɩ、αr、βr、γr,基于基础矩阵F计算得到的去畸变后的点对的Sampson距离,使用统计的方法统计出所有点对的Sampson距离的频次分布,得到最高频的Sampson距离。本申请的优化目标是使最高频次的Sampson距离的值也最小,此时对应的外参数为最优标定结果,而最优标定结果下的外参数对应的角度值为最优的角度值。
使用上述设定的初始角度值,经过优化后,计算得到的最优角度值βɩ、γɩ、αr、βr、γr分别为-0.0213893354836393, -0.01765259389869233, -0.033199209625178513, -0.024017378248797516, -0.0037920804786528237。通过旋转矩阵计算公式和平移向量计算公式,结合双目相机基线的长度L,可以计算出最优旋转矩阵R和最优平移向量T如下:
,
,
而使用上述通过现有标定方法优化后得到的角度值βɩ0、γɩ0、αr0、βr0、γr0分别为-0.0048792947842125,-0.022190223980117205,-0.03341409273319262,0.017872184134397874,-0.006793370504559556,双目相机基线值为1400毫米,再继续进行优化后,计算得到的最优角度值βɩ、γɩ、αr、βr、γr分别为-0.00518536787896183,-0.021143694593353878,-0.03628998548318861 , 0.017178438265297705, -0.006748811747955944。通过旋转矩阵计算公式和平移向量计算公式,结合双目相机基线的长度L,可以计算出最优旋转矩阵R和最优平移向量T如下:
,
。
使用优化后的结果计算测量误差。在本示例中,分别对比使用现有标定方法和基于现有标定方法的优化方法得到的标定结果,测量20米处真实长度为1.675米、真实宽度为0.95米的物体的误差,结果如下表1:
由表1可知,本申请提供的双目相机外参数校正方法,所得的测距误差相较于现有的标定方法测距误差要小,能够满足测距精度要求。
图4示出了根据本申请的实施例的一种双目相机外参数自动校正系统的方框图,该系统包括数据获取模块1、数据确定模块2、数据计算模块3以及数据处理模块4。
数据获取模块1用于获取双目相机的初始相机参数和测试图像,测试图像包括左图像和右图像,左图像为左相机输出的图像,右图像为右相机输出的图像,左图像和右图像中均存在多个特征点。
数据确定模块2用于根据初始相机参数确定初始外参数。
数据计算模块3用于将左图像和右图像中同名的特征点作为一个点对,计算点对的拟合值。
数据处理模块4用于根据初始相机参数和目标点对的拟合值,将初始外参数调整为目标外参数,目标点对根据拟合值的大小和拟合值出现的频次而得,目标外参数与目标点对的拟合值对应。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括数据获取模块1、数据确定模块2、数据计算模块3和数据处理模块4。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,数据获取模块1还可以被描述为“用于获取双目相机的初始相机参数和测试图像的模块”。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,所述描述的模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
为了更好地执行上述方法的程序,本申请还提供一种双目相机外参数自动校正装置,装置包括存储器和处理器。
其中,存储器可用于存储指令、程序、代码、代码集或指令集。存储器可以包括存储程序区和存储数据区,其中存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令以及用于实现上述双目相机外参数自动校正方法的指令等;存储数据区可存储上述双目相机外参数自动校正方法中涉及到的数据等。
处理器可以包括一个或者多个处理核心。处理器通过运行或执行存储在存储器内的指令、程序、代码集或指令集,调用存储在存储器内的数据,执行本申请的各种功能和处理数据。处理器可以为特定用途集成电路、数字信号处理器、数字信号处理装置、可编程逻辑装置、现场可编程门阵列、中央处理器、控制器、微控制器和微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。
本申请还提供一种计算机可读存储介质,例如包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该计算机可读存储介质存储有能够被处理器加载并执行上述双目相机外参数自动校正方法的计算机程序。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离前述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其他技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (8)
1.一种双目相机外参数自动校正方法,其特征在于,包括:
获取双目相机的初始相机参数和测试图像,所述测试图像包括左图像和右图像,所述左图像为左相机输出的图像,所述右图像为右相机输出的图像,所述左图像和所述右图像中均存在多个特征点,所述特征点是提前设定的标记点,或室内原本摆放的物件形成的特征点或者室内的角点;
根据所述初始相机参数确定初始外参数;
将所述左图像和所述右图像中同名的特征点作为一个点对,计算所述点对的拟合值;
根据所述初始相机参数和目标点对的拟合值,将所述初始外参数调整为目标外参数,一个点对的拟合值是该点对的Sampson距离,包括:
使用基于Nelder-Mead的优化算法改变初始角度值、/>、/>、/>、/>,并基于基础矩阵F计算得到点对的Sampson距离:
,其中,F为基本矩阵,T表示矩阵转置,x1为物理空间中的特征点X在左图像中的投影点,x2为物理空间中的特征点X在右图像中的投影点,/> 为左图像中的点x1与右图像中的点x2的Sampson距离,点x1和点x2为一个点对;
统计所有点对的Sampson距离的频次分布,直至所有点对的Sampson距离的出现频次最高且频次最高的Sampson距离最小时,调整所得的外参数为目标外参数,使得所述初始外参数与所述目标外参数相等。
2.根据权利要求1所述的双目相机外参数自动校正方法,其特征在于,所述初始相机参数包括双目相机基线的长度和多个初始角度值;
通过如下计算公式确定所述初始外参数,包括:
;
;
其中,为双目相机基线向量,/>, />, />, />, />分别为左相机在y方向上的旋转角度、左相机在z方向上的旋转角度、右相机在x方向上的旋转角度、右相机在y方向上的旋转角度、右相机在z方向上的旋转角度。
3.根据权利要求1所述的双目相机外参数自动校正方法,其特征在于,所述将所述左图像和所述右图像中同名的特征点作为一个点对,包括:
提取所述左图像和所述右图像中的特征点;
匹配所述左图像和所述右图像中同名的特征点;
采用畸变系数对所述同名的特征点去畸变;
将去畸变后的同名的特征点作为一个点对。
4.根据权利要求3所述的双目相机外参数自动校正方法,其特征在于,所述特征点包括标记点和角点;
所述提取所述左图像和所述右图像中的特征点,包括:
采用Sift算法和surf算法提取所述标记点和/或采用Harris和Shi-Tomasi提取所述角点。
5.根据权利要求3所述的双目相机外参数自动校正方法,其特征在于,所述匹配所述左图像和所述右图像中同名的特征点,包括:采用暴力匹配方法和FLANN算法来匹配左图像和右图像中同名的特征点。
6.一种双目相机外参自动校正系统,其特征在于,包括:
数据获取模块(1),用于获取双目相机的初始相机参数和测试图像,所述测试图像包括左图像和右图像,所述左图像为左相机输出的图像,所述右图像为右相机输出的图像,所述左图像和所述右图像中均存在多个特征点,所述特征点是提前设定的标记点,或室内原本摆放的物件形成的特征点或者室内的角点;
数据确定模块(2),用于根据所述初始相机参数确定初始外参数:
数据计算模块(3),用于将所述左图像和所述右图像中同名的特征点作为一个点对,计算所述点对的拟合值;
数据处理模块(4),用于根据所述初始相机参数和目标点对的拟合值,将所述初始外参数调整为目标外参数,一个点对的拟合值是该点对的Sampson距离,包括:使用基于Nelder-Mead的优化算法改变初始角度值、/>、/>、/>、/>,并基于基础矩阵F计算得到点对的Sampson距离:/>,其中,F为基本矩阵,T表示矩阵转置,x1为物理空间中的特征点X在左图像中的投影点,x2为物理空间中的特征点X在右图像中的投影点,/> 为左图像中的点x1与右图像中的点x2的Sampson距离,点x1和点x2为一个点对;统计所有点对的Sampson距离的频次分布,直至所有点对的Sampson距离的出现频次最高且频次最高的Sampson距离最小时,调整所得的外参数为目标外参数,使得所述初始外参数与所述目标外参数相等。
7.一种双目相机外参自动校正装置,其特征在于,包括存储器和处理器,所述存储器上存储有计算机程序,所述处理器执行所述程序时实现如权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410009743.9A CN117541661B (zh) | 2024-01-04 | 2024-01-04 | 双目相机外参数自动校正方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410009743.9A CN117541661B (zh) | 2024-01-04 | 2024-01-04 | 双目相机外参数自动校正方法、系统、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117541661A CN117541661A (zh) | 2024-02-09 |
CN117541661B true CN117541661B (zh) | 2024-04-05 |
Family
ID=89788393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410009743.9A Active CN117541661B (zh) | 2024-01-04 | 2024-01-04 | 双目相机外参数自动校正方法、系统、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117541661B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107192350A (zh) * | 2017-05-19 | 2017-09-22 | 中国人民解放军信息工程大学 | 一种三维激光扫描仪内参数标定方法及装置 |
CN108335350A (zh) * | 2018-02-06 | 2018-07-27 | 聊城大学 | 双目立体视觉的三维重建方法 |
CN111243033A (zh) * | 2020-01-10 | 2020-06-05 | 大连理工大学 | 一种优化双目相机外参数的方法 |
CN111897349A (zh) * | 2020-07-08 | 2020-11-06 | 南京工程学院 | 一种基于双目视觉的水下机器人自主避障方法 |
CN114998448A (zh) * | 2022-05-19 | 2022-09-02 | 燕山大学 | 一种多约束双目鱼眼相机标定与空间点定位的方法 |
CN115564842A (zh) * | 2022-09-16 | 2023-01-03 | 深圳见得空间科技有限公司 | 双目鱼眼相机的参数标定方法、装置、设备及存储介质 |
CN116205983A (zh) * | 2021-12-01 | 2023-06-02 | 腾讯科技(深圳)有限公司 | 一种标定方法、装置、电子设备及存储介质 |
CN116957987A (zh) * | 2023-08-28 | 2023-10-27 | 深圳大学 | 一种多目极线校正方法、装置、计算机设备及存储介质 |
CN117053716A (zh) * | 2023-08-28 | 2023-11-14 | 内蒙古工业大学 | 一种圆形孔径干涉图轮廓参数自动检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11619708B2 (en) * | 2020-07-28 | 2023-04-04 | Trackman A/S | System and method for inter-sensor calibration |
-
2024
- 2024-01-04 CN CN202410009743.9A patent/CN117541661B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107192350A (zh) * | 2017-05-19 | 2017-09-22 | 中国人民解放军信息工程大学 | 一种三维激光扫描仪内参数标定方法及装置 |
CN108335350A (zh) * | 2018-02-06 | 2018-07-27 | 聊城大学 | 双目立体视觉的三维重建方法 |
CN111243033A (zh) * | 2020-01-10 | 2020-06-05 | 大连理工大学 | 一种优化双目相机外参数的方法 |
CN111897349A (zh) * | 2020-07-08 | 2020-11-06 | 南京工程学院 | 一种基于双目视觉的水下机器人自主避障方法 |
CN116205983A (zh) * | 2021-12-01 | 2023-06-02 | 腾讯科技(深圳)有限公司 | 一种标定方法、装置、电子设备及存储介质 |
CN114998448A (zh) * | 2022-05-19 | 2022-09-02 | 燕山大学 | 一种多约束双目鱼眼相机标定与空间点定位的方法 |
CN115564842A (zh) * | 2022-09-16 | 2023-01-03 | 深圳见得空间科技有限公司 | 双目鱼眼相机的参数标定方法、装置、设备及存储介质 |
CN116957987A (zh) * | 2023-08-28 | 2023-10-27 | 深圳大学 | 一种多目极线校正方法、装置、计算机设备及存储介质 |
CN117053716A (zh) * | 2023-08-28 | 2023-11-14 | 内蒙古工业大学 | 一种圆形孔径干涉图轮廓参数自动检测方法 |
Non-Patent Citations (4)
Title |
---|
Calibration of laser scanner and camera fusion system for intelligent vehicles using Nelder–Mead optimization;Thomas J Osgood 等;《Measurement Science and Technology》;20130124;第24卷;全文 * |
Multiple ellipse fitting of densely connected contours;Hui Li 等;《Information Sciences》;20190617;第502卷;全文 * |
基于RANSAC算法的基本矩阵估计的匹配方法;单欣 等;《上海电机学院学报》;20060831(第4期);第1-4页 * |
基于Sampson误差计算单应的立体匹配;田谨思 等;《计算机工程与应用》;20051231(第3期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117541661A (zh) | 2024-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110689579B (zh) | 基于合作目标的快速单目视觉位姿测量方法及测量系统 | |
CN105096329B (zh) | 一种精确校正超广角摄像头图像畸变的方法 | |
CN112223302B (zh) | 基于多传感器的带电作业机器人的快速标定方法及装置 | |
CN109544643B (zh) | 一种摄像机图像校正方法及装置 | |
CN108182708B (zh) | 一种双目相机的标定方法、标定装置及终端设备 | |
CN111667536A (zh) | 一种基于变焦相机深度估计的参数标定方法 | |
CN112288826B (zh) | 双目相机的标定方法、装置及终端 | |
CN112686950B (zh) | 位姿估计方法、装置、终端设备及计算机可读存储介质 | |
CN109272555B (zh) | 一种rgb-d相机的外部参数获得及标定方法 | |
CN111899305A (zh) | 一种相机自动标定优化方法及相关系统、设备 | |
CN113920205B (zh) | 一种非同轴相机的标定方法 | |
CN110136207B (zh) | 鱼眼相机标定系统、方法、装置、电子设备及存储介质 | |
CN115457147A (zh) | 相机标定方法、电子设备及存储介质 | |
CN113920206A (zh) | 透视移轴相机的标定方法 | |
CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及系统 | |
CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
CN117541661B (zh) | 双目相机外参数自动校正方法、系统、装置及存储介质 | |
CN110458951B (zh) | 一种电网杆塔的建模数据获取方法及相关装置 | |
CN112631200A (zh) | 一种机床轴线测量方法以及装置 | |
CN112489133A (zh) | 手眼系统的标定方法、装置及设备 | |
CN108898585B (zh) | 一种轴类零件检测方法及其装置 | |
CN116071433A (zh) | 相机标定方法和系统、计算机可读存储介质 | |
CN114897990A (zh) | 一种基于神经网络的相机畸变标定方法、系统和存储介质 | |
CN117523009B (zh) | 一种双目相机标定方法、系统、装置及存储介质 | |
Suriansky et al. | Analysis of methods for camera calibration in 3D scanning systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |