CN115761009A - 一种基于非线性优化的无共同视野的相机外参标定方法 - Google Patents
一种基于非线性优化的无共同视野的相机外参标定方法 Download PDFInfo
- Publication number
- CN115761009A CN115761009A CN202211540315.6A CN202211540315A CN115761009A CN 115761009 A CN115761009 A CN 115761009A CN 202211540315 A CN202211540315 A CN 202211540315A CN 115761009 A CN115761009 A CN 115761009A
- Authority
- CN
- China
- Prior art keywords
- camera
- calibrated
- parameter matrix
- calibration
- external
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000011159 matrix material Substances 0.000 claims abstract description 95
- 238000005259 measurement Methods 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及计算机视觉技术领域,特别是涉及一种基于非线性优化的无共同视野的相机外参标定方法。包括:对待标定相机的内部参数进行预标定,获得所述待标定相机的内部参数矩阵;以所述内部参数矩阵作为输入,通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵,通过主相机的惯性测量单元为中介,得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵;根据所述内部参数矩阵,对所述第一外部参数矩阵进行优化,获得所述待标定相机的第二外部参数矩阵。本发明利用多相机之间的特征匹配来优化相机的初始外参,运算速度快,而且成本低,既可以提高标定精度,又解决了标定过程的繁琐和场景失效问题。
Description
技术领域
本发明涉及计算机视觉技术领域,特别是涉及一种基于非线性优化的无共同视野的相机外参标定方法。
背景技术
当前,自动驾驶发展势头迅猛,自动驾驶很难脱离高精度地图工作,对高精度定位有着严格的要求,定位过程又包括特征匹配等工作,这需要多种传感器融合协同工作。市场上主流多依赖相机、轮速计、激光雷达、GPS(Global Positioning System,全球定位系统)、IMU(惯性测量单元)等多类型传感器进行融合定位,实现多种传感器融合工作的前提是知道各个传感器之间精确的外参,而这需要标定技术获得,提高标定精度和简便标定过程是科研工作的重点所在。多相机标定外参的方法大致分为传统相机标定法、相机自标定法、主动视觉相机标定方法等类型。现有技术中的相机标定法要求相机之间的位置苛刻,要求每个相机之间有共同视野,而且需要特定标定物,虽然标定精度高,但是标定过程较繁琐,标定物如三维标定物的制作成本较高。自标定法利用场景特征约束和本身运动约束对相机之间进行标定,虽然不需要标志物,而且可以做到在线标定,但是该方法的鲁棒性差,当场景约束缺失或者运动约束失效时会导致标定失败。主动视觉的相机标定法是指已知相机的某些运动信息对相机进行标定。该方法不需要标定物,但需要控制相机做某些特殊运动。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种基于非线性优化的无共同视野的相机外参标定方法。
为实现上述目的及其它相关目的,本发明提供一种基于非线性优化的无共同视野的相机外参标定方法,包括:
S1、对待标定相机的内部参数进行预标定,获得所述待标定相机的内部参数矩阵;
S2、以所述内部参数矩阵作为输入,通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵,通过主相机的惯性测量单元为中介,得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵;
S3、根据所述内部参数矩阵,对所述第一外部参数矩阵进行优化,获得所述待标定相机的第二外部参数矩阵。
在本发明的一实施例中,在步骤S1中,利用Kalibr标定工具对每个待标定相机的内部参数进行预标定,得到获得所述待标定相机的内部参数矩阵。
在本发明的一实施例中,在步骤S1中,所述内部参数矩阵包括的公式为:
其中,fx、fy分别为待标定相机在x轴和y轴上的归一化焦距,cx、cy分别为待标定相机的光圈中心。
在本发明的一实施例中,步骤S2中的以所述内部参数矩阵作为输入,通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵,通过主相机的惯性测量单元为中介,得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵包括:
S21、选定所述待标定相机中的任意一个待标定相机的坐标系作为整个相机系统的世界坐标系,并将选定的所述待标定相机作为主相机,其它待标定相机作为副相机;
S22、根据所述Kalibr标定工具标定所述待标定主相机和主相机的惯性测量单元的外部参数矩阵,再分别标定所述主相机的惯性测量单元和副相机的外部参数矩阵;
S23、以主相机的惯性测量单元作为中介,得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵。
在本发明的一实施例中,步骤S3中的根据所述内部参数矩阵,对所述第一外部参数矩阵进行优化,获得所述待标定相机的第二外部参数矩阵包括:
S31、获得所述待标定相机旋转360°后的彩色图像和深度图像;
S32、对每个所述待标定相机分别通过所述彩色图像和深度图像提取线段特征和平面特征;
S33、对所述线段特征和平面特征进行定位和建立地图,分别得到每个所述待标定相机的里程计;
S34、通过每个所述待标定相机的里程计,建立每个所述待标定相机旋转360°的全局地图;
S35、根据每个所述待标定相机旋转360°的全局地图,通过地图匹配方式建立所述主相机和副相机之间的联系,通过非线性优化方法获得所述待标定相机的第二外部参数矩阵。
本发明还提供一种基于非线性优化的无共同视野的相机外参标定系统,包括:
内部参数预标定模块,用于对待标定相机的内部参数进行预标定,获得所述待标定相机的内部参数矩阵;
外部参数标定模块,用于以所述内部参数矩阵作为输入,通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵,通过主相机的惯性测量单元为中介,得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵;
外部参数优化模块,用于根据所述内部参数矩阵,对所述第一外部参数矩阵进行优化,获得所述待标定相机的第二外部参数矩阵。
在本发明的一实施例中,所述内部参数预标定模块包括:
内部参数预标定单元,用于利用Kalibr标定工具对每个待标定相机的内部参数进行预标定,得到获得所述待标定相机的内部参数矩阵。
在本发明的一实施例中,所述外部参数标定模块包括:
坐标系选定单元,用于选定所述待标定相机中的任意一个待标定相机的坐标系作为整个相机系统的世界坐标系,并将选定的所述待标定相机作为主相机,其它待标定相机作为副相机;
标定转换单元,用于根据所述Kalibr标定工具标定所述待标定主相机和主相机的惯性测量单元的外部参数矩阵,再分别标定所述主相机的惯性测量单元和副相机的外部参数矩阵;
第一外部参数矩阵获取单元,用于以主相机的惯性测量单元作为中介,得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵。
在本发明的一实施例中,所述外部参数优化模块包括:
标定图像获得单元,用于获得所述待标定相机旋转360°后的彩色图像和深度图像;
线面特征提取单元,用于对每个所述待标定相机分别通过所述彩色图像和深度图像提取线段特征和平面特征;
相机里程计单元,用于对所述线段特征和平面特征进行定位和建立地图,分别得到每个所述待标定相机的里程计;
相机全局地图单元,用于通过每个所述待标定相机的里程计,建立每个所述待标定相机旋转360°的全局地图;
外参非线性优化单元,用于根据每个所述待标定相机旋转360°的全局地图,通过地图匹配方式建立所述主相机和副相机之间的联系,通过非线性优化方法获得所述待标定相机的第二外部参数矩阵。
如上所述,本发明的一种基于非线性优化的无共同视野的相机外参标定方法,具有以下
有益效果:
本发明的基于非线性优化的无共同视野的相机外参标定方法能够有效解决标定过程繁琐、标定方法适用场景少、标定结果不精确等问题,在相机之间无共同视野的情况下,采用一种先粗略标定再优化的方式,利用多相机之间的特征匹配来优化相机的初始外参,运算速度快,而且成本低,既可以提高标定精度,又解决了标定过程的繁琐和场景失效问题。
附图说明
图1为本申请实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的工作流程图。
图2为本申请实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的步骤S2的工作流程图。
图3为本申请实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的步骤S3的工作流程图。
图4为本申请一个实施例提供的一种基于非线性优化的无共同视野的相机外参标定系统的原理框图。
图5为本申请又一个实施例提供的一种基于非线性优化的无共同视野的相机外参标定系统的原理框图。
图6为本申请实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的相机放置图。
图7为本申请实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的线面特征提取图,(a)为线特征提取图,(b)为面特征提取图。
图8为本申请实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的线面残差约束图,(a)为线残差约束图,(b)为面残差约束图。
图9为本申请实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的相机特征观测图。
图10为本申请实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的相机外参精细优化后的建图和定位图。
元件标号说明
10 第一时钟电路
11 内部参数预标定单元
20 外部参数标定模块
21 坐标系选定单元
22 标定转换单元
23 第一外部参数矩阵获取单元
30 外部参数优化模块
31 标定图像获得单元
32 线面特征提取单元
33 相机里程计单元
34 相机全局地图单元
35 外参非线性优化单元
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其它优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
请参阅图1、图2、图3,图1为本申请实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的工作流程图。图2为本申请实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的步骤S2的工作流程图。图3为本申请实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的步骤S3的工作流程图。
本发明提供一种基于非线性优化的无共同视野的相机外参标定方法,包括:
步骤S1、对待标定相机的内部参数进行预标定,获得所述待标定相机的内部参数矩阵。
步骤S2、以所述内部参数矩阵作为输入,通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵,通过主相机的惯性测量单元为中介,得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵。
步骤S3、根据所述内部参数矩阵,对所述第一外部参数矩阵进行优化,获得所述待标定相机的第二外部参数矩阵。
具体的,在步骤S1中,利用Kalibr标定工具对每个待标定相机的内部参数进行预标定,得到获得所述待标定相机的内部参数矩阵。
所述第一外部参数矩阵指的是粗略外部参数矩阵,所述第二外部参数矩阵指的是精细外部参数矩阵。
步骤S1中,对所有待标定相机的内部参数进行预标定,得到所有待标定相机的内部参数。相机内部参数包括焦距、光圈位置以及相机畸变。不同深度相机具有不同的特征参数,在计算机视觉里,这组参数被叫做内部参数,矩阵表达为:
相机的径向畸变产生的原因为光线在远离透镜中心的地方偏折更大,其矫正公式为:
相机的切向畸变产生的原因为透镜不完全平行于图像平面,其矫正公式为:
和由此可以得到相机的5个畸变系数:D(k1,k2,k3,p1,p2)。具体内容为使用Kalibr工具进行内部参数标定,标定的过程中,注意要在x轴、y轴和z轴上有足够的平移和旋转,使其在最后的最小重投影误差控制在1像素之内,满足误差要求后,得到所有待标定相机的内部参数。
步骤S2中的以所述内部参数矩阵作为输入,通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵,通过主相机的惯性测量单元为中介,得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵包括:
步骤S21、选定所述待标定相机中的任意一个待标定相机的坐标系作为整个相机系统的世界坐标系,并将选定的所述待标定相机作为主相机,其它待标定相机作为副相机。
步骤S22、根据所述Kalibr标定工具标定所述待标定主相机和主相机的惯性测量单元的外部参数矩阵,再分别标定所述主相机的惯性测量单元和副相机的外部参数矩阵。
步骤S23、以主相机的惯性测量单元作为中介,得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵。
请参阅图6,图6为本申请实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的相机放置图。具体的,本发明的基于非线性优化的无共同视野的相机外参标定方法的实验装备为两台同一型号的RGBD相机,分别称为相机1即为主相机和相机2即为副相机,两台相机的放置方式为背对放置,且在同一水平面。
以步骤S1获得的待标定相机的内部参数矩阵作为输入,利用Kalibr工具首先标定相机1自身的IMU和相机(相机的RGB彩色传感器)的外参矩阵,记为变换矩阵T1,其组成为(R1,t1),其中R1为3×3的旋转矩阵,t1为三维平移列向量。然后标定相机1的IMU和相机2的相机之间外部参数矩阵,记为T2。然后相机1到相机2的粗略外参矩阵可以推算得到,记为T3,T3=T1 T2。
步骤S3中的根据所述内部参数矩阵,对所述第一外部参数矩阵进行优化,获得所述待标定相机的第二外部参数矩阵包括:
步骤S31、获得所述待标定相机旋转360°后的彩色图像和深度图像。
步骤S32、对每个所述待标定相机分别通过所述彩色图像和深度图像提取线段特征和平面特征。
步骤S33、对所述线段特征和平面特征进行定位和建立图地图,分别得到每个所述待标定相机的里程计。
步骤S34、通过每个所述待标定相机的里程计,建立每个所述待标定相机旋转360°的全局地图。
步骤S35、根据每个所述待标定相机旋转360°的全局地图,通过地图匹配方式建立所述主相机和副相机之间的联系,通过非线性优化方法获得所述待标定相机的第二外部参数矩阵。
请参阅图7,图7为本申请实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的线面特征提取图。具体的,待标定相机的粗略外部参数非线性优化,首先将待标定相机在原地同时旋转360°,让其运动的过程中有足够的共同观测特征,旋转完毕后获得其彩色图和深色图,然后在图上提取线点和面点。提取的线点和面点如图7所示。提取线点的原理为在彩色图像上进行直线检测,一般直线检测常用霍夫变换原理,但是此方法检测速度慢,这里采用FLD直线检测方法。FLD直线检测方法检测的线特征更容易发现和更好的鲁棒性,线特征不会受到光照和视角变化的影响。彩色图上检测线段特征后,然后再深度图上寻找对应点,得到三维空间线特征点。提取面点的原理为在深度图像上进行平面检测,这里使用的是AHC层次聚类有组织点云的快速平面提取算法,提取到三维空间平面后,得到对应的三维空间平面点。
请参阅图8,图8为本申请实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的线面残差约束图。本发明在提取线点和面点后,利用线面约束构建相机位姿优化问题,在slam后端位姿优化问题中,采用帧到局部地图的匹配方式来构建残差。利用当前帧的平面点和线点构建残差,其中局部地图为当前帧的临近时刻所提取到的所有特征点的下采样。最后将全局地图中的所有线特征点和面特征点分别保存到不同的KD-Tree中,方便后面非线性优化外参时地图之间不同特征的匹配。
如图9所示,图9为本申请实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的相机特征观测图。相机1和相机2不同时刻观测外界特征,相机1在c3时刻观测到特征,而相机2在b2时刻也观测到此特征,由此可以构建非线性优化问题,以此来优化相机1和相机2之间的外参。具体为以相机1初始时刻为世界坐标系,通过已知相机1和相机2之间的粗略外参将相机2的全局地图转换到世界坐标系下,通过地图匹配的方式构建非线性优化问题,线特征与做匹配,面特征与做匹配,形成线特征和平面特征约束。
在外参非线性优化问题上,将采用最常用的非线性优化库Ceres Solver工具,将总约束残差转换成最小二乘问题,来优化求解外参T3。因为随着时间的增长,状态量和残差项不断增多,计算量会越来越大,使用滑动窗口来动态增加或移除优化变量,保持状态量的个数在一定的范围内。
请参阅图10,图10为本申请实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的相机外参精细优化后的建图和定位图。在实现相机1和相机2外参数标定后,将两台相机作为一台广义相机使用,在对30m×30m规模的室内场地下进行同时定位和建图。
请参阅图4、图5、图6,图4为本申请一个实施例提供的一种基于非线性优化的无共同视野的相机外参标定系统的原理框图。图5为本申请又一个实施例提供的一种基于非线性优化的无共同视野的相机外参标定系统的原理框图。图6为本申请实施例提供的一种基于非线性优化的无共同视野的相机外参标定方法的相机放置图。与本发明的一种基于非线性优化的无共同视野的相机外参标定方法原理相似的是,本发明还提供一种基于非线性优化的无共同视野的相机外参标定系统,包括内部参数预标定模块10、外部参数标定模块20、外部参数优化模块30。所述内部参数预标定模块10用于对待标定相机的内部参数进行预标定,获得所述待标定相机的内部参数矩阵;所述外部参数标定模块20用于以所述内部参数矩阵作为输入,通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵,通过主相机的惯性测量单元为中介,得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵;所述外部参数优化模块30用于根据所述内部参数矩阵,对所述第一外部参数矩阵进行优化,获得所述待标定相机的第二外部参数矩阵。
所述内部参数预标定模块10包括:内部参数预标定单元11,用于利用Kalibr标定工具对每个待标定相机的内部参数进行预标定,得到获得所述待标定相机的内部参数矩阵。所述外部参数标定模块20包括坐标系选定单元21、标定转换单元22、第一外部参数矩阵获取单元23。所述坐标系选定单元21用于选定所述待标定相机中的任意一个待标定相机的坐标系作为整个相机系统的世界坐标系,并将选定的所述待标定相机作为主相机,其它待标定相机作为副相机;所述标定转换单元22用于根据所述Kalibr标定工具标定所述待标定主相机和主相机的惯性测量单元的外部参数矩阵,再分别标定所述主相机的惯性测量单元和副相机的外部参数矩阵;所述第一外部参数矩阵获取单元23用于以主相机的惯性测量单元作为中介,得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵。
所述外部参数优化模块30包括标定图像获得单元31、线面特征提取单元32、相机里程计单元33、相机全局地图单元34、外参非线性优化单元35。所述标定图像获得单元31用于获得所述待标定相机旋转360°后的彩色图像和深度图像;所述线面特征提取单元32用于对每个所述待标定相机分别通过所述彩色图像和深度图像提取线段特征和平面特征;所述相机里程计单元33用于对所述线段特征和平面特征进行定位和建立地图,分别得到每个所述待标定相机的里程计;所述相机全局地图单元34用于通过每个所述待标定相机的里程计,建立每个所述待标定相机旋转360°的全局地图;所述外参非线性优化单元35用于根据每个所述待标定相机旋转360°的全局地图,通过地图匹配方式建立所述主相机和副相机之间的联系,通过非线性优化方法获得所述待标定相机的第二外部参数矩阵。
综上所述,本发明的基于非线性优化的无共同视野的相机外参标定方法能够有效解决标定过程繁琐、标定方法适用场景少、标定结果不精确等问题,在相机之间无共同视野的情况下,采用一种先粗略标定再优化的方式,利用多相机之间的特征匹配来优化相机的初始外参,运算速度快,而且成本低,既可以提高标定精度,又解决了标定过程的繁琐和场景失效问题。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (9)
1.一种基于非线性优化的无共同视野的相机外参标定方法,其特征在于,包括:
S1、对待标定相机的内部参数进行预标定,获得所述待标定相机的内部参数矩阵;
S2、以所述内部参数矩阵作为输入,通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵,通过主相机的惯性测量单元为中介,得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵;
S3、根据所述内部参数矩阵,对所述第一外部参数矩阵进行优化,获得所述待标定相机的第二外部参数矩阵。
2.根据权利要求1所述的一种基于非线性优化的无共同视野的相机外参标定方法,其特征在于,在步骤S1中,利用Kalibr标定工具对每个待标定相机的内部参数进行预标定,得到获得所述待标定相机的内部参数矩阵。
4.根据权利要求3所述的一种基于非线性优化的无共同视野的相机外参标定方法,其特征在于,步骤S2中的以所述内部参数矩阵作为输入,通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵,通过主相机的惯性测量单元为中介,得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵包括:
S21、选定所述待标定相机中的任意一个待标定相机的坐标系作为整个相机系统的世界坐标系,并将选定的所述待标定相机作为主相机,其它待标定相机作为副相机;
S22、根据所述Kalibr标定工具标定所述待标定主相机和主相机的惯性测量单元的外部参数矩阵,再分别标定所述主相机的惯性测量单元和副相机的外部参数矩阵;
S23、以主相机的惯性测量单元作为中介,得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵。
5.根据权利要求4所述的一种基于非线性优化的无共同视野的相机外参标定方法,其特征在于,步骤S3中的根据所述内部参数矩阵,对所述第一外部参数矩阵进行优化,获得所述待标定相机的第二外部参数矩阵包括:
S31、获得所述待标定相机旋转360°后的彩色图像和深度图像;
S32、对每个所述待标定相机分别通过所述彩色图像和深度图像提取线段特征和平面特征;
S33、对所述线段特征和平面特征进行定位和建立地图,分别得到每个所述待标定相机的里程计;
S34、通过每个所述待标定相机的里程计,建立每个所述待标定相机旋转360°的全局地图;
S35、根据每个所述待标定相机旋转360°的全局地图,通过地图匹配方式建立所述主相机和副相机之间的联系,通过非线性优化方法获得所述待标定相机的第二外部参数矩阵。
6.一种基于非线性优化的无共同视野的相机外参标定系统,其特征在于,包括:
内部参数预标定模块(10),用于对待标定相机的内部参数进行预标定,获得所述待标定相机的内部参数矩阵;
外部参数标定模块(20),用于以所述内部参数矩阵作为输入,通过标定所述待标定相机和主相机的惯性测量单元的外部参数矩阵,通过主相机的惯性测量单元为中介,得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵;
外部参数优化模块(30),用于根据所述内部参数矩阵,对所述第一外部参数矩阵进行优化,获得所述待标定相机的第二外部参数矩阵。
7.根据权利要求6所述的一种基于非线性优化的无共同视野的相机外参标定系统,其特征在于,所述内部参数预标定模块(10)包括:
内部参数预标定单元(11),用于利用Kalibr标定工具对每个待标定相机的内部参数进行预标定,得到获得所述待标定相机的内部参数矩阵。
8.根据权利要求7所述的一种基于非线性优化的无共同视野的相机外参标定系统,其特征在于,所述外部参数标定模块(20)包括:
坐标系选定单元(21),用于选定所述待标定相机中的任意一个待标定相机的坐标系作为整个相机系统的世界坐标系,并将选定的所述待标定相机作为主相机,其它待标定相机作为副相机;
标定转换单元(22),用于根据所述Kalibr标定工具标定所述待标定主相机和主相机的惯性测量单元的外部参数矩阵,再分别标定所述主相机的惯性测量单元和副相机的外部参数矩阵;
第一外部参数矩阵获取单元(23),用于以主相机的惯性测量单元作为中介,得到所述待标定相机在选定世界坐标系下的第一外部参数矩阵。
9.根据权利要求8所述的一种基于非线性优化的无共同视野的相机外参标定系统,其特征在于,所述外部参数优化模块(30)包括:
标定图像获得单元(31),用于获得所述待标定相机旋转360°后的彩色图像和深度图像;
线面特征提取单元(32),用于对每个所述待标定相机分别通过所述彩色图像和深度图像提取线段特征和平面特征;
相机里程计单元(33),用于对所述线段特征和平面特征进行定位和建立地图,分别得到每个所述待标定相机的里程计;
相机全局地图单元(34),用于通过每个所述待标定相机的里程计,建立每个所述待标定相机旋转360°的全局地图;
外参非线性优化单元(35),用于根据每个所述待标定相机旋转360°的全局地图,通过地图匹配方式建立所述主相机和副相机之间的联系,通过非线性优化方法获得所述待标定相机的第二外部参数矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211540315.6A CN115761009A (zh) | 2022-12-02 | 2022-12-02 | 一种基于非线性优化的无共同视野的相机外参标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211540315.6A CN115761009A (zh) | 2022-12-02 | 2022-12-02 | 一种基于非线性优化的无共同视野的相机外参标定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115761009A true CN115761009A (zh) | 2023-03-07 |
Family
ID=85342867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211540315.6A Pending CN115761009A (zh) | 2022-12-02 | 2022-12-02 | 一种基于非线性优化的无共同视野的相机外参标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115761009A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117406185A (zh) * | 2023-12-14 | 2024-01-16 | 深圳市其域创新科技有限公司 | 雷达与相机间的外参标定方法、装置、设备及存储介质 |
CN118037862A (zh) * | 2024-03-27 | 2024-05-14 | 珠海广浩捷科技股份有限公司 | 一种通过已标定的辅助相机进行相机标定方法 |
-
2022
- 2022-12-02 CN CN202211540315.6A patent/CN115761009A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117406185A (zh) * | 2023-12-14 | 2024-01-16 | 深圳市其域创新科技有限公司 | 雷达与相机间的外参标定方法、装置、设备及存储介质 |
CN117406185B (zh) * | 2023-12-14 | 2024-02-23 | 深圳市其域创新科技有限公司 | 雷达与相机间的外参标定方法、装置、设备及存储介质 |
CN118037862A (zh) * | 2024-03-27 | 2024-05-14 | 珠海广浩捷科技股份有限公司 | 一种通过已标定的辅助相机进行相机标定方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110009681B (zh) | 一种基于imu辅助的单目视觉里程计位姿处理方法 | |
CN109615652B (zh) | 一种深度信息获取方法及装置 | |
CN115761009A (zh) | 一种基于非线性优化的无共同视野的相机外参标定方法 | |
WO2021004416A1 (zh) | 一种基于视觉信标建立信标地图的方法、装置 | |
CN102156969B (zh) | 图像纠偏处理方法 | |
CN108921901A (zh) | 一种基于精密二轴转台和激光跟踪仪的大视场相机标定方法 | |
Li et al. | Real-time 3D motion tracking and reconstruction system using camera and IMU sensors | |
CN110209997A (zh) | 基于三维特征点的深度相机自动标定算法 | |
CN103353388B (zh) | 一种具摄像功能的双目体式显微成像系统标定方法及装置 | |
CN107358633A (zh) | 一种基于三点标定物的多相机内外参标定方法 | |
CN110874854B (zh) | 一种基于小基线条件下的相机双目摄影测量方法 | |
CN111815765B (zh) | 一种基于异构数据融合的图像三维重建方法 | |
CN102693543B (zh) | 室外环境下变焦云台摄像机全自动标定方法 | |
CN101149836A (zh) | 一种三维重构的双摄像机标定方法 | |
CN111915685B (zh) | 一种变焦摄像机标定方法 | |
CN116576850B (zh) | 一种位姿确定方法、装置、计算机设备及存储介质 | |
CN112229323A (zh) | 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用 | |
CN106643735A (zh) | 一种室内定位方法、装置和移动终端 | |
CN113607188B (zh) | 基于经纬仪叉丝成像的多视场星敏感器的标定系统及方法 | |
CN111968182B (zh) | 一种双目相机非线性模型参数的标定方法 | |
CN112348941A (zh) | 一种基于点云与图像数据的实时融合方法及装置 | |
CN110689582B (zh) | 全站仪摄像机标定方法 | |
CN115861434A (zh) | 用于超大场景测量多视角相机的位姿估计方法 | |
CN108592789A (zh) | 一种基于bim和机器视觉技术的钢结构工厂预拼装方法 | |
CN110866951B (zh) | 一种单目摄像机光轴倾斜的校正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |