CN114663533A - 一种基于非线性优化的多视角相机标定方法及系统 - Google Patents
一种基于非线性优化的多视角相机标定方法及系统 Download PDFInfo
- Publication number
- CN114663533A CN114663533A CN202210399245.0A CN202210399245A CN114663533A CN 114663533 A CN114663533 A CN 114663533A CN 202210399245 A CN202210399245 A CN 202210399245A CN 114663533 A CN114663533 A CN 114663533A
- Authority
- CN
- China
- Prior art keywords
- cameras
- calibrated
- camera
- calibration
- external parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000005457 optimization Methods 0.000 title claims abstract description 59
- 239000011159 matrix material Substances 0.000 claims abstract description 25
- 230000036544 posture Effects 0.000 claims description 37
- 238000012795 verification Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种基于非线性优化的多视角相机标定方法及系统。所述方法包括：对所有待标定相机的内参进行预标定，得到所有待标定相机的内参矩阵；通过多相机之间的相邻关系粗标定所有待标定相机在选定世界坐标系下的外参，得到所有待标定相机待优化的初始外参；通过非线性优化方法，基于所述内参矩阵对所有待标定相机待优化的初始外参进行同步优化，获得精细化的相机外参。本发明针对多视角相机的外参标定问题，采用一种先粗标定再优化的方式，有效解决了二维棋盘格标定物在多相机系统中存在的自遮挡问题，在不需要三维标定物的情况下，利用多相机之间的拓扑关系同步优化所有相机外参，可以得到精度可观的标定结果，提高了标定精度。
Description
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种基于非线性优化的多视角相机标定方法及系统。
背景技术
相机标定是在很多计算机视觉以及计算机图形学的研究课题中都会涉及的关键技术。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高标定精度是科研工作的重点所在。相机标定的方法大致分为传统相机标定法、相机自标定法、主动视觉相机标定方法等类型。传统相机标定法指的是利用一些有明显角点并且尺寸已知的标定物进行标定，根据标定物的不同可以分为二维平面型标定物和三维标定物，二维标定物制作简单，精度可观，但标定时需要拍摄多组图像，三维标定物可由单幅图像标定，标定精度较高，但制作成本相对较高。自标定法是指利用相机运动约束或是场景约束对相机进行标定，这种标定方法不需要标定物，可进行在线标定，但缺点是算法鲁棒性较差。主动视觉的相机标定法是指已知相机的某些运动信息对相机进行标定，这种方法不需要标定物，算法简单，鲁棒性高，但需要控制相机做某些特定的运动，实验要求也比较严苛。
在针孔相机模型中，一个世界坐标系中的物体的成像过程包括四个坐标系的变换过程——从世界坐标系到相机坐标系、从相机坐标系到象平面坐标系、从象平面坐标系到像素平面坐标系。前一个变换过程涉及相机外参，而后两个变换则要用到相机内参。因此校准相机的内外参在相机成像及重投影的过程中就显得尤为重要。Laura Ribeiro博士提出了一种针对小基线多视角相机的标定方法，该方法采用二维棋盘格平面作为标定物。该方法克服了传统标定法需要的高精度标定物的缺点，仅需使用一个打印出来的棋盘格就可以；同时相对于自标定而言，提高了精度；相对于主动视觉相机标定方法而言，更便于操作。然而，该方法在相机拍摄视角中不存在标定物自遮挡的情况下尤其有效，但在相机拍摄视角中存在标定物自遮挡的情况下标定精度不佳。
发明内容
本发明的目的是提供一种基于非线性优化的多视角相机标定方法及系统，以有效解决二维棋盘格标定物在多相机系统中存在的自遮挡问题，在不需要三维标定物的情况下得到精度可观的标定结果。
为实现上述目的，本发明提供了如下方案：
一种基于非线性优化的多视角相机标定方法，包括：
对所有待标定相机的内参进行预标定，得到所有待标定相机的内参矩阵；
通过多相机之间的相邻关系粗标定所有待标定相机在选定世界坐标系下的外参，得到所有待标定相机待优化的初始外参；
通过非线性优化方法，基于所述内参矩阵对所有待标定相机待优化的初始外参进行同步优化，获得精细化的相机外参。
可选地，所述对所有待标定相机的内参进行预标定，得到所有待标定相机的内参矩阵，具体包括：
使用Matlab软件内置的CameraCalibration标定工具箱对每个待标定相机的内部参数单独进行预标定，得到所有待标定相机的内参矩阵。
可选地，所述通过多相机之间的相邻关系粗标定所有待标定相机在选定世界坐标系下的外参，得到所有待标定相机待优化的初始外参，具体包括：
选定所有待标定相机中任一个相机的相机坐标系作为整个相机系统的世界坐标系，并计算所有待标定相机在所述世界坐标系下的坐标；
根据所有待标定相机在所述世界坐标系下的坐标确定所有待标定相机之间的两两相邻关系；
根据所有待标定相机之间的两两相邻关系标定所有待标定相机中两两相机的外参；
利用所有待标定相机之间的两两相邻关系将所有相机的外参统一传递到所述世界坐标系中，获得所述世界坐标系下所有待标定相机待优化的初始外参。
可选地，所述通过非线性优化方法，基于所述内参矩阵对所有待标定相机待优化的初始外参进行同步优化，获得精细化的相机外参，具体包括：
获取所有待标定相机同步拍摄的不同姿态棋盘格图像；
检测所述不同姿态棋盘格图像上的角点，获得棋盘格所有姿态下的角点；
对每一个棋盘格姿态，根据所述内参矩阵和所述初始外参将所述棋盘格姿态下的角点重投影回每个待标定相机拍摄的对应的棋盘格图像上，获得重投影点；
计算所述重投影点与对应角点之间的欧氏距离；
通过LM优化算法最小化所述欧氏距离，求解得到精细化的相机外参。
可选地，所述方法还包括：
利用重投影验证的方法定量衡量所述精细化的相机外参标定结果的准确性。
一种基于非线性优化的多视角相机标定系统，包括：
内参预标定模块，用于对所有待标定相机的内参进行预标定，得到所有待标定相机的内参矩阵；
外参粗标定模块，用于通过多相机之间的相邻关系粗标定所有待标定相机在选定世界坐标系下的外参，得到所有待标定相机待优化的初始外参；
外参优化模块，用于通过非线性优化方法，基于所述内参矩阵对所有待标定相机待优化的初始外参进行同步优化，获得精细化的相机外参。
可选地，所述内参预标定模块具体包括：
内参预标定单元，用于使用Matlab软件内置的CameraCalibration标定工具箱对每个待标定相机的内部参数单独进行预标定，得到所有待标定相机的内参矩阵。
可选地，所述外参粗标定模块具体包括：
相机坐标计算单元，用于选定所有待标定相机中任一个相机的相机坐标系作为整个相机系统的世界坐标系，并计算所有待标定相机在所述世界坐标系下的坐标；
相邻关系确定单元，用于根据所有待标定相机在所述世界坐标系下的坐标确定所有待标定相机之间的两两相邻关系；
外参粗标定单元，用于根据所有待标定相机之间的两两相邻关系标定所有待标定相机中两两相机的外参；
初始外参计算单元，用于利用所有待标定相机之间的两两相邻关系将所有相机的外参统一传递到所述世界坐标系中，获得所述世界坐标系下所有待标定相机待优化的初始外参。
可选地，所述外参优化模块包括：
标定图像获取单元，用于获取所有待标定相机同步拍摄的不同姿态棋盘格图像；
角点检测单元，用于检测所述不同姿态棋盘格图像上的角点，获得棋盘格所有姿态下的角点；
重投影单元，用于对每一个棋盘格姿态，根据所述内参矩阵和所述初始外参将所述棋盘格姿态下的角点重投影回每个待标定相机拍摄的对应的棋盘格图像上，获得重投影点；
欧氏距离计算单元，用于计算所述重投影点与对应角点之间的欧氏距离；
外参优化单元，用于通过LM优化算法最小化所述欧氏距离，求解得到精细化的相机外参。
可选地，所述系统还包括：
标定结果验证模块，用于利用重投影验证的方法定量衡量所述精细化的相机外参标定结果的准确性。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于非线性优化的多视角相机标定方法及系统，所述方法包括：对所有待标定相机的内参进行预标定，得到所有待标定相机的内参矩阵；通过多相机之间的相邻关系粗标定所有待标定相机在选定世界坐标系下的外参，得到所有待标定相机待优化的初始外参；通过非线性优化方法，基于所述内参矩阵对所有待标定相机待优化的初始外参进行同步优化，获得精细化的相机外参。本发明针对多视角相机的外参标定问题，采用一种先粗标定再优化的方式，有效解决了二维棋盘格标定物在多相机系统中存在的自遮挡问题，在不需要三维标定物的情况下，利用多相机之间的拓扑关系同步优化所有相机外参，可以得到精度可观的标定结果，提高了标定精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于非线性优化的多视角相机标定方法的流程图；
图2为本发明一种基于非线性优化的多视角相机标定方法的过程示意图；
图3为本发明实施例提供的多相机系统的示意图；
图4为本发明实施例提供的优化数据集的采集方式示意图；
图5为本发明实施例提供的根据实验标定真实相机外参重投影实际数据集角点验证标定结果准确性的示意图；
图6为本发明实施例提供的根据实验标定虚拟相机外参重投影虚拟数据集角点验证标定结果准确性的示意图；其中图像中没有棋盘格的视角为拍摄到了虚拟棋盘格的背面。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于非线性优化的多视角相机标定方法及系统，以有效解决二维棋盘格标定物在多相机系统中存在的自遮挡问题，在不需要三维标定物的情况下得到精度可观的标定结果。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种基于非线性优化的多视角相机标定方法的流程图，图2为本发明一种基于非线性优化的多视角相机标定方法的过程示意图。参见图1和图2，本发明一种基于非线性优化的多视角相机标定方法包括：
步骤101：对所有待标定相机的内参进行预标定，得到所有待标定相机的内参矩阵。
此步骤对所有待标定相机(后文也简称相机)的内参进行预标定，得到所有待标定相机的内参矩阵并作为已知量使用。具体地，为获得所有相机的内部参数，以用于之后的重投影阶段，使用matlab内置的CameraCalibration工具箱对所有相机的内部参数(简称内参)进行预标定，得到所有相机内参矩阵Ki。
本发明相机内参预标定阶段的目的主要是对相机的内部参数进行标定，内参主要包括相机畸变、焦距、主点位置等，标定结果为相机的径向畸变参数(k1,k2)及内参矩阵
其中(fx,fy)表示相机在两图像轴方向的归一化焦距，(cx,cy)表示相机主点坐标。Ki为所有待标定相机的内参矩阵的集合。这一阶段得到的参数将参与之后的外参标定阶段的投影计算过程，作为常量使用。
因此，所述步骤101对所有待标定相机的内参进行预标定，得到所有待标定相机的内参矩阵，具体包括：
使用Matlab软件内置的CameraCalibration标定工具箱对每个待标定相机的内部参数单独进行预标定，得到所有待标定相机的内参矩阵。
步骤102：通过多相机之间的相邻关系粗标定所有待标定相机在选定世界坐标系下的外参，得到所有待标定相机待优化的初始外参。
此步骤通过相机相邻关系标定所有相机在选定世界坐标系下的初始外参，这一步获得较为粗糙的待优化的相机外参。具体地，选定其中一个相机的相机坐标系作为整个相机系统的世界坐标系，为获得所有相机在这一世界坐标系下的坐标，根据相机之间的两两相邻关系，先标定两两相机的外参(Rij,tij)，其中Rij为3*3的旋转矩阵，tij为三维列向量。之后同样利用相机相邻关系将所有相机的外参统一传递到世界坐标系中。这一步获得世界坐标系下所有相机的初始外部参数(Riraw,tiraw)。由于初始外参存在一定的标定误差，在传递过程中这一误差会逐级传递，最终的外参存在较大误差，因此有待于优化这一外参。
本发明相机外参粗标定阶段的目的是对所有相机在世界坐标系下的外部参数进行粗略的标定，以作为下一个阶段中非线性优化过程的初始参数。在这一阶段，对于所有相机围成一圈，焦点在同一块中心区域的多相机系统，选定其中一个相机的相机坐标系作为世界坐标系。根据相机的相邻关系，每两个相邻相机之间标定外参(Rij,tij)，标定方法为：
相机1和相机2同时拍摄同一张棋盘格标定物，则可得到两个相机相对于棋盘格坐标系的外参(Rp1,tp1)、(Rp2,tp2)，相机2相对于相机1的外参矩阵为：
这里默认相邻两个相机在至少一种棋盘格姿态下一定能同时检测到棋盘格角点。
对于两个不相邻的相机，要求它们之间的外参则存在两种情况：一是这两个相机的视野中能同时看到同一姿态的棋盘格，这种情况下则不需要利用中间相机作为媒介传递外参而可以直接计算这两个相机的外参；二是这两个相机的视野中不能同时看到同一姿态的棋盘格，这种情况下则需要利用到相机的传递关系。若相机1与相机2相邻，相机2与相机3相邻，则已知相机2相对于相机1的外参(R12,t12)，相机3相对于相机2的外参(R23,t23)，则相机3相对于相机1的外参矩阵为：
利用这种传递关系便可得到所有相机相对于世界坐标系的外参(Riw,tiw)作为所有待标定相机待优化的初始外参(Riraw,tiraw)。
因此，所述步骤102通过多相机之间的相邻关系粗标定所有待标定相机在选定世界坐标系下的外参，得到所有待标定相机待优化的初始外参，具体包括：
选定所有待标定相机中任一个相机的相机坐标系作为整个相机系统的世界坐标系，并计算所有待标定相机在所述世界坐标系下的坐标；
根据所有待标定相机在所述世界坐标系下的坐标确定所有待标定相机之间的两两相邻关系；
根据所有待标定相机之间的两两相邻关系标定所有待标定相机中两两相机的外参；
利用所有待标定相机之间的两两相邻关系将所有相机的外参统一传递到所述世界坐标系中，获得所述世界坐标系下所有待标定相机待优化的初始外参。
步骤103：通过非线性优化方法，基于所述内参矩阵对所有待标定相机待优化的初始外参进行同步优化，获得精细化的相机外参。
此步骤通过非线性优化方法，基于标定数据对所有相机外参进行同步优化，获得更为精细化的外参。具体地，在步骤102获得的初始外参(Riraw,tiraw)的基础上，利用非线性优化的方法精细化相机外参。具体做法为：对于第i个相机拍摄的标定图片，根据其在该相机下的姿态(Rpi,tpi)，计算在世界坐标系下的姿态外参(Rp,tp)；对于每个姿态的棋盘格标定物，找出能检测到角点的相机视角，再根据初始外参将该相机视角下检测到的角点(xdpi,ydpi)反投影回所有其他相机相应的图片上，获得反投影点(xrpj,yrpj)；计算反投影点(xrpj,yrpj)与该图片检测角点(xdpj,ydpj)之间的欧氏距离
其中Prpj表示第j个相机在第p个标定物姿态下的反投影点，Prpj＝(xrpj,yrpj)；Pdpj表示第j个相机在第p个标定物姿态下的角点，Pdpj＝(xdpj,ydpj)；N表示相机数量，M表示标定物姿态数量。通过LM优化算法最小化这一欧氏距离，最终得到精细化外参。
本发明外参非线性优化阶段的目的是对相机外参粗标定阶段获得的初始外参(Riraw,tiraw)进一步精细化。对于新拍摄的一组标定图像，检测图像上的角点。若一个棋盘格姿态在某些相机上能检测到角点，则根据相机外参矩阵可以将其投影到世界坐标系下。若一个棋盘格姿态在参照相机拍摄的图像上即可检测到角点，则可以直接使用该角点在世界坐标系下的坐标。利用上述方法获得棋盘格所有姿态下的角点世界坐标，下面只需对每一个棋盘格姿态利用相机内参预标定阶段获得的相机内参及相机外参粗标定阶段获得的相机外参重投影回每个相机拍摄的对应的图像上，这样即可获得重投影点
其中Kj表示第j个相机的内参矩阵；Rj，tj分别表示第j个相机的外参旋转矩阵和平移矢量；kj1，kj2表示第j个相机的径向畸变系数，Mpi表示棋盘格第p个姿态下的第i个角点的三维坐标。
假设相机数量为N个，棋盘格姿态数量为M组，棋盘格模型平面上有K个特征点，且图像上的噪声服从独立同一分布，则极大似然估计可以通过最小化以下函数得到：
其中mjpi表示第j个相机拍摄的棋盘格第p个姿态下的第i个检测角点。
因此，所述步骤103通过非线性优化方法，基于所述内参矩阵对所有待标定相机待优化的初始外参进行同步优化，获得精细化的相机外参，具体包括：
获取所有待标定相机同步拍摄的不同姿态棋盘格图像；
检测所述不同姿态棋盘格图像上的角点，获得棋盘格所有姿态下的角点；
对每一个棋盘格姿态，根据所述内参矩阵和所述初始外参将所述棋盘格姿态下的角点重投影回每个待标定相机拍摄的对应的棋盘格图像上，获得重投影点；
计算所述重投影点与对应角点之间的欧氏距离；
通过LM优化算法最小化所述欧氏距离，求解得到精细化的相机外参。
在实际应用中，所述方法还包括：利用重投影验证的方法定量衡量所述精细化的相机外参标定结果的准确性。
此步骤利用重投影验证的方法定量衡量标定结果的准确性。具体地，对于优化所得的外参，本发明提出两种方法验证其准确性：
第一种方法是所有参与标定的相机再重新拍摄一组验证数据集，根据标定的外参重投影角点，定量计算重投影角点与检测角点的误差。通过本发明的实验验证，重投影点与检测点基本吻合，平均误差在10个像素以内。
第二种方法是用软件代码的形式开发一个虚拟相机仿真系统，通过在这个仿真系统中手动设置相机内外参及拍摄“虚拟”标定数据，放入标定算法中标定外参，可以通过比较标定外参与设置的外参之间的误差定量衡量标定结果的准确性，也可以利用第一种方法重投影验证角点误差。
本发明提供的基于非线性优化的针对多视角相机的内外参标定方法中，相机模型采用针孔相机模型，所使用的标定物为棋盘格。为标定多个工业相机在同一世界坐标系下的内外参，本发明方法如下：对于相机内参的标定，直接使用matlab软件内置的标定工具箱对每个相机进行单独标定，标定结果作为已知量使用；相机外参的标定分为预处理和外参优化两个部分，预处理部分通过多相机之间的相邻关系粗标定所有相机在世界坐标系下的外参，由于相机之间传递误差的存在，这一步获得的外参通常是不准确的，因此优化部分的主要工作是通过非线性优化方法精细化预处理部分获得的外参，以降低相机外参之间的传递误差所造成的影响。因此，本发明方法能够有效解决二维棋盘格标定物在多相机系统中存在的自遮挡问题，可以在不需要三维标定物的情况下，利用多相机之间的拓扑关系同步优化所有相机外参，得到精度可观的标定结果。
下面采用一个具体实施例说明本发明方法的实施过程并验证本发明方法的技术效果。
本发明实施例的实验设备为八个同一型号的工业相机，分别称为相机0～相机7。八个相机按编号围成一圈，焦点在同一块中心区域，如图3所示。
步骤1)内参预标定
对八个相机分别预标定内部参数。具体做法为每一个相机分别拍摄10组左右不同姿态棋盘格焦点图片，放入matlab内置工具箱Camera Calibrator进行标定，标定结果存储为matlab表格，作为常量使用。
步骤2)外参标定数据采集
这一步需要采集两次数据，第一次用于相机外参粗标定，以两个相邻相机为单位，在两者视线之内拍摄10组以上不同姿态棋盘格图像；第二次用于外参优化过程，采集时需要所有相机同步拍摄十组以上不同姿态棋盘格角点，确保每个相机至少在一组姿态中能检测到角点，最好将棋盘格绕中心轴匀速旋转一圈，所有相机同步连续采集，如图4所示，采集的图像数据以PositionXX_CameraXX格式命名。
步骤3)相机外参粗标定
选定相机0的相机坐标系作为整个系统的世界坐标系，对第一次采集的数据，利用每一对相机之间Position(棋盘格姿态)相同的图像标定这一对相机之间的外参，包括欧拉角形式的三维旋转矢量R和三维的平移矢量t。之后对各组外参求出平均外参作为这两个相机的外参。求得每两个相邻相机的外参之后，利用相机相邻关系求出所有相机在世界坐标系中的外参，这一步获得的外参作为待优化的外参初值。
步骤4)角点重投影
对于第二次采集的数据，检测相机0拍摄的图片中是否能检测到角点并记录下来，若有，则保存对应的角点图像坐标坐标；若没有，则顺序检测相机1到相机7对应姿态拍摄的图像中是否角点。若检测到角点，则通过该相机与相机0之间的外参及两个相机的内参将角点重投影到相机0所在的图像上，并停止检测剩余的相机。这一步可以确保相机0的所有图像上均有角点存在。利用所有相机的内外参将相机0图像上的角点重投影到每个相机相对应的图像上，获得所有相机的重投影点。
步骤5)外参优化
通过第4)步获得所有标定图像上的重投影点
检测相机1到相机7拍摄的所有图像中的角点，若检测不到，则跳过这一图像，若检测到角点，则计算以下代价函数：
通过使用Levenberg-Marquardt算法进行迭代最小化代价函数来求(Rj，tj)的最优解，即为精细化的相机外参。
步骤6)标定结果验证
获得优化的外参之后，需要对结果的准确性进行验证，本发明提供两种验证的方法：第一种方法是所有参与标定的相机再重新拍摄一组验证数据集，根据标定的外参按照步骤4)相同的逻辑重投影角点，定量计算重投影角点与检测角点的误差。通过本发明的实验验证，重投影点与检测点基本吻合，平均误差在10个像素以内，验证结果见附图4。第二种方法是用软件代码的形式开发一个虚拟相机仿真系统，通过在这个仿真系统中手动设置相机内外参及拍摄“虚拟”标定数据，放入标定算法中标定外参，通过比较标定外参与设置的外参之间的误差定量衡量标定结果的准确性，虚拟数据集重投影验证结果见附图5。
经实验验证，本发明在仅需要二维棋盘格作为标定物的情况下，对不同视角的多个相机进行外参标定，标定结果足够精确。本发明方法重点研究针对多视角排布的相机系统的外参标定问题，但是本发明方法对大基线情况下的多相机系统依然有效。
基于本发明提供的方法，本发明还提供一种基于非线性优化的多视角相机标定系统，所述系统包括：
内参预标定模块，用于对所有待标定相机的内参进行预标定，得到所有待标定相机的内参矩阵；
外参粗标定模块，用于通过多相机之间的相邻关系粗标定所有待标定相机在选定世界坐标系下的外参，得到所有待标定相机待优化的初始外参；
外参优化模块，用于通过非线性优化方法，基于所述内参矩阵对所有待标定相机待优化的初始外参进行同步优化，获得精细化的相机外参。
其中，所述内参预标定模块具体包括：
内参预标定单元，用于使用Matlab软件内置的CameraCalibration标定工具箱对每个待标定相机的内部参数单独进行预标定，得到所有待标定相机的内参矩阵。
所述外参粗标定模块具体包括：
相机坐标计算单元，用于选定所有待标定相机中任一个相机的相机坐标系作为整个相机系统的世界坐标系，并计算所有待标定相机在所述世界坐标系下的坐标；
相邻关系确定单元，用于根据所有待标定相机在所述世界坐标系下的坐标确定所有待标定相机之间的两两相邻关系；
外参粗标定单元，用于根据所有待标定相机之间的两两相邻关系标定所有待标定相机中两两相机的外参；
初始外参计算单元，用于利用所有待标定相机之间的两两相邻关系将所有相机的外参统一传递到所述世界坐标系中，获得所述世界坐标系下所有待标定相机待优化的初始外参。
所述外参优化模块包括：
标定图像获取单元，用于获取所有待标定相机同步拍摄的不同姿态棋盘格图像；
角点检测单元，用于检测所述不同姿态棋盘格图像上的角点，获得棋盘格所有姿态下的角点；
重投影单元，用于对每一个棋盘格姿态，根据所述内参矩阵和所述初始外参将所述棋盘格姿态下的角点重投影回每个待标定相机拍摄的对应的棋盘格图像上，获得重投影点；
欧氏距离计算单元，用于计算所述重投影点与对应角点之间的欧氏距离；
外参优化单元，用于通过LM优化算法最小化所述欧氏距离，求解得到精细化的相机外参。
所述系统还包括：
标定结果验证模块，用于利用重投影验证的方法定量衡量所述精细化的相机外参标定结果的准确性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于非线性优化的多视角相机标定方法，其特征在于，包括：
对所有待标定相机的内参进行预标定，得到所有待标定相机的内参矩阵；
通过多相机之间的相邻关系粗标定所有待标定相机在选定世界坐标系下的外参，得到所有待标定相机待优化的初始外参；
通过非线性优化方法，基于所述内参矩阵对所有待标定相机待优化的初始外参进行同步优化，获得精细化的相机外参。
2.根据权利要求1所述的方法，其特征在于，所述对所有待标定相机的内参进行预标定，得到所有待标定相机的内参矩阵，具体包括：
使用Matlab软件内置的CameraCalibration标定工具箱对每个待标定相机的内部参数单独进行预标定，得到所有待标定相机的内参矩阵。
3.根据权利要求1所述的方法，其特征在于，所述通过多相机之间的相邻关系粗标定所有待标定相机在选定世界坐标系下的外参，得到所有待标定相机待优化的初始外参，具体包括：
选定所有待标定相机中任一个相机的相机坐标系作为整个相机系统的世界坐标系，并计算所有待标定相机在所述世界坐标系下的坐标；
根据所有待标定相机在所述世界坐标系下的坐标确定所有待标定相机之间的两两相邻关系；
根据所有待标定相机之间的两两相邻关系标定所有待标定相机中两两相机的外参；
利用所有待标定相机之间的两两相邻关系将所有相机的外参统一传递到所述世界坐标系中，获得所述世界坐标系下所有待标定相机待优化的初始外参。
4.根据权利要求1所述的方法，其特征在于，所述通过非线性优化方法，基于所述内参矩阵对所有待标定相机待优化的初始外参进行同步优化，获得精细化的相机外参，具体包括：
获取所有待标定相机同步拍摄的不同姿态棋盘格图像；
检测所述不同姿态棋盘格图像上的角点，获得棋盘格所有姿态下的角点；
对每一个棋盘格姿态，根据所述内参矩阵和所述初始外参将所述棋盘格姿态下的角点重投影回每个待标定相机拍摄的对应的棋盘格图像上，获得重投影点；
计算所述重投影点与对应角点之间的欧氏距离；
通过LM优化算法最小化所述欧氏距离，求解得到精细化的相机外参。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用重投影验证的方法定量衡量所述精细化的相机外参标定结果的准确性。
6.一种基于非线性优化的多视角相机标定系统，其特征在于，包括：
内参预标定模块，用于对所有待标定相机的内参进行预标定，得到所有待标定相机的内参矩阵；
外参粗标定模块，用于通过多相机之间的相邻关系粗标定所有待标定相机在选定世界坐标系下的外参，得到所有待标定相机待优化的初始外参；
外参优化模块，用于通过非线性优化方法，基于所述内参矩阵对所有待标定相机待优化的初始外参进行同步优化，获得精细化的相机外参。
7.根据权利要求6所述的系统，其特征在于，所述内参预标定模块具体包括：
内参预标定单元，用于使用Matlab软件内置的CameraCalibration标定工具箱对每个待标定相机的内部参数单独进行预标定，得到所有待标定相机的内参矩阵。
8.根据权利要求6所述的系统，其特征在于，所述外参粗标定模块具体包括：
相机坐标计算单元，用于选定所有待标定相机中任一个相机的相机坐标系作为整个相机系统的世界坐标系，并计算所有待标定相机在所述世界坐标系下的坐标；
相邻关系确定单元，用于根据所有待标定相机在所述世界坐标系下的坐标确定所有待标定相机之间的两两相邻关系；
外参粗标定单元，用于根据所有待标定相机之间的两两相邻关系标定所有待标定相机中两两相机的外参；
初始外参计算单元，用于利用所有待标定相机之间的两两相邻关系将所有相机的外参统一传递到所述世界坐标系中，获得所述世界坐标系下所有待标定相机待优化的初始外参。
9.根据权利要求6所述的系统，其特征在于，所述外参优化模块包括：
标定图像获取单元，用于获取所有待标定相机同步拍摄的不同姿态棋盘格图像；
角点检测单元，用于检测所述不同姿态棋盘格图像上的角点，获得棋盘格所有姿态下的角点；
重投影单元，用于对每一个棋盘格姿态，根据所述内参矩阵和所述初始外参将所述棋盘格姿态下的角点重投影回每个待标定相机拍摄的对应的棋盘格图像上，获得重投影点；
欧氏距离计算单元，用于计算所述重投影点与对应角点之间的欧氏距离；
外参优化单元，用于通过LM优化算法最小化所述欧氏距离，求解得到精细化的相机外参。
10.根据权利要求6所述的系统，其特征在于，所述系统还包括：
标定结果验证模块，用于利用重投影验证的方法定量衡量所述精细化的相机外参标定结果的准确性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210399245.0A CN114663533A (zh) | 2022-04-15 | 2022-04-15 | 一种基于非线性优化的多视角相机标定方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210399245.0A CN114663533A (zh) | 2022-04-15 | 2022-04-15 | 一种基于非线性优化的多视角相机标定方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114663533A true CN114663533A (zh) | 2022-06-24 |
Family
ID=82034950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210399245.0A Pending CN114663533A (zh) | 2022-04-15 | 2022-04-15 | 一种基于非线性优化的多视角相机标定方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114663533A (zh) |
-
2022
- 2022-04-15 CN CN202210399245.0A patent/CN114663533A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108346165B (zh) | 机器人与三维传感组件联合标定方法与装置 | |
| Kannala et al. | A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses | |
| Micusik et al. | Structure from motion with wide circular field of view cameras | |
| CN108288294A (zh) | 一种3d相机群的外参标定方法 | |
| Melo et al. | Unsupervised intrinsic calibration from a single frame using a" plumb-line" approach | |
| CN109615661A (zh) | 光场相机内参数标定装置及方法 | |
| CN111210468A (zh) | 一种图像深度信息获取方法及装置 | |
| CN106530358A (zh) | 仅用两幅场景图像标定ptz摄像机的方法 | |
| CN113920206B (zh) | 透视移轴相机的标定方法 | |
| CN109961485A (zh) | 一种基于单目视觉进行目标定位的方法 | |
| CN106815866B (zh) | 鱼眼相机的标定方法及其标定系统和标板 | |
| CN110827360B (zh) | 一种光度立体式测量系统及其标定光源方向的方法 | |
| CN113936099A (zh) | 基于单目结构光和旋转平台的三维图像重建方法及系统 | |
| Perdigoto et al. | Calibration of mirror position and extrinsic parameters in axial non-central catadioptric systems | |
| CN112229323A (zh) | 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用 | |
| CN110136068A (zh) | 基于双侧远心镜头相机之间位置标定的音膜球顶装配系统 | |
| CN115965697A (zh) | 基于沙姆定律的投影仪标定方法、标定系统及装置 | |
| CN112489141B (zh) | 车载摄像头单板单图带中继镜的产线标定方法及装置 | |
| CN113362399A (zh) | 一种偏折测量系统中对焦镜和屏幕位姿的标定方法 | |
| CN111754584A (zh) | 一种远距离大视场相机参数标定系统和方法 | |
| CN115457142B (zh) | 一种mr混合摄影相机的标定方法和系统 | |
| CN114897990A (zh) | 一种基于神经网络的相机畸变标定方法、系统和存储介质 | |
| CN114663533A (zh) | 一种基于非线性优化的多视角相机标定方法及系统 | |
| CN115239816A (zh) | 一种相机标定方法、系统、电子设备及存储介质 | |
| CN113865514B (zh) | 一种线结构光三维测量系统标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |