CN114972524A - 大尺度无共视相机外参标定方法 - Google Patents

大尺度无共视相机外参标定方法 Download PDF

Info

Publication number
CN114972524A
CN114972524A CN202210256977.4A CN202210256977A CN114972524A CN 114972524 A CN114972524 A CN 114972524A CN 202210256977 A CN202210256977 A CN 202210256977A CN 114972524 A CN114972524 A CN 114972524A
Authority
CN
China
Prior art keywords
camera
calibration
target
auxiliary
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210256977.4A
Other languages
English (en)
Inventor
庄春刚
王浩宇
王合胜
熊振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202210256977.4A priority Critical patent/CN114972524A/zh
Publication of CN114972524A publication Critical patent/CN114972524A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种大尺度无共视相机外参标定方法，依靠定尺寸标定模块构建目标相机与辅助相机的联系；标定辅助相机与两个目标相机的外部参数；全局优化目标相机的外部参数；仿真实验验证本发明的可行性与精度；实际问题中应用本方法体现本发明的实际应用性。本发明利用辅助相机及定尺寸标定模块，建立大尺度下无公共视野的相机标定模式，实现了低成本、高精度、高柔性的大尺度无共视相机的标定方法，为车身定位等应用提供相机外部参数。

Description

大尺度无共视相机外参标定方法
技术领域
本发明涉及的是一种机器视觉领域的技术，具体是一种室内场景视距为2m-5m的无共视相机外参标定方法。
背景技术
大尺度多相机定位系统中，多个工业相机布置在工作场景的各个方位，一般情况下多个相机之间不存在公共视野。同时为保证定位系统的精度，工业相机之间的位姿变换尺度会远大于其视野的尺度。现有大尺度非共视相机外参标定方法主要包括四类，使用高精度的全局测量设备、使用镜面构造共视关系、使用移动机器人、使用大尺度标定杆等方法。
Kitahara I等人在文章“Large-scale virtualized reality”中使用激光跟踪仪和标定板实现VR系统的非公共视野的多相机系统标定；Huang H等人在文章“Calibrationofnon-overlapping cameras based on a mobile robot”中使用带有定位系统的移动机器人建立两个两个非共视相机的之间的约束，通过最小二乘优化得到外部参数。Xu Z等人在文章“Multi-camera global calibration for large-scale measurement based onplane mirror”中使用光学成像几何学理论建立中转坐标系实现多个非共视相机的全局标定。Liu Z等人在文章“A global calibration method for multiple vision sensorsbased on multiple targets”中使用多个标定板实现灵活、易实现、易操作的非共视相机的外部参数标定。
基于激光跟踪仪等大型全局测量仪的方法，在不同场景下需要制作特定的标定物，并且要求标定场景足够空旷。这些使用限制及昂贵的设备使得该方法只被应用在高端制造场景中。使用移动机器人建立非共视的方法，标定全局参数是会引入机器人定位与导航本身的误差，只适用于低精度的大尺度多相机系统中。基于光学成像几何的方法在不一定存在合理的镜面位置建立虚共视关系，因此也限制其使用。利用大尺寸定尺寸标定物的方法在一定程度上实现了非共视相机的外参标定，但是单个定尺寸标定物在大尺度系统中难以构建，同时也因其标定物的尺寸过大出现刚度不足等问题。
发明内容
本发明针对现有技术中单个大尺度标定杆的刚度不足，面对复杂配置难以实现，以及只能用于具备共同视野的相机系统外参标定，无法标定无共视相机外参等问题，提出一种大尺度无共视相机外参标定方法，使用辅助相机建立两个独立的定尺寸标定杆系统，优化全局重投影损失得到全局最优解，在不使用昂贵的全局测量仪的条件下，通过多个定尺标定杆及辅助相机实现大尺度下的非共视相机标定。
本发明是通过以下技术方案实现的：
本发明涉及一种大尺度无共视相机外参标定方法，包括：
步骤一，根据视觉定位系统的具体情况配置两个目标相机的工作区域、视野和景深，通过合理设置目标相机工作空间，使系统在标定后能满足视觉定位系统需求；
步骤二，将定尺寸标定模块中的目标标定板置于目标相机成像最优处的中心，并配置辅助标定板及辅助相机，使得辅助相机能够同时采集到两块辅助标定板；
所述的定尺寸标定模块包括：可调节支架以及设置于其上的两个不同尺寸的棋盘格架，其中：棋盘格架之间的相对关系跟据目标相机与辅助相机的位置调节后固定。
步骤三，移去定尺寸标定模块，使用张正友方法独立标定两个目标相机及辅助相机的内部参数，在使用张正友方法标定内部参数时不受限于定尺寸标定模块，每个相机只需要对应的一块标定板。
步骤四，调整两组定尺寸标定模块，使得目标标定板在目标相机中呈现清晰，两个辅助标定板能够同时被辅助相机获取；
所述的调整，不改变标定板之间的相对变换关系，每次采集的标定图像包括目标相机得到的两幅目标标定板图像及辅助相机得到的一张同时包含两个辅助标定板的图像；
步骤五，获取目标相机及辅助相机图像作为一组标定图像；
步骤六，重复步骤五、步骤六，在多个位置采集标定图像；
所述的多个位置，优选15-20张图像作为标定图像。
步骤七，使用步骤三得到的相机内部参数及步骤六得到的标定图像，根据目标相机到辅助相机的变换关系构建恒等约束关系，计算目标相机到辅助相机的外部参数最优解；
所述的目标相机到辅助相机的变换关系由一个定尺寸标定模块对应的标定图像建立视觉模型计算得到；
所述的标定图像建立视觉模型为：
Figure BDA0003549004670000021
其中：Ti,S,
Figure BDA0003549004670000022
分别表示目标相机、辅助相机、目标相机标定板、辅助相机标定板的坐标系。
步骤八，建立非线性的全局优化模型，根据两组定尺寸标定模块采集的所有图像，由目标相机之间的外部参数数值解作为初始量，优化全局损失得到对应最优解，即两目标相机的外部参数最优解；
所述的全局优化模型为：
Figure BDA0003549004670000023
Figure BDA0003549004670000031
Figure BDA0003549004670000032
其中：
Figure BDA0003549004670000033
是棋盘格标定板角点在建立在其自身的世界坐标系下的坐标，
Figure BDA0003549004670000034
fS是目标相机与辅助相机将相机坐标系中点映射到图像中的像素坐标的映射函数，
Figure BDA0003549004670000035
是第k次采集的标定数据中棋盘格角点的像素坐标；由于辅助相机在一次采集中能够同时采集到两个辅助，因此两辅助标定板之间的相对变换关系为：
Figure BDA0003549004670000036
优选地，将步骤七与步骤八计算的结果作为初始，使用LM算法求得最终的最优位姿解。
技术效果
与现有技术相比，本发明使用辅助相机及两个小尺度易于制作的棋盘格定尺寸标定模块，无需在无共视相机内外参标定中使用大尺度标定模块，避免了大尺度下由标定模块尺度过大引入的额外误差，适用于大场景车身定位、视觉引导等应用场景。
附图说明
图1为实施例应用场景示意图；
图2为实施例的流程图；
图3为棋盘格定尺寸标定模块运动简图；
图4为标定系统整体示意图；
图5为仿真实验数据生成图；
图6为仿真实验误差结果图；
图7为车身定位原理示意图；
图8为遗传算法流程图。
具体实施方式
如图1所示，为本实施例涉及一种涂胶车间中白车身视觉定位系统中的大尺度非共视相机外参标定过程，其中视觉定位系统中的相机分布在白车身各个角度，相距3～4米，且视野没有公共区域。
如图2所示，本实施例包括如下步骤：
步骤一，根据视觉定位系统中白车身使用的特征点所在，分别调整目标相机位置、角度、视场、景深，使得特征点成像最佳；
步骤二，根据步骤一中确定的目标相机工作区域，调整辅助相机位置和角度使其良好成像区域能包含两个辅助标定板，由于辅助相机视野配置较大该步骤的选择余量较大，保证本方法的灵活度；
步骤三，移去白车身，使用张正友方法分别标定三个相机内部参数，标定得到三个相机内部参数
Figure BDA0003549004670000041
i＝T1，T2，S，其中：f为工业相机焦距，dx为像素横向比例，dy为像素纵向比例，u0、v0为图像的主点坐标，k1、k2为相机径向畸变；
步骤四，如图3所示，在两个目标相机到辅助相机之间架设定尺寸标定模块，利用其高自由度调节目标标定板以辅助标定板的相对位姿，使得目标标定板及辅助标定板在相应相机中成像良好以及具有较大的一致活动范围后固定两标定板相对变换关系直至完成标定。
如图4所示，Ti，i＝1，2为目标相机对应的坐标系，Si，i＝1为辅助相机对应的坐标系，CTi，i＝1，2为目标相机对应的棋盘格坐标系，CSi，i＝1，2为辅助相机对应棋盘格坐标系。
Figure BDA0003549004670000042
Figure BDA0003549004670000043
为i坐标系到j坐标系的变换关系；
步骤五，固定定尺寸标定模块的位置后，分别采集三幅标定图像：目标标定板1图像、目标标定板2图像、辅助标定板1和辅助标定板2图像；
步骤六，重复步骤四、步骤五操作尽可能获取不同姿态下的标定图像，记
Figure BDA0003549004670000044
i＝1，2，3…，j＝CS，CT1，CT2为第i个姿态下得到的标定图像；
步骤七，使用步骤六得到的标定图像计算目标相机到辅助相机的外部参数；
由于定尺寸标定模块中的两个棋盘格的相对位置关系是始终保持不变，即满足：
Figure BDA0003549004670000045
Figure BDA0003549004670000046
转换可得：
Figure BDA0003549004670000047
将
Figure BDA0003549004670000048
记作A，
Figure BDA0003549004670000049
记作B，将原问题则转化为经典AX＝XB方程的求解问题，该问题可由Shiu YC与Ahmad S的文章“Calibration ofwrist-mounted roboticsensors by solving homogeneous transform equations ofthe form AX＝XB”解决。
本实施例使用OpenCV，calibrateHandEye接口得到该方程的解，即目标相机到辅助相机之间的变换关系；在此基础上，使用Strobl KH与Hirzinger G在文章“Optimalhand-eye calibration”中提出的优化方法，以步骤七得到值作为初始值得到最优值。本发明使用LM算法实现；
步骤八，由步骤七得到的目标相机到辅助相机的相对位姿关系直接得到目标相机之间的变换关系，即：
Figure BDA00035490046700000410
为提高标定精度，建立全局优化模型，优化全局变量，最小化重投影损失，得到目标相机外部参数的最优解。全局模型包括棋盘格重投影误差及定尺寸标定模块重投影误差。
本实施例在Open3D中建立棋盘格与相机的仿真数据，验证上述方法。如图5所示，设置目标相机与辅助相机的空间位姿，目标棋盘格与辅助棋盘格的空间位姿，通过相机模型生成仿真数据。在重投影过程中加入像素误差进而验证本方法的有效性。
如图6所示，在足够数量的标定图像下，系统平移误差与角点检测的像素误差成正比，在1个像素误差以下时系统的标定误差在毫米级。说明本方法的正确性。
本实施例在白车身视觉定位系统中应用本方法，验证上述方法：根据车身特征点设置三个目标相机，两个相机为一组，使用本方法计算外部参数，进而通过视觉识别特征点求解车身位姿。
如图7所示，所述的车身定位算法，对于每个相机，已知其空间位姿，可以将其识别到的特征点定位于一条由相机光心指向特征点的射线上。三个特征点两两之间的距离已知，三个相机将三个特征点分别定位于三条射线上，将问题转化为求解特征点在射线上的位置。
在实际问题中，可以对特征点距相机光心的距离作先验估计，将特征点定位于一条线段上。将问题关注的特征点下标集合记作M，对于特征点Ti(i∈M)，定位于线段
Figure BDA0003549004670000051
上，于是可以使用参数ti表示特征点坐标：Ti＝ti×(Ei-Si)+Si(0≤ti≤1)；
预先测量得到实际特征点距离：di，j＝||Ti-Tj||(i，j∈M，i≠j)；
使用参数ti表示特征点坐标并计算特征点距离构建等价关系，问题理论上为求解三个未知特征点参数，二次欧式距离的三元二次方程组，最多有两组解析解。而在实际情况中，由于先验范围限制以及测量误差，问题转化为非线性最优化问题，即：argmin∑i，j∈M，i≠j(||Ti-Tj||-di，j)2。
本方法中采用遗传算法求解该非线性最优化问题，对参数ti作二进制编码，按照设定概率进行交叉、变异、遗传迭代，通过C++位运算表示编码和变异提高计算效率；采用轮盘赌选择法的选择策略，根据各子代特征点距离误差计算适应度并转换为累积概率；利用二分法快速查找预期的累积概率；依据图8所示遗传算法求解得到特征点世界坐标，从而可以解出车身位姿。
与现有技术相比，本方法受实际场地条件限制较小，易于实施本方法，并且可以灵活应对不同的系统布置要求。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (6)

1.一种大尺度无共视相机外参标定方法，其特征在于，包括：
步骤一，根据视觉定位系统的具体情况配置两个目标相机的工作区域、视野和景深，通过合理设置目标相机工作空间，使系统在标定后能满足视觉定位系统需求；
步骤二，将定尺寸标定模块中的目标标定板置于目标相机呈像最优处的中心，并配置辅助标定板及辅助相机，使得辅助相机能够同时采集到两块辅助标定板；
步骤三，移去定尺寸标定模块，使用张正友方法独立标定两个目标相机及辅助相机的内部参数，在使用张正友方法标定内部参数时不受限于定尺寸标定模块，每个相机只需要对应的一块标定板；
步骤四，调整两组定尺寸标定模块，使得目标标定板在目标相机中呈现清晰，两个辅助标定板能够同时被辅助相机获取；
步骤五，获取目标相机及辅助相机图像作为一组标定图像；
步骤六，重复步骤五、步骤六，在多个位置采集标定图像；
步骤七，使用步骤三得到的相机内部参数及步骤六得到的标定图像，根据目标相机到辅助相机的变换关系构建恒等约束关系，计算目标相机到辅助相机的外部参数最优解；
步骤八，建立非线性的全局优化模型，根据两组定尺寸标定模块采集的所有图像，由目标相机之间的外部参数数值解作为初始量，优化全局损失得到对应最优解，即两目标相机的外部参数最优解；
所述的标定图像建立视觉模型为：
Figure FDA0003549004660000011
其中：Ti,S,
Figure FDA0003549004660000012
分别表示目标相机、辅助相机、目标相机标定板、辅助相机标定板的坐标系；
所述的全局优化模型为：
Figure FDA0003549004660000013
Figure FDA0003549004660000014
Figure FDA0003549004660000015
其中：
Figure FDA0003549004660000016
是棋盘格标定板角点在建立在其自身的世界坐标系下的坐标，
Figure FDA0003549004660000017
fS是目标相机与辅助相机将相机坐标系中点映射到图像中的像素坐标的映射函数，
Figure FDA0003549004660000018
是第k次采集的标定数据中棋盘格角点的像素坐标；由于辅助相机在一次采集中能够同时采集到两个辅助，因此两辅助标定板之间的相对变换关系为：
Figure FDA0003549004660000019
2.根据权利要求1所述的大尺度无共视相机外参标定方法，其特征是，所述的定尺寸标定模块包括：可调节支架以及设置于其上的两个不同尺寸的棋盘格架，其中：棋盘格架之间的相对关系跟据目标相机与辅助相机的位置调节后固定。
3.根据权利要求1所述的大尺度无共视相机外参标定方法，其特征是，所述的调整，不改变标定板之间的相对变换关系，每次采集的标定图像包括目标相机得到的两幅目标标定板图像及辅助相机得到的一张同时包含两个辅助标定板的图像。
4.根据权利要求1所述的大尺度无共视相机外参标定方法，其特征是，所述的多个位置，为15-20。
5.根据权利要求1所述的大尺度无共视相机外参标定方法，其特征是，所述的目标相机到辅助相机的变换关系由一个定尺寸标定模块对应的标定图像建立视觉模型计算得到。
6.根据权利要求1所述的大尺度无共视相机外参标定方法，其特征是，将步骤七与步骤八计算的结果作为初始，使用LM算法求得最终的最优位姿解。
CN202210256977.4A 2022-03-16 2022-03-16 大尺度无共视相机外参标定方法 Pending CN114972524A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210256977.4A CN114972524A (zh) 2022-03-16 2022-03-16 大尺度无共视相机外参标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210256977.4A CN114972524A (zh) 2022-03-16 2022-03-16 大尺度无共视相机外参标定方法

Publications (1)

Publication Number Publication Date
CN114972524A true CN114972524A (zh) 2022-08-30

Family

ID=82975356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210256977.4A Pending CN114972524A (zh) 2022-03-16 2022-03-16 大尺度无共视相机外参标定方法

Country Status (1)

Country Link
CN (1) CN114972524A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115526941A (zh) * 2022-11-25 2022-12-27 海伯森技术（深圳）有限公司 一种用于远心相机的标定装置和标定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115526941A (zh) * 2022-11-25 2022-12-27 海伯森技术（深圳）有限公司 一种用于远心相机的标定装置和标定方法
CN115526941B (zh) * 2022-11-25 2023-03-10 海伯森技术（深圳）有限公司 一种用于远心相机的标定装置和标定方法

Similar Documents

Publication Publication Date Title
CN102034238B (zh) 基于光学成像测头和视觉图结构的多摄像机系统标定方法
CN105160702B (zh) 基于LiDAR点云辅助的立体影像密集匹配方法及系统
CN114399554B (zh) 一种多相机系统的标定方法及系统
CN103530880B (zh) 基于投影高斯网格图案的摄像机标定方法
CN110853037A (zh) 一种基于球面投影的轻量化彩色点云分割方法
CN109712232B (zh) 一种基于光场的物体表面轮廓三维成像方法
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN103278138A (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
CN115205466B (zh) 一种基于结构光的输电通道三维重建方法和系统
CN115457147A (zh) 相机标定方法、电子设备及存储介质
CN109443200B (zh) 一种全局视觉坐标系和机械臂坐标系的映射方法及装置
CN112365545B (zh) 基于大平面复合靶标的激光雷达与可见光相机的标定方法
CN112581544B (zh) 基于参数优化的无公共视场相机标定方法
CN114001651B (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
CN113390514B (zh) 一种基于多传感器阵列的三维红外温度测量方法
CN111524195A (zh) 一种掘进机截割头定位中的相机标定方法
CN115880344A (zh) 一种双目立体匹配数据集视差真值获取方法
CN114972524A (zh) 大尺度无共视相机外参标定方法
CN116625258A (zh) 链条间距测量系统及链条间距测量方法
CN112489141B (zh) 车载摄像头单板单图带中继镜的产线标定方法及装置
CN112525106B (zh) 基于三相机协同激光的3d探测方法及装置
CN115797466A (zh) 一种快速的三维空间标定方法
CN112598749B (zh) 大场景非共同视野多相机标定方法
CN115908562A (zh) 一种异面点合作标志器及测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination