CN117409087A - 一种双目相机标定方法、装置、设备及存储介质 - Google Patents

一种双目相机标定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117409087A
CN117409087A CN202311473621.7A CN202311473621A CN117409087A CN 117409087 A CN117409087 A CN 117409087A CN 202311473621 A CN202311473621 A CN 202311473621A CN 117409087 A CN117409087 A CN 117409087A
Authority
CN
China
Prior art keywords
camera
affine
matrix
parameters
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311473621.7A
Other languages
English (en)
Inventor
杨健
郑昭
范敬凡
付天宇
肖德强
艾丹妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202311473621.7A priority Critical patent/CN117409087A/zh
Publication of CN117409087A publication Critical patent/CN117409087A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种双目相机标定方法、装置、设备及存储介质，该方法包括调整平面靶标到不同旋转角度，利用单轴高精度位移台将每种角度分次平移固定距离生成仿射投影模型；基于平面投影消影线和平移方向消影点，结合仿射投影模型建立非齐次方程联系左右相机内参；采集多个方向平面的平移运动求解非齐次方程得到相机参数初值，代入非线性优化方法优化相机内外参。消除了人为任意位置的摆放很难控制平面靶标空间分布的均匀性，导致相机参数在优化中受到密集分布的平面位置影响而陷入局部最优解的问题。在深度方向上通过多维度采集位置进行数据采集，使得平面靶标远近分布和相机焦距的计算的强相关性得以体现，可以估计出相机焦距稳定的精确值。

Description

一种双目相机标定方法、装置、设备及存储介质
技术领域
本发明涉及计算机视觉三维测量技术领域，特别是涉及一种基于平面平移运动仿射约束的双目相机标定方法、装置、设备及存储介质。
背景技术
计算机视觉三维测量使用两个或多个相机，通过相机标定方法确定每个相机的内参和外参，在测量中基于立体视觉原理得到目标像素点的三维坐标。相机的内参包含相机焦距、主点坐标和畸变参数，相机焦距代表物体成像过程中的放大率，将远处的物体放大到图像传感器像素级别，主点坐标代表图像传感器和相机镜头光轴的交点，也是投影中心的位置参数，畸变参数表示相机投影过程中的非线性失真，分为径向畸变和离心畸变，其中离心畸变同时引起径向和切向的非线性失真；外参包含三维世界坐标系到相机坐标系的旋转和平移参数。因此，相机标定方法估计的参数直接决定着世界坐标系到相机图像坐标系的空间变换和投影关系，是影响立体视觉系统误差的关键步骤。
目前，现有相机标定技术是基于平面靶标的张正友标定法，该方法一般通过人为在任意位置摆放朝向相机的棋盘格平面靶标。然而，人为任意位置的摆放很难控制平面靶标的均匀性，导致相机参数在优化中受到密集分布的平面位置影响较大；同时，由于平面朝向相机，相机前后深度方向一般和平面接近垂直，每个采集位置在深度方向上维度缺失，而相机透视模型中存在“近大远小”的机制导致平面靶标远近分布和相机焦距的计算存在强相关性，这导致相机焦距很难估计出稳定的精确值。因此，在相机标定过程中，需要控制标定区域的采集以及增加采集空间的维度约束提升相机参数的标定精度。
发明内容
鉴于上述问题，本发明提供用于克服上述问题或者至少部分地解决上述问题的一种双目相机标定方法、装置、设备及存储介质。
本发明提供了如下方案：
一种双目相机标定方法，包括：
调整棋盘格平面靶标到不同旋转角度，所述棋盘格平面靶标固定连接于单轴位移台上；利用所述单轴位移台将每种角度下的所述棋盘格平面靶标进行多次平移且每次平移固定距离；记录每种角度下每次平移后对应的非正交仿射坐标系的仿射坐标点、左目图像坐标以及右目图像坐标组成一组仿射坐标数据；所述仿射坐标点包括所述棋盘格平面靶标的每个角点的坐标以及所述固定距离，所述左目图像坐标为检测每个所述角点在左目相机获取到的左目图像上的坐标，所述右目图像坐标为检测每个所述角点在右目相机获取到的右目图像上的坐标；利用所有所述仿射坐标数据生成仿射坐标矩阵；
利用所述仿射坐标矩阵基于仿射矩阵三维坐标变换和相机投影模型，建立仿射坐标系到相机图像坐标系的仿射投影模型，求出投影矩阵；
基于平面投影消影线和平移方向消影点，结合所述仿射投影模型建立非齐次方程求解获得所述左目相机以及所述右目相机的初始内参；
利用所述初始内参以及所述仿射投影模型求解获得所述左目相机以及所述右目相机在每种角度下每次平移后对应的若干初始外参；
将所述初始内参、若干所述初始外参以及每次平移的平移方向向量代入非线性优化方法优化所述左目相机以及所述右目相机的内外参获得目标内参以及目标外参。
优选地：利用所述仿射坐标矩阵基于仿射矩阵三维坐标变换将所述非正交仿射坐标系转换到正交坐标系；所述仿射矩阵三维坐标变换由下式1表示：
式中：Pw为世界坐标系的点，A为仿射变换矩阵，P为仿射坐标系的点，X,Y为角点的坐标，Z为固定距离，(a1,a2,a3)T为世界坐标系的单位方向向量。
优选地：所述仿射投影模型由下式2表示：
式中：α为图像上投影点坐标p的尺度缩放因子，p为左目图像或右目图像齐次坐标系的点，M为投影矩阵，为P的齐次坐标形式，R为3×3旋转矩阵，A为仿射变换矩阵，t为平移向量，R,A,t为相机的外参，K为相机内参矩阵，其中fx和fy表示x方向和y方向的焦距，γskew表示像元倾斜系数，cx和cy表示投影中心的坐标；
基于和p组成的仿射坐标矩阵使用最小二乘估计得到投影矩阵M。
优选地：基于平面投影消影线和平移方向消影点，结合所述仿射投影模型建立非齐次方程求解获得所述左目相机以及所述右目相机的初始内参包括：
将投影矩阵M按列展开，M＝[m1 m2 m3 m4]，相机的绝对二次曲线用内参矩阵表示：B＝K―TK―1，将B＝K―TK―1代入到等式(2)，仿射坐标系对相机参数的约束描述为下式3：
式中：m1和m2表示平面靶标在图像上的消影线，m3是平移方向在图像上的消影点；
将消影线和消影点通过绝对二次曲线B映射到三维世界坐标系中，平移方向和棋盘格平面靶标的夹角提供了2个双目约束由下式4表示：
根据非齐次方程组求解绝对二次曲线矩阵，对矩阵进行分解得到所述左目相机以及所述右目相机的初始内参。
优选地：确定B和B′是实对称矩阵，每个矩阵包含6个未知参量，将两个矩阵的未知参量展开为列向量b和b′，将b和b′组成为列向量X，每一次平移过程中均结合式3和式4建立一组非齐次方程由下式5表示：
式中：C是根据式3和式4建立的关于b和b′中每个参数的系数矩阵，Y是式3和式4等式右侧的参数；
式5的非齐次约束方程用于其中一组仿射坐标矩阵，将式3变形为齐次方程由下式6表示：
结合式5的非齐次方程组成全部仿射坐标矩阵同时求解相机参数的非齐次方程组由下式7表示：
式中：Cs由式5的C和式6导出的系数矩阵按行拼接得到，Ys由式5的Y和零向量01×6(N―1)拼接得到，N是仿射坐标矩阵的数量。
优选地：将所述初始内参带入式2求解获得所述左目相机以及所述右目相机在每种角度下每次平移后对应的若干初始外参。
优选地：将所述初始内参、若干所述初始外参以及每次平移的平移方向向量代入非线性优化方法优化所述左目相机以及所述右目相机的内外参获得目标内参以及目标外参包括：
将所述初始内参、若干所述初始外参以及每次平移的平移方向向量代入非线性优化函数中，利用式2的仿射投影模型中的重投影误差作为目标函数；所述重投影误差表示代入相机参数后经过仿射投影模型的重投影图像坐标和图像上真实的坐标之差；
使用非线性优化算法迭代相机参数达到重投影误差最小化，输出最终优化后相机的所述目标内参以及所述目标外参。
一种双目相机标定装置，包括：
仿射坐标矩阵获取单元，用于调整棋盘格平面靶标到不同旋转角度，所述棋盘格平面靶标固定连接于单轴位移台上；利用所述单轴位移台将每种角度下的所述棋盘格平面靶标进行多次平移且每次平移固定距离；记录每种角度下每次平移后对应的非正交仿射坐标系的仿射坐标点、左目图像坐标以及右目图像坐标组成一组仿射坐标数据；所述仿射坐标点包括所述棋盘格平面靶标的每个角点的坐标以及所述固定距离，所述左目图像坐标为检测每个所述角点在左目相机获取到的左目图像上的坐标，所述右目图像坐标为检测每个所述角点在右目相机获取到的右目图像上的坐标；利用所有所述仿射坐标数据生成仿射坐标矩阵；
仿射投影模型建立单元，用于利用所述仿射坐标矩阵基于仿射矩阵三维坐标变换和相机投影模型，建立仿射坐标系到相机图像坐标系的仿射投影模型，求出投影矩阵；
初始内参获取单元，用于基于平面投影消影线和平移方向消影点，结合所述仿射投影模型建立非齐次方程求解获得所述左目相机以及所述右目相机的初始内参；
初始外参获取单元，用于利用所述初始内参以及所述仿射投影模型求解获得所述左目相机以及所述右目相机在每种角度下每次平移后对应的若干初始外参；
目标内外参获取单元，用于将所述初始内参、若干所述初始外参以及每次平移的平移方向向量代入非线性优化方法优化所述左目相机以及所述右目相机的内外参获得目标内参以及目标外参。
一种双目相机标定设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述的双目相机标定方法。
一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述的双目相机标定方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本申请实施例提供的一种双目相机标定方法、装置、设备及存储介质，该方法消除了人为任意位置的摆放很难控制平面靶标空间分布的均匀性，导致相机参数在优化中受到密集分布的平面位置影响而陷入局部最优解的问题。在深度方向上通过多维度采集位置进行数据采集，使得平面靶标远近分布和相机焦距的计算的强相关性得以体现，可以估计出相机焦距稳定的精确值。通过控制标定区域的采集以及增加采集空间的维度约束提升相机参数的标定精度。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种双目相机标定方法的流程图；
图2是本发明实施例提供的标定场景配置示意图；
图3是本发明实施例提供的标定过程示意图；
图4是本发明实施例提供的一种双目相机标定装置的示意图；
图5是本发明实施例提供的一种双目相机标定设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，为本发明实施例提供的一种双目相机标定方法，如图1所示，该方法可以包括：
S101：调整棋盘格平面靶标到不同旋转角度，所述棋盘格平面靶标固定连接于单轴位移台上；利用所述单轴位移台将每种角度下的所述棋盘格平面靶标进行多次平移且每次平移固定距离；记录每种角度下每次平移后对应的非正交仿射坐标系的仿射坐标点、左目图像坐标以及右目图像坐标组成一组仿射坐标数据；所述仿射坐标点包括所述棋盘格平面靶标的每个角点的坐标以及所述固定距离，所述左目图像坐标为检测每个所述角点在左目相机获取到的左目图像上的坐标，所述右目图像坐标为检测每个所述角点在右目相机获取到的右目图像上的坐标；利用所有所述仿射坐标数据生成仿射坐标矩阵；具体实现时，使用角点检测算法检测每个所述角点在左目相机获取到的左目图像上的坐标，角点检测算法检测所述右目图像坐标为检测每个所述角点在右目相机获取到的右目图像上的坐标。
S102：利用所述仿射坐标矩阵基于仿射矩阵三维坐标变换和相机投影模型，建立仿射坐标系到相机图像坐标系的仿射投影模型，求出投影矩阵；具体实现时，利用所述仿射坐标矩阵基于仿射矩阵三维坐标变换将所述非正交仿射坐标系转换到正交坐标系；所述仿射矩阵三维坐标变换由下式1表示：
式中：Pw为世界坐标系的点，A为仿射变换矩阵，P为仿射坐标系的点，X,Y为角点的坐标，Z为固定距离，(z1,a2,a3)T为世界坐标系的单位方向向量。
所述仿射投影模型由下式2表示：
式中：α为图像上投影点坐标p的尺度缩放因子，p为左目图像或右目图像齐次坐标系的点，M为投影矩阵，为P的齐次坐标形式，R为3×3旋转矩阵，A为仿射变换矩阵，t为平移向量，R,A,t和相机相对棋盘格平面靶标的初始位置有关，统称为相机的外参。K为相机内参矩阵，其中fx和fy表示x方向和y方向的焦距，γskew表示像元倾斜系数，cx和cy表示投影中心的坐标；
基于和p组成的仿射坐标矩阵使用最小二乘估计得到投影矩阵M。
S103：基于平面投影消影线和平移方向消影点，结合所述仿射投影模型建立非齐次方程求解获得所述左目相机以及所述右目相机的初始内参；具体实现时，包括：
将投影矩阵M按列展开，M＝[m1 m2 m3 m4]，相机的绝对二次曲线用内参矩阵表示：B＝K―TK―1，将B＝K―TK―1代入到等式(2)，仿射坐标系对相机参数的约束描述为下式3：
式中：m1和m2表示平面靶标在图像上的消影线，m3是平移方向在图像上的消影点；
将消影线和消影点通过绝对二次曲线B映射到三维世界坐标系中，平移方向和棋盘格平面靶标的夹角提供了2个双目约束由下式4表示：
确定B和B′是实对称矩阵，每个矩阵包含6个未知参量，将两个矩阵的未知参量展开为列向量b和b′，将b和b′组成为列向量X，每一次平移过程中均结合式3和式4建立一组非齐次方程由下式5表示：
式中：C是根据式3和式4建立的关于b和b′中每个参数的系数矩阵，Y是式3和式4等式右侧的参数，由于每个不同平面旋转方向的仿射坐标矩阵的尺度缩放因子α不同，式5的非齐次约束方程用于其中一组仿射坐标矩阵，将式3变形为齐次方程由下式6表示：
同样地，式6也能够关于b和b′中每个参数的系数矩阵对其余仿射坐标矩阵使用齐次方程式6，结合式5的非齐次方程组成全部仿射坐标矩阵同时求解相机参数的非齐次方程组由下式6表示：
式中：Cs由式5的C和式6导出的系数矩阵按行拼接得到，Ys由式5的Y和零向量01×6(N―1)拼接得到，N是仿射坐标矩阵的数量。
根据非齐次方程组求解绝对二次曲线矩阵，对矩阵进行分解得到所述左目相机以及所述右目相机的初始内参。
S104：利用所述初始内参以及所述仿射投影模型求解获得所述左目相机以及所述右目相机在每种角度下每次平移后对应的若干初始外参；具体实现时，将所述初始内参带入式2求解获得所述左目相机以及所述右目相机在每种角度下每次平移后对应的若干初始外参。
S105：将所述初始内参、若干所述初始外参以及每次平移的平移方向向量代入非线性优化方法优化所述左目相机以及所述右目相机的内外参获得目标内参以及目标外参。具体实现时，将所述初始内参、若干所述初始外参以及每次平移的平移方向向量代入非线性优化函数中，利用式2的仿射投影模型中的重投影误差作为目标函数；所述重投影误差表示代入相机参数后经过仿射投影模型的重投影图像坐标和图像上真实的坐标之差；
使用非线性优化算法迭代相机参数达到重投影误差最小化，输出最终优化后相机的所述目标内参以及所述目标外参。
本申请实施例提供的双目相机标定方法，使用单轴高精度位移台和平面靶标，调整平面到不同旋转角度，每种角度分次平移固定距离，生成仿射坐标系三维坐标网格；基于仿射矩阵三维坐标变换和针孔相机投影模型，建立仿射坐标系到相机图像坐标系的仿射投影模型；基于平面投影消影线和平移方向消影点，结合仿射投影模型建立非齐次方程联系左相机和右相机的内参；采集多个方向平面的平移运动求解非齐次方程得到相机参数初值，代入非线性优化方法优化相机内外参。
下面结合双目相机标定框架对本申请实施例提供的双目相机标定方法进行详细说明。
参见图2，仿射约束的双目相机标定框架，实现该功能使用到的资源有：单轴高精度位移台、双目相机、棋盘格平面靶标和计算机工作站。参见图3，该方法的具体实现步骤如下：
步骤1，双目相机采集单轴位移台平移平面靶标图像。
解决现有的张正友标定法中每个位置的平面靶标在前后深度方向上分布范围较小，焦距的计算精度受到深度的强相关性影响而下降的问题。该方法在深度方向上扩展平移距离的度量，更长范围的深度将焦距计算的误差约束到更小的范围内。
具体地，由计算机工作站5控制单轴位移台4、左目相机1和右目相机2，棋盘格平面靶标3固定在单轴位移台4上，并移动固定距离Z，和棋盘格平面靶标3的每个角点坐标(X,Y)组成非正交仿射坐标系坐标点P＝(X,Y,Z)T，使用角点检测算法检测棋盘格角点在左右目图像上的坐标p和p′，单轴位移台4多次移动固定距离，记录对应的仿射坐标点和图像坐标组成一组仿射坐标网格。调整平面角度，重复上述步骤并记录仿射坐标数据。
步骤2，建立仿射坐标系到相机图像的投影模型。
现有基于平面靶标的标定技术是基于平面到平面的单应性计算的，每次计算仅考虑了单个平面到平面的坐标单应矩阵，只用到了单个平面上的所有点来计算，受到点的数量限制导致误差较大，而该方法将平面的一系列平移运动展开为仿射坐标矩阵，矩阵的计算综合考虑了全部平移位置平面的所有点而非单个位置的平面点，使用了更多点计算矩阵的精度更高。假设单轴位移台4在世界坐标系的单位方向向量是(a1,a2,a3)Ｔ,非正交仿射坐标系转换到正交坐标系可以用仿射变换表示：
根据针孔相机模型，将世界坐标系的点pw用AP代换，左目图像或右目图像齐次坐标系的点p和仿射坐标系的点p的投影关系为：
式中：α为图像上投影点坐标p的尺度缩放因子，p为左目图像或右目图像坐标系的点，M为投影矩阵，为P的齐次坐标形式，R为3×3旋转矩阵，A为仿射变换矩阵，t为平移向量，R,A,t和相机相对棋盘格平面靶标的初始位置有关，统称为相机的外参。K为相机内参矩阵，其中fx和fy表示x方向和y方向的焦距，γskew表示像元倾斜系数，cx和cy表示投影中心的坐标；
基于和p组成的仿射坐标矩阵使用最小二乘估计得到投影矩阵M。
仿射坐标系投影模型相对一般相机投影模型增加了仿射变换矩阵A，作为未知参量应用于后续的方程求解中。
步骤3，非齐次方程求解左右相机参数初值。
现有的基于平面的标定方法没有考虑到两个相机之间消影点和消影线的关系，求解过程中分别独立计算各自的参数。该方法使用非齐次方程建立了两个相机消影点和消影线之间的联系，让两个相机的绝对二次曲线在同一组非齐次方程组中求解，双相机的同时约束相比单相机独立计算提升了参数计算的稳定性。
将投影矩阵M按列展开，M＝[m1 m2 m3 m4]，相机的绝对二次曲线可以用内参矩阵表示：B＝K―TK―1，代入到等式(2)，仿射坐标系对相机参数的约束可以描述为
这是一组非齐次方程。同样地，右目相机的投影矩阵M′和绝对二次曲线矩阵B′也受到仿射坐标系的约束。
在相机投影过程中，根据几何透视变换原理，m1和m2表示平面靶标在图像上的消影线，m3是平移方向在图像上的消影点，由于平面靶标在一次移动中的平移方向向量(a1,a2,a3)T相同，两个相机投影模型共用同一个仿射矩阵A，消影线和消影点通过绝对二次曲线B映射到三维世界坐标系中，平移方向和平面靶标的夹角提供了2个双目约束：
由于B和B′是实对称矩阵，每个矩阵包含6个未知参量，将两个矩阵的未知参量展开为列向量b和b′，将b和b′组成为列向量X，每一次平移过程中均结合式3和式4建立一组非齐次方程由下式5表示：
式中：C是根据式3和式4建立的关于b和b′中每个参数的系数矩阵，Y是式3和式4等式右侧的参数。由于每个不同平面旋转方向的仿射坐标矩阵的尺度缩放因子α不同，式5的非齐次约束方程用于其中一组仿射坐标矩阵，将式3变形为齐次方程由下式6表示：
同样地，式6也能够关于b和b′中每个参数的系数矩阵对其余仿射坐标矩阵使用齐次方程式6，结合式5的非齐次方程组成全部仿射坐标矩阵同时求解相机参数的非齐次方程组由下式7表示：
式中：Cs由式5的C和式6导出的系数矩阵按行拼接得到，Ys由式5的Y和零向量01×6(N―1)拼接得到，N是仿射坐标矩阵的数量。
根据非齐次方程组求解绝对二次曲线矩阵，对矩阵进行分解得到所述左目相机以及所述右目相机的初始内参。
每一次平移过程中都能结合等式(3)和(4)建立一组非齐次方程，采集不同平面方向并平移生成仿射网格以提升算法的鲁棒性。
根据非齐次方程组求解绝对二次曲线矩阵，对矩阵进行分解得到左右目相机的内参，代入等式(2)求出相机外参。
步骤4，非线性优化相机内参和外参。
由于步骤3的非齐次方程没有考虑相机畸变系数，求解的是相机参数的近似值。本发明将相机全部的内参(相同)、外参(不同)和平移方向向量加入到非线性优化函数中，让等式(2)的仿射投影模型中的重投影误差作为目标函数，重投影误差表示代入相机参数后经过仿射投影模型的重投影图像坐标和图像上真实的坐标之差。使用非线性优化算法迭代相机参数达到重投影误差最小化，输出最终优化后的相机内外参。
总之，本申请提供的双目相机标定方法，消除了人为任意位置的摆放很难控制平面靶标空间分布的均匀性，导致相机参数在优化中受到密集分布的平面位置影响而陷入局部最优解的问题。在深度方向上通过多维度采集位置进行数据采集，使得平面靶标远近分布和相机焦距的计算的强相关性得以体现，可以估计出相机焦距稳定的精确值。通过控制标定区域的采集以及增加采集空间的维度约束提升相机参数的标定精度。
参见图4，本申请实施例还可以提供一种双目相机标定装置，如图4所示，该装置可以包括：
仿射坐标矩阵获取单元401，用于调整棋盘格平面靶标到不同旋转角度，所述棋盘格平面靶标固定连接于单轴位移台上；利用所述单轴位移台将每种角度下的所述棋盘格平面靶标进行多次平移且每次平移固定距离；记录每种角度下每次平移后对应的非正交仿射坐标系的仿射坐标点、左目图像坐标以及右目图像坐标组成一组仿射坐标数据；所述仿射坐标点包括所述棋盘格平面靶标的每个角点的坐标以及所述固定距离，所述左目图像坐标为检测每个所述角点在左目相机获取到的左目图像上的坐标，所述右目图像坐标为检测每个所述角点在右目相机获取到的右目图像上的坐标；利用所有所述仿射坐标数据生成仿射坐标矩阵；
仿射投影模型建立单元402，用于利用所述仿射坐标矩阵基于仿射矩阵三维坐标变换和相机投影模型，建立仿射坐标系到相机图像坐标系的仿射投影模型，求出投影矩阵；
初始内参获取单元403，用于基于平面投影消影线和平移方向消影点，结合所述仿射投影模型建立非齐次方程求解获得所述左目相机以及所述右目相机的初始内参；
初始外参获取单元404，用于利用所述初始内参以及所述仿射投影模型求解获得所述左目相机以及所述右目相机在每种角度下每次平移后对应的若干初始外参；
目标内外参获取单元405，用于将所述初始内参、若干所述初始外参以及每次平移的平移方向向量代入非线性优化方法优化所述左目相机以及所述右目相机的内外参获得目标内参以及目标外参。
本申请实施例还可以提供一种双目相机标定设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述的双目相机标定方法的步骤。
如图5所示，本申请实施例提供的一种双目相机标定设备，可以包括：处理器10、存储器11、通信接口12和通信总线13。处理器10、存储器11、通信接口12均通过通信总线13完成相互间的通信。
在本申请实施例中，处理器10可以为中央处理器(CentralProcessingUnit，CPU)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。
处理器10可以调用存储器11中存储的程序，具体的，处理器10可以执行双目相机标定方法的实施例中的操作。
存储器11中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本申请实施例中，存储器11中至少存储有用于实现以下功能的程序：
调整棋盘格平面靶标到不同旋转角度，所述棋盘格平面靶标固定连接于单轴位移台上；利用所述单轴位移台将每种角度下的所述棋盘格平面靶标进行多次平移且每次平移固定距离；记录每种角度下每次平移后对应的非正交仿射坐标系的仿射坐标点、左目图像坐标以及右目图像坐标组成一组仿射坐标数据；所述仿射坐标点包括所述棋盘格平面靶标的每个角点的坐标以及所述固定距离，所述左目图像坐标为检测每个所述角点在左目相机获取到的左目图像上的坐标，所述右目图像坐标为检测每个所述角点在右目相机获取到的右目图像上的坐标；利用所有所述仿射坐标数据生成仿射坐标矩阵；
利用所述仿射坐标矩阵基于仿射矩阵三维坐标变换和相机投影模型，建立仿射坐标系到相机图像坐标系的仿射投影模型，求出投影矩阵；
基于平面投影消影线和平移方向消影点，结合所述仿射投影模型建立非齐次方程求解获得所述左目相机以及所述右目相机的初始内参；
利用所述初始内参以及所述仿射投影模型求解获得所述左目相机以及所述右目相机在每种角度下每次平移后对应的若干初始外参；
将所述初始内参、若干所述初始外参以及每次平移的平移方向向量代入非线性优化方法优化所述左目相机以及所述右目相机的内外参获得目标内参以及目标外参。
在一种可能的实现方式中，存储器11可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及至少一个功能(比如文件创建功能、数据读写功能)所需的应用程序等；存储数据区可存储使用过程中所创建的数据，如初始化数据等。
此外，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。
通信接口12可以为通信模块的接口，用于与其他设备或者系统连接。
当然，需要说明的是，图5所示的结构并不构成对本申请实施例中双目相机标定设备的限定，在实际应用中双目相机标定设备可以包括比图5所示的更多或更少的部件，或者组合某些部件。
本申请实施例还可以提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述的双目相机标定方法的步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加上必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种双目相机标定方法，其特征在于，包括：
调整棋盘格平面靶标到不同旋转角度，所述棋盘格平面靶标固定连接于单轴位移台上；利用所述单轴位移台将每种角度下的所述棋盘格平面靶标进行多次平移且每次平移固定距离；记录每种角度下每次平移后对应的非正交仿射坐标系的仿射坐标点、左目图像坐标以及右目图像坐标组成一组仿射坐标数据；所述仿射坐标点包括所述棋盘格平面靶标的每个角点的坐标以及所述固定距离，所述左目图像坐标为检测每个所述角点在左目相机获取到的左目图像上的坐标，所述右目图像坐标为检测每个所述角点在右目相机获取到的右目图像上的坐标；利用所有所述仿射坐标数据生成仿射坐标矩阵；
利用所述仿射坐标矩阵基于仿射矩阵三维坐标变换和相机投影模型，建立仿射坐标系到相机图像坐标系的仿射投影模型，求出投影矩阵；
基于平面投影消影线和平移方向消影点，结合所述仿射投影模型建立非齐次方程求解获得所述左目相机以及所述右目相机的初始内参；
利用所述初始内参以及所述仿射投影模型求解获得所述左目相机以及所述右目相机在每种角度下每次平移后对应的若干初始外参；
将所述初始内参、若干所述初始外参以及每次平移的平移方向向量代入非线性优化方法优化所述左目相机以及所述右目相机的内外参获得目标内参以及目标外参。
2.根据权利要求1所述的双目相机标定方法，其特征在于，利用所述仿射坐标矩阵基于仿射矩阵三维坐标变换将所述非正交仿射坐标系转换到正交坐标系；所述仿射矩阵三维坐标变换由下式1表示：
式中：Pw为世界坐标系的点，A为仿射变换矩阵，P为仿射坐标系的点，X,Y为角点的坐标，Z为固定距离，(a1,a2,a3)T为世界坐标系的单位方向向量。
3.根据权利要求1所述的双目相机标定方法，其特征在于，所述仿射投影模型由下式2表示：
式中：α为图像上投影点坐标p的尺度缩放因子，p为左目图像或右目图像齐次坐标系的点，M为投影矩阵，为P的齐次坐标形式，R为3×3旋转矩阵，A为仿射变换矩阵，t为平移向量，R,A,t为相机的外参，K为相机内参矩阵，其中fx和fy表示x方向和y方向的焦距，γskew表示像元倾斜系数，cx和cy表示投影中心的坐标；
基于和p组成的仿射坐标矩阵使用最小二乘估计得到投影矩阵M。
4.根据权利要求3所述的双目相机标定方法，其特征在于，基于平面投影消影线和平移方向消影点，结合所述仿射投影模型建立非齐次方程求解获得所述左目相机以及所述右目相机的初始内参包括：
将投影矩阵M按列展开，M＝[m1 m2 m3 m4]，相机的绝对二次曲线用内参矩阵表示：B＝K―TK―1，将B＝K―TK―1代入到等式(2)，仿射坐标系对相机参数的约束描述为下式3：
式中：m1和m2表示平面靶标在图像上的消影线，m3是平移方向在图像上的消影点；
将消影线和消影点通过绝对二次曲线B映射到三维世界坐标系中，平移方向和棋盘格平面靶标的夹角提供了2个双目约束由下式4表示：
根据非齐次方程组求解绝对二次曲线矩阵，对矩阵进行分解得到所述左目相机以及所述右目相机的初始内参。
5.根据权利要求4所述的双目相机标定方法，其特征在于，确定B和B′是实对称矩阵，每个矩阵包含6个未知参量，将两个矩阵的未知参量展开为列向量b和b′，将b和b′组成为列向量X，每一次平移过程中均结合式3和式4建立一组非齐次方程由下式5表示：
式中：C是根据式3和式4建立的关于b和b′中每个参数的系数矩阵，Y是式3和式4等式右侧的参数；
式5的非齐次约束方程用于其中一组仿射坐标矩阵，将式3变形为齐次方程由下式6表示：
结合式5的非齐次方程组成全部仿射坐标矩阵同时求解相机参数的非齐次方程组由下式7表示：
式中：Cs由式5的C和式6导出的系数矩阵按行拼接得到，Ys由式5的Y和零向量01×6(N―1)拼接得到，N是仿射坐标矩阵的数量。
6.根据权利要求5所述的双目相机标定方法，其特征在于，将所述初始内参带入式2求解获得所述左目相机以及所述右目相机在每种角度下每次平移后对应的若干初始外参。
7.根据权利要求4所述的双目相机标定方法，其特征在于，将所述初始内参、若干所述初始外参以及每次平移的平移方向向量代入非线性优化方法优化所述左目相机以及所述右目相机的内外参获得目标内参以及目标外参包括：
将所述初始内参、若干所述初始外参以及每次平移的平移方向向量代入非线性优化函数中，利用式2的仿射投影模型中的重投影误差作为目标函数；所述重投影误差表示代入相机参数后经过仿射投影模型的重投影图像坐标和图像上真实的坐标之差；
使用非线性优化算法迭代相机参数达到重投影误差最小化，输出最终优化后相机的所述目标内参以及所述目标外参。
8.一种双目相机标定装置，其特征在于，包括：
仿射坐标矩阵获取单元，用于调整棋盘格平面靶标到不同旋转角度，所述棋盘格平面靶标固定连接于单轴位移台上；利用所述单轴位移台将每种角度下的所述棋盘格平面靶标进行多次平移且每次平移固定距离；记录每种角度下每次平移后对应的非正交仿射坐标系的仿射坐标点、左目图像坐标以及右目图像坐标组成一组仿射坐标数据；所述仿射坐标点包括所述棋盘格平面靶标的每个角点的坐标以及所述固定距离，所述左目图像坐标为检测每个所述角点在左目相机获取到的左目图像上的坐标，所述右目图像坐标为检测每个所述角点在右目相机获取到的右目图像上的坐标；利用所有所述仿射坐标数据生成仿射坐标矩阵；
仿射投影模型建立单元，用于利用所述仿射坐标矩阵基于仿射矩阵三维坐标变换和相机投影模型，建立仿射坐标系到相机图像坐标系的仿射投影模型，求出投影矩阵；
初始内参获取单元，用于基于平面投影消影线和平移方向消影点，结合所述仿射投影模型建立非齐次方程求解获得所述左目相机以及所述右目相机的初始内参；
初始外参获取单元，用于利用所述初始内参以及所述仿射投影模型求解获得所述左目相机以及所述右目相机在每种角度下每次平移后对应的若干初始外参；
目标内外参获取单元，用于将所述初始内参、若干所述初始外参以及每次平移的平移方向向量代入非线性优化方法优化所述左目相机以及所述右目相机的内外参获得目标内参以及目标外参。
9.一种双目相机标定设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的双目相机标定方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7任一项所述的双目相机标定方法。
CN202311473621.7A 2023-11-07 2023-11-07 一种双目相机标定方法、装置、设备及存储介质 Pending CN117409087A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311473621.7A CN117409087A (zh) 2023-11-07 2023-11-07 一种双目相机标定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311473621.7A CN117409087A (zh) 2023-11-07 2023-11-07 一种双目相机标定方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117409087A true CN117409087A (zh) 2024-01-16

Family

ID=89494221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311473621.7A Pending CN117409087A (zh) 2023-11-07 2023-11-07 一种双目相机标定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117409087A (zh)

Similar Documents

Publication Publication Date Title
Tang et al. A precision analysis of camera distortion models
CN104537707B (zh) 像方型立体视觉在线移动实时测量系统
CN112184824B (zh) 一种相机外参标定方法、装置
CN110345921B (zh) 立体视场视觉测量及垂轴像差和轴向像差校正方法及系统
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
CN111340737B (zh) 图像矫正方法、装置和电子系统
JP7151879B2 (ja) カメラ校正装置、カメラ校正方法、及びプログラム
CN113808220A (zh) 双目摄像机的标定方法、系统、电子设备和存储介质
CN112862897B (zh) 一种基于相位移编码圆的相机离焦状态下的快速标定方法
CN101577004B (zh) 一种极线矫正方法、装置和系统
CN111445537B (zh) 一种摄像机的标定方法及系统
CN113920205B (zh) 一种非同轴相机的标定方法
TWI764506B (zh) 視差校正方法及裝置、電腦可讀儲存介質
CN112598747A (zh) 一种单目相机与投影仪的联合标定方法
Chatterjee et al. A nonlinear Gauss–Seidel algorithm for noncoplanar and coplanar camera calibration with convergence analysis
CN113962853A (zh) 一种旋转线阵扫描图像位姿自动化精密解算方法
CN111432117B (zh) 图像矫正方法、装置和电子系统
CN107872664A (zh) 一种三维成像系统及三维图像构建方法
CN113379845A (zh) 一种相机标定方法及装置、电子设备及存储介质
WO2021106027A1 (ja) カメラパラメータ導出装置、カメラパラメータ導出方法及びカメラパラメータ導出プログラム
CN116563460A (zh) 三维重建优化方法及装置、介质、设备
CN117409087A (zh) 一种双目相机标定方法、装置、设备及存储介质
Castanheiro et al. Modeling hyperhemispherical points and calibrating a dual-fish-eye system for close-range applications
CN113724141B (zh) 一种图像校正方法、装置及电子设备
US20200364933A1 (en) Image processing apparatus, image processing method and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination