CN114399554B - 一种多相机系统的标定方法及系统 - Google Patents

一种多相机系统的标定方法及系统 Download PDF

Info

Publication number
CN114399554B
CN114399554B CN202111488553.2A CN202111488553A CN114399554B CN 114399554 B CN114399554 B CN 114399554B CN 202111488553 A CN202111488553 A CN 202111488553A CN 114399554 B CN114399554 B CN 114399554B
Authority
CN
China
Prior art keywords
camera
coordinates
feature points
parameters
taking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111488553.2A
Other languages
English (en)
Other versions
CN114399554A (zh
Inventor
张军
杜华
姚毅
杨艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuanke Shijie Technology Co ltd
Original Assignee
Beijing Yuanke Shijie Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yuanke Shijie Technology Co ltd filed Critical Beijing Yuanke Shijie Technology Co ltd
Priority to CN202111488553.2A priority Critical patent/CN114399554B/zh
Publication of CN114399554A publication Critical patent/CN114399554A/zh
Application granted granted Critical
Publication of CN114399554B publication Critical patent/CN114399554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及立体视觉技术领域，提供一种多相机系统的标定方法及系统，利用多台相机同步采集标定板图像；图像处理器提取标定板图像上特征点的2D坐标；相机参数第一计算器求解相机的内参；相机参数第二计算器求解两两相机之间的外参；相机参数第一优化器求解全局外参；3D特征点计算器计算全局坐标系下特征点的3D坐标；相机参数第二优化器对相机内参和相机外参进行全局非线性优化。本申请实施例提供的一种多相机系统的标定方法及系统，在传统双目标定基础上，通过依次求解相机内参、相机外参和特征点的3D坐标，并进行非线性优化，实现了更为精确初值计算，避免陷入局部优解，通过光束平差优化实现整体相机内和相机外参的精确计算。

Description

一种多相机系统的标定方法及系统
技术领域
本申请涉及立体视觉技术领域，尤其涉及一种多相机系统的标定方法及系统。
背景技术
随着立体视觉的火热，由多个相机组成的多视系统在3D重建、人体动作捕捉、多视点视频等有广泛应用，多相机系统应用的前提是完成多相机系统标定，多相机系统标定是多相机系统进行可靠高效工作不可或缺的重要步骤。
相机标定是指求解相机模型参数的过程，具体包括相机本征参数、像差参数和多相机间方位参数，进而建立多视图像中像素点坐标与对应3D空间坐标点之间的映射关系。标定方法主要分为传统标定、自标定、基于主动视觉的标定方法以及多相机标定方法。
传统标定方法一般需要制造高精度的校准物，根据校准物的图像坐标和3D坐标的对应关系求取相机参数。相机自标定方法是根据场景和相机成像模型本身存在的约束关系，对相机模型参数进行求解，相机需要从多个方位采集未知结构的标定参照物的图像，相机自标定方法不需要标定靶标的参与，标定方法灵活，速度快，适和现场标定，但自标定方法精度低，鲁棒性差，适合精度要求不高的场合。基于主动视觉的相机标定方法需要控制相机做某些特殊类型运动，利用其运动信息进行标定。虽然算法简单，但需要比较精密的仪器设备控制相机的运动。
多相机系统的标定，是通过对应点建立多相机间的联系，求解相机内参与外参。根据标定物的不同，可将标定物分为：点标定和1D标定，不易产生自遮挡，运动自由，但单次采集覆盖区域较小，需要充分移动；2D标定及3D标定，单次采集覆盖区域大，标记点约束多，但容易产生自遮挡，由于应用场景需要多相机形成共视场，介于此本技术适宜采用2D标定物，但是现有技术在采用2D标定物进行多相机标定过程中，实现多相机外参初值计算过程中，并未解决多相机外参求解误差累积的问题。
发明内容
在采用2D标定物的多相机系统标定过程中，为了解决多相机外参求解误差累积的问题，本申请提供一种多相机系统的标定方法及系统。
本申请第一方面提供的一种多相机系统的标定方法，包括：
至少两台相机，用于同步采集空间中自由运动的标定板图像，所述标定板上设置有特征点；
图像处理器，用于提取所述标定板图像上特征点的2D坐标，并作为第一坐标点集；
相机参数第一计算器，用于根据第一坐标点集中特征点的2D坐标以及输入的标定板上特征点的实际坐标，求解相机的内参及畸变系数；
相机参数第二计算器，用于根据第一坐标点集中特征点的2D坐标以及相机的内参，求解两两相机之间的外参；
相机参数第一优化器，用于以相机为顶点，根据两两相机之间的外参，建立无向图，并在无向图中确定作为顶点的原点相机，运用Dijkstra图最优路径寻找算法，求解图最优路径，得到各相机的全局外参；
3D特征点计算器，用于根据第一坐标点集中特征点的2D坐标、相机的内参和相机的全局外参，获得全局坐标系下特征点的3D坐标；
3D特征点优化器，用于利用特征点的3D坐标建立重投影误差函数，以重投影误差最小为目标，对特征点的3D坐标进行迭代，获得优化的特征点的3D坐标；
相机参数第二优化器，用于以相机内参，畸变系数，相机外参，优化的特征点的3D坐标作为优化参数，以特征点的2D坐标作为优化数据源，以重投影误差作为目标函数，进行全局非线性优化，获得最终的相机内参和相机外参。
在一种实现方式中，所述相机参数第二计算器，
还用于选取多组两相机同一时刻共同拍摄到的标定板图像，并提取标定板图像的角点，运用PnP算法求解标定板局部坐标系分别到两两相机坐标系变换矩阵TL和TR，得到两两相机相对位姿；
用于计算多组同一时刻两两相机相对位姿，将变换矩阵TL和TR转换为四元数，并利用四元数球面线性插值方式计算旋转均值，及直接计算平移量均值，得到两两相机之间的外参。
在一种实现方式中，所述3D特征点优化器，还用于以重投影误差建立目标函数，并求解所述目标函数的一阶偏导数的雅可比矩阵和梯度；
以及用于根据一阶偏导数的雅可比矩阵和梯度，确定高斯-牛顿梯度下降步长；
并用于利用高斯-牛顿梯度下降步长，对特征点的3D坐标进行迭代优化，并在迭代达到预定迭代次数或重投影误差小于给定阈值下，获得优化的特征点的3D坐标。
在一种实现方式中，所述相机参数第一计算器，还用于以重投影误差最小为目标，以特征点的2D坐标为优化源数据，对所述相机内参、畸变系数和3D标记点坐标进行非线性优化。
在一种实现方式中，相机参数第二计算器，还用于以重投影误差最小为目标，以特征点的2D坐标为优化源数据，对两两相机之间的外参及特征点的3D坐标进行优化。
在一种实现方式中，所述图像处理器，还用于将标定板图像按相机序号与采集帧号进行排序，并对标定板图像进行自适应对比度增强；
以及，还用于利用特征点提取算法提取标定板特征点，并对提取的标定板特征点进行亚像素角点检测，提高角点精度。
在一种实现方式中，所述相机参数第一计算器，还用于建立标定板平面与相机成像平面的单应性矩阵H的方程，并求解单应性矩阵H；
根据旋转矩阵的正交性约束和内参约束，确定相机内参及畸变系数。
本申请第二方面提供一种多相机系统的标定方法，所述一种多相机系统的标定方法应用于本申请第一方面提供的一种多相机系统的标定系统，对于本申请第二方面为公开的细节，请参见本申请第一方面提供的一种多相机系统的标定系统。
所述一种多相机系统的标定方法包括：
同步采集空间中自由运动的标定板图像，所述标定板上设置有特征点；
提取所述标定板图像上特征点的2D坐标，并作为第一坐标点集；
根据第一坐标点集中特征点的2D坐标以及输入的标定板上特征点的实际坐标，求解相机的内参及畸变系数；
根据第一坐标点集中特征点的2D坐标以及相机的内参，求解两两相机之间的外参；
以相机为顶点，根据两两相机之间的外参，建立无向图，并在无向图中确定作为顶点的原点相机，运用Dijkstra图最优路径寻找算法，求解图最优路径，得到各相机的全局外参；
根据第一坐标点集中特征点的2D坐标、相机的内参和相机的全局外参，获得全局坐标系下特征点的3D坐标；
利用特征点的3D坐标建立重投影误差函数，以重投影误差最小为目标，对特征点的3D坐标进行迭代，获得优化的特征点的3D坐标；
以相机内参，畸变系数，相机外参，优化的特征点的3D坐标作为优化参数，以特征点的2D坐标作为优化数据源，以重投影误差作为目标函数，进行全局非线性优化，获得最终的相机内参和相机外参。
在一种实现方式中，所述利用特征点的3D坐标建立重投影误差函数，以重投影误差最小为目标，对特征点的3D坐标进行迭代，获得优化的特征点的3D坐标的步骤，具体为：
以重投影误差建立目标函数，并求解所述目标函数的一阶偏导数的雅可比矩阵和梯度；
根据一阶偏导数的雅可比矩阵和梯度，确定高斯-牛顿梯度下降步长；
利用高斯-牛顿梯度下降步长，对特征点的3D坐标进行迭代优化，并在迭代达到预定迭代次数或重投影误差小于给定阈值下，获得优化的特征点的3D坐标。
由以上技术方案可知，本申请实施例提供一种多相机系统的标定方法及系统，所述一种多相机系统的标定系统包括至少两台相机、图像处理器、相机参数第一计算器、相机参数第二计算器、相机参数第一优化器、3D特征点计算器、3D特征点优化器和相机参数第二优化器，实际应用过程中，通过至少两台相机同步采集空间中自由运动的标定板图像；由图像处理器提取所述标定板图像上特征点的2D坐标，并作为第一坐标点集；相机参数第一计算器根据第一坐标点集中特征点的2D坐标以及输入的标定板上特征点的实际坐标，求解相机的内参及畸变系数；相机参数第二计算器根据第一坐标点集中特征点的2D坐标以及相机的内参，求解两两相机之间的外参；相机参数第一优化器，以相机为顶点，根据两两相机之间的外参，建立无向图，并在无向图中确定作为顶点的原点相机，运用Dijkstra图最优路径寻找算法，求解图最优路径，得到各相机的全局外参；3D特征点计算器根据第一坐标点集中特征点的2D坐标、相机的内参和相机的全局外参，获得全局坐标系下特征点的3D坐标；3D特征点优化器利用特征点的3D坐标建立重投影误差函数，以重投影误差最小为目标，对特征点的3D坐标进行迭代，获得优化的特征点的3D坐标；相机参数第二优化器以相机内参，畸变系数，相机外参，优化的特征点的3D坐标作为优化参数，以特征点的2D坐标作为优化数据源，以重投影误差作为目标函数，进行全局非线性优化，获得最终的相机内参和相机外参。
本申请提供的一种多相机系统的标定方法及系统，在传统双目标定基础上，通过依次求解相机内参、相机外参和特征点的3D坐标，并进行非线性优化，实现了更为精确初值计算，避免陷入局部优解，通过光束平差优化实现整体相机内和相机外参的精确计算。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
图1为本申请实施例提供的一种多相机系统的标定系统的模块结构示意图；
图2为本申请实施例提供的一种多相机系统的标定方法的流程示意图；
图3为本申请实施例提供的特征点3D坐标优化方法的流程示意图。
具体实施方式
在采用2D标定物的多相机系统标定过程中，为了解决多相机外参求解误差累积的问题，本申请提供一种多相机系统的标定方法及系统。
如图1所示，本申请第一方面提供一种多相机系统的标定系统，包括：硬件和软件两部分，其中，硬件至少包括两台相机和工空机，软件包括采集控制器、图像处理器、相机参数第一计算器、相机参数第二计算器、相机参数第一优化器、3D特征点计算器、3D特征点优化器和相机参数第二优化器。
采集控制器连接相机，用于控制多台相机同步采集空间中自由运动的标定板图像，所述标定板上设置有特征点；标定板为2D棋盘格标定板，在标定过程中，所述标定板在采集空间中自由运动。
图像处理器，用于从相机中获取采集的标定板图像，并提取所述标定板图像上特征点的2D坐标，并作为第一坐标点集；其中，所述图像处理器，还用于将标定板图像按相机序号与采集帧号进行排序，并对标定板图像进行自适应对比度增强；以及，还用于利用特征点提取算法提取标定板特征点，并对提取的标定板特征点进行亚像素角点检测，提高角点精度。
相机参数第一计算器，用于根据第一坐标点集中特征点的2D坐标以及输入的标定板上特征点的实际坐标，求解相机的内参及畸变系数。
具体的，首先建立标定板平面与相机成像平面的单应性矩阵H方程：
其中，X,Y为坐标(X,Y)的元素，表示标定板图像上特征点的2D坐标，u,v表示标定板上特征点的实际坐标，s为比例因子，表示相机内参，[r1 r2 t]表示相机外参，H即为单应性矩阵。
求解单应性矩阵H，H矩阵与比例无关，有8个自由度，故标定板至少需要4个特征点的2D坐标以对应的实际坐标，建立方程求解H＝[h1 h2 h3]。
其次根据旋转矩阵的正交性约束得到：
及内参约束得到：
利用多张标定板图像对应的特征点的2D坐标联立求得矩阵B，然后利用Cholesky矩阵分解，分解B求得求解相机的内参及畸变系数。
相机参数第二计算器，用于根据第一坐标点集中特征点的2D坐标以及相机的内参，求解两两相机之间的外参。
具体为：选取多组两相机同一时刻共同拍摄到的标定板图像，并提取标定板图像的角点，运用PnP算法求解标定板局部坐标系分别到两两相机坐标系变换矩阵TL和TR，得到两两相机相对位姿：计算多组同一时刻两两相机相对位姿，将变换矩阵TL和TR转换为四元数，并利用四元数球面线性插值方式计算旋转均值，及直接计算平移量均值，得到两两相机之间的外参。
相机参数第一优化器，用于利用上述得到的两两相机之间的外参，得到全局外参，为求解最优全局外参，需对问题进行转换，即其中一个相机到其他任何一个相机误差累积最小的变换顺序，因此问题转换为图优化问题，寻找最短路径，具体步骤是：
首先，建立无向图，以相机为顶点，边描述的是两顶点之间的距离，也即两相机之间的位姿变换误差，而所述位姿变换误差与两相机共视场特征点数量成和两相机基线距离呈负相关，因此边长以两相机共视场特征点数量成和两相机基线距离加权的倒数为值，建立无向图，将计算全局外参转化为图优化问题，寻找其中一个相机到其他任何一个相机的最短路径；
然后，选取边最多的一个顶点相机作为原点相机，运用Dijkstra图最优路径寻找算法，求解图最优路径，得到各相机相对于原点相机旋转矩阵和平移向量，即得到各相机的全局外参。
3D特征点计算器，根据第一坐标点集中特征点的2D坐标、相机的内参和相机的全局外参，获得全局坐标系下特征点的3D坐标；
3D特征点计算器用以把特征点的2D坐标转换为全局坐标系下特征点的3D坐标，将各相机对应特征点的2D坐标作为输入，将相机的内参和相机的全局外参作为已知参数，求解全局坐标系下特征点的3D坐标，具体实现步骤为：建立多组特征点的2D坐标x与对应待求特征点的3D坐标X的投影方程组P·X＝λx，其中P＝K·[R|t]为3×4投影矩阵,λ为比例因子，求解方程得到解析解，也即最小二乘解，获得特征点的3D坐标。
3D特征点优化器，用于利用特征点的3D坐标建立重投影误差函数，以重投影误差最小为目标，对特征点的3D坐标进行迭代，获得优化的特征点的3D坐标；
3D特征点优化器将3D特征点计算器得到的特征点的3D坐标X作为初值，标定得到的相机内参K和相机外参R|t作为已知参数,求得投影矩阵P＝K·[R|t]，将m个特征点的2D坐标xi作为源数据，利用高斯-牛顿法进行非线性优化以迭代求解，具体实现步骤如下：
首先，建立重投影误差函数：
其中，fi(x)＝||P·X-xi||表示单个坐标点的重投影误差函数，共有特征点的2D坐标，
其次，求解重投影误差函数一阶偏导数的雅可比矩阵和梯度F'(x)＝J(x)Tf(x)。
然后，求解高斯-牛顿梯度下降步长hgn:(J(x)TJ(x))hgn＝-J(x)Tf(x)。
最后，进行迭代计算x＝x+αhgn，其中α表示步长系数，通常为1，当迭代达到预定迭代次数或重投影误差小于给定阈值，得到更精确的非线性优化数值解，获得优化的特征点的3D坐标。通过建立无向图，计算最短路径，使得相机全局位姿初值更加精确，避免误差过度累积。
需要说明的是，在进行特征点的3D坐标优化过程中采用的相机内参K和相机外参R|t，也可以提前进行优化，具体优化过程为：利用相机参数第一计算器，以重投影误差最小为目标，以特征点的2D坐标为优化源数据，对所述相机内参、畸变系数和3D标记点坐标进行非线性优化。以及；利用相机参数第二计算器，进行L-M非线性优化，以重投影误差最小为目标，以特征点的2D坐标为优化源数据，对两两相机之间的外参及特征点的3D坐标进行优化，从而提高两两相机之间的外参的初值精度。
为了对所述相机内参和相机外参进行全局优化，以获得更准确的标定参数，所述一种多相机系统的标定系统还包括相机参数第二优化器，用于对上述得到的相机内参与畸变系数，相机外参，及特征点的3D坐标，采用光束平差优化算法，进行统一的全局非线性优化，目标是得到所有标定参数参与下的重投影误差最小化，具体实现是，以相机内参、畸变系数、相机外参和优化的特征点的3D坐标作为优化参数，以特征点的2D坐标作为优化数据源，以重投影误差作为目标函数，进行全局非线性优化，获得最终的相机内参和相机外参。
本申请实施例第二方面提供一种多相机系统的标定方法，所述一种多相机系统的标定方法应用于本申请实施例第一方面提供的一种多相机系统的标定系统，对于本申请实施例第二方面为公开的细节，请参见本申请实施例第一方面提供的一种多相机系统的标定系统。
图2为本申请实施例提供的一种多相机系统的标定方法的流程示意图，所述一种多相机系统的标定方法包括步骤S201至步骤S208。
S201，同步采集空间中自由运动的标定板图像，所述标定板上设置有特征点。
S202，提取所述标定板图像上特征点的2D坐标，并作为第一坐标点集。
S203，根据第一坐标点集中特征点的2D坐标以及输入的标定板上特征点的实际坐标，求解相机的内参及畸变系数。
S204，根据第一坐标点集中特征点的2D坐标以及相机的内参，求解两两相机之间的外参。
S205，以相机为顶点，根据两两相机之间的外参，建立无向图，并在无向图中确定作为顶点的原点相机，运用Dijkstra图最优路径寻找算法，求解图最优路径，得到各相机的全局外参。
S206，根据第一坐标点集中特征点的2D坐标、相机的内参和相机的全局外参，获得全局坐标系下特征点的3D坐标。
S207，利用特征点的3D坐标建立重投影误差函数，以重投影误差最小为目标，对特征点的3D坐标进行迭代，获得优化的特征点的3D坐标。
S208，以相机内参，畸变系数，相机外参，优化的特征点的3D坐标作为优化参数，以特征点的2D坐标作为优化数据源，以重投影误差作为目标函数，进行全局非线性优化，获得最终的相机内参和相机外参。
进一步的，如图3所示，为本申请实施例提供的特征点3D坐标优化方法的流程示意图。所述利用特征点的3D坐标建立重投影误差函数，以重投影误差最小为目标，对特征点的3D坐标进行迭代，获得优化的特征点的3D坐标的步骤，具体为步骤S301至步骤S303。
步骤S301，以重投影误差建立目标函数，并求解所述目标函数的一阶偏导数的雅可比矩阵和梯度。
步骤S302，根据一阶偏导数的雅可比矩阵和梯度，确定高斯-牛顿梯度下降步长。
步骤S303，利用高斯-牛顿梯度下降步长，对特征点的3D坐标进行迭代优化，并在迭代达到预定迭代次数或重投影误差小于给定阈值下，获得优化的特征点的3D坐标。
由以上技术方案可知，本申请实施例提供一种多相机系统的标定方法及系统，所述一种多相机系统的标定系统包括至少两台相机、图像处理器、相机参数第一计算器、相机参数第二计算器、相机参数第一优化器、3D特征点计算器、3D特征点优化器和相机参数第二优化器，实际应用过程中，通过至少两台相机同步采集空间中自由运动的标定板图像；由图像处理器提取所述标定板图像上特征点的2D坐标，并作为第一坐标点集；相机参数第一计算器根据第一坐标点集中特征点的2D坐标以及输入的标定板上特征点的实际坐标，求解相机的内参及畸变系数；相机参数第二计算器根据第一坐标点集中特征点的2D坐标以及相机的内参，求解两两相机之间的外参；相机参数第一优化器，以相机为顶点，根据两两相机之间的外参，建立无向图，并在无向图中确定作为顶点的原点相机，运用Dijkstra图最优路径寻找算法，求解图最优路径，得到各相机的全局外参；3D特征点计算器根据第一坐标点集中特征点的2D坐标、相机的内参和相机的全局外参，获得全局坐标系下特征点的3D坐标；3D特征点优化器利用特征点的3D坐标建立重投影误差函数，以重投影误差最小为目标，对特征点的3D坐标进行迭代，获得优化的特征点的3D坐标；相机参数第二优化器以相机内参，畸变系数，相机外参，优化的特征点的3D坐标作为优化参数，以特征点的2D坐标作为优化数据源，以重投影误差作为目标函数，进行全局非线性优化，获得最终的相机内参和相机外参。
本申请实施例提供的一种多相机系统的标定方法及系统，在传统双目标定基础上，通过依次求解相机内参、相机外参和特征点的3D坐标，并进行非线性优化，实现了更为精确初值计算，避免陷入局部优解，通过光束平差优化实现整体相机内和相机外参的精确计算。
以上的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。

Claims (4)

1.一种多相机系统的标定系统，其特征在于，包括：
至少两台相机，用于同步采集空间中自由运动的标定板图像，所述标定板上设置有特征点；
图像处理器，用于提取所述标定板图像上特征点的2D坐标，并作为第一坐标点集；
相机参数第一计算器，用于根据第一坐标点集中特征点的2D坐标以及输入的标定板上特征点的实际坐标，求解相机的内参及畸变系数；
相机参数第二计算器，用于根据第一坐标点集中特征点的2D坐标以及相机的内参，求解两两相机之间的外参；
相机参数第一优化器，用于以相机为顶点，根据两两相机之间的外参，建立无向图，并在无向图中确定作为顶点的原点相机，运用Dijkstra图最优路径寻找算法，求解图最优路径，得到各相机的全局外参；
3D特征点计算器，用于根据第一坐标点集中特征点的2D坐标、相机的内参和相机的全局外参，获得全局坐标系下特征点的3D坐标；
3D特征点优化器，用于利用特征点的3D坐标建立重投影误差函数，以重投影误差最小为目标，对特征点的3D坐标进行迭代，获得优化的特征点的3D坐标；
相机参数第二优化器，用于以相机内参，畸变系数，相机外参，优化的特征点的3D坐标作为优化参数，以特征点的2D坐标作为优化数据源，以重投影误差作为目标函数，进行全局非线性优化，获得最终的相机内参和相机外参；
所述3D特征点优化器，还用于以重投影误差建立目标函数，并求解所述目标函数的一阶偏导数的雅可比矩阵和梯度；以及，用于根据一阶偏导数的雅可比矩阵和梯度，确定高斯-牛顿梯度下降步长；并用于利用高斯-牛顿梯度下降步长，对特征点的3D坐标进行迭代优化，并在迭代达到预定迭代次数或重投影误差小于给定阈值下，获得优化的特征点的3D坐标；
所述相机参数第一计算器，还用于以重投影误差最小为目标，以特征点的2D坐标为优化源数据，对所述相机内参、畸变系数和3D标记点坐标进行非线性优化；
相机参数第二计算器，还用于以重投影误差最小为目标，以特征点的2D坐标为优化源数据，对两两相机之间的外参及特征点的3D坐标进行优化；
所述相机参数第一计算器，还用于建立标定板平面与相机成像平面的单应性矩阵H的方程，并求解单应性矩阵H；
根据旋转矩阵的正交性约束和内参约束，确定相机内参及畸变系数。
2.根据权利要求1所述的一种多相机系统的标定系统，其特征在于，所述相机参数第二计算器，
还用于选取多组两相机同一时刻共同拍摄到的标定板图像，并提取标定板图像的角点，运用PnP算法求解标定板局部坐标系分别到两两相机坐标系变换矩阵TL和TR，得到两两相机相对位姿；
用于计算多组同一时刻两两相机相对位姿，将变换矩阵TL和TR转换为四元数，并利用四元数球面线性插值方式计算旋转均值，及直接计算平移量均值，得到两两相机之间的外参。
3.根据权利要求1所述的一种多相机系统的标定系统，其特征在于，所述图像处理器，还用于将标定板图像按相机序号与采集帧号进行排序，并对标定板图像进行自适应对比度增强；
以及，还用于利用特征点提取算法提取标定板特征点，并对提取的标定板特征点进行亚像素角点检测，提高角点精度。
4.一种多相机系统的标定方法，其特征在于，所述一种多相机系统的标定方法应用于权利要求1-3任一项所述的一种多相机系统的标定系统，包括：
同步采集空间中自由运动的标定板图像，所述标定板上设置有特征点；
提取所述标定板图像上特征点的2D坐标，并作为第一坐标点集；
根据第一坐标点集中特征点的2D坐标以及输入的标定板上特征点的实际坐标，求解相机的内参及畸变系数；
根据第一坐标点集中特征点的2D坐标以及相机的内参，求解两两相机之间的外参；
以相机为顶点，根据两两相机之间的外参，建立无向图，并在无向图中确定作为顶点的原点相机，运用Dijkstra图最优路径寻找算法，求解图最优路径，得到各相机的全局外参；
根据第一坐标点集中特征点的2D坐标、相机的内参和相机的全局外参，获得全局坐标系下特征点的3D坐标；
利用特征点的3D坐标建立重投影误差函数，以重投影误差最小为目标，对特征点的3D坐标进行迭代，获得优化的特征点的3D坐标；
以相机内参，畸变系数，相机外参，优化的特征点的3D坐标作为优化参数，以特征点的2D坐标作为优化数据源，以重投影误差作为目标函数，进行全局非线性优化，获得最终的相机内参和相机外参；
其中，所述利用特征点的3D坐标建立重投影误差函数，以重投影误差最小为目标，对特征点的3D坐标进行迭代，获得优化的特征点的3D坐标的步骤，具体为：以重投影误差建立目标函数，并求解所述目标函数的一阶偏导数的雅可比矩阵和梯度；以及，根据一阶偏导数的雅可比矩阵和梯度，确定高斯-牛顿梯度下降步长；并利用高斯-牛顿梯度下降步长，对特征点的3D坐标进行迭代优化，并在迭代达到预定迭代次数或重投影误差小于给定阈值下，获得优化的特征点的3D坐标；
所述多相机系统的标定方法还包括：以重投影误差最小为目标，以特征点的2D坐标为优化源数据，对所述相机内参、畸变系数和3D标记点坐标进行非线性优化；以重投影误差最小为目标，以特征点的2D坐标为优化源数据，对两两相机之间的外参及特征点的3D坐标进行优化；
其中，所述根据第一坐标点集中特征点的2D坐标以及输入的标定板上特征点的实际坐标，求解相机的内参及畸变系数的步骤，包括：建立标定板平面与相机成像平面的单应性矩阵H的方程，并求解单应性矩阵H；根据旋转矩阵的正交性约束和内参约束，确定相机内参及畸变系数。
CN202111488553.2A 2021-12-08 2021-12-08 一种多相机系统的标定方法及系统 Active CN114399554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111488553.2A CN114399554B (zh) 2021-12-08 2021-12-08 一种多相机系统的标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111488553.2A CN114399554B (zh) 2021-12-08 2021-12-08 一种多相机系统的标定方法及系统

Publications (2)

Publication Number Publication Date
CN114399554A CN114399554A (zh) 2022-04-26
CN114399554B true CN114399554B (zh) 2024-05-03

Family

ID=81227673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111488553.2A Active CN114399554B (zh) 2021-12-08 2021-12-08 一种多相机系统的标定方法及系统

Country Status (1)

Country Link
CN (1) CN114399554B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114924585B (zh) * 2022-05-19 2023-03-24 广东工业大学 基于视觉的旋翼无人机在崎岖地表的安全降落方法及系统
CN114742905B (zh) * 2022-06-13 2022-09-27 魔视智能科技(武汉)有限公司 一种多相机参数标定方法、装置、设备及存储介质
CN117422770A (zh) * 2022-07-11 2024-01-19 华为技术有限公司 一种标定方法及装置
CN115187658B (zh) * 2022-08-29 2023-03-24 合肥埃科光电科技股份有限公司 多相机视觉的大目标定位方法、系统及设备
CN116432360B (zh) * 2023-06-14 2023-09-15 常熟理工学院 柔性交互式相机网络最优布局调整方法及空间再定位方法
CN116952132A (zh) * 2023-07-27 2023-10-27 湖南视比特机器人有限公司 多目视觉测量的分区标定方法及系统
CN116883291B (zh) * 2023-09-06 2023-11-17 山东科技大学 一种基于二元傅里叶级数的畸变校正方法
CN117541662B (zh) * 2024-01-10 2024-04-09 中国科学院长春光学精密机械与物理研究所 一种同时标定相机内参和导出相机坐标系的方法
CN117745833B (zh) * 2024-02-20 2024-05-10 中科慧远人工智能(烟台)有限公司 相机阵列的位姿测量方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358633A (zh) * 2017-07-12 2017-11-17 北京轻威科技有限责任公司 一种基于三点标定物的多相机内外参标定方法
CN109064404A (zh) * 2018-08-10 2018-12-21 西安电子科技大学 一种基于多相机标定的全景拼接方法、全景拼接系统
CN110209997A (zh) * 2019-06-10 2019-09-06 成都理工大学 基于三维特征点的深度相机自动标定算法
CN111566701A (zh) * 2020-04-02 2020-08-21 深圳市瑞立视多媒体科技有限公司 大空间环境下边扫场边标定方法、装置、设备及存储介质
CN113658269A (zh) * 2021-08-06 2021-11-16 湖南视比特机器人有限公司 面向大尺寸工件测量的高精度多相机联合标定方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11418773B2 (en) * 2020-04-21 2022-08-16 Plato Systems, Inc. Method and apparatus for camera calibration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358633A (zh) * 2017-07-12 2017-11-17 北京轻威科技有限责任公司 一种基于三点标定物的多相机内外参标定方法
CN109064404A (zh) * 2018-08-10 2018-12-21 西安电子科技大学 一种基于多相机标定的全景拼接方法、全景拼接系统
CN110209997A (zh) * 2019-06-10 2019-09-06 成都理工大学 基于三维特征点的深度相机自动标定算法
CN111566701A (zh) * 2020-04-02 2020-08-21 深圳市瑞立视多媒体科技有限公司 大空间环境下边扫场边标定方法、装置、设备及存储介质
CN113658269A (zh) * 2021-08-06 2021-11-16 湖南视比特机器人有限公司 面向大尺寸工件测量的高精度多相机联合标定方法及系统

Also Published As

Publication number Publication date
CN114399554A (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN114399554B (zh) 一种多相机系统的标定方法及系统
CN109615652B (zh) 一种深度信息获取方法及装置
CN107633536B (zh) 一种基于二维平面模板的相机标定方法及系统
CN108369743B (zh) 使用多方向相机地图构建空间
US11210804B2 (en) Methods, devices and computer program products for global bundle adjustment of 3D images
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN105096329B (zh) 一种精确校正超广角摄像头图像畸变的方法
CN110176032B (zh) 一种三维重建方法及装置
Chatterjee et al. Algorithms for coplanar camera calibration
CN109727278B (zh) 一种机载LiDAR点云数据与航空影像的自动配准方法
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
GB2580691A (en) Depth estimation
CN114283203B (zh) 一种多相机系统的标定方法及系统
CN111461963B (zh) 一种鱼眼图像拼接方法及装置
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN110060304B (zh) 一种生物体三维信息采集方法
CN113450416B (zh) 一种应用于三目相机立体标定的tcsc方法
CN110782498A (zh) 一种视觉传感网络的快速通用标定方法
CN113160335A (zh) 一种基于双目视觉的模型点云及三维表面重建方法
CN111105467B (zh) 一种图像标定方法、装置及电子设备
CN111739103A (zh) 一种基于单点标定物的多相机标定系统
CN115345942A (zh) 空间标定方法、装置、计算机设备和存储介质
CN109636897B (zh) 一种基于改进RGB-D SLAM的Octomap优化方法
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
CN109215118B (zh) 一种基于图像序列的增量式运动结构恢复优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230414

Address after: 100144 909-92, Floor 9, Building 17, Yard 30, Shixing Street, Shijingshan District, Beijing (cluster registration)

Applicant after: Beijing Yuanke Shijie Technology Co.,Ltd.

Address before: 100094 701, 7 floor, 7 building, 13 Cui Hunan Ring Road, Haidian District, Beijing.

Applicant before: Lingyunguang Technology Co.,Ltd.

Applicant before: Shenzhen Lingyun Shixun Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant