CN116740187A - 一种无重叠视场多相机联合标定方法 - Google Patents

Abstract

一种无重叠视场多相机联合标定方法，包括如下步骤：S1，利用靶标标定板对相机进行单目标定得到各个相机的内参，外参和畸变系数；利用捆绑算法调整相机内参外参，畸变系数；S2，相邻相机参数标定；S3，靶标标定板置于相邻相机视场正下方进行相机标定，移动靶标标定板，通过位姿转换实现多相机参数标定；捆绑算法调整优化相机位姿关系。

Description

一种无重叠视场多相机联合标定方法

技术领域

本发明涉及视觉系统图像中轴识别标定技术领域，具体涉及一种无重叠视场多相机联合标定方法。

背景技术

在图像处理和计算机视觉领域中，相机标定一直是极其关键的一步，标定的准确性直接影响了后续测量与定位的精度，提高标定算法的精度具有非常重要的意义；近年来，随着机器视觉的快速发展，大场景多相机测量系统的市场需求越来越多，因此如何快速、稳定地对无重叠视场下的多相机系统进行标定是目前亟待解决的问题；

传统的多相机联合标定算法大多是基于有重叠视场下的情况，这些方法利用重叠视场下的特征点进行相机标定；而且遇到大尺寸的图像识别中，尤其是单个相机的视野无法覆盖该尺寸物品，或者单相机的视野下的图像失真严重，或者保持聚焦比例一致困难，无法实现大尺寸物体或跨界尺寸大物体下的，无重叠视场多相机联合标定；

现有技术1，中国专利公开号：CN202211706672.5,一种2D面阵相机与线激光3D传感器联合标定方法，将不少于3个圆柱体特征的靶标放置于线激光3D传感器和2D面阵相机的共同测量位置，2D面阵相机获取三组激光面和圆柱的交线的图像，再分别获取三组激光光条的图像坐标；根据光条点的3D坐标计算得到其在2D面阵相机坐标系下的3D坐标，并利用椭圆拟合算法分别计算得到三个椭圆圆心位置坐标；从线激光3D传感器上直接获取三组激光光条在3D传感器坐标系下的3D坐标，并利用椭圆拟合算法分别计算得到三个椭圆圆心位置坐标；利用2D面阵相机的的3D坐标和线激光3D传感器的3D坐标，计算得到两个坐标系之间的转换距离，完成联合标定；

现有技术2，中国专利CN202211672210.6，一种线激光3D相机系统全自动标定方法及装置，标定方法如下：获取第一圆盘靶标标定板不同位姿的第一圆盘靶标标定板图，得到内参、畸变系数和传感器倾斜角度的初值；获取第二圆盘靶标标定板到线激光相机不同距离的第二圆盘靶标标定板图和激光线图L2，进行激光面标定，得到激光面参数、旋转向量和平移向量的初值；获取网格板到线激光相机不同距离的激光线图L3，利用所述激光线图L3检验所述标定参数的误差，根据误差修正所述标定参数，得到修正后的标定参数；

现有技术3，中国专利CN202211623564.1，一种基于平面棋盘格的环形结构光标定方法，(1)将环形结构光投射在棋盘格靶标标定板上，改变棋盘格靶标标定板位姿获取多组标定图案；(2)获取每组标定图案中环形结构光与棋盘格直线交点的像素坐标；(3)利用交比不变性原理，分别将每组标定图案中环形结构光与棋盘格直线交点的像素坐标转化为相机坐标系下的三维坐标；(4)将所有交点对应相机坐标系下的三维坐标拟合成圆锥曲面方程；基于拟合的圆锥曲面方程建立环形结构光视觉传感器的数学模型完成标定；

现有技术4，中国专利CN202211519789.2，一种显示面板检测设备的对位装置、标定及对位方法，包括S1：对第一相机安装位置和第二相机的原点位置进行标定；S2：根据第一相机观测检测治具上其中一基准孔在旋转工作台旋转前后时相对于第一相机视野中心的偏移量，计算得到旋转工作台处于初始位置时的动平台相对于第二相机的位置偏移；S3：根据第一相机观测检测治具上其中一基准孔在旋转工作台沿X轴移动前后时相对于第一相机视野中心的偏移量，计算得到旋转工作台X轴方向与设备坐标系的X轴方向的夹角；S4：根据第一相机观测两个基准孔相对于第一相机视野中心的偏移量，计算得到旋转工作台处于初始位置时，检测治具相对于旋转工作台的位姿；该标定方法提高了对位准确性；

现有技术1-4对于无重叠视场多相机联合标定，当待测物体尺寸较大，为了获取其完整尺寸，相机和相机之间的跨距很大，没有公共视场，传统多相机标定算法无法解决这种大跨度，单相机视野失真及无法完全覆盖视野的计算问题，因此针对这种需要多相机之间无重叠视场的应用场景，没有解决如何实现进行多相机标定，并给出高效、稳定的标定方案。

发明内容

有鉴于此，针对现有技术的不足，本发明的目的在于一种无重叠视场多相机联合标定方法，旨在解决用特定的编码靶标标定板对多个相机进行单目与多目标定从而得到所有相机各自的参数以及相机之间的精确位姿关系的标定。本发明设计先计算初值，再对初值进行修正的方法，提高了线激光3D相机的标定精度；本发明能够提供一种操作简单、高效的快速环形结构光标定方案。

本申请旨在解决背景技术中的问题之一。

本发明所采用的技术方案为：为实现上述目的及其他相关目的，本发明提供一种无重叠视场多相机联合标定方法；

一种无重叠视场多相机联合标定方法，包括如下步骤：

S1，利用靶标标定板对相机进行单目标定得到各个相机的内参，外参和畸变系数；利用捆绑算法调整相机内参外参，畸变系数；

S2，相邻相机参数标定；

S3，靶标标定板置于相邻相机视场正下方进行相机标定，移动靶标标定板，通过位姿转换实现多相机参数标定；捆绑算法调整优化相机位姿关系。

本申请的技术方案，还包括如下技术特征：

优选的，S1中靶标标定板设置特定图案，特点图案包括一圆形图及圆形图外包围的环形图，且两者颜色不同，而且环形图上设置有色点，色点为位一圆点区域图。

优选的，S1中相机拍摄靶标标定板的图像，使靶标标定板完全布置在视场采集的图像中；通过不断地移动靶标标定板求解所有相机之间的位姿。

优选的，相机成像模型为：

其中，f_x，f_y，u₀，v₀是相机内部参数，R,t为相机外部参数，(X_W，Y_W，Z_W)为世界坐标系下的坐标。

优选的，相机透视成像模型为：

K是相机内部参数矩阵，s是尺度因子，H为单应性矩阵；

旋转向量r1和r2是单位正交的关系，即：

r₁ ^Tr₂＝0

r₁ ^Tr₁＝r₂ ^Tr₂＝1

可得：

r₁＝K^-1H₁

r₂＝K^-1H₂

代入相机成像模型可得：

优选的，利用SVD算法即可得相机内参K，外参和畸变系数的初始值。

优选的，利用捆绑调整优化方法最小化系统重投影误差的方式计算出相机参数的精确值；重投影误差的公式为：

其中，m_ij为靶标点的二维观测坐标，为投影坐标，P为靶标点的三维坐标，K为相机内参矩阵，R,t为相机内参，k₂,p₁,p₂,k₃为畸变系数。

优选的，转换为无约束的李群求解，计算出Jacobian矩阵，用Levenberg-Marquardt算法通过多次迭代得到结果。

优选的，双目相机标定的计算公式如下：

其中，R1,T1和R2,T2分别表示世界坐标系到左右相机坐标系的转换矩阵，R,T表示从左相机坐标系到右相机坐标系的转换矩阵。

优选的，通过靶标图案之间固定的位置关系推断出右相机视场下的靶标点在世界坐标系下的三维坐标在左相机坐标系的相机坐标，根据两相机之间已计算出的转换矩阵，得到这些点在右相机坐标系下的三维坐标；

根据相机内参重投影到像素坐标下，计算其与真实投影值之间的误差；

重复上述步骤得到所有相机的重投影误差，固定相机的内参，利用BA算法得到结果，包括相机之间的转换矩阵以及靶标三维点的真实坐标。

优选的，相机之间的位姿关系进行改进公式如下：

其中，u_i、v_i表示真实图像上靶标点的二维坐标，表示靶标点根据相机参数重投影到像素坐标系的二维坐标，n表示所有靶标点的个数总和。

本发明中的待测物体尺寸较大，为了获取其完整尺寸，相机和相机之间的跨距很大，没有公共视场，所以传统多相机标定算法无法满足本发明中相机之间无重叠视场的应用场景；

根据无重叠视场下多相机快速标定的需求，发明了一种基于捆绑调整的无重叠视场多相机联合标定方法；首先利用靶标标定板对相机进行单目标定得到各个相机的内参，外参和畸变系数，利用捆绑调整算法使得重投影误差最小，从而获得参数的精确值；然后利用靶标标定板对无重叠视场下的相邻相机进行参数标定，通过不断移动靶标标定板的位置实现多相机联合初步标定，最后利用捆绑调整算法对标定结果进行进一步优化；

为达到上述目的，本发明的构思是：

首先选取带有特定图案的靶标标定板，如图1所示。利用相机拍摄靶标标定板的图像使得靶标标定板完全出现在视场中，从而进行单目标定；然后将靶标标定板放置于相邻相机视场正下方进行相机标定，通过不断地移动靶标标定板求解剩余相机之间的位姿，最后利用捆绑调整实现相机参数的优化。

根据以上发明思路，本发明具体的技术方案如下：

1、单目相机标定及其参数优化

由相机的针孔模型可得相机成像模型为：

其中，f_x，f_y，u₀，v₀是相机内部参数，R,t为相机外部参数，(X_W，Y_W，Z_W)为世界坐标系下的坐标。

由于靶标标定板是二维的，特征点的ZW＝0，所以相机透视成像模型可写为：

其中，K是相机内部参数矩阵，s是尺度因子，H为单应性矩阵，可以表示为：

由于旋转向量r1和r2是单位正交的关系，即：

r₁ ^Tr₂＝0

r₁ ^Tr₁＝r₂ ^Tr₂＝1

代入相机成像模型可得：

r₁＝K^-1H₁

r₂＝K^-1H₂

代入可得：

利用相机拍摄多张含有靶标标定板的图像，结合SVD算法即可得相机内参K，外参和畸变系数的初始值。

接下来利用捆绑调整优化方法最小化系统重投影误差的方式计算出相机参数的精确值。重投影误差的公式为：

其中，m_ij为靶标点的二维观测坐标，为投影坐标，P为靶标点的三维坐标，K为相机内参矩阵，R,t为相机内参，k₂,p₁,p₂,k₃为畸变系数。

由于有约束的变换矩阵在最小二乘法中不易求解，因此需要将其转换为无约束的李群求解，然后计算出Jacobian矩阵，最后利用Levenberg-Marquardt算法通过多次迭代得到最终的优化结果。

无重叠视场下多相机联合标定及其优化算法设计

针对于无重叠视场下的标定场景，本发明利用带有靶标图案的靶标标定板进行标定，将靶标标定板放置于相邻相机的中间位置，使得两个相机均能识别到部分靶标图案，接着利用靶标识别和解码算法得到靶标点的二维坐标，结合单目标定获得的内参和畸变系数，计算出两个相机之间的位姿，然后重复上述标定步骤得到所有相机之间的转换矩阵。

双目相机标定的计算公式如下：

其中，R₁,T₁和R₂,T₂分别表示世界坐标系到左右相机坐标系的转换矩阵，R,T表示从左相机坐标系到右相机坐标系的转换矩阵。

接下来对计算出的相机之间的位姿关系进行优化，通过靶标图案之间固定的位置关系推断出右相机视场下的靶标点在世界坐标系下的三维坐标在左相机坐标系的相机坐标，根据两相机之间已计算出的转换矩阵，得到这些点在右相机坐标系下的三维坐标，然后根据相机内参重投影到像素坐标下，计算其与真实投影值之间的误差，重复上述步骤得到所有相机的重投影误差，固定相机的内参，利用BA优化算法得到最终的优化结果，包括相机之间的转换矩阵以及靶标三维点的真实坐标。优化目标公式如下：

其中，u_i、v_i表示真实图像上靶标点的二维坐标，表示靶标点根据相机参数重投影到像素坐标系的二维坐标，n表示所有靶标点的个数总和。

本发明具有以下有益效果：

本发明的多相机联合标定及其优化算法设计，利用捆绑调整优化标定参数使得所有相机的重投影误差之和最小。通过自主设计的编码靶标标定板标定相机参数，可以实现无重叠视场下多相机的联合标定。具有算法复杂度低，鲁棒性强，标定精度高，标定速度快等诸多优点。

附图说明

图1为本发明的流程图；

图2为本发明的靶标标定板图；

图3为本发明的靶标标定板识别效果图；

图4为本发明的无重叠视场多相机系统示意图；

具体实施方式

下面结合附图对本发明的具体实施方式作进一步详细说明。这些实施方式仅用于说明本发明，而并非对本发明的限制。

在本发明的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

实施例

一种无重叠视场多相机联合标定方法，流程图如图1，具体操作步骤如下：

无重叠视场多相机如图4所示；

1)单目标定及其优化

将靶标标定板放置于每个相机视场下，多次变换靶标标定板的位置获取多张图像，保证靶标标定板出现在相机视场下的各个位置，接着利用靶标识别和解码算法得到靶标的二维坐标，将其与三维坐标进行对应，然后利用本发明提出的单目标定及其捆绑调整算法得到相机内参，外参和畸变系数的精确值。

2)无重叠视场下多相机联合标定及其捆绑调整优化

在单目标定的基础上，将靶标标定板放置于邻相机的中间，多次移动靶标标定板的位置获取多张图像，保证两个相机尽可能多地识别到靶标并让靶标在两个相机市场下分布均匀。接下来利用本发明提出的多相机联合标定算法及其优化算法计算出所有相邻相机之间的转换矩阵的精确值。

实施例一：

选取了一个11×9的靶标标定板，靶标标定板中无重复靶标，如图2、图3所示。利用该靶标进行单目标定及其优化优化处理，得到相机内参，外参以及畸变系数的精确参数，最终的标定结果如表1所示。

表1相机1标定及其优化结果分析

	优化前	优化后
			fx	3792.56	3794.55
fy	3792.56	3794.55
			u0	1279.53	1280.74
v0	963.56	960.32
			k1	-0.0045	-0.0024
k2	0.004	0.0234
			p1	-0.00361	-0.00234
p2	0.0	-0.005
			k3	0.27	0.15
系统重投影误差	0.241	0.0067

实施例二：

在上述实验结果的基础上，进行了多相机联合标定及其优化实验，选取同样的靶标标定板，得到相机之间转换关系的精确结果，最终的部分标定结果如表2所示。

表2无重叠视场下相机12间联合标定及其优化结果分析

	优化前	优化后
			旋转向量	[0.00698，-0.00165，0.0936]	[0.0071，-0.0015，-0.0013]
平移向量	[-664.33，-1.56，-1.67]	[-665.11，-0.34，-1.46]
			系统重投影误差	0.15	0.04

实施效果：

通过捆绑调整算法优化相机的内参、外参与畸变系数从而使得重投影误差最小。

2)多相机联合标定及其优化算法设计，利用捆绑调整优化标定参数使得所有相机的重投影误差之和最小。通过自主设计的编码靶标标定板标定相机参数，可以实现无重叠视场下多相机的联合标定。具有算法复杂度低，鲁棒性强，标定精度高，标定速度快等诸多优点。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims (10)

1.一种无重叠视场多相机联合标定方法，其特征在于，包括如下步骤：

S1，利用靶标标定板对相机进行单目标定得到各个相机的内参，外参和畸变系数；利用捆绑算法调整相机内参外参，畸变系数；

S2，相邻相机参数标定；

S3，靶标标定板置于相邻相机视场正下方进行相机标定，移动靶标标定板，通过位姿转换实现多相机参数标定；捆绑算法调整优化相机位姿关系。

2.如权利要求1所述的一种无重叠视场多相机联合标定方法，其特征在于，S1中靶标标定板设置特定图案，特点图案包括一圆形图及圆形图外包围的环形图，且两者颜色不同，而且环形图上设置有色点，色点为位一圆点区域图。

3.如权利要求1所述的一种无重叠视场多相机联合标定方法，其特征在于，S1中相机拍摄靶标标定板的图像，使靶标标定板完全布置在视场采集的图像中；通过不断地移动靶标标定板求解所有相机之间的位姿。

4.如权利要求1所述的一种无重叠视场多相机联合标定方法，其特征在于，相机成像模型为：

其中，f_x，f_y，u₀，v₀是相机内部参数，R,t为相机外部参数，(X_W，Y_W，Z_W)为世界坐标系下的坐标。

5.如权利要求1所述的一种无重叠视场多相机联合标定方法，其特征在于，相机透视成像模型为：

K是相机内部参数矩阵，s是尺度因子，H为单应性矩阵；

旋转向量r1和r2是单位正交的关系，即：

r₁ ^Tr₂＝0

r₁ ^Tr₁＝r₂ ^Tr₂＝1

可得：

r₁＝K^-1H₁

r₁＝K^-1H₂

代入相机成像模型可得：

6.如权利要求1所述的一种无重叠视场多相机联合标定方法，其特征在于，利用SVD算法即可得相机内参K，外参和畸变系数的初始值。

7.如权利要求1所述的一种无重叠视场多相机联合标定方法，其特征在于，利用捆绑调整优化方法最小化系统重投影误差的方式计算出相机参数的精确值；重投影误差的公式为：

其中，m_ij为靶标点的二维观测坐标，为投影坐标，P为靶标点的三维坐标，K为相机内参矩阵，R,t为相机内参，k₂,p₁,p₂,k₃为畸变系数。

8.如权利要求1所述的一种无重叠视场多相机联合标定方法，其特征在于，转换为无约束的李群求解，计算出Jacobian矩阵，用Levenberg-Marquardt算法通过多次迭代得到结果。

9.如权利要求1所述的一种无重叠视场多相机联合标定方法，其特征在于，双目相机标定的计算公式如下：

其中，R1,T1和R2,T2分别表示世界坐标系到左右相机坐标系的转换矩阵，R,T表示从左相机坐标系到右相机坐标系的转换矩阵。

10.如权利要求1所述的一种无重叠视场多相机联合标定方法，其特征在于，通过靶标图案之间固定的位置关系推断出右相机视场下的靶标点在世界坐标系下的三维坐标在左相机坐标系的相机坐标，根据两相机之间已计算出的转换矩阵，得到这些点在右相机坐标系下的三维坐标；

根据相机内参重投影到像素坐标下，计算其与真实投影值之间的误差；

重复上述步骤得到所有相机的重投影误差，固定相机的内参，利用BA算法得到结果，包括相机之间的转换矩阵以及靶标三维点的真实坐标。

相机之间的位姿关系进行改进公式如下：

其中，u_i、v_i表示真实图像上靶标点的二维坐标，表示靶标点根据相机参数重投影到像素坐标系的二维坐标，n表示所有靶标点的个数总和。