CN114998447A

CN114998447A - 多目视觉标定方法及系统

Info

Publication number: CN114998447A
Application number: CN202210612289.7A
Authority: CN
Inventors: 闫柏睿; 樊卫华
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2022-05-31
Filing date: 2022-05-31
Publication date: 2022-09-02

Abstract

本发明公开了一种多目视觉的标定方法及系统，解决了多相机系统视野无法覆盖二维标定物的问题；该方法将相机编号为0～N，标定步骤如下：首先，相机0和相机1同时观察到完整的标定板，通过提取标志点对两个相机进行相对位姿计算，得到一个相对位姿的变换矩阵。其次，将相机1和相机2采集完整的标定板图片，计算相机1和相机2的相对位姿，得到另一个相机的相对位姿矩阵。计算两个位姿矩阵的刚性变换关系，即可得到相机2和相机0两者的相对位姿变换关系。以此类推，即可以得到相机0‑N的位姿关系。本发明能够在简化多目视觉的标定方法，在相机观察到不同标定物时进行标定；通过相对位姿计算出多个相机的位姿矩阵，并将其统一在统一坐标系下。

Description

多目视觉标定方法及系统

技术领域

本发明涉及多目视觉领域，具体涉及一种多目视觉标定方法及系统。

背景技术

随着三维测量技术和多目视觉技术的不断发展，传统的单相机测量已经无法满足工业生产的要求，多目视觉的测量成为研究热点。使用多目视觉进行三维测量，首要的步骤就是相机的标定，只有将相机进行标定，才能将相机和世界坐标系建立联系，从而进行三维测量。

目前的相机标定大多使用二维标定物进行标定，对于多目视觉系统，二维标定物有时无法被全部相机观测到，通常采用相机逐个标定的方法，计算出所有相机的内外参，随着相机数量的增加，需要采集的标定图片将会成倍增加，工作量过大。

发明内容

本发明的目的在于提供一种多目视觉标定方法及系统。

实现本发明目的的技术解决方案为：第一方面，本发明提供一种多目视觉标定方法，包括：

搭建多相机系统，使用标志点参数已知的标定板，至少两个相机的视野能够同时覆盖一个标定板图像；

通过图像形态学相关算法找出标志点的像素坐标，变换标定板位姿，采集不同的标定图像从而求出最优解，解出相机的内外参数，包括焦距、畸变系数、比例因子和相对位姿的刚性变换矩阵；

利用求解的刚性变换矩阵，设置参考相机，将相机通过计算统一到同一坐标系中。

在其中的一个实施例中，多相机系统的单个相机视野能够覆盖整个标定板。

在其中的一个实施例中，多相机系统中，相邻相机至少同时观察到一张标定图像，保证相邻相机的相对位姿通过标定图像计算出。

在其中的一个实施例中，通过图像形态学相关算法找出标志点的像素坐标，变换标定板位姿，采集不同的标定图像从而求出最优解，解出相机的内外参数，包括焦距、畸变系数、比例因子和相对位姿的刚性变换矩阵；具体如下：

步骤S21，提取标志点并计算其像素坐标，通过公式：

其中(X_c,Y_c,Z_c)表示像素坐标，(X_w,Y_w,Z_w)表示世界坐标，R为3x3正交旋转矩阵，t为三维平移向量，O^T为对应大小的0向量矩阵，计算出R和t的值；

步骤S22：对标定版进行多次图像采集，通过下式求解相机参数最优解d(θ)，

其中通过标定板得到的圆点中心的坐标为M_j，提取相机标定图像的中心坐标，第一个相机记为m_j,k,1，第二个相机记为m_j,k,2，第N个相机记为m_j,k,l，同时用θ表示两个相机的参数包括两个相机的内参和相对位置，其中π_i表示标定板某个标志点到像平面坐标系的投影，θ_i,l是相机l中影响此投影的相机参数的子集；π_r表示图像中的某个点到象平面坐标系的校正，θ_r,l表示相机l中影响此校正的参数的子集；v_j,k,l表示此点是否有效；n₀为标定图片得数量；n_m为标志点数量；

步骤S23：将其中任意一个相机设为参考相机，也就是其为坐标原点，计算出相机的内外参数；

在其中的一个实施例中，利用求解的刚性变换矩阵，设置参考相机，将相机通过计算统一到同一坐标系中，具体为：

步骤S31：在步骤S22中相邻相机观察到同一位姿的标定板的世界坐标点P_w(x,y,z,1)^T，则相邻两个相机的变换关系为：

其中

和

为不同相机的观察到同一位姿的标定板的世界坐标系，求出相关参数就得到了相对位姿的变换关系，其中R为旋转矩阵，t为平移增量；

步骤S32：根据S31的计算出不同相机的相对位姿关系，进一步计算出系统内所有相机的位姿关系。

第二方面，本发明提供一种多目视觉标定系统，包括：

多相机系统，相机编号为0-N，使用标志点参数已知的标定板，至少两个相机的视野能够同时覆盖一个标定板图像；

标定模块，通过图像形态学相关算法找出标志点的像素坐标，变换标定板位姿，采集不同的标定图像从而求出最优解，解出相机的内外参数，包括焦距、畸变系数、比例因子和相对位姿的刚性变换矩阵；利用求解的刚性变换矩阵，设置参考相机，将相机通过计算统一到同一坐标系中。

第三方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法的步骤。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法的步骤。

与现有技术相比，本发明的显著优点为：

(1)本发明能够在简化多目视觉的标定方法，在相机观察到不同标定物时进行标定；(2)通过相对位姿计算出多个相机的位姿矩阵，并将其统一在统一坐标系下；

附图说明

图1为本发明针对的多相机系统的标定关系图。

图2为本发明多目视觉标定方法的流程图。

图3为本发明具体实施方式中所提到的标定板，为点阵共面圆标定板。

具体实施方式

下面将结合附图1～图2，对本方面中的方法进行详细描述。所描述的方法为多相机系统一部分，并非全部。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1为多相机系统的标定关系图，以五个相机构成的多目视觉系统为例，将相机编号为0-4，实线箭头为相机视野所指向方向。

S1，搭建多相机系统，相机编号为0-N，使用标志点明显且参数已知的标定板，同时至少两个相机的视野能够同时覆盖一个标定板图像，保证相机有图1的位置关系。多相机系统满足如下条件：

1)标定板必须要有明显的标志点，同时标志点的位置坐标已知。例如张氏标定板或共面圆标定板。本实施例中标定板如图3所示。

2)搭建多相机系统的单个相机视野要能够覆盖整个标定板，同时标志点能够在视野中清晰可见。

3)采集图像后要进行图像预处理，保证后续过程中能够通过图像形态学方法提取出标志点位置。

4)对于多相机系统，相邻相机至少同时观察到一张标定图像，保证相邻相机的相对位姿通过标定图像计算出。

在本发明中，搭建的多相机系统具有“链式”关系，其中链式关系指至少相邻的两个相机能够同时观察到标定板。例如图1中相机0-2，三个相机同时拍摄一张标定图片，其中标定图片的标志点数量大于等于6，且具有明显的标志点，图中圆点的中心位置，同时标定板的尺寸和圆点的位置已知，设其在世界坐标系中的平面坐标为(X_w,Y_w,1)，拍摄到的图像像素坐标为(u,v,1)。

S2，通过图像形态学相关算法找出标志点的像素坐标，变换标定板位姿，采集不同的标定图像从而求出最优解，解出相机的内外参数，包括焦距、畸变系数、比例因子和相对位姿的刚性变换矩阵等。

在本发明中，图1中相机0-2可以同时采集到标定板某一位姿的图像，即在相机0-2的图像中有完整且标志点清晰的标定板，根据像素坐标系与世界坐标系的关系有公式：

其中：

r₁,r₂为旋转矩阵，T为平移变量，Z_c为标定平面和相机间的距离，a_x,a_y分别是图像水平轴和垂直轴的尺度因子。u₀、v₀为图像坐标系原点在像素坐标系中的坐标。K的参数中只包含焦距、主点坐标等，由相机的内部结构决定，因此称K为内部参数矩阵。H为内参和外参的乘积所构成的单应矩阵。同时根据相机的内外参数关系计算出，r₁,r₂和T，也就是相机的相对位姿矩阵。

设从图片中提取的相机参数为θ＝(f,k,s_x,s_y,c_x,c_y,α,β,γ,t^x,t^y,t^z)，其中f,k,s_x,s_y,c_x,c_y为内参，分别为焦距、畸变系数、x轴比例缩放因子、y轴比例缩放因子、畸变中心x轴坐标、畸变中心y轴坐标。α,β,γ,t^x,t^y,t^z为外参，分别为绕x轴旋转角度、绕y轴旋转角度、绕z轴旋转角度，x轴平移分量、y轴平移分量、z轴平移分量。这里设世界坐标系到图像坐标系的投影为π_i(M_j,θ_i)，其中M_j表示世界坐标系中的三维坐标，设m_j标定板实心圆中心点(标志点)在图像坐标系中的坐标。通过计算m_j与投影计算得到的π_i(M_j,θ_i)之间的距离最优解来确定相机的参数。

其中n_m为标定板上标志点的数量，v_i表示标志点是否可见，可见为1，否则为0。上式需要优化的数量过大，同时初始值设置不理想很容易陷入局部最优解。根据最优解的特性，如果能够设定较好的初始值，就可以很快的求出最优解且不会陷入局部最优。所以后续标定时需要从相机说明书中读取某些参数，一般是f,s_xs,_y，因为这个三个参数较为固定，取决于相机的工艺水平。

S3，利用S2中求解的刚性变换矩阵，设置参考相机，将相机通过计算统一到同一坐标系中

在本发明中，设标志点中心在世界坐标系下的坐标为P_w(x,y,z,1)^T，而同样的标志点中心坐标在相机0中为

在相机1中的坐标为

两者已经通过标定得到，两个相机相对位姿的变换仍然是一种刚性变换。

两者的刚性变换为：

也就有了：

将上式写做：

进一步的，通过前面的标定已知了相机的外参也就是上式中的R和t，将相机0设为参考坐标即

即可求出

利用上述方法同样可以求出相机3的相对相机0的位姿。

对于相机2和相机1，重复S2步骤获取相对位姿矩阵的变换关系

将上式写做

可以得到相机1和2的相对位姿关系。进而得到相机2和相机0的相对位姿关系。

重复上述步骤即可得到相机4和相机0的相对位置关系。

至此将全部相机统一到了相机0所在的坐标系下，完成了本实例的相机标定。

应当理解，本实例所展示了5个相机的标定，对于更多相机的标定通过此方法同样可行。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。