CN112308926B - 一种无公共视场的相机外参标定方法 - Google Patents

Abstract

本发明公开了一种无公共视场的相机外参标定方法，两部相机的相对位置固定，其分别采集标定板不同区域的图像，两区域之间无交集；计算区域一中标记点和编码点的二维图像坐标、解算初始RT，利用初始RT建立区域一中标记点二维坐标与三维坐标之间的对应关系；并建立共线性约束方程；采用相同的方法，对相机二获取的区域二图像进行处理，建立共线性约束方程；结合，¹RT_w＝¹RT₂ײRT_w；变换拍摄位姿关系，每变换一次，两个相机分别采集标定板的图像，完成所有位姿的拍摄后，联立共线性约束方程，求解出相机一和相机二之间的外参¹RT₂；本方法可以实现自动化、高精度的无公共视场相机间外参标定。

Description

一种无公共视场的相机外参标定方法

技术领域

本发明涉及相机标定领域，具体涉及一种无公共视场的相机外参标定方法。

背景技术

相机标定是视觉测量与检测领域的关键技术之一，精确的相机标定结果是保证视觉测量和检测结果准确可靠的前提；其中双目相机被广泛应用于三维测量领域，其主要利用两相机的公共视场，在公共视场中设置控制点，利用外部三维坐标测量装置测量控制点三维坐标或者给定基准距离长度，带入双目立体视觉模型求解双目相机外参；但在大尺寸工件测量或检测场景下，两个相机的结构不构成双目立体模型，没有公共视场，此时，两个相机无法拍到同一区域，无法在公共视场设置控制点，现有标定方法无法进行两相机外参标定。

发明内容

针对上述问题，本发明提出一种无公共视场的相机外参自动化标定方法，本方法利用标记点二维-三维点对、相机内参、两相机与世界坐标系的转换关系，构建共线性约束方程；通过变换不同位姿，构建一系列共线性约束方程，结合两相机之间的外参与单相机与世界坐标系之间的转换关系，通过联立共线性约束方程(一系列的方程组)，能够同时求得¹RT_w、²RT_w和¹RT₂，准确得到两相机之间的外参¹RT₂；本方法可以实现自动化、高精度的无公共视场相机间外参标定。

一种无公共视场的相机外参标定方法，预先定义世界坐标系并记录标定板中各个标记点和编码点的空间三维坐标、标定相机一和相机二的内参；

两部相机的相对位置固定，其分别采集标定板不同区域的图像，记为区域一和区域二，所述区域一和区域二内均包含有多个标记点和编码点，两区域之间无交集；

利用以下方法，求解相机一和相机二之间的外参¹RT₂：

S1、对相机一获取的区域一图像进行以下处理：

计算区域一中标记点和编码点的二维图像坐标；

利用编码点的二维图像坐标和空间三维坐标解算相机一与世界坐标系之间的初始RT，利用初始RT建立区域一中标记点二维图像坐标与空间三维坐标之间的对应关系；

并利用对应关系，建立共线性约束方程：

其中，(x_p,y_p)为第p个标记点二维图像坐标；p＝1,2……n，n表示区域一中标记点的总数；(X_p,Y_p,Z_p)为第p个标记点的空间三维坐标；

(x₀₁,y₀₁,c₁,Δx₁,Δy₁)为相机一的内参；(x₀₁,y₀₁)表示图像主点坐标，c₁表示相机一的有效焦距，(Δx₁,Δy₁)表示图像主点坐标水平和竖直方向的偏移量；

式中的未知参数利用矩阵¹RT_w表示，其代表了当前拍摄位姿下，相机一与世界坐标系之间的转换关系：

S2、采用与步骤S1相同的方法，对相机二获取的区域二图像进行处理，建立共线性约束方程：

其中，q＝1,2……t，t表示区域二中标记点的总数；(x_q,y_q)为第q个标记点二维图像坐标；(X_q,Y_q,Z_q)为第q个标记点的空间三维坐标；

(x₀₂,y₀₂,c₂,Δx₂,Δy₂)为相机二的内参；其中，(x₀₂,y₀₂)表示图像主点坐标，c₂表示相机一的有效焦距，(Δx₂,Δy₂)表示图像主点坐标水平和竖直方向的偏移量。

式中的未知参数利用矩阵²RT_w表示，其代表了当前拍摄位姿下，相机二与世界坐标系之间的转换关系：

此外，¹RT_w＝¹RT₂ײRT_w；

S3、变换N次标定板与相机一和相机二之间的拍摄位姿关系，每变换一次，两个相机分别采集标定板的图像，并对采集到的图像重复进行步骤S1、S2；

待完成所有位姿的拍摄后，联立共线性约束方程，求解出相机一和相机二之间的外参¹RT₂。(以及各个位姿下的¹RT_w和²RT_w)

进一步，在单个拍摄位姿处，区域一/区域二中的编码点数量不少于4个，标记点数量不少于18个。

进一步，步骤S1中，所述利用初始RT建立区域一中标记点二维图像坐标与空间三维坐标之间的对应关系，具体为：

利用初始RT，将标记点空间三维坐标转换到相机一坐标系，再反投到图像坐标系，计算反投得出的图像坐标点与各个标记点二维图像坐标之间的距离，将距离值小于阈值T的两个点标记为匹配点对；据此为每个标记点空间三维坐标匹配对应的二维图像坐标，完成图像上所有点的空间三维坐标与二维图像坐标之间的匹配。

优选，所述标记点包括平面标记点和立体标记点，二者均设有多个并均布在标定板上，所述立体标记点下表面与标定板固定，上表面高出标定板形成凸起并设有圆形标记点。

进一步，预先定义世界坐标系并记录标定板中各个标记点和编码点的空间三维坐标的方法包括：

方法一：预先定义标定板坐标系为世界坐标系，根据标记点和编码点的加工尺寸，分别记录其在世界坐标系中的空间三维坐标；

方法二：设置摄影测量系统，利用摄影测量系统获取标定板中各个标记点和编码点的空间三维坐标，预先定义摄影测量坐标系为世界坐标系。

进一步，利用对齐误差对外参标定结果进行评价，所述对齐误差error，计算如下：

其中，、ave表示求取平均值；i＝1，2……N，

表示第i个拍摄位姿下相机一与世界坐标系之间的转换关系、/>

表示第i个拍摄位姿下相机二与世界坐标系之间的转换关系；¹RT₂为相机一和相机二之间的外参；j＝1，2……S，/>

表示标定板中第j个标记点的齐次世界坐标，S表示标定板中标记点的总数。

本方法求解原理：在不同拍摄位姿下，¹RT_w和²RT_w发生改变，但¹RT₂始终相同，每个外参矩阵含有6个未知的外部参数(3个平移量和3个旋转角)，因此，N个不同位姿下，总的未知参数个数为12N+6。每个成像的标记点对可以确定两个方程，则总的方程个数为

n表示第i个拍摄位姿下区域一中标记点的总数，m表示区域二中标记点的总数，当方程数大于12N+6时，利用大规模非线性方程组，能够求解方程组得到同时求得¹RT_w、²RT_w和¹RT₂；本方法可以实现自动化、高精度的无公共视场相机间外参标定。

附图说明

图1为具体实施方式中标定板及两相机采集区域示意图；

图2为具体实施方式标定板与相机一和相机二之间的多个拍摄位姿示意图。

具体实施方式

一种无公共视场的相机外参标定方法，预先定义世界坐标系并记录标定板(如图1所示)中各个标记点1和编码点2的空间三维坐标、标定相机一和相机二的内参；

具体的，预先定义世界坐标系并记录标定板中各个标记点和编码点的空间三维坐标的方法包括：

方法一：预先定义标定板坐标系为世界坐标系，根据标记点和编码点的加工尺寸，分别记录其在世界坐标系中的空间三维坐标；

方法二：设置摄影测量系统，利用摄影测量系统获取标定板中各个标记点和编码点的空间三维坐标，预先定义摄影测量坐标系为世界坐标系。

两部相机的相对位置固定，其分别采集标定板不同区域的图像(如图1所示)，记为区域一3和区域二4，区域一3和区域二4内均包含有多个标记点和编码点，两区域之间无交集；

利用以下方法，求解相机一和相机二之间的外参¹RT₂：

S1、对相机一获取的区域一图像进行以下处理：

计算区域一中标记点和编码点的二维图像坐标；

利用编码点2的二维图像坐标和空间三维坐标解算相机一与世界坐标系之间的初始RT，利用初始RT建立区域一中标记点1二维图像坐标与空间三维坐标之间的对应关系；

并利用对应关系，建立共线性约束方程：

其中，(x_p,y_p)为第p个标记点二维图像坐标；p＝1,2……n，n表示区域一中标记点的总数；(X_p,Y_p,Z_p)为第p个标记点的空间三维坐标；

(x₀₁,y₀₁,c₁,Δx₁,Δy₁)为相机一的内参；(x₀₁,y₀₁)表示图像主点坐标，c₁表示相机一的有效焦距，(Δx₁,Δy₁)表示图像主点坐标水平和竖直方向的偏移量；

式中的未知参数利用矩阵¹RT_w表示，其代表了当前拍摄位姿下，相机一与世界坐标系之间的转换关系：

S2、采用与步骤S1相同的方法，对相机二获取的区域二图像进行处理，建立共线性约束方程：

其中，q＝1,2……t，t表示区域二中标记点的总数；(x_q,y_q)为第q个标记点二维图像坐标；(X_q,Y_q,Z_q)为第q个标记点的空间三维坐标；(x₀₂,y₀₂,c₂,Δx₂,Δy₂)为相机二的内参；

(x₀₂,y₀₂,c₂,Δx₂,Δy₂)为相机二的内参；其中，(x₀₂,y₀₂)表示图像主点坐标，c₂表示相机一的有效焦距，(Δx₂,Δy₂)表示图像主点坐标水平和竖直方向的偏移量；

式中的未知参数利用矩阵²RT_w表示，其代表了当前拍摄位姿下，相机二与世界坐标系之间的转换关系：

此外，¹RT_w＝¹RT₂ײRT_w；

S3、变换N次标定板与相机一和相机二之间的拍摄位姿关系，如图2所示，每变换一次，两个相机分别采集标定板的图像，并对采集到的图像重复进行步骤S1、S2；

待完成所有位姿的拍摄后，联立共线性约束方程(一系列方程组方程总数n+t和未知数总数N满足

求解出相机一和相机二之间的外参¹RT₂。

其中，为了满足解算结果精度要求，在单个拍摄位姿处，区域一/区域二中的编码点数量不少于4个，标记点数量不少于18个。

在步骤S1中，利用初始RT建立区域一中标记点二维图像坐标与空间三维坐标之间的对应关系，具体为：

利用初始RT，将标记点空间三维坐标转换到相机一坐标系，再反投到图像坐标系，计算反投得出的图像坐标点与各个标记点二维图像坐标之间的距离，将距离值小于阈值T的两个点标记为匹配点对；若匹配点对为多对，则将得到距离值最小的一对匹配点对记为最终的匹配点对，据此为每个标记点空间三维坐标匹配对应的二维图像坐标，完成图像上所有点的空间三维坐标与二维图像坐标之间的匹配。

其中，初始RT根据相机一/相机二的内参、利用PNP方法解算编码点的二维图像坐标和空间三维坐标之间的转换关系得到。

本实施例中，阈值T小于10像素。

作为本发明的一种优选实施方式，本实施例的标定板中：如图1所示，标记点包括平面标记点和立体标记点，二者均设有多个并均布在标定板上，立体标记点下表面与标定板固定，上表面高出标定板形成凸起并设有圆形标记点；立体标记点本身蕴含有空间三维信息，在解算转换关系矩阵时，其空间三维信息会比平面标记点的二维坐标解算更加准确，采用两者交叉分布的标定板，更有利于得出接近理想情况的外参转换关系。

进一步的，本实施例还涉及一种利用对齐误差对外参标定结果进行评价的方法，计算对齐误差error：

其中，、ave表示求取平均值；i＝1，2……N，

表示第i个拍摄位姿下相机一与世界坐标系之间的转换关系、/>

表示第i个拍摄位姿下相机二与世界坐标系之间的转换关系；¹RT₂为相机一和相机二之间的外参；j＝1，2……S，/>

表示标定板中第j个标记点的齐次世界坐标，S表示标定板中标记点的总数。

当对其误差结果数值满足预设要求时，证明本实施例中得出的外参标定结果¹RT₂达到预期，否则需要调整标定板或增加拍摄位姿，获取更多共线性约束方程，再次求解外参，计算对其误差，判断外参是否达到预期。

Claims (6)

1.一种无公共视场的相机外参标定方法，预先定义世界坐标系并记录标定板中各个标记点和编码点的空间三维坐标、标定相机一和相机二的内参；

两部相机的相对位置固定，其分别采集标定板不同区域的图像，记为区域一和区域二，所述区域一和区域二内均包含有多个标记点和编码点，两区域之间无交集；

其特征在于，利用以下方法，求解相机一和相机二之间的外参¹RT₂：

S1、对相机一获取的区域一图像进行以下处理：

计算区域一中标记点和编码点的二维图像坐标；

利用编码点的二维图像坐标和空间三维坐标解算相机一与世界坐标系之间的初始RT，利用初始RT建立区域一中标记点二维图像坐标与空间三维坐标之间的对应关系；

并利用对应关系，建立共线性约束方程：

其中，(x_p,y_p)为第p个标记点二维图像坐标；p＝1,2……n，n表示区域一中标记点的总数；(X_p,Y_p,Z_p)为第p个标记点的空间三维坐标；(x₀₁,y₀₁,c₁,Δx₁,Δy₁)为相机一的内参；

式中的未知参数利用矩阵¹RT_w表示，其代表了当前拍摄位姿下，相机一与世界坐标系之间的转换关系：

S2、采用与步骤S1相同的方法，对相机二获取的区域二图像进行处理，建立共线性约束方程：

其中，q＝1,2……t，t表示区域二中标记点的总数；(x_q,y_q)为第q个标记点二维图像坐标；(X_q,Y_q,Z_q)为第q个标记点的空间三维坐标；(x₀₂,y₀₂,c₂,Δx₂,Δy₂)为相机二的内参；

式中的未知参数利用矩阵²RT_w表示，其代表了当前拍摄位姿下，相机二与世界坐标系之间的转换关系：

/>

此外，¹RT_w＝¹RT₂ײRT_w；

S3、变换N次标定板与相机一和相机二之间的拍摄位姿关系，每变换一次，两个相机分别采集标定板的图像，并对采集到的图像重复进行步骤S1、S2；

待完成所有位姿的拍摄后，联立共线性约束方程，求解出相机一和相机二之间的外参¹RT₂。

2.如权利要求1所述无公共视场的相机外参标定方法，其特征在于：在单个拍摄位姿处，区域一/区域二中的编码点数量不少于4个，标记点数量不少于18个。

3.如权利要求1所述无公共视场的相机外参标定方法，其特征在于：步骤S1中，所述利用初始RT建立区域一中标记点二维图像坐标与空间三维坐标之间的对应关系，具体为：

利用初始RT，将标记点空间三维坐标转换到相机一坐标系，再反投到图像坐标系，计算反投得出的图像坐标点与各个标记点二维图像坐标之间的距离，将距离值小于阈值T的两个点标记为匹配点对；据此为每个标记点空间三维坐标匹配对应的二维图像坐标，完成图像上所有点的空间三维坐标与二维图像坐标之间的匹配。

4.如权利要求1所述无公共视场的相机外参标定方法，其特征在于：所述标记点包括平面标记点和立体标记点，二者均设有多个并均布在标定板上，所述立体标记点下表面与标定板固定，上表面高出标定板形成凸起并设有圆形标记点。

5.如权利要求1或4所述无公共视场的相机外参标定方法，其特征在于：预先定义世界坐标系并记录标定板中各个标记点和编码点的空间三维坐标的方法包括：

方法一：预先定义标定板坐标系为世界坐标系，根据标记点和编码点的加工尺寸，分别记录其在世界坐标系中的空间三维坐标；

方法二：设置摄影测量系统，利用摄影测量系统获取标定板中各个标记点和编码点的空间三维坐标，预先定义摄影测量坐标系为世界坐标系。

6.如权利要求1所述无公共视场的相机外参标定方法，其特征在于：利用对齐误差对外参标定结果进行评价，所述对齐误差error，计算如下：

其中，、ave表示求取平均值；i＝1，2……N，

表示第i个拍摄位姿下相机一与世界坐标系之间的转换关系、/>

表示第i个拍摄位姿下相机二与世界坐标系之间的转换关系；¹RT₂为相机一和相机二之间的外参；j＝1，2……S，/>

表示标定板中第j个标记点的齐次世界坐标，S表示标定板中标记点的总数。/>

Images