CN113223095B - 一种基于已知相机位置内外参数标定方法 - Google Patents

Abstract

本发明属于机器视觉、摄影测量、SLAM等技术领域，提出了一种基于相机位置内外参数标定方法，该方法只需布设3个标志点，测量相机和标志点位置，拍摄标志点图像，得到标志点在图像中的成像位置。在相机主点和焦距未知情况下，建立一个新的相机系统，将求解问题转换为一个传统的P3P问题，并通过P3P算法求解中间变量以及中间坐标系与原始坐标系的关系，最后根据中间变量和坐标系间的关系完成相机内外参数求解。本发明相机内外参数的标定方法不需要已知相机内参数，且不增加外标志点数量，适用于相机内参数未知、相机位置固定情形下的相机内外参数标定与视觉测量。

Description

一种基于已知相机位置内外参数标定方法

技术领域：

本发明属于机器视觉、摄影测量、SLAM等技术领域，具体涉及一种相机内外参数标定方法。

背景技术

在机器视觉、摄影测量、SLAM等领域，为实现相机定位、交会测量等功能，需要对相机的内外参数进行标定。相机的内外参数标定方法有很多种，目前有多种基于多个标志点的标定方法，也叫PnP(perspective-n-point)标定方法(n为标志点数量)。内外参数包括相机坐标系相对于世界坐标系的旋转平移矩阵，以及相机主点、焦距等。当标志点数量小于3时，相机内外参数无法获取；当标志点数量等于3时，标定方法称作P3P方法，仅可获取相机的外参数，但获取的外参数不唯一，需要另外的信息来确定唯一的外参数(Wang P,Xu G,Wang Z,et al.An efficient solution to the perspective-three-point poseproblem[J].Computer Vision and Image Understanding,2018,166:81-87)；当标志点数量等于4时，标定方法称作P4Pf方法，可以获取相机外参数的同时，获取内参数中的一个参数(Nakano G.A versatile approach for solving PnP,PnPf,and PnPfr problems[C]//European Conference on Computer Vision.Springer,Cham,2016:338-352.)；当标志点数量等于5时，标定方法称作P5P方法，可以获取相机外参数的同时，获取内参数中的三个参数(Triggs B.Camera pose and calibration from 4or 5known 3d points[C]//Proceedings of the Seventh IEEE International Conference on ComputerVision.IEEE,1999,1:278-284.)。可以看到随着可利用的标志点数量增加，在求解外参数的同时，可求解的内参数数量也在增加。目前的内外参数标定方法中，在求解外参数的同时，如果需要求解部分内参数，至少需要4个标志点，而精确标志点的获取与维护需要耗费大量的人力物力，比如野外大风环境下，对飞行器姿态进行摄影测量时，对相机进行内外参数标定就必须设置多个标志点，而野外大风环境对标志点的设立带来严峻挑战。而最低数量的3个标志点，只能求解外参数，且有多解问题。

发明内容

本发明提出了一种基于相机位置的内外参数标定方法，目的是解决现有技术中相机内外参数标定需要的标志点多，且精确标志点的获取耗费较大，若降至最低3个标志点仅能求解外参数且存在多解的技术问题。

为解决上述技术问题，本发明的技术方案包括如下步骤：

步骤1、建立新的世界坐标系及新的3个标志点

根据3个原始2D成像点x_i(u_i,v_i)建立一个新的世界坐标系τ以及该坐标系下3个新的3D标志点

位于射线O_cx_i上，且

这里d为像元大小；新的世界坐标系叫做

其中

为原始像平面像素坐标系的两条轴，O_τ在射线O_cI上，且O_cI/O_cO_τ＝d，其中I为原始像素坐标系的原点；则新的世界坐标系下得到新的3D标志点为

步骤2、建立新的相机系统

将原始3D标志点X_i(i＝1,2,3)视为新的图像成像点

根据原始3D标志点，定义一个新的主点

以及一个新的相机坐标系

这里O_η和原始相机位置重合，并且

通过转换矩阵

在原始世界坐标系S_w下的原始3D标志点通过下式转换到新的相机坐标系η下：

定义一个新的相机系统，它的相机坐标系为η，像平面S为X_i(i＝1,2,3)组成的平面，新的主点

为O_η到像平面S的投影点X₀；

步骤3、计算新相机系统的焦距

步骤4、计算新相机系统的成像点

新的相机系统中，像元大小为1m，归一化的新的图像成像点

计算如下

步骤5、计算新的世界坐标系τ和新的相机坐标系η间的外参数

根据3组新的2D-3D点的对应关系

通过P3P算法可以得到最多4组解(R_j,T_j)，新的世界坐标系τ下的标志点可以通过下式转换到新的相机坐标系η下：

根据坐标系η和τ的转换关系，新的相机系统的相机位置

可通过下式得到：

步骤6、相机内参数标定

根据新的世界坐标系τ和原始像平面的关系，得到原始相机系统的主点、焦距与新的相机系统的相机位置

的关系；

定义一个平面S₂，该平面包含点

假设

为O_η到到平面S₂的投影，x₀为直线

与原始像平面的交点，主点和焦距计算如下：

这里，主点和焦距的值的单位为像素；由于P3P算法最多有4组解，因此主点和焦距的值也有最多4组解；

步骤7、唯一解的确定

因为图像分辨率m×n已知，理想主点x_{0_ideal}为

根据理想主点，唯一解可通过下式得到

x'₀＝argmin(|x_0j-x_{0_ideal}|) (10)

上式的意义为x₀的所有4个解中，与理想主点最为接近的点即为标定的唯一主点，该唯一主点对应的焦距即为唯一焦距，对应的坐标系τ和η间的旋转平移关系为唯一的旋转平移，坐标系τ和η的旋转平移关系表达如下：

步骤8、外参数求解

根据原始相机坐标系S_c和新的世界坐标系τ的定义，坐标系τ可通过下式转换到坐标系S_c

S_c＝τ+T_{τ_c} (12)

其中，

解决坐标系S_c和S_w的转换关系，即外参数；4个坐标系S_w,η,τ,S_c，且(S_w,η)，(η,τ)，(τ,S_c)间的转换关系已知，根据这些坐标系间的转换关系，原始世界坐标系S_w可通过下式转换到原始相机坐标系S_c：

至此，完成相机内外参数的标定。

本发明的有益效果：

1、本发明提出的方法仅需利用3个标志点和已知的相机位置，即可求解得到相机的内外参数，包括相机的主点、焦距，世界坐标系与相机坐标系间的旋转矩阵、平移矩阵，且具有唯一解，没有多解问题。

2、本发明适用于可提前获取相机位置的应用场景，如固定的监控相机，靶场测量飞行器姿态的凝视相机等，具有需要标志点少，解唯一性，且不需要内参数已知等优点。

附图说明

图1是相机成像关系示意图；

图2是本发明将相机成像关系转换为传统P3P问题示意图；

图3是原始相机系统的主点、焦距与新的相机系统的相机位置的关系示意图；

图4是本发明四个坐标系间的转换关系示意图。

具体实施方式

本发明提出了一种基于相机位置内外参数标定方法，本发明只需布设3个标志点，测量相机和标志点位置，拍摄标志点图像，得到标志点在图像中的成像位置。在相机主点和焦距未知情况下，建立一个新的相机系统，将求解问题转换为一个传统的P3P问题，并通过P3P算法求解中间变量以及中间坐标系与原始坐标系的关系，最后根据中间变量和坐标系间的关系完成相机内外参数求解。与传统P3P算法相比，本发明不需要已知相机内参数，且不增加外标志点数量，适用于相机内参数未知、相机位置固定情形下的相机内外参数标定与视觉测量。

下面结合附图和具体实施例对本发明进行详细的解释和说明。

相机位置点O_C已知，3个外标志点X_i(i＝1,2,3)已知，x_i(i＝1,2,3)为外标志点在图像中的成像点，具体关系如图1所示。

传统P3P算法中，角度α、β、γ为利用相机的内参数和成像点位置计算得到。而本发明需要解决的问题中，内参数未知，因此角度α、β、γ无法在传统P3P算法中计算得到。

利用上述已知条件，本发明通过建立一个新的相机系统，将求解问题转换为一个传统的P3P问题，并通过P3P算法求解中间变量以及中间坐标系与原始坐标系的关系，最后根据中间变量和坐标系间的关系完成相机内外参数求解。原理如下。

将图1中的成像关系转换为一个传统的P3P问题，如图2所示。

O_c为相机位置，已知。根据图2，我们将转换过程和内外参数求解过程表述如下。

步骤1、建立新的世界坐标系及新的3个标志点

根据3个原始2D成像点x_i(u_i,v_i)建立一个新的世界坐标系τ以及该坐标系下3个新的3D标志点

位于射线O_cx_i上，且

这里d为像元大小；新的世界坐标系叫做

其中

为原始像平面像素坐标系的两条轴，O_τ在射线O_cI上，且O_cI/O_cO_τ＝d，其中I为原始像素坐标系的原点。然后，在新的世界坐标系下得到新的3D标志点为

步骤2、建立新的相机系统

将原始3D标志点X_i(i＝1,2,3)看做新的图像成像点

根据原始3D标志点，定义一个新的主点

以及一个新的相机坐标系

这里O_η和原始相机位置重合，并且

通过转换矩阵

在原始世界坐标系S_w下的原始3D标志点通过下式转换到新的相机坐标系η下：

定义一个新的相机系统，它的相机坐标系为η，像平面S为X_i(i＝1,2,3)组成的平面，新的主点

为O_η到像平面S的投影点X₀。

步骤3、新相机系统焦距计算

新的相机系统的焦距

步骤4、新相机系统成像点计算

新的相机系统中，像元大小为1m，因此，归一化的新的图像成像点

计算如下

步骤5、新的世界坐标系τ和新的相机坐标系η间的外参数计算

如此已经建立好了新的相机系统，且得到了3组2D-3D点的对应关系

因此转换为传统的P3P问题完成，通过P3P算法可以得到最多4组解(R_j,T_j)，根据P3P算法获取得到的解，新的世界坐标系τ下的标志点可以通过下式转换到新的相机坐标系η下：

根据3组新的2D-3D点的对应关系

根据坐标系η和τ的转换关系，新的相机系统的相机位置

可通过下式得到：

步骤6、相机内参数标定。根据新的世界坐标系τ和原始像平面的关系，我们可以得到原始相机系统的主点、焦距与新的相机系统的相机位置

的关系，如图3所示。

图3中，定义一个平面S₂，该平面包含点

假设

为O_η到到平面S₂的投影，x₀为直线

与原始像平面的交点，因为平面S₂与原始像平面平行，所以O_ηx₀垂直于原始像平面，由于原始相机系统的点O_c和新相机系统的点O_η重合，因此O_cx₀垂直于原始像平面，这意味着x₀为原始相机系统的主点，

为原始相机系统的焦距，因此，主点和焦距计算如下：

这里，主点和焦距的值的单位为像素；但是，由于P3P算法最多有4组解，因此主点和焦距的值也有最多4组解。

步骤7、唯一解的确定

因为图像分辨率m×n已知，理想主点x₀__ideal为

根据理想主点，唯一解可通过下式得到

x'₀＝argmin(|x_0j-x_{0_ideal}|) (10)

上式的意义为x₀的所有4个解中，与理想主点最为接近的点即为标定的唯一主点，该唯一主点对应的焦距即为唯一焦距，对应的坐标系τ和η间的旋转平移关系为唯一的旋转平移，坐标系τ和η的旋转平移关系表达如下：

步骤8、外参数求解。根据图3中原始相机坐标系S_c和新的世界坐标系τ的定义，坐标系τ可通过下式转换到坐标系S_c。

S_c＝τ+T_{τ_c} (12)

其中，

之后，将解决坐标系S_c和S_w的转换关系，即外参数。本发明中涉及4个坐标系S_w,η,τ,S_c，且(S_w,η)，(η,τ)，(τ,S_c)间的转换关系已经得到，具体关系如图4所示。

根据这些坐标系间的转换关系，原始世界坐标系S_w可通过下式转换到原始相机坐标系S_c。

至此，内外参数求解完成。

实施例1

采用仿真方法对本发明进行案例阐述。假设世界坐标系S_w与相机坐标系S_c平行，即外参数中的旋转矩阵理论值为

仿真时设置三个标志点为

X₁＝(-20 -10 200)

X₂＝(20 -10 200)

X₃＝(20 -5 200)

相机位置坐标为

O_c＝(0 0 0)

镜头焦距为50mm，分辨率1280×800，像元大小为14μm。根据小孔成像模型，得到成像后的像素坐标为

x₁＝(282.8571 221.4286)

x₂＝(997.1429 221.4286)

x₃＝(997.1429 310.7143)

根据本发明提出的内外参数标定方法，得到

焦距归一化后，新相机系统下的成像点坐标

由于对点的特征提取存在误差，采用亚像素提取方法，仿真时加入0.5个像素的随机误差；且由于测绘误差的存在，仿真时加入了0.02m的测绘随机误差。根据本发明提出的方法计算得到焦距f_m＝50.2mm，焦距相对误差为0.4％；计算得到主点坐标为(u₀ v₀)＝(640.06 399.71)，相对误差分别为0.01％及0.07％；计算得到旋转平移矩阵为

为对旋转和平移矩阵这一外参数误差进行评价，建立标志点重投影误差，并对其进行分析。采用计算得到的外参数对三个标志点进行重投影，并与实际成像位置进行比较，得到重投影误差均低于0.5个像素，可以判定外参数标定结果好。

Claims (1)

1.一种基于已知相机位置内外参数标定方法，其特征在于，包括如下步骤：

步骤1、建立新的世界坐标系及新的3个标志点

根据3个原始2D成像点x_i(u_i,v_i)建立一个新的世界坐标系τ以及该坐标系下3个新的3D标志点

位于射线O_cx_i上，且

这里d为像元大小；新的世界坐标系叫做

其中

为原始像平面像素坐标系的两条轴，O_τ在射线O_cI上，且O_cI/O_cO_τ＝d，其中I为原始像素坐标系的原点；则新的世界坐标系下得到新的3D标志点为

步骤2、建立新的相机系统

将原始3D标志点X_i(i＝1,2,3)视为新的图像成像点

根据原始3D标志点，定义一个新的主点

以及一个新的相机坐标系

这里O_η和原始相机位置重合，并且

通过转换矩阵

在原始世界坐标系S_w下的原始3D标志点通过下式转换到新的相机坐标系η下：

定义一个新的相机系统，它的相机坐标系为η，像平面S为X_i(i＝1,2,3)组成的平面，新的主点

为O_η到像平面S的投影点X₀；

步骤3、计算新相机系统的焦距

步骤4、计算新相机系统的成像点

新的相机系统中，像元大小为1m，归一化的新的图像成像点

计算如下

步骤5、计算新的世界坐标系τ和新的相机坐标系η间的外参数

根据3组新的2D-3D点的对应关系

通过P3P算法可以得到最多4组解(R_j,T_j)，新的世界坐标系τ下的标志点可以通过下式转换到新的相机坐标系η下：

根据坐标系η和τ的转换关系，新的相机系统的相机位置

可通过下式得到：

步骤6、相机内参数标定

根据新的世界坐标系τ和原始像平面的关系，得到原始相机系统的主点、焦距与新的相机系统的相机位置

的关系；

定义一个平面S₂，该平面包含点

假设

为O_η到到平面S₂的投影，x₀为直线

与原始像平面的交点，主点和焦距计算如下：

这里，主点和焦距的值的单位为像素；由于P3P算法最多有4组解，因此主点和焦距的值也有最多4组解；

步骤7、唯一解的确定

因为图像分辨率m×n已知，理想主点x_{0_ideal}为

根据理想主点，唯一解可通过下式得到

x'₀＝argmin(|x_0j-x_{0_ideal}|) (10)

上式的意义为x₀的所有4个解中，与理想主点最为接近的点即为标定的唯一主点，该唯一主点对应的焦距即为唯一焦距，对应的坐标系τ和η间的旋转平移关系为唯一的旋转平移，坐标系τ和η的旋转平移关系表达如下：

步骤8、外参数求解

根据原始相机坐标系S_c和新的世界坐标系τ的定义，坐标系τ可通过下式转换到坐标系S_c

S_c＝τ+T_{τ_c} (12)

其中，

解决坐标系S_c和S_w的转换关系，即外参数；4个坐标系S_w,η,τ,S_c，且(S_w,η)，(η,τ)，(τ,S_c)间的转换关系已知，根据这些坐标系间的转换关系，原始世界坐标系S_w可通过下式转换到原始相机坐标系S_c：

至此，完成相机内外参数的标定。

Images