CN107063190B - 面向定标面阵相机影像的位姿高精度直接估计方法 - Google Patents

Abstract

本发明提出一种面向定标面阵相机影像的位姿高精度直接估计方法，属于计算机视觉及摄影测量技术领域，本发明选择凸包点中三角形面积最大的三个像点对应的物方点作为基点组，获得影像深度和平移向量，再将影像位姿估计转化为由向量求旋转矩阵问题，采用Procrustes方法完成旋转矩阵的高精度估计；本发明在方法复杂程度(直接估计)和解算精度上相比当前主流方法有很大的改进，当前正值我国在航空航天、地理空间信息技术取得快速发展的新阶段，将本发明方法应用到航空(含低空)遥感测绘或航天遥感器空间定位测姿领域都有很好的发展前景，将有力提升本领域姿态估计技术的核心竞争力，理论价值大且经济效益可观。

Description

面向定标面阵相机影像的位姿高精度直接估计方法

技术领域

本发明属于计算机视觉及摄影测量技术领域，具体涉及一种面向定标面阵相机影像的位姿高精度直接估计方法。

背景技术

影像位姿估计是计算机视觉及摄影测量学研究领域中的重要方向，贯穿整个航空航天测绘整个学科，研究精度高、速度快的影像位姿估计方法具有十分重要的价值。姿态估计常常采用迭代解法和直接解法两种方法。迭代解法在摄影测量领域有广泛应用，其解算精度高、具有很好的几何意义，解算的结果准确度比较均匀，是一种严密的方法，但其缺点是运算量大，并且需要位姿初值。在没有初值的情况下，直接解法可以直接求解位姿参数，主要指直接线性变换(DLT)法，它是建立像点坐标和同名物方点坐标之间直接线性关系，并采用最小二乘方法获得最小代数误差解，由于不需要外方位元素的初始近似值，如近景非量测数码影像或无人机影像处理，具有解算速度快等优点，但同时具有解算精度不高并且参数没有明确几何意义的缺点，该方法作为迭代方法姿态初始值，在计算机视觉领域有较多的应用。因此，学者开始研究对传统方法进行改进，武汉大学学报公开的利用二维DLT及光束法平差进行数字摄像机标定技术将二维DLT初值经解析后得到标定参数初值，再利用光束法平差予以精化，取得了很好的效果。计算机视觉领域对于相机姿态估计的文献也比较多，FIORE和LEPETIT提出的两种有效的线性解算姿态的方法，其中LEPETIT提出的EPnP算法得到了较高的评价，并在后期全景图像姿态估计上获得不断改进，这些算法基于复杂的高等代数理论，对研究者基础要求高，导致技术不易开发；另外，还有学者将影像位姿参数求解转化为立体几何边角关系，此算法实现也较为复杂且有一定适用范围。

发明内容

针对现有技术的不足，本发明提出了一种面向定标面阵相机影像的位姿高精度直接估计方法，以达到提高姿态参数估计精度目的。

一种面向定标面阵相机影像的位姿高精度直接估计方法，包括以下步骤：

步骤1、测定一组高等级物方点坐标，采用定标相机获取含有上述物方点的影像；

步骤2、选择影像数据中物方点对应的凸包像点参与影像位姿估计；

步骤3、采用坐标量测仪获得影像中物方点对应的像点坐标；

步骤4、在步骤2中选择凸包点中三角形面积最大的三个像点对应的物方点作为基点组，获得影像深度和平移向量；

步骤5、在步骤4的基础上，将影像位姿估计转化为由向量求旋转矩阵问题，采用Procrustes方法完成旋转矩阵的高精度估计；

步骤6、根据估计获得的旋转矩阵和平移向量获得影像外方位线元素，根据估计获得的旋转矩阵获得影像外方位角元素；

步骤7、完成影像的位姿估计。

步骤4所述的在步骤2选择的凸包点中三角形面积最大的三个像点所对应的物方点作为基点组，获得影像深度和平移向量，具体步骤如下：

步骤4-1、根据物方点和像点之间的解析关系，转换为矩阵形式；

所述的物方点和像点之间的关系，具体公式如下：

其中，X表示物方点在物方空间坐标系X坐标，Y表示物方点在物方空间坐标系Y坐标，Z表示物方点在物方空间坐标系Z坐标，X_s表示相机位置在物方空间坐标系X坐标，Y_s表示相机位置在物方空间坐标系Y坐标，Z_s表示相机位置在物方空间坐标系Z坐标，a₁、a₂、a₃、b₁、b₂、b₃、c₁、c₂和c₃表示姿态角ω，κ构成的旋转矩阵元素；

将公式(1)转换为矩阵形式；

λ_ix_i＝KR^T(X_i-X_s) (2)

其中，λ_i表示物方点在像空间辅助坐标系下深度，i表示像点编号，R表示像空间辅助坐标系到物空间坐标系的旋转矩阵，K＝diag(-f，-f，1)，f表示相机主距；x_i＝[x_i ^T，1]^T表示像点x_i的齐次坐标，x_i为像点的欧氏坐标；X_i为同名物方点的物空间坐标；

将像点坐标进行规范化处理，得到的公式(1)的改化形式；

具体公式如下：

其中，为像点坐标规范化形式；

步骤4-2、选择凸包点中三角形面积最大的三个像点所对应的物方点作为基点组，构建其他物方点与基点组间的比例系数向量；

所述的比例系数向量为：

其中，表示比例系数向量第一分量，表示比例系数向量第二分量，表示比例系数向量第三分量；X₁表示基点组中第一个点坐标，X₂表示基点组中第二个点坐标，X₃表示基点组中第三个点坐标，X_j表示除基点组外其他物方点坐标，j＝4，5，....N，N表示所有凸包点个数；

将比例系数代入公式(3)中进行转化获得如下公式：

其中，λ_j表示第j个物方点在像空间辅助坐标系下深度，表示第j个像点的规范化坐标，T＝R^TX_s表示平移向量；

步骤4-3、将转化后的关系式两端同时乘以一个反对称矩阵，整理获得齐次方程组，并求解获得齐次方程组的通解；

其中，为反对称矩阵；

求解获得齐次方程组的通解；

其中，α＞0为标量，表示第i个物方点在像空间辅助坐标系下深度估值，T^*表示相机平移向量估计值；

步骤4-4、将齐次方程通解代入改化后的共线方程中，并根据旋转矩阵的保范数特性获得标量的估值；

其中，α^*表示标量α的估计值。

步骤5所述的在步骤4的基础上，将位姿估计转化为由向量求旋转矩阵，采用Procrustes方法完成旋转矩阵的高精度估计，具体步骤如下：

步骤5-1、根据标量的估值和通解，利用改化后的共线方程进行转化，转化为对旋转矩阵的估计处理；

转化获得具体公式如下：

V₁＝R^TV₀ (9)

其中，V₁＝X_i，α^*表示标量α的估计值，λ_i表示物方点在像空间辅助坐标系下深度，K＝diag(-f，-f，1)，f表示相机主距；x_i＝[x_i ^T，1]^T表示像点x_i的齐次坐标，T^*表示相机平移向量估计值，R表示像空间辅助坐标系到物空间坐标系的旋转矩阵，X_i为同名物方点的物空间坐标；

步骤5-2、采用Procrustes方法获得三维相似变换模型，获得旋转矩阵的估计值。

步骤6所述的根据估计获得的旋转矩阵和平移向量获得影像外方位线元素，根据估计获得的旋转矩阵获得影像外方位角元素，具体步骤如下：

步骤6-1、根据估计获得的旋转矩阵和相机平移向量获得影像外方位线元素；

具体公式如下：

X_s＝R^*T^* (10)

其中，X_s表示相机位置在物方坐标系下坐标，R^*表示旋转矩阵的估计值，T^*表示相机平移向量估计值；

步骤6-2、根据估计获得的旋转矩阵获得影像外方位角元素；

具体公式如下：

其中，ω、κ表示影像外方位角元素。

本发明优点：

本发明提出一种面向定标面阵相机影像的位姿高精度直接估计方法，实验结果表明，通过该方法得到的姿态参数精度较改进的投影矩阵分解方法要高；本发明在方法复杂程度(直接估计)和解算精度上相比当前主流方法有很大的改进，当前正值我国在航空航天、地理空间信息技术取得快速发展的新阶段，将本发明方法应用到航空(含低空)遥感测绘或航天遥感器空间定位测姿领域都有很好的发展前景，将有力提升本领域姿态估计技术的核心竞争力，理论价值大且经济效益可观。

附图说明

图1为本发明一种实施例的面向定标面阵相机影像的位姿高精度直接估计方法流程图；

图2为本发明一种实施例的7幅图像位姿及物方点分布情况示意图；

图3为本发明一种实施例的影像基点组选择示意图。

具体实施方式

下面结合附图对本发明一种实施例做进一步说明。

本发明实施例中，一种面向定标面阵相机影像的位姿高精度直接估计方法，方法流程图如图1所示，包括以下步骤：

步骤1、测定一组高等级物方点坐标，采用定标相机获取含有上述物方点的影像；

步骤2、选择影像数据中物方点对应的凸包像点参与影像位姿估计；

本发明实施例中，选用7幅图像数据，如图2所示；选择每张实验影像数据中所有像点中的凸包点参与估计，每张像片参与估计的同名点数点见表1，已知像点坐标、物方点坐标，外方位元素(外参数)数据列于表2；

表1参与位姿估计的点数

Tab.1 number of image points for pose estimation

表2原始外方位元素(外参数)

Tab.2 original external parameters

步骤3、采用坐标量测仪获得影像中物方点对应的像点坐标(x_i，y_i)；

步骤4、在步骤2中选择凸包点中三角形面积最大的三个像点对应的物方点作为基点组，获得影像深度和平移向量；

具体步骤如下：

步骤4-1、根据物方点和像点之间的解析关系，转换为矩阵形式；

在摄影测量学研究中，采用欧几里得坐标表达物方点和像点之间的关系，并且相关参数具有具体的物理意义，在相机经过检校(定标)并忽略影像畸变的情况下共线条件方程为：

其中，(x，y)为像点量测坐标；X表示物方点在物方空间坐标系X坐标，Y表示物方点在物方空间坐标系Y坐标，Z表示物方点在物方空间坐标系Z坐标，X_s表示相机位置在物方空间坐标系X坐标，Y_s表示相机位置在物方空间坐标系Y坐标，Z_s表示相机位置在物方空间坐标系Z坐标，a₁、a₂、a₃、b₁、b₂、b₃、c₁、c₂和c₃表示姿态角ω，κ构成的旋转矩阵元素；

将公式(1)转换为矩阵形式；

λ_ix_i＝KR^T(X_i-X_s) (2)

其中，λ_i表示物方点在像空间辅助坐标系下深度，i表示像点编号，R表示像空间辅助坐标系到物空间坐标系的旋转矩阵，K＝diag(-f，-f，1)，f表示相机主距；x_i＝[x_i ^T，1]^T表示像点x_i的齐次坐标，x_i为像点的欧氏坐标；X_i为同名物方点的物空间坐标；

将像点坐标进行规范化处理，得到的公式(1)的改化形式；

具体公式如下：

其中，为像点坐标规范化形式；由公式(3)可知余下的工作就是利用几组和对应的X_i来准确估计R和X_s；

步骤4-2、选择凸包点中三角形面积最大的三个像点所对应的物方点作为基点组，构建其他物方点与基点组间的比例系数向量；

本发明实施例中，为求得各个待定参数，首先选择基点组，即选择分布合理、质量可靠的三个物方点作为基点，所有物方点坐标向量均可由基点坐标向量进行表达；由于参数估计的质量受到基点选择的直接影响，因此，在所有参与姿态估计的像点所构成的凸包中，选择三点构成面积最大的一组像点对应的物方点作为基点。如图3所示，其中×为所有的像点，1线为像点的凸包络线，由其节点参与姿态估计，而2线端点为选取面积最大的一组基点；

本发明实施例中，{X₁，X₂，X₃}为选择的基点组，由于基点不共线，则行列式|X₁，X₂，X₃|≠0；构建比例系数向量为：

其中，表示比例系数向量第一分量，表示比例系数向量第二分量，表示比例系数向量第三分量；X₁表示基点组中第一个点坐标，X₂表示基点组中第二个点坐标，X₃表示基点组中第三个点坐标，X_j表示除基点组外其他物方点坐标，j＝4，5，....N，N表示所有凸包点个数；

将比例系数代入公式(3)中进行转化获得如下公式：

其中，λ_j表示第j个物方点在像空间辅助坐标系下深度，表示第j个像点的规范化坐标，T＝R^TX_s表示平移向量；

步骤4-3、将转化后的关系式两端同时乘以一个反对称矩阵整理获得关于参数(λ₁，λ₂，λ₃，T^T)^T的齐次方程组，并求解获得齐次方程组的通解；

求解获得齐次方程组的通解；

其中，α＞0为标量，表示第i个物方点在像空间辅助坐标系下深度估值，T^*表示相机平移向量估计值；i＝1，2，3；

将式(7)代入到式(3)中，得到：

步骤4-4、将齐次方程通解代入改化后的共线方程中，并根据旋转矩阵的保范数特性获得标量的估值；

其中，α^*表示标量α的估计值；

步骤5、在步骤4的基础上，将位姿估计转化为由向量求旋转矩阵问题，采用Procrustes方法完成旋转矩阵的高精度估计；

具体步骤如下：

步骤5-1、根据标量的估值和通解，利用改化后的共线方程进行转化，转化为对旋转矩阵的估计处理；

转化获得具体公式如下：

V₁＝R^TV₀ (9)

其中，V₁＝X_i，α^*表示标量α的估计值，λ_i表示物方点在像空间辅助坐标系下深度，K＝diag(-f，-f，1)，f表示相机主距；x_i＝[x_i ^T，1]^T表示像点x_i的齐次坐标，T^*表示相机平移向量估计值，R表示像空间辅助坐标系到物空间坐标系的旋转矩阵，X_i为同名物方点的物空间坐标；

步骤5-2、采用Procrustes方法获得三维相似变换模型，获得旋转矩阵的估计值；

具体步骤如下：

步骤5-2-1、计算幂等矩阵C；

其中，I为单位阵，1为元素为1的列向量；

步骤5-2-2、奇异值分解M；

M＝V₁ ^TC^TCV₂＝UDV^T (14)

其中，D为单位阵，U和V为正交向量；

步骤5-2-3、构建旋转矩阵R；

R^*＝UV^T (15)

其中，R^*为R的估值；

步骤6、根据估计获得的旋转矩阵和平移向量获得影像外方位线元素(Xs，Ys，Zs)，根据估计获得的旋转矩阵获得影像外方位角元素

具体步骤如下：

步骤6-1、根据估计获得的旋转矩阵和相机平移向量获得影像外方位线元素；

具体公式如下：

X_s＝R^*T^* (10)

其中，X_s表示相机位置在物方坐标系下坐标，R^*表示旋转矩阵的估计值，T^*表示相机平移向量估计值；

步骤6-2、根据估计获得的旋转矩阵获得影像外方位角元素；

具体公式如下：

其中，ω、κ表示影像外方位角元素；

本发明实施例中，在估计过程中，影像位姿参数间的相关性以及控制点的不合理分布(如共线共面或原点设置等)，直接影响解的精度和稳定性，针对该情况本文采用物方坐标归一化预处理，即X_i＝WX_i，W为相似变换矩阵；

步骤7、完成影像的位姿估计。

实验结果与已知影像位姿数据比较后，绝对误差分别见表3、4。

表3外方位元素(外参数)估计结果

Tab.3 Estimation results of external parameters

表4外方位元素(外参数)绝对误差

Tab.4 Absolute error of extemal parameters

表5奇异值分解方法外方位元素(外参数)绝对误差

Tab.5 Absolute error of external parameters with SVD

本发明实施例中，从表4对比来看，本发明方法最后得到的影像位置绝对误差最大值为0.983m，基本在0.5m内；影像姿态绝对误差最大值为2.868°，其余均在较小范围内，质量较好；相比改进的投影矩阵分解方法，本发明方法在影像姿态估计的精度上有了明显提高，结果见表5；如果以此结果作为初值，进一步通过迭代精化，影像位姿参数精度会进一步提高。

Claims (4)

1.一种面向定标面阵相机影像的位姿高精度直接估计方法，其特征在于，包括以下步骤：

步骤1、测定一组高等级物方点坐标，采用定标相机获取含有上述物方点的影像；

步骤2、选择影像数据中物方点对应的凸包像点参与影像位姿估计；

步骤3、采用坐标量测仪获得影像中物方点对应的像点坐标；

步骤4、在步骤2中选择凸包点中三角形面积最大的三个像点对应的物方点作为基点组，获得影像深度和平移向量；

步骤5、在步骤4的基础上，将影像位姿估计转化为由向量求旋转矩阵问题，采用Procrustes方法完成旋转矩阵的高精度估计；

步骤6、根据估计获得的旋转矩阵和平移向量获得影像外方位线元素，根据估计获得的旋转矩阵获得影像外方位角元素；

步骤7、完成影像的位姿估计。

2.根据权利要求1所述的面向定标面阵相机影像的位姿高精度直接估计方法，其特征在于，步骤4所述的在步骤2选择的凸包点中三角形面积最大的三个像点所对应的物方点作为基点组，获得影像深度和平移向量，具体步骤如下：

步骤4-1、根据物方点和像点之间的解析关系，转换为矩阵形式；

所述的物方点和像点之间的关系，具体公式如下：

其中，X表示物方点在物方空间坐标系X坐标，Y表示物方点在物方空间坐标系Y坐标，Z表示物方点在物方空间坐标系Z坐标，X_s表示相机位置在物方空间坐标系X坐标，Y_s表示相机位置在物方空间坐标系Y坐标，Z_s表示相机位置在物方空间坐标系Z坐标，a₁、a₂、a₃、b₁、b₂、b₃、c₁、c₂和c₃表示姿态角ω，κ构成的旋转矩阵元素；

将公式(1)转换为矩阵形式；

λ_ix_i＝KR^T(X_i-X_s) (2)

其中，λ_i表示物方点在像空间辅助坐标系下深度，i表示像点编号，R表示像空间辅助坐标系到物空间坐标系的旋转矩阵，K＝diag(-f，-f，1)，f表示相机主距；x_i＝[x_i ^T，1]^T表示像点x_i的齐次坐标，x_i为像点的欧氏坐标；X_i为同名物方点的物空间坐标；

将像点坐标进行规范化处理，得到的公式(1)的改化形式；

具体公式如下：

其中，为像点坐标规范化形式；

步骤4-2、选择凸包点中三角形面积最大的三个像点所对应的物方点作为基点组，构建其他物方点与基点组间的比例系数向量；

所述的比例系数向量为：

其中，表示比例系数向量第一分量，表示比例系数向量第二分量，表示比例系数向量第三分量；X₁表示基点组中第一个点坐标，X₂表示基点组中第二个点坐标，X₃表示基点组中第三个点坐标，X_j表示除基点组外其他物方点坐标，j＝4，5，....N，N表示所有凸包点个数；

将比例系数代入公式(3)中进行转化获得如下公式：

其中，λ_j表示第j个物方点在像空间辅助坐标系下深度，表示第j个像点的规范化坐标，T＝R^TX_s表示平移向量；

步骤4-3、将转化后的关系式两端同时乘以一个反对称矩阵，整理获得齐次方程组，并求解获得齐次方程组的通解；

其中，为反对称矩阵；

求解获得齐次方程组的通解；

其中，α＞0为标量，表示第i个物方点在像空间辅助坐标系下深度估值，T^*表示相机平移向量估计值；

步骤4-4、将齐次方程通解代入改化后的共线方程中，并根据旋转矩阵的保范数特性获得标量的估值；

其中，α^*表示标量α的估计值。

3.根据权利要求1所述的面向定标面阵相机影像的位姿高精度直接估计方法，其特征在于，步骤5所述的在步骤4的基础上，将影像位姿估计转化为由向量求旋转矩阵，采用Procrustes方法完成旋转矩阵的高精度估计，具体步骤如下：

步骤5-1、根据标量的估值和通解，利用改化后的共线方程进行转化，转化为对旋转矩阵的估计处理；

转化获得具体公式如下：

V₁＝R^TV₀ (9)

其中，V₁＝X_i，α^*表示标量α的估计值，λ_i表示物方点在像空间辅助坐标系下深度，K＝diag(-f，-f，1)，f表示相机主距；x_i＝[x_i ^T，1]^T表示像点x_i的齐次坐标，T^*表示相机平移向量估计值，R表示像空间辅助坐标系到物空间坐标系的旋转矩阵，X_i为同名物方点的物空间坐标；

步骤5-2、采用Procrustes方法获得三维相似变换模型，获得旋转矩阵的估计值。

4.根据权利要求1所述的面向定标面阵相机影像的位姿高精度直接估计方法，其特征在于，步骤6所述的根据估计获得的旋转矩阵和平移向量获得影像外方位线元素，根据估计获得的旋转矩阵获得影像外方位角元素，具体步骤如下：

步骤6-1、根据估计获得的旋转矩阵和相机平移向量获得影像外方位线元素；

具体公式如下：

X_s＝R^*T^* (10)

其中，X_s表示相机位置在物方坐标系下坐标，R^*表示旋转矩阵的估计值，T^*表示相机平移向量估计值；

步骤6-2、根据估计获得的旋转矩阵获得影像外方位角元素；

具体公式如下：

其中，ω、κ表示影像外方位角元素。