CN109949357B - 一种立体影像对相对姿态恢复方法 - Google Patents

Abstract

本发明属于计算机视觉领域，涉及一种立体影像对相对姿态恢复方法。本发明使用立体影像对中全部对应点通过极线约束构建方程组并求解本质矩阵；选取最优的本质矩阵；检测并剔除粗差，并依据粗差检测结果判断是否进行迭代，当无法检测到新的粗差时结束迭代，分解当前选取的本质矩阵恢复立体影像对的相对姿态。本发明在保证精度的同时，避免了RANSAC随机抽样问题，提高了计算速度，能够节约系统资源，提高实时性。

Description

一种立体影像对相对姿态恢复方法

技术领域

本发明属于计算机视觉领域，尤其涉及一种立体影像对相对姿态恢复方法。

背景技术

立体影像对相对姿态恢复是摄影测量和计算机视觉的基本问题。在摄影测量和计算机视觉中，广泛应用于三维场景重建、运动匹配、智能机器人自主导航控制、摄影测量的几何定位、车载移动测量、低空无人机测量等方面。

通过求解并分解本质矩阵来恢复立体影像对相对姿态，是计算机视觉中的常用方法。本质矩阵由旋转矩阵和平移矢量决定，可利用对应点的归一化坐标直接计算。传统的直接求解本质矩阵的方法通常与RANSAC(随机取样一致)机制相结合。RANSAC通过迭代方式估计数学模型的参数，其从数据中选取随机子集，假设选取的子集是正确的并估计数学模型的参数，最后用其他点进行验证。传统方法中，每次迭代从对应点中进行随机取样，使用样本点结合本质矩阵的定义和性质列出多项式方程，并通过求解多项式方程直接计算本质矩阵。根据对应点的数量将进行多次迭代，最后从多次迭代的结果中选出最优解。

由于RANSAC是一种不确定的算法，为了提高得出合理结果的概率必须提高迭代次数。因此，在对应点数目较多时，传统的方法通常需要进行大量的迭代，这导致计算量过大，存在耗时较长的问题。而且，在随机取样时样本点是随机分布的，难以保证样本点均匀分布在影像上，从而对计算精度产生影响。

发明内容

本发明针对现有技术的不足，提出一种新的立体影像对相对姿态恢复方法。本发明利用立体像对中全部对应点直接计算本质矩阵，并依据求得的本质矩阵在迭代中剔除粗差，最后将求得的本质矩阵分解，得到立体影像对的相对姿态。本发明在计算流程区别于传统方法，避免了RANSAC随机取样问题，减少了求解本质矩阵的迭代次数，从而提高了计算速度，同时避免了取样时样本点随机分布的问题。本发明能在保证精度的同时，较快的实现立体影像对相对姿态恢复。

为了达到上述目的，本发明提供的技术方案提供一种立体影像对相对姿态恢复方法，包括如下步骤：

步骤1，使用立体影像对中全部对应点通过极线约束构建方程组并求解本质矩阵；

步骤2，从步骤1的结果中选取最优的本质矩阵；

步骤3，利用步骤2选取的本质矩阵检测并剔除粗差，并依据粗差检测结果判断是否返回步骤1进行迭代，当无法检测到新的粗差时结束迭代进入步骤4；

步骤4，分解当前选取的本质矩阵恢复立体影像对的相对姿态。

而且，所述步骤1中，使用立体影像对中全部对应点通过极线约束构建方程组并求解本质矩阵的实现方式如下，

将全部对应点代入极线约束中，构建方程组，极线约束如(1)所示：

其中，

和

和是三维的列向量，表示立体影像对中左影像和右影像对应点的相机坐标，E为本质矩阵；

求解方程组，得到一个由四个通解构成的基础解系；将求得的四个通解代入本质矩阵的性质中，构建新的方程，所使用的本质矩阵性质如(2)(3)所示；对新的方程进行高斯消元，并通过

基求解；将求得的实数解代入基础解系，得到本质矩阵；

det(E)＝0 (2)

2EE^TE-trance(EE^T)E＝0 (3)。

而且，所述步骤2中，从步骤1的结果中选取最优本质矩阵的实现方式如下，

将步骤1求得的本质矩阵E转化为基本矩阵F，并为所有对应点计算对称对极点距离，其中对称对极点距离的计算方式如下：

其中，D为对称对极点距离；x和x′是三维的列向量，表示对应点的齐次化影像坐标；

给定阈值distance,分别统计每个本质矩阵对应的对称对极点距离中小于阈值的个数；记为num；并利用distance和对称对极点距离为每个本质矩阵计算得分，记为score；其中得分的计算方式如下：

D_i为第i对对应点对应的对称对极点距离；

比较num的大小，对应num值最大的本质矩阵为最优本质矩阵，若num值相同，则比较对应score的大小，对应score值最小的本质矩阵为最优本质矩阵。

而且，所述步骤3中，利用本质矩阵检测并剔除粗差，并依据粗差检测结果判断是否进行迭代的实现方式如下，

将步骤2中得到的本质矩阵代入极线约束中，可求得残差；计算残差的平均数和中误差，如残差满足如条件(6)，则该残差对应的对应点将被视为粗差，并且将这对对应点从数据中剔除；

|r_i-mean|＞nσ (6)

其中，r_i为第i对对应点对应的残差,mean为残差的平均值，σ为残差的中误差，n为预设的标量；

如果没有检测到新的粗差，则进入步骤4；如果检测到了新的粗差，则使用剔除过粗差的对应点，从步骤1开始进行迭代。

以上一种立体影像对相对姿态恢复方法可用于摄影测量。

和现有技术相比，本发明是利用立体像对中所有对应点进行立体影像对相对姿态恢复的方法，避免了RANSAC随机抽样问题，能在保证立体影像对相对姿态恢复精度的同时，快速的实现立体影像对相对姿态恢复，从而满足部分摄影测量及其他应用中对计算速度的要求，节约系统资源，提高实时性，支持摄影测量等设备的优化设计制造，具有重要的市场价值。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的极线几何示意图。

图3为本发明实施例的本质矩阵分解的4个可能解的几何解释示意图，其中图3a为正确解示意图，图3b为基线倒置示意图，图3c为P₂绕基线旋转了180度示意图，图3d为基线倒置的同时P₂绕基线旋转了180度示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

本发明提供一种立体影像对相对姿态恢复方法。首先使用像对中所有的对应点来构建方程，并结合本质矩阵的性质直接计算本质矩阵，然后依据求得的本质矩阵剔除对应点中的粗差，并将求解本质矩阵和剔除粗差的步骤重复多次，直到无法检测到新的粗差为止，最后将求得的本质矩阵分解，得到立体影像对的相对姿态。

如图1所示，本发明实施例的流程包括以下步骤：

设立体影像中存在N对对应点，其影像坐标是已知的，以齐次坐标表达，为(x_img，y_img，1)；左右影像的摄像机经过标定，其中标定矩阵是已知的，用K₁和K₂表示。以上是本发明所需的计算数据。

步骤1，使用立体影像对中全部对应点通过极线约束构建方程组并求解本质矩阵。

第一次执行步骤1时使用初始的N对对应点，后续迭代执行步骤1时采用上一次提出粗差后的当前全部对应点。

首先，通过将左右影像中对应点的影像坐标(x_img，y_img，1)转化为相机坐标(x_cam，y_cam，f)，其中f表示影像对应相机的焦距。方法为：将以齐次坐标表达影像坐标分别乘以

和

和

为标定矩阵K₁和K₂的逆矩阵。再进行归一化，将相机坐标由(x_cam，y_cam，f)转化为

并使用所有对应点通过极线约束构建方程组。极线几何如图2所示，有左影像相机坐标系xyz，右影像相机坐标系x′y′z′，物体

在左右影像中的对应点分别为像点p和像点p′，其齐次化影像坐标在下文中用x和x′表示，相机坐标在下文中用

和

表示。

极线约束如公式(1)所示：

和

是三维的列向量，表示立体影像对中左影像和右影像对应点的相机坐标，E为本质矩阵，本发明中上标T都表示向量或矩阵的转置。用矩阵A表示该方程组的系数，则A为N×9的矩阵。本质矩阵的9个元素之间存在相关性，其自由度为5，因此该方程组的未知数之间存在相关性，A矩阵的列向量是线性相关的，其列秩为5。故该方程组的秩为5，其解为由四个通解构成的基础解系。在实际应用中由于存在误差，因此需要使用奇异值分解求该方程组的最小二乘解。对A进行奇异值分解，得到

其中U_A、D_A、V_A为奇异值分解得到的三个矩阵，V_A中对应最小的四个特征值的列即为方程组的四个通解，则本质矩阵可以表示为：

E＝aE₁+bE₂+cE₃+dE₄ (7)

a,b,c,d是四个标量。它们拥有一个比例因子，因此可令d＝1，则剩余3个标量a,b,c为未知数。

本质矩阵具有如公式(2)(3)所示的性质：

det(E)＝0 (2)

2EE^TE-trace(EE^T)E＝0 (3)

其中，det()函数是求矩阵的行列式、trace()函数是求矩阵的迹。

将公式(7)代入公式(2)(3)中，可以得到有10个方程的方程组，这些方程次数为3，项数为20，可以表示为：

MX＝0 (8)

M是一个10×20的矩阵。X是一个单项式向量，其可表示为：

X＝[a³,a²b,a²c,ab²,abc,ac²,b³,b²c,bc²,c³,a²,ab,ac,b²,bc,c²,a,b,c,1] (9)

对该方程进行高斯消元，转换为：

[I B]X＝0 (10)

其中I为10×10的单位矩阵，B为10×10的矩阵。

通过计算

基，实现从B矩阵中选取适当的项，从而构建新的矩阵，并记为A_action，方程(10)的10组解可从A_action矩阵特征向量中获得。A_action矩阵的构建方法为：A_action矩阵的前六行为B矩阵的1,2,3,5,6,8行,在(7,1),(8,2),(9,4),(10,7)处的项为-1,其它项为0。将求得的实数解代入公式(7)的基础解系，即可得到本质矩阵，该步骤最多可得到十个解。

步骤2，从步骤1的结果中选取最优的本质矩阵。其实现过程如下：

本质矩阵和基本矩阵间的关系为：

其中

为标定矩阵K₁的逆矩阵，

为标定矩阵K₂的逆矩阵的转置，E为本质矩阵，F为基本矩阵。

通过公式(11)将步骤1求得的本质矩阵E转化为基本矩阵F，并通过公式(12)计算对称对极点距离。

其中D为对称对极点距离，x和x′是三维的列向量，表示对应点的齐次化影像坐标，d(x,F^Tx′)²表示点x到极线F^Tx′的距离，d(x′,Fx)²表示点x′到极线Fx的距离。极线Fx由基本矩阵F和点x相乘求得，极限FTx′由基本矩阵F的转置矩阵和点x′相乘求得。预先设定相应阈值，记为distance，在本发明实施例中distance取值为4，分别统计每个本质矩阵对应的对称对极点距离中小于阈值的个数。记为num。并利用distance和对称对极点距离为每个本质矩阵计算得分，记为score。得分通过对数似然函数计算，计算方法如公式(13)所示：

D_i为第i对对应点对应的对称对极点距离。

比较num的大小，对应num值最大的本质矩阵为最优本质矩阵，若num值相同，则比较对应score的大小，对应score值最小的本质矩阵为最优本质矩阵。

步骤3，利用步骤2选取的本质矩阵检测并剔除粗差，并依据粗差检测结果判断是否返回步骤1进行迭代，当无法检测到新的粗差时结束迭代进入步骤4。

将步骤2选择得到的本质矩阵代入公式(1)中，可求得残差。计算残差的平均数和中误差，如残差满足如条件(6)，则该残差对应的对应点将被视为粗差，同时从数据中剔除这对对应点。

|r_i-mean|＞nσ (6)

其中，r_i为第i对对应点对应的残差，mean为残差的平均值，σ为残差的中误差，n为预设的标量，在本发明实施例中n的值被设定为3。

如果没有检测到新的粗差，则确定本次迭代执行步骤2选择得到的本质矩阵为最终的本质矩阵，进入步骤4；如果检测到了新的粗差，则使用剔除过粗差的对应点，从步骤1开始，依次重复执行上述步骤。

步骤4，通过分解当前选取的本质矩阵恢复立体影像对的相对姿态。

本质矩阵的定义为E＝[t]_×R，其中t为平移矢量，R为旋转矩阵，[t]_×表示如下的斜对称矩阵：

其中t₁，t₂，t₃为平移矢量t中的三个元素。

通过分解本质矩阵，得到t和R，即可恢复立体影像对的相对姿态。分解过程如下：

对本质矩阵进行特征值分解，其结果为

其中U_E、diag(1,1,0)、V_E为奇异值分解得到的三个矩阵，diag(1,1,0)表示对角线元素为1、1、0的对角矩阵，令矩阵W和矩阵Z取值如下：

在不考虑正负号的情况下，本质矩阵存在下列两个可能的分解：

或

由于[t]_×t＝0，因此可通过t＝U_E(0,0,1)^T求得t。

由于t有两种可能的符号，R有两种可能的选择，因此存在四种可能的相对姿态。四种可能如图3所示。其中图3a为正确解，图3b为基线倒置，图3c为影像B绕基线旋转了180度，图3d为基线倒置的同时影像B绕基线旋转了180度。假定第一个摄像机的投影中心位于原点，则其摄像机矩阵为P₁＝K₁[I|0]，则第二个摄像机矩阵为P₂＝K₂[R|t]，则四种可能的相对姿态对应的P₂为：

或

或

或

对应点的三维重建结果应该位于两个摄像机的前方。因此，可以通过检查三维重建结果是否位于摄像机前方，来确定P₂。检查三维重建结果是否位于摄像机前方的方法如下：利用P₁、P₂和对应点坐标进行三维重建，分别求重建结果在两个相机坐标系下的坐标，如重建结果在两个相机坐标系下的z轴坐标值都大于1，则其位于摄像机的前方。

确定P₂的方法如下：假定第一个摄像机的投影中心位于原点，选择一种可能的相对姿态，计算P₁和P₂，并利用P₁和P₂通过三角形法进行三维重建，参与三维重建的对应点是剔除过粗差的，最后统计位于摄像机前方的重建结果的个数。对四种可能的相对姿态，分别统计其位于摄像机前方的重建结果的个数。选取其中最大的两个，最大的记为f₁，次大的记为f₂，给定一个阈值，记为ratio，本发明实施例中ratio取值为0.7，如果f₂/f₁＜ratio，则f₁所对应的P₂为正确的，依据P₂即可获得影像间相对姿态。如果f₂/f₁＞ratio，则说明本质矩阵的计算结果是错误的，依据现有数据无法恢复影像间相对姿态。

具体实施时，可采用软件技术实现以上流程的自动运行。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种立体影像对相对姿态恢复方法，其特征在于，包括如下步骤：

步骤1，使用立体影像对中全部对应点通过极线约束构建方程组并求解本质矩阵；

步骤2，从步骤1的结果中选取最优的本质矩阵；

步骤3，利用步骤2选取的本质矩阵检测并剔除粗差，并依据粗差检测结果判断是否返回步骤1进行迭代，当无法检测到新的粗差时结束迭代进入步骤4；

步骤4，分解当前选取的本质矩阵恢复立体影像对的相对姿态；

所述步骤1中，使用立体影像对中全部对应点通过极线约束构建方程组并求解本质矩阵的实现方式如下，

将全部对应点代入极线约束中，构建方程组，极线约束如(1)所示：

其中，

和

和是三维的列向量，表示立体影像对中左影像和右影像对应点的相机坐标，E为本质矩阵；

求解方程组，得到一个由四个通解构成的基础解系；将求得的四个通解代入本质矩阵的性质中，构建新的方程，所使用的本质矩阵性质如(2)(3)所示；对新的方程进行高斯消元，并通过

基求解；将求得的实数解代入基础解系，得到本质矩阵；

det(E)＝0 (2)

2EE^TE-trance(EE^T)E＝0 (3)；

所述步骤2中，从步骤1的结果中选取最优本质矩阵的实现方式如下，

将步骤1求得的本质矩阵E转化为基本矩阵F，并为所有对应点计算对称对极点距离，其中对称对极点距离的计算方式如下：

其中，D为对称对极点距离；x和x′是三维的列向量，表示对应点的齐次化影像坐标；

给定阈值distance,分别统计每个本质矩阵对应的对称对极点距离中小于阈值的个数；记为num；并利用distance和对称对极点距离为每个本质矩阵计算得分，记为score；其中得分的计算方式如下：

D_i为第i对对应点对应的对称对极点距离；

比较num的大小，对应num值最大的本质矩阵为最优本质矩阵，若num值相同，则比较对应score的大小，对应score值最小的本质矩阵为最优本质矩阵。

2.如权利要求1所述的一种立体影像对相对姿态恢复方法，其特征在于：所述步骤3中，利用本质矩阵检测并剔除粗差，并依据粗差检测结果判断是否进行迭代的实现方式如下，

将步骤2中得到的本质矩阵代入极线约束中，可求得残差；计算残差的平均数和中误差，如残差满足如条件(6)，则该残差对应的对应点将被视为粗差，并且将这对对应点从数据中剔除；

|r_i-mean|＞nσ (6)

其中，r_i为第i对对应点对应的残差,mean为残差的平均值，σ为残差的中误差，n为预设的标量；

如果没有检测到新的粗差，则进入步骤4；如果检测到了新的粗差，则使用剔除过粗差的对应点，从步骤1开始进行迭代。

3.如权利要求1或2所述的一种立体影像对相对姿态恢复方法，其特征在于：用于摄影测量。

Images