CN103578117B - 确定摄像头相对于环境的姿态的方法 - Google Patents

Abstract

本发明提供了一种确定摄像头相对于环境的姿态的方法。通过根据一组初始图像确定点对应关系并且然后对于该点对应关系应用2点运动估计以确定摄像头的一组初始姿态来获得可移动摄像头相对于环境的姿态。根据一组初始姿态和点对应关系生成点云。然后，对于每个下一图像，确定点对应关系和对应的姿态，同时对点云进行更新。

Description

确定摄像头相对于环境的姿态的方法

技术领域

本发明一般地涉及使用计算机视觉用于运动估计，并且更具体地，涉及使用该运动估计用于车载摄像头的姿态确定以检测车辆附近的障碍物。

背景技术

从利用安装在车辆上的摄像头获取的车辆附近的环境（例如，道路或车库）的视频进行诸如车辆或机器人的对象的准确的运动估计在车辆和机器人导航中是重要的问题。大多数传统方法使用摄像头模型（单眼或立体）或者运动模型（平面或非平面）。为了从图像的序列确定车辆相对于环境的相对运动，诸如随机样本一致性（RANSAC）的假想-测试框架中的最少数目的特征对应关系在存在异常值时产生准确的结果。

使用车载摄像头根据视频序列进行稠密深度估计当车辆特别是在诸如车库、码头、马路、停车场和一般道路等等的受约束环境中后退时对于诸如检测移动中的车辆附近的人和障碍物的安全应用来说是特别有用的。

极小解

Nistér的已知的利用RANSAC框架的五点法是针对存在异常值时的运动估计的优选方法。在两个摄像头之间的相对运动的情况下，在运动参数中存在六个自由度（DOF）：三个DOF用于旋转并且三个DOF用于平移。对于具有单个投影中心的传统摄像头来说，仅能够确定五个参数，即，平移仅能够确定到一定标度。因此，需要五个特征对应关系中的极小值来确定运动参数。

例如，能够使用哈里斯角点、Kanade-Lucas-Tomasi跟踪器（KLT）和尺度不变特征变换（SIFT）来获得特征对应关系。通常，极小方法导致对于运动的有限数目的解，并且基于物理约束或额外的点对应关系来选择正确的运动。

极小解已知用于若干校准和3D重构问题：径向畸变的自动校准、立体三点问题、五点相对姿态问题、六点焦距问题、六点广义摄像头问题、用于估计抛物反射折射基础矩阵的九点问题、九点径向畸变问题、利用六个对应关系的点面配准、用于利用点或线的立体设置的姿态估计以及用于利用点和线的单眼设置的姿态估计。

受限运动模型

通常由相关应用来约束摄像头的相对运动。例如，安装在车辆上的摄像头并不是通常都具有6DOF。如果行进面是平面，则摄像头仅能够具有三个DOF（两个平移DOF和一个旋转DOF）。

Scaramuzza等人已经示出了对于特定类别的车辆、自行车和机器人，能够仅利用一个参数来对运动进行参数化。因此，能够使用1点方法。潜在的想法是存在旋转瞬时中心（ICR），并且车辆遵从围绕该ICR的圆形路径。

当可以使用惯性测量单元（IMU）时，能够利用重力矢量获得两个测量角度。剩余的未知量是能够利用四次方程由三点运动估计方法求解的三个参数（1个旋转DOF和2个平移DOF）。该运动估计方法对于诸如蜂窝电话的手持数字装置中的摄像头来说能够是有用的。

另一方法对于平面运动序列使用2点运动估计方法。这可用于安装在机器人上的摄像头在平面上移动时的室内机器人自我运动估计。自由度的数目为三（1个旋转DOF和2个平移DOF）。然而，相对运动仅能够恢复到某一标度。在RANSAC框架中，所要求的迭代数目通常在确定运动所要求的点数减小时较小。考虑到方程的复杂度，该方法利用牛顿-拉夫逊算法迭代地确定解，这消耗时间并且不能用于实时应用。

同时定位和图创建（SLAM）

SLAM使用运动模型来平滑摄像头的轨迹并且约束用于3D环境重构的特征对应关系的搜索区域。SLAM是用于利用视觉特征观察来融合惯性测量的方法。当前摄像头姿态以及视觉地标的3D位置被结合地进行估计。基于SLAM的方法负责摄像头的姿态与观察特征的3D位置之间的相关性。然而，基于SLAM的方法由于适当地处理相关性的计算很复杂而具有高计算复杂度，并且因此，在具有成千上万的特征的环境中执行基于视觉的SLAM对于实时应用来说是有问题的。

发明内容

很多可移动对象（例如，车辆、自行车、机器人和人）能够配备有摄像头。本发明的实施方式提供了一种从通过安装在对象上的单个摄像头获取的对象附近的环境的图像序列估计对象的相对运动。运动估计能够然后用于检测环境中可能干扰安全操作和车辆的移动的障碍物。由于摄像头被固定到对象，因此，能够从摄像头的姿态确定对象的运动。

如这里一般性地定义的。姿态包括3D位置和3D取向。每个姿态的平移位置和角取向能够具有最多三个自由度（DOF）。

对于机器人学和计算机视觉来说，不完全约束和平面性下的运动估计方法的性能是已知的。现有技术的方法通常使用最少数目的关于运动模型的点对应关系。已知的是，这样的极小方法当在诸如RANSAC的假想-测试框架中使用时是高效的并且容纳异常值。

本发明的实施方式利用受到共面和正交性约束的单个二次（二阶多项式）方程解析地求解平面2点运动估计。即，该方法是非迭代的，这与利用牛顿-拉夫逊迭代算法的现有技术方法不同。非迭代方法是更高效的，不存在局部极小问题，并且能够实时地执行，这对于车辆安全应用来说是很必要的。

虽然现有技术2点运动估计以2D生成视觉上准确的车辆轨迹，但是运动的准确性由于很多行进表面的非平面性导致不足以执行稠密3D重构。

因此，实施方式对于一组初始图像使用2D相对运动方法，之后对于每个随后的下一图像进行3点2D至3D摄像头姿态估计。

利用该混合方法，能够为产生用于障碍物检测应用的稠密深度图的平面扫描过程生成准确的运动估计。

附图说明

图1是根据本发明的实施方式的具有摄像头的车辆和与地平面共面的运动估计位置；

图2是根据本发明的实施方式的2点运动估计的坐标变换的示意图；

图3是根据本发明的实施方式的确定车载摄像头的姿态的方法的流程图；以及

图4是根据本发明的实施方式的用于确定稠密深度图的平面扫描过程的流程图。

具体实施方式

本发明提供了一种用于从由安装在可移动对象上的摄像头获取的可移动对象附近的环境103的视频中的一系列图像确定摄像头姿态的方法。对象能够是轿车、卡车、自行车、滑行的飞机、机器人、人等等。由于摄像头与对象是固定的关系，因此，摄像头的姿态能够用于确定对象的姿态、对象的运动以及对象附近的可能的障碍物。

如这里一般地定义的，姿态包括摄像头的位置和取向。平移位置T和角取向R均能够具有最多三个自由度。

运动估计

图1示出了车辆101的平面运动的两点运动估计。车辆的运动与地平面111基本上共面。摄像头102沿着坐标系C₁、C₂、C₃、C₄在与地平面平行的平面112上移动。图示出了分别处于两个坐标系C₁和C₂的相对于摄像头的两个3D点P₁和P₂的投影线。

坐标系变换

我们使用摄像头坐标系、用于环境的世界坐标系和中间坐标系。在校准和初始使用过程中，世界坐标系被变换到初始摄像头坐标系。例如，在图1中，坐标系C₁对应于变换后的世界坐标系。接下来的坐标系C₂→C₃→C₄，然后显示摄像头的运动。

图2示出了根据本发明的实施方式的用于2点运动估计方法的坐标变换技术的一般概念。我们的目标在于确定摄像头坐标系C₁和C₂之间的运动(R_o,T_o)，即姿态。注意的是，C₁是从世界坐标系进行的变换。我们将坐标系C₁和C₂分别变换到两个中间坐标系C′₁和C′₂。我们确定C′₁和C′₂之间的运动(R,T)。

方法

离线预处理

图3示出了根据本发明的实施方式的姿态确定的一般方法。

在操作开展之前，摄像头能够被校准321并且能够如下详细描述地那样对地平面进行估计322。这能够在一次离线预处理320中执行。步骤321和322产生摄像头参数和地平面参数325。这使得世界坐标系能够变换到初始摄像头坐标系。

实时处理

在操作过程中，安装在例如车辆101上的摄像头102获取车辆附近的环境的一系列图像310。例如，车辆在道路上行驶，并且想要检测可能的障碍物。通常，摄像头大致指向地平面。一系列图像包括一组初始图像I_i（i=1，…，m）311和接下来的图像I_i（i=m+1，…，n）312。该组初始图像包括例如20个图像（即，m=20）。

从该组初始图像331确定330点对应关系。向点对应关系应用350两点运动估计以获得一组初始姿态p_i（i=1，…，m）355。该组初始姿态用于生成370点云361。点云优选是“稀疏的”。这里，稀疏不是不确定的相对术语，而是在数字解析领域中传统上已知和定义的术语。

由于摄像头与车辆处于相对固定的几何关系，因此，摄像头的姿态能够用于确定车辆的运动，并且更具体地，用于定位视频中看到的能够干扰车辆的移动的障碍物。

上述2点运动估计产生视觉上准确的路上车辆轨迹。然而，运动的准确性由于道路的非平面性而不足以执行稠密3D重构。因此，我们对于该组初始图像311使用2点相对运动估计350，之后对于接下来的下一图像312进行3点2D至3D摄像头姿态估计380。即，关于点云，对于每个下一图像312确331定点对应关系。3点2D至3D摄像头姿态估计380应用于这些点对应关系以确定下一图像的姿态381，并且姿态用于更新375点云。初始图像的姿态p_i（i=1，…，m）355和下一图像的姿态pi（i=m+1，…，n）381的序列基本上显示了摄像头所经历的运动。

使用该混合方法，我们为产生用于障碍物检测应用的准确的稠密深度图430的平面扫描过程420生成准确的运动估计。该方法的准确性足以重构位于小距离（小于2米）处的小对象（10cm宽的柱和尺寸30cm的盒）。下面参考图4描述平面扫描过程。

能够利用车辆中的处理器（例如，车辆导航系统的一部分）执行图3-4中所示的步骤。该方法能够实时地操作。还能够使用图形处理单元（GPU）。

2点运动估计-步骤350

运动估计350获得用于两个图像的相对姿态。两个图像中的对应的特征点p和p’由本质矩阵E相关：

p'^TEp=0.. (1)

注意的是，p和p’表示为球面图像坐标中的单位矢量，即p和p’是反向投影到单位球上的像素，从而||p||=||p'||=1。当摄像头被校准321时，这也始终是可能的。

能够利用关系E=[T]×R来确定本质矩阵E，其中，R是3×3旋转矩阵，并且[T]×是3×1平移矢量T的斜对称矩阵：

${\left[T\right]}_{\×}=\left(\begin{array}{ccc}0& -T_z& T_y\\ T_z& 0& -T_x\\ -T_y& T_x& 0\end{array}\right)\·---\left(2\right)$

平面运动

如图1中所示，摄像头102基本上在平面112中移动。在摄像头安装在车辆上的情况下，我们假设地平面111与XZ面平行并且摄像头在XZ面112上移动。因此，旋转矩阵是

$R=\left(\begin{array}{ccc}\cos \mathrm{\θ}& 0& \sin \mathrm{\θ}\\ 0& 1& 0\\ -\sin \mathrm{\θ}& 0& \cos \mathrm{\θ}\end{array}\right)\·---\left(3\right)$

旋转矩阵表示围绕Y轴旋转角度θ。我们通过将cosθ和sinθ分别替换为α和β来重写上述旋转矩阵：

$R=\left(\begin{array}{ccc}\mathrm{\α}& 0& \mathrm{\β}\\ 0& 1& 0\\ -\mathrm{\β}& 0& \mathrm{\α}\end{array}\right)\·---\left(4\right)$

根据正交性约束，我们有α²+β²=1。

由于摄像头在XZ平面上移动，因此平移矢量的Y坐标为0。不能够确定绝对标度。因此，我们假设平移矢量为

$T=\left(\begin{array}{c}{T}_x\\ 0\\ 1\end{array}\right)\·---\left(5\right)$

通过固定T_z=1，我们固定了运动的标度。由于我们执行的坐标变换，使得该假设即使在运动沿着X方向的情况下也成立。

我们利用方程（1）来确定未知的参数(T_x,α,β)。虽然存在三个变量，但是独立变量的数目为2，这是因为α²+β²=1。通过对于两组点对应关系直接求解方程1，我们获得三个变量的两个二次（二阶多项式）方程。利用对于α和β的正交性约束，我们获得八个解或更少解。

下面，我们描述坐标变换方法导致单个二次方程，能够对该方程求解以确定运动。

解析解

如图2中所示，与直接确定(R_o,T_o)相比，确定C′₁和C′₂之间的运动(R,T)更简单。即，替代直接确定这两个坐标之间的运动，我们将摄像头坐标系中的C₁和C₂分别预先旋转到中间参考坐标和

我们对这些中间参考坐标进行选择，使得运动估计方程变得尽可能地简单。在我们确定中间坐标系中的这些坐标(R,T)之间的运动之后，我们能够利用后旋转确定摄像头坐标系中的运动。

中间坐标

两个点对应关系分别是(p₁,p'₁)和(p₂,p'₂)。如图2中所示，我们利用旋转矩阵R₁旋转摄像头坐标系中的第一坐标C₁，从而第一点P₁的z坐标变为0。类似地，我们利用旋转矩阵R₂旋转第二坐标C2，从而第二点p'₂的z坐标变为0。中间坐标是C′₁和C′₂。新的对应关系(a₁,b₁)和(a₂,b₂)是

a_i=R₁p_i,b_i=R₂p'_i,i={1,2}. (6)

在中间坐标系中，我们有

$a_1=\left(\begin{array}{c}{a}_{1x}\\ a_{1y}\\ 0\end{array}\right),a_2=\left(\begin{array}{c}{a}_{2x}\\ a_{2y}\\ a_{2z}\end{array}\right),$ 并且 (7)

$b_1=\left(\begin{array}{c}{b}_{1x}\\ b_{1y}\\ b_{1z}\end{array}\right),b_2=\left(\begin{array}{c}{b}_{2x}\\ b_{2y}\\ 0\end{array}\right)\·---\left(8\right)$

旋转矩阵R₁和R₂等效于围绕Y轴旋转坐标，使得点的Z坐标变为0：

$R_i=\left(\begin{array}{ccc}\cos {\mathrm{\θ}}_i& 0& \sin {\mathrm{\θ}}_i\\ 0& 1& 0\\ -\sin {\mathrm{\θ}}_i& 0& \cos {\mathrm{\θ}}_i\end{array}\right)\·---\left(9\right)$

这里，θ₁=tan^-1(p_1z/p_1x)并且θ₂=tan^-1(p′_2z/p′_2x)。

解

利用方程（4）和（5），我们获得本质矩阵

$E={\left[T\right]}_{\×}R=\left(\begin{array}{ccc}0& -1& 0\\ 1& 0& -T_x\\ 0& T_x& 0\end{array}\right)\left(\begin{array}{ccc}\mathrm{\α}& 0& \mathrm{\β}\\ 0& 1& 0\\ -\mathrm{\β}& 0& \mathrm{\α}\end{array}\right)$

$=\left(\begin{array}{ccc}0& -1& 0\\ \mathrm{\α}+\mathrm{\β}{T}_x& 0& \mathrm{\β}-\mathrm{\α}{T}_x\\ 0& T_x& 0\end{array}\right)\·---\left(10\right)$

在坐标变换之后，对于i={1,2}，方程（1）变为当i=1时，我们有

${\left(\begin{array}{c}{b}_{1x}\\ b_{1y}\\ b_{1z}\end{array}\right)}^T\left(\begin{array}{ccc}0& -1& 0\\ \mathrm{\α}+\mathrm{\β}{T}_x& 0& \mathrm{\β}-\mathrm{\α}{T}_x\\ 0& T_x& 0\end{array}\right)\left(\begin{array}{c}{a}_{1x}\\ a_{1y}\\ 0\end{array}\right)=0,---\left(11\right)$

获得

g₁βT_x+g₂T_x+g₁α+g₃=0, (12)

其中

g₁=a_1xb_1y, (13)

g₂=a_1yb_1z,并且(14)

g₃=-a_1yb_1x. (15)

当i=2时，我们有

${\left(\begin{array}{c}{b}_{2x}\\ b_{2y}\\ 0\end{array}\right)}^T\left(\begin{array}{ccc}0& -1& 0\\ \mathrm{\α}+\mathrm{\β}{T}_x& 0& \mathrm{\β}-\mathrm{\α}{T}_x\\ 0& T_x& 0\end{array}\right)\left(\begin{array}{c}{a}_{2x}\\ a_{2y}\\ a_{2z}\end{array}\right)=0,---\left(16\right)$

其中T是变换算符，从而

f₁αT_x+f₂βT_x+f₂α-f₁β+f₃=0, (17)

其中

f₁=-a_2zb_2y,(18)

f₂=a_2xb_2y,并且(19)

f₃=-a_2yb_2x. (20)

利用方程（12）和（17），我们获得下述针对T_x的关系式：

$T_x=\frac{{-g}_1\mathrm{\α}-g_3}{g_1\mathrm{\β}+g_2}=\frac{-f_2\mathrm{\α}+f_1\mathrm{\β}-f_3}{f_1\mathrm{\α}+f_2\mathrm{\β}},$ 并且 (21)

(-g₁α-g₃)(f₁α+f₂β)=(g₁β+g₂)(-f₂α+f₁β-f₃). (22)

通过简化上述方程，我们获得

h₁α+h₂β+h₃=0,(23)

其中

h₁=g₃f₁-f₂g₂,(24)

h₂=f₁g₂-f₃g₁+f₂g₃,并且(25)

h₃=f₁g₁-f₃g₂.(26)

利用正交性约束来替换方程（23）中的所有β，我们获得下述二次方程：

$(h_1^2+h_2^2){\mathrm{\α}}^2+\left(2h_1{h}_3\right)\mathrm{\α}+(h_3^2-h_2^2)=0\·---\left(27\right)$

我们通过求解上述二次方程获得针对α的两个解。在我们确定α之后，我们获得β为

$\mathrm{\β}=\frac{-h_1\mathrm{\α}-h_3}{h_2}\·---\left(28\right)$

我们然后能够利用方程（21）确定T_x。注意的是，存在针对(T_x,α,β)的两个解，并且我们能够利用额外的对应关系确定正确的解。最终，我们执行下述运算以获得原始坐标之间的运动：

R_o=R'₁RR₂,并且 (29)

T_o=R'₁T, (30)

从而获得一组初始姿态p_i355。

平面性假设的敏感性分析

我们分析平面性假设对于我们的方法的准确性的影响。根据我们的方法，我们假设摄像头在XZ平面中移动。该方法能够确定的唯一的旋转是围绕Y轴的旋转。不能够确定围绕X或Z轴的任何旋转。由于平移能够仅最多到某一标度，因此错误与平面上的运动的方向相关。

在很多车辆导航应用和局域化问题中，围绕Y轴的旋转误差更加重要。因此，我们还分析围绕Y轴的旋转的误差。这比整体旋转误差低得多。我们考虑大小为100×100个像素并且焦距为100的图像。环境大小是尺寸100个单位的立方体。我们在测试中增加了具有0.2的标准偏差的高斯噪声。

全向摄像头校准

我们利用容易安装在车辆上的小的全向（鱼眼）单眼摄像头。我们通过将摄像头安装在车辆的前面和后面来测试若干视频序列。通过获取棋盘图像来校准321摄像头。校准用于调整从摄像头获取的视频序列。图像分辨率为1920×1080个像素。利用校准，我们构造1000×500个像素的调整图像。

在摄像头被校准并且图像被调整之后，上述方法能够与任何全向摄像头以及任何标准立体摄像头一起使用。图像调整将来自原始图像的像素投影从投影中心投影到公共像平面。在该处理过程中，诸如曲线的由摄像头模型引入的畸变也被校正为直线。

地平面估计

能够在预处理320过程中执行用于世界坐标系的地平面估计322。假设，摄像头与地平面之间的距离在摄像头的操作过程中没有显著地改变。

我们将具有已知尺寸（大约1平米）的白板布置在地上以确定摄像头坐标系中的地平面参数。在视频序列中，我们跟踪白板的四个边界线。边界线用于确定边界点。我们在视频图像中使用三点2D至3D姿态估计方法来确定板相对于摄像头的姿态。根据多个图像利用RANSAC框架确定板的姿态。在估计了地平面之后，我们用其来对准摄像头坐标系，使得其XZ平面与地平面平行。该对准用于极小2点运动估计350。

特征计算

我们比较哈里斯角点、SIFT特征和KLT特征以获得我们的点。我们观察到，与SIFT和哈里斯相比，KLT产生了分布更均匀的特征，因此，我们优选使用KLT特征。

运动和姿态估计

我们确定了我们的平面运动假设在相对短距离内是成立的。对于在旋转一度的在平面上移动的摄像头来说，核点应始终处于水平线上。核点能够由接合两个图像的点对应关系的线段的交点来确定。我们确定用于若干图像对的核点，并且发现的是，核点并不始终处于水平线上。

因此，我们利用2点运动估计方法确定用于一组初始图像的运动估计。利用估计的地平面固定绝对标度。

在该组初始图像之后，我们使用三点2D至3D姿态估计来确定所有六个DOF运动参数。这与大尺度运动结构重建问题相关。

由我们的2点方法给出的初始摄像头姿态355用于使点对应关系成三角形并且生成稀疏点云，其包括初始重构。利用该稀疏点云，我们能够利用三点摄像头姿态估计方法来确定每个接下来的下一图像的姿态。该初始稀疏点云在新的3D点在接下来的图像中变得可用时进行更新。

我们观察到，五点方法更适合于侧向运动而不是向前运动。由于摄像头在通常无特征的地平面上观察到大多数点，因此该场景对于五点方法来说是特别有挑战的。

稠密深度图重构

如图4中所示，我们采用平面扫描过程420来对于视频序列中的每个图像确定稠密深度图430。针对平面扫描过程的输入410包括摄像头校准参数325、来自摄像头的图像310和图像的姿态355和381。平面扫描提供了一种使用任何数目的图像及其摄像头姿态作为输入来重构深度图430的简单且高效的方法。该过程适合于图形处理器单元（GPU）实施，并且能够用于从车载摄像头进行稠密3D重构。

在我们的实施中，我们在当前图像的坐标系中定义具有深度d_i(i=1,…,D)的一组前端平行平面。对于每个深度层d_i，我们利用在GPU上映射的投影纹理投影当前图像和N-1个之前的图像，并且对于每个像素x确定匹配成本C(x,d_i)。

作为匹配成本，我们确定每个像素的N个图像的所有组合中的绝对强度差并且取最小50%值的平均值，这允许该方法处理遮挡。然后，我们利用小的局域窗（11×11个像素）平滑每个深度层中的开销。我们最终通过将每个像素的极小开销确定为d(x)=argmin_iC(x,d_i)来确定最优深度。

本发明的效果

本发明的实施方式提供了一种根据通过安装在（移动的）车辆上的单眼摄像头获取的单眼视频序列进行附近环境的相对运动估计和稠密3D重构的系统和方法。

为平面2点相对运动估计方法提供了非迭代解。使用平面扫描方法和运动估计，该方法确定环境的一系列稠密深度图，这与大多数传统基于图像的方法所提供的稀疏点云相反。此外，我们使用能够在车辆导航装置的嵌入处理器或GPU中实施的简单非迭代技术。

根据来自车载摄像头的视频序列的深度图重构对于诸如障碍物检测的车辆安全应用来说是极其有用的。

与诸如超声传感器、激光扫描仪、短程雷达网或立体摄像头的其它传感器相比，我们的基于单摄像头的解决方案更加便宜。

单个摄像头足以获得用于障碍物检测的准确的（稠密）深度图。我们利用摄像头的准确的运动参数来确定深度图。替代仅利用两个图像用于基于运动的立体分析的技术方案，我们使用一组图像（例如，20至30个）来利用平面扫描处理重构深度图。平面扫描也能够在GPU中实施并且能够实时地实施。

该方法利用受到共面性和正交性约束的单个二次方程来求解平面2点运动估计。能够通过坐标变换方法来简化方程以获得解。

很多现有技术方法使用诸如牛顿-拉夫逊方法的耗时迭代技术。我们的非迭代方法是更高效的，并且不存在局部极小问题。

虽然2点运动估计产生视觉准确的车辆轨迹，但是运动的准确性由于道路、车库地面、马路等等的非平面性而不足以执行稠密3D重构。因此，我们对于一组初始图像使用2点运动方法，并且然后对于接下来的图像使用3点2D至3D姿态估计。利用该混合方法，我们为产生用于障碍物检测应用的稠密深度图的平面扫描方法生成准确的运动估计。

Claims (8)

1.一种确定摄像头相对于环境的姿态的方法，其中，所述摄像头是可移动的，所述方法包括：

从由所述摄像头获取的所述环境的一组初始图像确定点对应关系；

对于所述点对应关系应用2点运动估计以确定所述摄像头的一组初始姿态；以及

根据所述一组初始姿态和所述点对应关系生成点云，并且对于每个下一图像，执行下述步骤：

从所述下一图像确定所述点对应关系；

从所述下一图像的所述点对应关系和所述点云确定所述摄像头的姿态；以及

根据所述下一图像的所述点对应关系和所述姿态更新所述点云，

其中，所述2点运动估计进一步包括：

从所述点对应关系获得投影线；

将第一摄像头坐标系中的所述投影线变换到第一中间坐标系，并且将第二摄像头坐标系中的所述投影线变换到第二中间坐标系；

利用受到共面性和正交性约束的二次方程确定所述第一中间坐标系与所述第二中间坐标系中的所述投影线之间的运动；以及

利用在所述第一中间坐标系与所述第二中间坐标系中计算出的运动确定所述第一摄像头坐标系和所述第二摄像头坐标系中的所述投影线之间的运动，

其中，上述步骤在处理器中执行。

2.根据权利要求1所述的方法，其中，所述点云是稀疏的。

3.根据权利要求1所述的方法，其中，所述应用的步骤进一步包括：

解析地求解用于所述2点运动估计的二次方程。

4.根据权利要求1所述的方法，所述方法进一步包括：

将平面扫描过程应用于具有所述姿态的所述图像以产生稠密深度图。

5.根据权利要求3所述的方法，其中，在随机样本一致性RANSAC框架中进行所述2点运动估计。

6.根据权利要求5所述的方法，其中，利用至少两个点对应关系生成所述RANSAC框架中的假设。

7.根据权利要求1所述的方法，其中，所述摄像头安装在车辆上。

8.根据权利要求4所述的方法，所述方法进一步包括：

利用所述稠密深度图检测障碍物。