CN103858148A

CN103858148A - 用于移动设备的平面映射和跟踪

Info

Publication number: CN103858148A
Application number: CN201280026188.6A
Authority: CN
Inventors: C·皮切艾姆; G·瑞特玛耶
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2011-05-27
Filing date: 2012-05-04
Publication date: 2014-06-11
Anticipated expiration: 2032-05-04
Also published as: EP2715667A1; JP2014515530A; CN103858148B; JP5722502B2; WO2012166293A1; US9020187B2; KR101532864B1; KR20140014298A; US20120300979A1; EP2715667B1

Abstract

使用未知的平面对象的图像来执行实时跟踪和映射。捕捉该平面对象的多个图像。新图像被选择为新关键帧。为该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧估计单应性。使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构。该图形结构被用于创建该平面对象的映射图。基于该映射图和随后捕捉的图像来跟踪该平面对象。

Description

用于移动设备的平面映射和跟踪

相关背景

近年来，基于模型的跟踪已成为移动设备上的顶尖技术水平。实时地对先验已知的良好纹理化的图像进行自然特征检测和跟踪已由多个团体证明，并且这些技术已在商业应用和软件开发工具中得到使用。

用单目相机在全三维中映射先验未知的场景并在六个自由度（6DOF）中进行跟踪仍然是困难的任务，在移动设备（诸如蜂窝电话或智能电话）上尤甚。从机器人学中已知的基于扩展卡尔曼滤波器（EKF）的经典办法目前在计算上是不可行的。仅众所周知的平行跟踪和映射（PTAM）系统已被证明作为原型在目前的智能电话上运行。然而，PTAM映射方法基于束调节技术，该技术由于较高的计算需求而随日益增大的映射图大小具有很差的扩展性。

概述

使用未知的平面对象的图像来执行实时跟踪和映射。捕捉该平面对象的多个图像。新图像被选择为新关键帧。为该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧估计单应性。使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构。该图形结构可以是基于树的图形结构，并且该新关键帧和该多个先前关键帧中的每个先前关键帧是节点，且该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性是这些节点之间的边。该图形结构被用于创建该平面对象的映射图。基于该映射图和随后捕捉的图像来跟踪该平面对象。

在一个方面，一种方法包括捕捉平面对象的多个图像；将新图像选择为新关键帧；计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性；使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构；使用该图形结构来创建该平面对象的映射图；以及基于该映射图和随后捕捉的图像来跟踪该平面对象。

在一个方面，一种装置包括能够捕捉平面对象的多个图像的相机；以及耦合至该相机的处理器，该处理器被配置成将新图像选择为新关键帧，计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性，使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构，使用该图形结构来创建该平面对象的映射图，以及基于该映射图和随后捕捉的图像来跟踪该平面对象。

在一个方面，一种设备包括用于捕捉平面对象的多个图像的装置；用于将新图像选择为新关键帧的装置；用于计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性的装置；用于使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构的装置；用于使用该图形结构来创建该平面对象的映射图的装置；以及用于基于该映射图和随后捕捉的图像来跟踪该平面对象的装置。

在一个方面，一种包括存储于其上的程序代码的非瞬态计算机可读介质，包括用于从捕捉到的平面对象的多个图像中将新图像选为新关键帧的程序代码；用于计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性的程序代码；用于使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构的程序代码；用于使用该图形结构来创建该平面对象的映射图的程序代码；以及用于基于该映射图和随后捕捉的图像来跟踪该平面对象的程序代码。

附图简要说明

图1解说了能够使用未知的、纹理化的平面对象的所捕捉图像进行实时姿态跟踪和映射的移动设备。

图2解说了由移动设备用于姿态跟踪和映射的、紧密耦合的跟踪组件和映射组件。

图3解说了由组织在象限四分树中的两个关键帧内的诸点以及这两个关键帧之间的单应性构成的平面映射图。

图4是解说用于使用平面对象的所捕捉图像进行实时姿态跟踪和映射的方法的流程图。

图5解说了姿态图形，其将多个关键帧示为该图形的节点并且将这些关键帧之间的单应性示为该图形中的边。

图6A、6B、6C和6D解说了对平面图像校正参数化的几何解读。

图7是解说用于基于姿态一致性来将关键帧候选选择为关键帧的方法的流程图。

图8解说了与图5中所示的姿态图形相似、但包括关键帧候选F的姿态图形。

图9解说了用于使用包括新关键帧的节点（姿态）和边（单应性）的图形结构来创建映射图的方法。

图10A和10B解说了用于平面估计和姿态更新的单应性检索操作的不同办法。

图11是用于相对于平面点映射图来跟踪相机姿态的方法的流程图。

图12是如以上所讨论的能够使用所捕捉的图像进行姿态跟踪和映射的移动设备的框图。

详细描述

图1解说了能够使用例如从相机110获得的所捕捉图像来对未知的、纹理化的平面对象进行实时姿态跟踪和映射的移动设备100，该相机100可以是经校准的单目相机。移动设备100使用基于关键帧以及诸关键帧之间的因平面导致的单应性的映射办法。用图像校正过程按所测得的关键帧间单应性的数目基本上以线性时间解决了估计关键帧姿态的平面重构问题。姿态跟踪使用连续地扩展和细化的平面点映射图来传达稳健估计的姿态。

移动设备100被示为包括外壳101、显示器102（其可以是触摸屏显示器）、以及扬声器104和话筒106。显示器102可以呈现由相机110捕捉的图像、地图、或任何其他期望的素材。移动设备100包括跟踪组件120和映射组件130。跟踪组件120通过处理来自相机110的平面环境图像流并计算相机姿态来跟踪相机姿态。跟踪组件120将所选的关键帧提供至映射组件的关键帧候选队列中。映射组件130处理这些关键帧以生成映射图，该映射图随着被捕捉的平面场景的新视图变得可用而被扩大和细化。映射组件130计算关键帧之间因平面导致的单应性并且将它们的关系组织在专用的姿态图形中。映射组件130向跟踪组件120提供点和关键帧的映射图，跟踪组件120用该映射图来跟踪相机姿态。当然，移动设备100可包括与本公开未必相关的附件组件。

如本文中所使用的，移动设备是指任何便携式电子设备，诸如蜂窝或其它无线通信设备、个人通信系统（PCS）设备、个人导航设备（PND）、个人信息管理器（PIM）、个人数字助理（PDA）、膝上型设备、或者其它合适的移动平台。移动平台可以能够接收无线通信和/或导航信号（诸如导航定位信号）。术语“移动设备”还旨在包括诸如通过短程无线、红外、有线连接、或其他连接与个人导航设备（PND）通信的设备，不管卫星信号接收、辅助数据接收、和/或位置相关处理是发生在该设备处还是在PND处。另外，“移动设备”旨在包括能够捕捉在姿态跟踪和映射中使用的图像的所有电子设备，包括无线通信设备、计算机、膝上型设备、平板计算机、智能电话等等。

图2解说了由移动设备100用于姿态跟踪和映射的、紧密耦合的跟踪组件120和映射组件130。如图2中所解说的，跟踪组件120通过处理经校准的单目相机110的图像流并且例如在六个自由度（6DOF）中计算相机姿态来执行相机姿态跟踪122。相机姿态跟踪122离散地从该图像流中选择关键帧并且将所选的关键帧提供到映射组件130的关键帧候选队列中。映射组件130处理这些关键帧以生成持久映射图134，该映射图134随时间推移（例如，以连续方式）随着平面场景的新视图变得可用而被扩大和细化。在诸关键帧之间，计算因平面导致的单应性并且将其关系组织在专用的姿态图形中。映射组件130将由组织在象限四分树中的点、关键帧、和组织在图形中的单应性构成的平面映射图124提供给跟踪组件120以用于跟踪。

作为示例，图3解说了由组织在象限四分树142中的两个关键帧I_i、I_j内的点构成的平面映射图140。关键帧中的每个点在图3中被解说为“x”。关键帧I_i、I_j提供显著的图像测量并且分别经由相机姿态P_i和P_j与平面映射图140相关。这些关键帧示出二维（2D）场景的不同视图并且被用于计算将像素从一个关键帧映射到另一个关键帧的因平面导致的单应性。单应性H投影诸关键帧I之间的点，例如，如图3中所解说的，单应性H_ji投影关键帧I_i、I_j之间的点。在姿态图形中管理结果得到的关系，例如，关键帧和单应性被存储为图形中的节点和边。

映射组件130创建通过从跟踪组件120传递来的关键帧集合所观察到的未知的纹理化的平面场景的映射图。映射图由对平面表面进行采样的三维（3D）点构成。点观察要么源于显著的关键帧角落，要么源于作为姿态或单应性估计的一部分的特征匹配。平面映射点被组织在象限四分树中，从而导致例如在不同规模等级上对未经填充的映射图区域进行搜索期间采用的快速点检索。

图4是解说用于使用平面对象的所捕捉图像进行实时姿态跟踪和映射的方法的流程图。如所解说的，捕捉平面对象的多个图像（202），例如，作为来自相机110的图像或视频流中的帧。将新图像选择为新关键帧（204）。例如，如果新图像产生具有良好质量的姿态估计，则可将该新图像与多个先前的关键帧（以及候选关键帧）作比较以确定是否有充分的交叠（例如使用一阈值）。如果有充分的交叠，则该新图像可由跟踪组件120推送到关键帧候选队列132上。另外，为了将该新图像选择为关键帧，该新图像可被验证是关于该平面对象的。验证可例如通过基于毗邻关键帧的姿态以及该新图像与这些毗邻关键帧之间相应的单应性来确定该新图像的多个姿态来执行。可将该多个姿态与由跟踪组件120为该新图像产生的跟踪姿态作比较，该跟踪姿态是从关于平面映射图跟踪该新图像所产生的。例如，如果该多个姿态与跟踪姿态之间成对的姿态差异的总和落在阈值内，则可确定该新图像属于该平面对象。

计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性（206）。使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构（208）。作为示例，图5解说了姿态图形，其将多个关键帧（A，B，C，D，E）示为该图形的节点并且将这些关键帧之间的单应性示为该图形中的边（示为虚线）。还关于该平面来解说每个关键帧的姿态。对于连接关键帧对（i,j）的每个单应性H_j,i估计，添加连接相应节点I_i和I_j的有向边。该图形是有向的，这是因为单应性是在关键帧对之间在两个方向上独立地估计的以获得独立的测量。如图5中所解说的，计算新关键帧E与在空间上分布的多个先前关键帧A、C和D中的每个先前关键帧（而非紧邻在前的关键帧）之间的单应性。

该图形结构被用于创建平面对象的映射图（210）。例如，可通过从该多个先前关键帧中选择参考关键帧并且计算该参考关键帧关于平面对象的姿态来创建该映射图。参考关键帧可基于靠近新关键帧和靠近图形结构的中心节点中的一者来选择。使用参考关键帧的姿态以及参考关键帧与其余关键帧集合之间的单应性来为其余关键帧集合计算姿态。参考关键帧的姿态和其余关键帧集合的姿态可随后被用来创建映射图。随后，基于该映射图和随后捕捉的图像来跟踪该平面对象（212）。

姿态图形

映射组件130的用于生成映射图的输入是关键帧以及在这些关键帧之间测得的单应性的集合。与关键帧I_i相对应的相机姿态被表示为3×4变换矩阵P_i=(R|t)，其表示从世界坐标系至局部相机坐标系的刚性变换以及后续投影。对于一些关键帧对(i,j)，测量将点从关键帧I_i映射到关键帧I_j的单应性H_j,i，如图3中所解说的。

如图4中所解说的，可在将关键帧作为节点和将单应性作为边的有向图形中管理这些关键帧单应性关系。随着新关键帧被生成，与相邻关键帧的新单应性被测量并且两者都被添加至该图形。为了保持平面映射假定，仅相同平面上的关键帧应当被添加。因此，对主要示出离群区域（例如，描绘不同平面或非平面对象的区域）的视图的关键帧执行过滤，这些关键帧可能导致与主场景平面不一致的单应性。例如，可对新关键帧采用一致性检查。关键帧候选队列132中未通过一致性检查的候选关键帧可被拒绝。通过一致性检查的候选关键帧可被接受并被添加至该图形。

平面估计

为了创建3D点的映射图，估计与关键帧相对应的未知的相机姿态P_i。对于未知的关于该平面的关键帧相机姿态的计算，可采用校正算法。用于使用图像之间已知的单应性来解决估计平面的问题的两种一般性办法包括单应性分解和图像校正。单应性分解是指在给定平面对象的两个图像之间的单应性矩阵的情况下计算相机运动。图像校正算法从已知的核面几何形态（或平面情形中的单应性）计算投影变换，这些投影变换被应用于图像对，从而使其核线对齐，例如以用于1D搜索空间中的点匹配的目的。可以使用仅具有2DOF的在计算上高效的非线性优化方案，该优化方案使用专用参考相机与其他相机之间可变数目的单应性测量。

成本函数和参数化

提供了该优化方案的数学公式表述。我们将场景平面定义为位于与(x,y)平面相对应的正则位置z=0。该平面上的点由此具有等于0的z坐标并且可在齐次坐标中被写为(x,z,0,1)。该优化中未知的是相对于此平面的相机姿态P_i。在所有世界点均位于该平面上的假定下，可通过消除姿态矩阵P_i的第三列容易地将相机姿态重新表述为2D单应性。

(\begin{matrix} u \\ v \\ 1 \end{matrix}) ~ (R | t) (\begin{matrix} x \\ y \\ 0 \\ 1 \end{matrix}) = (r_{1} | r_{2} | t) (\begin{matrix} x \\ y \\ 1 \end{matrix}) .

式1

结果得到的姿态单应性基于它们的第一列和第二列是标准正交向量的约束从而具有以下重要性质，其中r₁和r₂分别是R的第一列和第二列：

C^{T} \cdot C = (\begin{matrix} r_{1}^{T} \\ r_{2}^{T} \\ t^{T} \end{matrix}) (r_{1} | r_{2} | t) = (\begin{matrix} 1 & 0 & . \\ 0 & 1 & . \\ . & . & . \end{matrix}) .

式2

另外，在给定姿态单应性C₁和从相机C₁映射到C₂的单应性H_2,1的情况下，相应的姿态单应性C₂可如下计算：

C₂=H_2,1·C₁。式3

C₁必须遵守约束式2。另外，通过将式3代入式2，获得以下关于C₁的附加约束：

C_{2}^{T} \cdot C_{2} = (C_{1}^{T} \cdot H_{21}^{T}) \cdot (H_{21} C_{1}) = (\begin{matrix} 1 & 0 & . \\ 0 & 1 & . \\ . & . & . \end{matrix}) .

式4

我们可以通过迫使非对角线条目为0并且使对角线条目具有相同的值来将该约束表述为关于C₁的成本函数。因此，我们定义以下关于一个单应性H_i,1的成本函数：

{(H_{i, 1} C_{1})}^{T} (H_{i, 1} C_{1}) = (\begin{matrix} a_{11} & a_{12} & . \\ a_{21} & a_{22} & . \\ . & . & . \end{matrix}),

式5

e_i(C₁)=(a₁₂/a₁₁)²+(a₂₂/a₁₁-1)²。式6

式6的结果得到的成本函数利用绝对二次曲线的图像上众所周知的正交性约束并且适用于从参考相机映射到另一相机i的任何单应性H_i,1。对于皆用个体单应性H_i,1连接至参考相机C₁的相机集合C_i，我们通过在所有个体成本上进行加总来构造成本函数，从而获得关于未知的参考相机姿态C₁的单个成本函数：

e (C_{1}) = \underset{i}{Σ} e_{i} (C_{1}) .

式7

大体上，估计所有相机姿态C_i的整个问题可被简化成寻找使式7的总成本函数最小化的一个相机姿态C₁。

两个相机之间的单应性H_2,1具有8个自由度，这是因为单应性是取决于比例来定义的。通过固定第二相机C₂关于第一相机C₁的取向和平移并且仅允许该平面自由地移动，第一相机C₁仅剩有两个自由度。在通过援引纳入于此的由A.Ruiz,P.E.L.de Teruel和L.Fernandez所著的“Practical planar metricrectification（实用平面度量校正）”（Proc.BMVC,2006，爱丁堡，英国，2006年9月4-7日）中，观察到相机姿态C₁可被表达为两个自由度中的共轭旋转，该共轭旋转将地平线的位置（即，无穷远线）固定在相应的相机图像中。结果得到的旋转矩阵可被用于按透视法来转换该平面的相机图像并且合成经校正的在其中可测量直角和平行线的正交图像。Ruiz等人提议通过顺序地绕x轴（倾角）和z轴（滚动角）旋转固定位置的相机来描述地平线。6DOF相机姿态可由2DOF共轭旋转和4DOF相似矩阵构成，该4DOF相似矩阵定义任意的平面坐标系（取向、标度、位置）。图6A、6B、6C和6D解说了对平面图像校正参数化的几何解读。如图6A和6D中所解说的，该平面和参考相机被定义成位于正则位置，该平面与世界(x,y)平面对齐并且参考相机位于位置(0,0,-1)，以使得世界和相机坐标系对齐。该平面在单位半球上绕保持固定的参考相机旋转。如图6A中所解说的，绕x轴的第一旋转使该平面沿与(y,z)相机平面对齐的圆移动。如图6B中所解说的，第二旋转使该平面沿与(x,y)相机平面对齐的另一圆移动。为了避免该平面旋转到相机后面，我们将(-π/2,π/2)定义为x旋转参数的范围。对于z旋转参数，我们将[-π/2,π/2)定义为有效范围以避免解对称。在分别由x和z轴旋转构成的校正变换之后，相机仍保留在正则位置，如图6C中所解说的。如图6D中所解说的，通过使相机z射线与该平面相交来定义最终的平面坐标系，从而导致相似变换。

性质

我们分析了式7的成本函数以及结果得到的2DOF成本面的形状和深度。取决于参考相机的选择以及诸关键帧之间的运动，发现了以下所发现的各种效果。

编码在输入单应性中的运动被发现会显著地影响成本面的深度。例如，当传递从固定相机C₁至相机C₂估计的单个单应性（其中沿单个平移轴的图像交叠逐渐增加）时，成本深度随平移的幅度而线性地增加。

成本深度和运动会影响误差函数的解多样性。一般而言，希望找到成本面的产生唯一性2DOF解的全局最小值。然而，成本面有规律地示出与描述该平面前面的相机姿态和该平面后面的相机姿态的解相对应的两个局部最小值。增加编码在单应性中的运动量使局部最小值消失，从而有利于找到描述该平面前面的相机姿态的正确的全局最小值。

可能遇到退化运动情形，该情形不会改变成本函数并且因此不会产生有效解。例如，已知的退化运动情形包括沿平面法线的纯旋转和平移。

平面映射

如以上所讨论的，映射组件130处理由跟踪组件120提供的关键帧候选。这些关键帧候选提供关于平面场景的新信息，该信息可被用于改善平面重构并得到经细化且经扩展的映射图。

图7是解说用于基于姿态一致性来将关键帧候选选择为关键帧的方法的流程图。如所解说的，例如在关键帧候选队列132中从跟踪组件120（图2）接收关键帧候选（220）。例如，基于交叠量来确定关于关键帧候选的毗邻关键帧（222）。估计关键帧候选和毗邻关键帧的单应性（224），以及使用每个毗邻关键帧的姿态和所估计的单应性来计算候选关键帧的姿态（226）。将关键帧候选的所计算出的姿态与例如由图2中的跟踪组件120产生的跟踪姿态作比较（228）。如果结果得到的比较低于期望阈值（230），则将该关键帧候选选择为关键帧（232），否则拒绝该候选关键帧（234）。

毗邻关键帧

如以上所讨论的，在图7的步骤222中，对于每个关键帧候选，关于后续的单应性估计从该图形中选择毗邻关键帧节点集合。为此目的，可计算成对的图像交叠。

通过用单应性来将源关键帧的图像角落投影到目标关键帧上来计算源/目标关键帧对的交叠。从已知的关键帧姿态推导单应性。结果得到的4点多边形是相交的和统一的，从而得到另外两个多边形。期望交叠是这些多边形面积之比r(A,B)：

式8

给定的候选关键帧与该图形中的每个现有的关键帧配对，从而得到相应的交叠比列表。实际的选择可通过以交叠比降序来对结果得到的列表排序并且从该列表开头检取有限的关键帧集合（例如，5个关键帧）来进行，从而得到毗邻关键帧集合。

姿态一致性检查

通过将候选关键帧与先前选择的毗邻关键帧集合相组合，在两个方向上估计成对的单应性，如参照图7中的步骤224。作为示例，RANSAC（随机采样一致性）算法可被用于稳健的估计。结果得到的单应性可能是由与当前映射的平面冲突的平面导致的。可能例如源于较差的图像交叠、不均匀的特征分布、或者较低的对应性计数（因高噪声或离群）而发生估计误差。

因此，希望通过将由跟踪组件120为候选关键帧提供的跟踪姿态与从毗邻关键帧姿态和所估计的单应性计算出的姿态观察作比较来检测表征错误的单应性的候选关键帧。对于每个毗邻关键帧I_i，通过将该毗邻关键帧的姿态与相应的单应性相组合来计算关键帧候选的姿态O_i（图7中的步骤226）。作为示例，图8解说了与图5中所示的姿态图形相似、但包括候选关键帧F的姿态图形。基于关键帧A的姿态P_A和单应性H_FA来计算候选关键帧F的姿态O_A，基于关键帧E的姿态P_E和单应性H_FE来计算姿态O_E，以及基于关键帧D的姿态P_D和单应性H_FD来计算姿态O_D。姿态O_i与从平面跟踪组件120获得的候选相机姿态位置P的位置差（图7中的步骤228）可被确定为：

err = \sqrt{\underset{i}{Σ} {| | O_{i} - P | |}^{2}} .

式9

如果结果得到的RMS误差低于期望阈值（图7中的步骤230），则该关键帧候选被选择为关键帧（图7中的步骤232）并且所估计的单应性分别被插入该图形中作为节点和边；否则该关键帧候选被拒绝（图7中的步骤234）。

重构

平面重构规程纳入了对关键帧相机姿态和映射点的初始化和细化。关于选定的参考关键帧姿态来计算关键帧相机姿态，其中使用从该图形中检索的单应性通过平面估计算法来重新评价该选定的参考关键帧姿态。从与每个映射点相关联的图像观察来计算映射点。

图9解说了用于使用包括新关键帧的节点（姿态）和边（单应性）的图形结构来创建映射图的方法。在已生成包括新关键帧的节点（姿态）和边（单应性）的图形结构的情况下，使用该图形结构来创建所成像的平面对象的映射图（图4中的步骤210），如图9中所解说的。在添加了新关键帧之后，从多个先前关键帧中选择参考关键帧（280）。关于平面对象来计算参考关键帧的姿态（282）。使用参考关键帧的姿态以及参考关键帧与其余关键帧集合之间的单应性来计算其余关键帧集合的姿态（284）。参考关键帧的姿态和其余关键帧集合的姿态被用来创建映射图（286）。

参考关键帧选择

参考关键帧的选择（步骤280）对重构的总体质量具有显著的影响，这是因为所有关键帧姿态都是关于该参考关键帧来计算的。

对于参考关键帧的选择，可基于由运行时的实际相机轨迹产生的姿态图形的结构来使用不同的办法。如果姿态图形示出清晰的中心节点，则该中心节点可被用作参考关键帧。否则，靠近前沿（最新近）关键帧的引导节点可以是占优的。随后，姿态图形被用于检索关键帧节点之间的单应性路径。这些单应性被用于参考关键帧估计和映射图创建。在这两种情形中，可以希望例如通过使单应性路径深度最小化来使由（组成）单应性导致的总体误差最小化，这是因为单应性误差会沿该路径累积。

对于这两种办法，可实现评分函数，这些评分函数是用从宽度优先图形操作检索的值来参数化的。为了决定姿态图形是否具有清晰的中心节点，可以使用众所周知的弗里曼（Freeman）网络集中化测量。计算具有最大中心性测量的节点并且将该节点与理论最大值作比较。如果结果得到的比值超过预定阈值，则可将该最大测量节点用作参考关键帧。替换地，可使用距离最新近的关键帧节点减去某个可变偏移量（例如，2）后具有最小路径深度的图形节点。

参考姿态估计

在选择了参考关键帧的情况下，用输入单应性集合来初始化平面估计算法，并且随后关于参考关键帧的经更新的相机姿态来重新计算所有关键帧姿态。

图10A和10B解说了用于平面估计和姿态更新的单应性检索操作。平面估计算法可使用不同的单应性检索办法。一种办法旨在使编码在输入单应性中的运动最大化并且递送冗余，以使得单个错误的单应性不会损坏校正算法成本面。如图10A中所解说的，对于给定的根节点C，检索至所有其他节点的包含该图形的（任一方向上的）所有边的路径。纳入最大数目的边确保了高运动量并且提供至目标节点（例如节点E）的多条路径，从而包含个体错误单应性的组成单应性得到补偿。在图10B中所解说的另一种办法中，并不纳入所有图形边，而是检索从参考关键帧C至所有其他关键帧的最短路径。

通过用检索到的单应性路径来使式7中的成本函数最小化来获得参考关键帧的姿态（图9中的步骤282）。对于给定的单应性集合，可以计算单个最佳可用解。取决于解多样性，最佳解可以是唯一性的全局最小值，或者在解不明确的情形中可以是来自局部最小值集合中选定的最佳最小值。在罕见的退化情形中，该算法可能根本不产生有效解。

为了使成本函数最小化，对成本面进行离散采样（例如，在每个参数维度中每隔10度进行采样），并且通过简单地将所采样的成本值与其邻值作比较来计算采样最小值集合。从该采样最小值集合计算局部最小值集合。用Nelder-Mead下降单纯形法求解器来细化每个采样最小值以找到最优化参数。丢弃结果得到的表征有效范围以外的参数的局部最小值。另外，成对地比较局部最小值并且丢失重复值。由于用数字表示的不精确性，可能在有效性步骤中丢弃潜在的全局最小值。通过将所有局部最小值与具有最小成本的采样最小值作比较的方式检查全局最小值的存在。如果不能找到具有更小成本的局部最小值，则该最低成本采样最小值就被添加至局部最小值集合。

映射图创建

在重构的这一点上，参考关键帧关于该平面的姿态是已知的。通过将参考姿态乘以关键帧间单应性来计算其余的关键帧姿态（图9中的步骤284）。通过重新评价映射点来完成映射图创建（图9中的步骤286）。

关键帧姿态更新

通过将由平面估计算法产生的参考姿态单应性C_r与单应性H_k,r相乘以获得关键帧姿态单应性C_k来计算关键帧姿态P_k。随后，通过计算旋转矩阵的第三列来恢复完整姿态P_k。另外，可应用相似变换S，该相似变换S将平面坐标系原点移至第一关键帧的经背投影的主点中。

C_k=H_k,rC_rS。式10

对于单应性H_k,r的检索，可以使用宽度优先搜索来计算从参考至关键帧的最短路径。

点评价

使用相应的关键帧相机姿态来向映射点位置指派其经背投影的关键帧图像观察的质心。通过计算这些观察至质心的平均距离并且丢弃位于某个阈值（例如，两倍于平均距离）以外的观察来检测显著离群观察。在此类情形中，仅使用内围观察来重新评价质心。

平面跟踪

图11是用于相对于平面点映射图来跟踪相机姿态的方法的流程图。跟踪组件120处理来自经校准的单目相机110的传入图像流的所捕捉图像，并且计算相对于由映射组件130提供的平面点映射图的相机姿态。由此，如图11中所解说的，接收图像流（300）。在系统启动时，映射图尚不存在并且相应地例如使用两个关键帧来初始化该系统（302）。一旦系统被初始化，就从映射组件130接收映射图（304）以及通过使用来自映射图的点并且将这些点与当前图像相匹配来估计姿态（306）。使用运动模型和稳健的姿态细化器来估计相机姿态。如果图像产生与现有关键帧具有较少交叠的良好姿态，则该图像被添加至候选关键帧队列（308）。由此，候选关键帧由跟踪组件120选择并且传递给映射组件130，从而得到经扩展且经细化的映射图。

初始化

例如，由可手动地选择第一关键帧的用户来初始化映射和跟踪系统（图11中的步骤300）。例如，第一关键帧可以是在由用户发起映射和跟踪应用时的第一图像帧。替换地，用户可在映射和跟踪应用已被发起之后通过触摸触摸屏显示器102来选择期望的第一关键帧。连续地估计该关键帧与当前输入图像之间的单应性。另外，将每个单应性传递给以上所讨论的图像校正算法，并且产生当前图像关于第一关键帧的姿态估计。

单应性估计

关键帧表征不同图像规模等级上的显著图像测量的固定集合。例如，可生成具有三个等级的低通图像棱椎以改善标度不变性。在每个棱锥等级上，可应用FAST（来自加速分段测试的特征）角落检测器以生成角落测量集合。可以使用用于提取关键点的其他方法，诸如SIFT、或加速稳健特征（SURF）、或任何其他期望的方法。例如，可通过过滤具有低评分的FAST特征来限制关键点计数以限制后续的计算成本。

稳健的RANSAC估计算法可被用于根据源关键帧（即，第一关键帧）与目标关键帧（即，当前关键帧）之间的2D-2D点对应性进行的单应性估计。对于每个图像等级（从最粗到最细），我们迭代由源关键帧提供的显著图像测量并且计算目标关键帧中的匹配对应性。在每个等级之后，用所添加的等级点对应性来细化单应性。RANSAC离群阈值可以关于已知的内部相机参数来设置。

点对应性可以用子像素准确仿射块匹配算法通过在具有归一化的互相关（NCC）的搜索窗上进行主动搜索来计算。在给定两个图像和初始单应性的情况下，在源图像中的源点位置处建立局部1×1像素坐标系。可通过将局部坐标系投影到目标图像中来生成局部仿射变形矩阵。在调整了源图像等级之后，从源图像采样8×8片块，将其在具有给定半径（例如，3-5个像素）的搜索窗上通过将NCC用作误差测量的方式与目标图像相关。如果目标图像点的NCC值高于某个阈值（例如，>0.9），则源和目标点可被认为是相关的。

初始映射图

在自动选择第二关键帧的情况下，映射组件130根据结果得到的关键帧对和相应的单应性来计算初始映射图。第二关键帧是基于图像交叠和平面估计质量来选择的。如果第一关键帧与当前图像之间的图像交叠超过某个阈值（例如，0.75）并且校正算法通过将第一关键帧用作参考而产生有效的且明确的平面估计，则第二关键帧被选择并且映射图被初始化。

映射图初始化包括从第二关键帧到第一关键帧的单应性估计、这两个关键帧的姿态估计、以及用从这些关键帧背投影的点来填充该映射图。映射点位置是由经背投影的相关联的图像观察的质心来定义的。世界坐标系原点是通过背投影第一关键帧图像的主点来定义的。另外，初始图形是通过将第一和第二关键帧添加为节点并且将其单应性添加为边来建立的。

映射图跟踪

在创建了初始平面映射图之后，跟踪组件120接收该映射图（图11中的304），并且使用来自该映射图的点来估计相机姿态以及将这些相机姿态与当前图像相匹配（306）。另外，从图像流选择关键帧并且将这些关键帧传递给映射组件130。

姿态估计

跟踪组件120稳健地估计相对于由映射组件130提供的平面映射图的6DOF相机姿态。恒定的衰减运动模型基于先前的姿态观察来预测当前图像的姿态。运动模型姿态被用于初始化相机视锥，该相机视锥被用于丢弃对于当前图像而言不可见的映射点。使用所预测的姿态来将其余映射点投影到当前图像中，从而得到可见点集合。

在最粗略等级处开始使用归一化的互相关来为每个图像等级连续地执行点匹配。在完成一等级之后，匹配的等级对应性被添加至显著点集合并且执行姿态细化步骤。所采用的姿态细化算法旨在通过将稳健的Tukey M估计器用于丢弃离群值来使二次投影误差最小化。可通过用预定义阈值划分相应的TukeyM估计器权重来从显著输入点集合计算结果得到的姿态的内围点集合。

在完成所有等级上的点匹配之后，检查结果得到的姿态的有效性和质量。姿态质量可由显著特征计数与内围特征计数的比值来定义。如果该比值高于某个阈值（例如，>0.75），则认为质量良好，如果该比值低于某个阈值（例如，<0.5），则认为质量较差，否则认为质量中等。如果姿态估计器例如由于过少的点对应性而指示无效姿态，则可以使用重新定位模式。一种可能的重新定位模式可以是计算当前图像的SIFT特征描述符并将其与包含映射图特征的描述符的数据库相匹配并且尝试用结果得到的对应性来估计姿态。

关键帧选择和映射图更新

可基于当前的姿态质量和图像交叠而从图像流中选择关键帧候选。如以上所讨论的，只有那些产生具有良好质量的姿态估计的图像被认为是关键帧。如果没有找到与当前图像充分交叠（例如，最大交叠比低于0.75或0.60）的现有关键帧或者来自候选关键帧队列的候选关键帧，则当前图像被推送到由映射组件130处理的关键帧候选队列上（步骤308）。交叠参数可影响映射图数据量并且由此影响总体系统性能。随着交叠的增加，关键帧的数目稳定地增加，从而导致对3D空间的较密集采样。进而，候选关键帧表征更多毗邻的关键帧，从而允许较多单应性的估计并且影响图形的连通性。然而，交叠参数看起来不会对准确性产生显著影响。令人惊讶的是，较多数据既不会显著改善对象空间也不会显著改善二次投影误差。60％交叠看起来提供充分的数据，以便以良好的质量来解决平面重构，其中二次投影误差低于3个像素并且对象空间误差低于轨迹大小的1.5％。

映射组件130通过设置相应的标志来指示经细化的映射图的完成。由于经细化的映射图可能例如因参考关键帧的变化而显著变化，因而例如来自最后两个图像的对应性被存储起来并且其关于新映射图的姿态被重新估计。可以随后从这些新的姿态来更新运动模型。

图12是如以上所讨论的能够使用所捕捉图像进行姿态跟踪和映射的移动设备100的框图。移动设备100包括经校准的单目相机110。移动设备100还可包括用户接口103，用户接口103包括显示器102、按键板105或用户可藉以将信息输入到移动设备100的其他输入设备。若期望，可通过将虚拟按键板整合到具有触摸传感器的显示器102中来免去按键板105。例如，如果移动设备100是诸如蜂窝电话之类的移动设备，则用户接口103还可包括话筒106和扬声器104。当然，移动设备100可包括与本公开不相关的其他元件。

移动设备100还包括连接至相机110并且与相机110通信的控制单元180。控制单元180可由总线180b、处理器181和相关联的存储器184、硬件182、软件185及固件183来提供。控制单元180包括如以上所讨论的那样操作的跟踪组件120和映射组件130。为清楚起见，跟踪组件120和映射组件130被分开地解说并且与处理器181分开，但是可以是单个单元、组合单元、和/或基于在处理器181中运行的软件185中的指令而实现在处理器181中。将理解，如本文中所使用的，处理器181、以及跟踪组件120和映射组件130中的一个或多个可以但不必须包括一个或多个微处理器、嵌入式处理器、控制器、专用集成电路（ASIC）、数字信号处理器（DSP）等。术语处理器旨在描述由系统实现的功能而非具体硬件。此外，如本文所使用的，术语“存储器”是指任何类型的计算机存储介质，包括与移动设备相关联的长期、短期、或其他存储器，且并不被限定于任何特定类型的存储器或特定数目的存储器、或记忆存储在其上的介质的类型。

移动设备包括用于捕捉平面对象的多个图像的装置，其可以是例如相机110。用于将新图像选择为新关键帧的装置可包括跟踪组件120。用于计算该新关键帧与平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性的装置可以是映射组件130。用于使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构的装置可以是映射组件130。用于使用该图形结构来创建平面对象的映射图的装置可以包括映射组件130。用于基于该映射图和随后捕捉的图像来跟踪该平面对象的装置可以包括跟踪组件120。

本文中所描述的方法体系取决于应用可藉由各种手段来实现。例如，这些方法体系可在硬件182、固件163、软件185、或其任何组合中实现。对于硬件实现，这些处理单元可以在一个或多个专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理器件（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、处理器、控制器、微控制器、微处理器、电子器件、设计成执行本文中所描述功能的其他电子单元、或其组合内实现。

对于固件和/或软件实现，这些方法体系可用执行本文中描述的功能的模块（例如，规程、函数等等）来实现。任何有形地实施指令的机器可读介质可被用来实现本文中所描述的方法体系。例如，软件代码可被存储在存储器184中并由处理器181执行。存储器可在处理器181的内部或外部实现。如果以固件和/或软件实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质上。各示例包括编码成具有数据结构的非瞬态计算机可读介质和编码成具有计算机程序的计算机可读介质。计算机可读介质包括物理计算机存储介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质；如本文中所使用的盘（disk）和碟（disc）包括压缩碟（CD）、激光碟、光碟、数字多用碟（DVD）、软盘和蓝光碟，其中盘常常磁性地再现数据，而碟用激光来光学地再现数据。上述的组合也应被包括在计算机可读介质的范围内。

尽管为了指导性目的结合具体实施例来解说本发明，但是本发明不限于此。可作出各种调整和修改而不脱离本发明的范围。因此，所附权利要求的精神和范围不应被限于前面的描述。

Claims

1.一种方法，包括：

捕捉平面对象的多个图像；

将新图像选择为新关键帧；

计算所述新关键帧与所述平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性；

使用所述新关键帧和所述多个先前关键帧中的每个先前关键帧以及所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性来生成图形结构；

使用所述图形结构来创建所述平面对象的映射图；以及

基于所述映射图和随后捕捉的图像来跟踪所述平面对象。

2.如权利要求1所述的方法，其特征在于，所述图形结构是基于树的图形结构，并且所述新关键帧和所述多个先前关键帧中的每个先前关键帧是节点，且所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性是所述节点之间的边。

3.如权利要求1所述的方法，其特征在于，使用所述图形结构来创建所述平面对象的所述映射图包括：

从所述多个先前关键帧中选择参考关键帧；

计算所述参考关键帧关于所述平面对象的姿态；

使用所述参考关键帧的姿态以及所述参考关键帧与其余关键帧集合之间的单应性来为所述其余关键帧集合计算姿态；以及

使用所述参考关键帧的姿态和所述其余关键帧集合的姿态来创建所述映射图。

4.如权利要求3所述的方法，其特征在于，所述参考关键帧是基于靠近所述新关键帧和靠近所述图形结构的中心节点中的一者来选择的。

5.如权利要求1所述的方法，其特征在于，将所述新图像选择为所述新关键帧包括：将所述新图像与所述多个先前关键帧作比较以确定所述新图像与所述多个先前关键帧的交叠，以及将所述交叠与一阈值作比较。

6.如权利要求1所述的方法，其特征在于，将所述新图像选择为所述新关键帧包括验证所述新图像属于所述平面对象。

7.如权利要求6所述的方法，其特征在于，验证所述新图像属于所述平面对象包括：

基于毗邻关键帧的姿态以及所述新图像与所述毗邻关键帧之间相应的单应性来确定所述新图像的多个姿态；

将所述多个姿态与从关于所述映射图跟踪所述新图像产生的关于所述新图像的跟踪姿态作比较；以及

确定所述多个姿态与所述跟踪姿态之间成对的姿态差异的总和落在指示所述新图像属于所述平面对象的阈值内。

8.一种装置，包括：

能够捕捉平面对象的多个图像的相机；以及

耦合至所述相机的处理器，所述处理器被配置成将新图像选择为新关键帧，计算所述新关键帧与所述平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性，使用所述新关键帧和所述多个先前关键帧中的每个先前关键帧以及所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性来生成图形结构，使用所述图形结构来创建所述平面对象的映射图，以及基于所述映射图和随后捕捉的图像来跟踪所述平面对象。

9.如权利要求8所述的装置，其特征在于，所述图形结构是基于树的图形结构，并且所述新关键帧和所述多个先前关键帧中的每个先前关键帧是节点，且所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性是所述节点之间的边。

10.如权利要求8所述的装置，其特征在于，所述处理器被配置成通过配置成执行以下操作来将所述图形结构用于创建所述平面对象的映射图：从所述多个先前关键帧中选择参考关键帧，计算所述参考关键帧关于所述平面对象的姿态，使用所述参考关键帧的姿态以及所述参考关键帧与其余关键帧集合之间的单应性来为所述其余关键帧集合计算姿态，以及使用所述参考关键帧的姿态和所述其余关键帧集合的姿态来创建所述映射图。

11.如权利要求10所述的装置，其特征在于，所述处理器被配置成基于靠近所述新关键帧和靠近所述图形结构的中心节点中的一者来选择所述参考关键帧。

12.如权利要求8所述的装置，其特征在于，所述处理器被配置成通过配置成执行以下操作来将所述新图像选择为所述新关键帧：将所述新图像与所述多个先前关键帧作比较以确定所述新图像与所述多个先前关键帧的交叠，以及将所述交叠与一阈值作比较。

13.如权利要求8所述的装置，其特征在于，所述处理器被配置成通过配置成验证所述新图像属于所述平面对象来将所述新图像选择为所述新关键帧。

14.如权利要求13所述的装置，其特征在于，所述处理器被配置成通过配置成执行以下操作来验证所述新图像属于所述平面对象：基于毗邻关键帧的姿态以及所述新图像与所述毗邻关键帧之间相应的单应性来确定所述新图像的多个姿态，将所述多个姿态与从关于所述映射图跟踪所述新图像产生的关于所述新图像的跟踪姿态作比较，以及确定所述多个姿态与所述跟踪姿态之间成对的姿态差异的总和落在指示所述新图像属于所述平面对象的阈值内。

15.一种设备，包括：

用于捕捉平面对象的多个图像的装置；

用于将新图像选择为新关键帧的装置；

用于计算所述新关键帧与所述平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性的装置；

用于使用所述新关键帧和所述多个先前关键帧中的每个先前关键帧以及所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性来生成图形结构的装置；

用于使用所述图形结构来创建所述平面对象的映射图的装置；以及

用于基于所述映射图和随后捕捉的图像来跟踪所述平面对象的装置。

16.如权利要求15所述的设备，其特征在于，所述图形结构是基于树的图形结构，并且所述新关键帧和所述多个先前关键帧中的每个先前关键帧是节点，而所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性是所述节点之间的边。

17.如权利要求15所述的设备，其特征在于，所述用于使用所述图形结构来创建所述平面对象的映射图的装置包括：

用于从所述多个先前关键帧中选择参考关键帧的装置；

用于计算所述参考关键帧关于所述平面对象的姿态的装置；

用于使用所述参考关键帧的姿态以及所述参考关键帧与其余关键帧集合之间的单应性来为所述其余关键帧集合计算姿态的装置；以及

用于使用所述参考关键帧的姿态和所述其余关键帧集合的姿态来创建所述映射图的装置。

18.如权利要求15所述的设备，其特征在于，所述用于将所述新图像选择为所述新关键帧的装置包括：用于将所述新图像与所述多个先前关键帧作比较以确定所述新图像与所述多个先前关键帧的交叠的装置，以及用于将所述交叠与一阈值作比较的装置。

19.如权利要求15所述的设备，其特征在于，所述用于将所述新图像选择为所述新关键帧的装置包括用于验证所述新图像属于所述平面对象的装置。

20.如权利要求19所述的设备，其特征在于，所述用于验证所述新图像属于所述平面对象的装置包括：

用于基于毗邻关键帧的姿态以及所述新图像与所述毗邻关键帧之间相应的单应性来确定所述新图像的多个姿态的装置；

用于将所述多个姿态与从关于所述映射图跟踪所述新图像产生的关于所述新图像的跟踪姿态作比较的装置；以及

用于确定所述多个姿态与所述跟踪姿态之间成对的姿态差异的总和落在指示所述新图像属于所述平面对象的阈值内的装置。

21.一种包括存储于其上的程序代码的非瞬态计算机可读介质，包括：

用于从平面对象的捕捉到的多个图像中将新图像选择为新关键帧的程序代码；

用于计算所述新关键帧与所述平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性的程序代码；

用于使用所述新关键帧和所述多个先前关键帧中的每个先前关键帧以及所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性来生成图形结构的程序代码；

用于使用所述图形结构来创建所述平面对象的映射图的程序代码；以及

用于基于所述映射图和随后捕捉的图像来跟踪所述平面对象的程序代码。

22.如权利要求21所述的非瞬态计算机可读介质，其特征在于，所述图形结构是基于树的图形结构，并且所述新关键帧和所述多个先前关键帧中的每个先前关键帧是节点，且所述新关键帧与所述多个先前关键帧中的每个先前关键帧之间的所述单应性是所述节点之间的边。

23.如权利要求21所述的非瞬态计算机可读介质，其特征在于，所述用于使用所述图形结构来创建所述平面对象的映射图的程序代码包括：

用于从所述多个先前关键帧中选择参考关键帧的程序代码；

用于计算所述参考关键帧关于所述平面对象的姿态的程序代码；

用于使用所述参考关键帧的姿态以及所述参考关键帧与其余关键帧集合之间的单应性来为所述其余关键帧集合计算姿态的程序代码；以及

用于使用所述参考关键帧的姿态和所述其余关键帧集合的姿态来创建所述映射图的程序代码。

24.如权利要求21所述的非瞬态计算机可读介质，其特征在于，所述用于将所述新图像选择为所述新关键帧的程序代码包括：用于将所述新图像与所述多个先前关键帧作比较以确定所述新图像与所述多个先前关键帧的交叠的程序代码，以及用于将所述交叠与一阈值作比较的程序代码。

25.如权利要求21所述的非瞬态计算机可读介质，其特征在于，所述用于将所述新图像选择为所述新关键帧的程序代码包括用于验证所述新图像属于所述平面对象的程序代码。

26.如权利要求25所述的非瞬态计算机可读介质，其特征在于，所述用于验证所述新图像属于所述平面对象的程序代码包括：

用于基于毗邻关键帧的姿态以及所述新图像与所述毗邻关键帧之间相应的单应性来确定所述新图像的多个姿态的程序代码；

用于将所述多个姿态与从关于所述映射图跟踪所述新图像产生的关于所述新图像的跟踪姿态作比较的程序代码；以及

用于确定所述多个姿态与所述跟踪姿态之间成对的姿态差异的总和落在指示所述新图像属于所述平面对象的阈值内的程序代码。