CN104981680A - 相机辅助的运动方向和速度估计 - Google Patents

Abstract

本发明揭示了用于相机辅助的运动方向和速度估计的方法和装置。确定移动装置的位置特性的方法包括从所述移动装置捕获表示视图的多个图像，至少部分基于所述移动装置的定向调整所述多个图像的视角，使用所述多个图像确定相对于所述移动装置的运动方向的失调角以及将所述失调角和所述运动方向存储在存储装置中。

Description

相机辅助的运动方向和速度估计

相关申请案的交叉引用

本申请案主张2013年2月14日提交的且名称为“相机辅助的运动方向和速度估计(Camera Aided Motion Direction and Speed Estimation)”的第13/767,755号美国申请案的权益及优先权，所述申请案转让给本受让人且以引用的方式并入本文中。

技术领域

本发明涉及无线通信的领域。具体来说，本发明涉及确定移动装置的位置特性。

背景技术

各种移动装置应用，例如助航设备、企业名录、本地新闻和天气服务等，利用所述装置的位置的知识。在各种情况中，移动装置的位置经由关于所述装置的运动跟踪来识别。例如，在传感器辅助的行人导航应用的情况下，使用装置传感器相对于前进运动的方向的定向来确定运动方向。在移动装置的定向与前进运动方向之间的角度被称作对准角或失调角。对于在用户步行行进时辅助用户的移动应用，移动装置的定向可能频繁改变，这转而可能频繁改变移动装置的失调角，且可能不利地影响此类移动应用的用户体验。

因此，需要可以解决常规解决方案的以上问题的方法和系统。

发明内容

本发明涉及用于确定移动装置的位置特性的方法和设备。根据本发明的实施例，一种确定移动装置的位置特性的方法包括从移动装置捕获表示视图的多个图像、至少部分基于移动装置的定向来调整所述多个图像的视角、使用所述多个图像确定相对于移动装置的运动方向的失调角以及将失调角和运动方向存储在存储装置中。所述方法进一步包括应用失调角和失调角的置信度以指引移动装置的用户。

调整多个图像的视角的所述方法包括以下各项中的至少一者：基于使用从一或多个传感器收集的数据来计算的移动装置的定向而调整所述多个图像的视角；使用靠近所述多个图像的中心的区域补偿所述多个图像的视角；以及至少部分基于在所述多个图像中的特征的位置的加权平均来补偿所述多个图像的视角。

确定失调角的所述方法包括跟踪来自所述多个图像的特征、估计移动装置的运动方向、使用传感器数据估计移动装置的定向以及至少部分基于移动装置的运动方向和定向来确定失调角。跟踪来自多个图像的特征的所述方法包括拒绝在所述多个图像的特征中的离群值以消除在所述多个图像中的至少一个移动对象。

所述方法进一步包括以下各项中的至少一者：使用由移动装置的陀螺仪提供的信息确定相对于移动装置的运动方向的失调角的置信度、使用由移动装置的磁力计提供的信息确定相对于移动装置的运动方向的失调角的置信度以及使用所述多个图像的特征确定相对于移动装置的运动方向的失调角的置信度。

所述方法进一步包括确定移动装置的速度估计、确定移动装置的速度估计的置信度以及应用速度估计和速度估计的置信度以指引移动装置的用户。确定速度估计的所述方法包括从所述多个图像提取特征、使用来自所述多个图像的特征计算移动装置的平均位移以及至少部分基于移动装置的平均位移来计算速度估计。计算速度估计的所述方法包括比较来自所述多个图像的特征、确定在所述多个图像中的两个连续图像之间的像素的间隔、确定在两个连续图像之间的时间间隔以及根据在两个连续图像之间的像素的间隔和时间间隔计算移动装置的速度估计。所述方法进一步包括根据移动装置的GPS位置信息和WIFI位置信息中的至少一者校准移动装置的高度。

在又一实施例中，一种设备包括包含处理逻辑的控制单元，其中所述处理逻辑包括经配置以从移动装置捕获表示视图的多个图像的逻辑、经配置以至少部分基于移动装置的定向来调整所述多个图像的视角的逻辑、经配置以使用所述多个图像确定相对于移动装置的运动方向的失调角的逻辑以及经配置以将失调角和运动方向存储在存储装置中的逻辑。

在又一实施例中，一种计算机程序产品，其包括存储用于通过一或多个计算机系统执行的指令的非暂时性媒体，所述指令包括用于从移动装置捕获表示视图的多个图像的指令、用于至少部分基于移动装置的定向来调整所述多个图像的视角的指令、用于使用所述多个图像确定相对于移动装置的运动方向的失调角的指令以及用于将失调角和运动方向存储在存储装置中的指令。

在又一实施例中，一种系统包括用于从移动装置捕获表示视图的多个图像的装置、用于至少部分基于移动装置的定向调整所述多个图像的视角的装置、用于使用所述多个图像确定相对于移动装置的运动方向的失调角的装置以及用于将失调角和运动方向存储在存储装置中的装置。

附图说明

在结合以下图式阅读了本发明的实施例的详细描述之后，将可更加清楚地理解本发明的前述特征和优点及其另外特征和优点。

图1A图示根据本发明的一些方面的相对于移动装置的运动方向的失调角的实例。图1B图示图1A的移动装置102的侧视图。

图2A到2C图示根据本发明的一些方面的执行对相机俯仰和不对称的特征分布的视角补偿的方法。

图3A和图3B图示根据本发明的一些方面的检测且去除移动对象的方法。

图4图示根据本发明的一些方面的示例性移动装置的框图。

图5A图示根据本发明的一些方面的估计移动装置的速度和失调角的方法。

图5B图示根据本发明的一些方面的估计移动装置的速度的方法。

图6图示根据本发明的一些方面的确定移动装置的位置特性的示例性方法。

图7A图示根据本发明的一些方面的在一段时间内监视移动装置的运动、失调角以及与所述失调角相关联的置信度的方法。

图7B图示示出根据本发明的一些方面的在一段时间内移动装置的平均失调角的变化的曲线图。

在整个图式中使用相同的数字。

具体实施方式

本发明揭示了用于基于客户端-服务器的动态搜索的方法和设备的实施例。呈现以下描述以使所属领域的技术人员能够制作和使用本发明。对具体实施例和应用的描述是仅作为实例提供。所属领域的技术人员将容易明白本文中所描述的的实例的各种修改及组合，且在不脱离本发明的精神和范围的情况下，本文中所界定的一般原理可以应用于其它实例和应用。因而，本发明并不意图限于所描述且示出的实例，而是应符合与本文中所揭示的的原理和特征一致的最宽范围。词语“示例性”或“实例”在本文中用于意指“充当实例、例子或说明”。本文中描述为“示例性”或描述为“实例”的任何方面或实施例未必应被解释为比其它方面或实施例优选或有利。

图1A图示根据本发明的一些方面的相对于移动装置的运动方向的失调角的实例。如图1A中示出，在一些使用情况中，移动装置102的运动方向101可以不同于移动装置定向103。失调角105是在移动装置定向103和运动方向101之间的角度。注意，在一些公开案中，失调角105也可以被称作对准角。预测失调角105的能力可以用于行人导航应用。移动装置可以包含一或多个相机108和显示器112。

根据本发明的方面，当移动装置102在行人导航模式中时，移动装置102的一或多个相机108可以经配置以捕获图像帧以用于确定失调角105。所捕获的图像可以在显示器112中向用户示出。

图1B图示图1A的移动装置102的侧视图。在一种方法中，移动装置102可以经配置以使用或者前置相机108a(位于移动装置的正面)或后置相机108b(位于移动装置的背面)来捕获图像帧。例如，如图1B中示出，前置相机108a可以经配置以捕获在移动装置102上方的区域的视野，且后置相机108b可以经配置以捕获在移动装置102下方的区域的视野。在另一方法中，移动装置102可以经配置以使用前置相机108a和后置相机108b两者来捕获在移动装置102的正视图和背视图两者中的图像帧。利用此方法，在一些场所中，可以收集在地板上或在天花板上的特征以估计移动装置102相对于移动装置定向103的运动方向。

在又另一种方法中，前置相机108a和后置相机108b两者可以并行地使用。在此方法中，由在前置相机108a和后置相机108b中的两个不同视角造成的误差可能具有相反的符号且可以被补偿，因为前置相机108a和后置相机108b的视角定向成彼此相差180度。在又另一种方法中，任一相机都可以基于哪一视野具有更多更容易于跟踪的特征且基于哪一视野具有更少的移动对象来选择。

存在许多标准可以用于选择前置相机108a而非后置相机108b，反之亦然，所述标准包含但不限于：1)哪一视野给出更多特征；2)哪一视野更易于跟踪；以及3)哪一视野具有更少的移动对象。相机可以基于哪一个给出用于特征跟踪的较高平均置信度度量值来选择。另外，根据本发明的方面，可以自适应地做出跟踪哪个相机的决定，因为移动装置102的环境在所述移动装置被用户固持时可能发生改变。另外，根据本发明的方面，移动装置102可以经配置以使用度量值来拒绝离群值，因为图像帧可能包含移动部分的特征。例如，此类移动部分的一个源可以是用户的脚。此类移动部分的另一源可以是用户的头部。

图2A到2C图示根据本发明的一些方面的执行对相机俯仰和不对称的特征分布的视角补偿的方法。如图2A中示出，箭头(202a、204a、206a和208a)图示由于在行人导航应用程序中的可能的相机俯仰导致的不对称的特征分布。此类不对称的特征分布可能导致对移动装置102的运动方向的不正确估计。图2B图示在没有图像背景的情况下由于在行人导航应用程序中的相机俯仰导致的相同的不对称的特征分布(由箭头表示)。相对应的箭头示出为202b、204b、206b和208b。图2C图示由相对应的箭头202c、204c、206c和208c表示的经视角调整的特征分布。

为了解决不对称的特征分布的问题，在一种方法中，移动装置102可以经配置以基于如使用传感器(例如磁力计、加速度计和陀螺仪)计算出的移动装置相对于竖直方向的角度来执行视角校正。在另一方法中，移动装置102可以经配置以在计算移动装置102的运动方向时使用靠近图像帧的中心的特征。在又另一种方法中，在计算移动装置102的运动方向时可以采用基于位置的特征的加权平均，例如靠近中心的特征具有更多的权重。例如，沿着图像的中心由箭头202a表示的特征可以指派有权重1(100％)、由箭头204a表示的特征可以指派有权重.8(80％)、由箭头206a表示的特征可以指派有权重.6(60％)、由箭头206a表示的特征可以指派有权重.4(40％)等。

根据本发明的方面，可以使用多种技术执行识别和跟踪图像帧中的特征。在一种方法中，可以通过检查每一2乘2梯度矩阵的最小本征值来执行识别特征的方法。随后，使用最小化两个窗口之间的差值的牛顿-拉普森方法来跟踪特征。多分辨率跟踪方法允许图像之间的相对较大位移。注意，在从一个帧到下一帧跟踪特征期间，误差可能累积。为了检测可能地不良特征，移动装置102可以经配置以监视在窗口中的关于当前帧中的特征的图像信号是否仍类似于关于前一帧中的特征的图像信号。因为可以在许多帧上跟踪特征，因此图像内容可能变形。为解决此问题，可以用相似度或仿射映射来执行一致性检查。

根据本发明的方面，为识别图像中的对象，可以获取所述对象上的若干个点以提供所述对象的特征描述(也称为关键点、特征点或简称为特征)。随后可以在尝试在包含许多其它对象的测试图像中定位所述对象时，使用从训练图像获取的此描述来识别所述对象。为执行可靠辨识，甚至在图像尺度、噪声及照明的变化下也可检测从训练图像获取的特征。此类点通常位于图像的高对比度区域上，例如位于对象边缘上。

这些特征的另一特性是其间的在原始场景中的相对位置可以不从一个图像到另一图像而改变。例如，如果仅将门的四个拐角用作特征，那么其可以起作用而不管门的位置如何；但如果使用帧中的若干点，那么如果门打开或关闭，辨识可能失败。类似地，如果在所处理的组中的两个图像之间发生特征内部几何结构的任何改变，那么位于铰接或柔性对象中的特征通常可能不起作用。在一些实施方案中，SIFT检测且使用来自图像的大量特征，这可以减少由所有特征匹配误差的平均误差的局部变化引起的误差的影响。因此，所揭示方法可以识别甚至处于混乱且部分被遮挡的对象；因为SIFT特征描述符对于均匀缩放、定向可以是不变的，且对于仿射失真及照明变化可以是部分地不变的。

例如，可以首先从一组参考图像获取对象的关键点且将其存储于数据库中。通过比较来自新图像的每一特征与此数据库且基于其特征向量的欧几里得距离找出候选匹配特征来在新图像中辨识对象。可以从整组匹配识别在对象及其在新图像中的位置、尺度及定向上一致的关键点的子组以滤出良好匹配。可以通过使用广义霍夫变换的哈希表实施方案来执行一致集群的确定。在对象及其姿势上一致的3个或3个以上特征的每一集群随后可以经受进一步详细的模型验证，且随后可以丢弃离群值。随后可以基于拟合的准确性及可能的错误匹配的数目来计算一组特定特征指示存在对象的概率。通过测试的对象匹配可以高置信度被识别为正确的。

根据本发明的方面，图像特征产生将图像变换成大的特征向量集合，所述特征向量中的每一者对于图像平移、缩放及旋转可以是不变的，且对于照明变化是不变的并且对于局部几何失真是稳健的。这些特征与在灵长类动物视觉中用于对象辨识的下颞叶皮层中的神经元具有类似特性。关键位置可以被界定为在尺度空间中应用于一系列经平滑化且重新取样的图像的高斯函数的差值结果的最大值及最小值。可以丢弃低对比度候选点及沿着边缘的边缘响应点。优势定向被指派给局部化的关键点。此方法确保关键点对于匹配及辨识更为稳定。随后可以通过考虑围绕所述关键位置的半径的像素、模糊化且重新取样局部图像定向平面来获得对局部仿射失真稳健的SIFT描述符。

特征匹配及索引可以包含存储SIFT关键点及从新图像识别匹配的关键点。在一种方法中，也称为最优节点优先搜索方法的k-d树算法的修改可以用于使用有限量的计算来以高概率识别最近的相邻者。最优节点优先算法将经修改搜索次序用于k-d树算法，因此可其按距查询位置最近的距离的次序搜索特征空间中的区间。此搜索次序需要使用基于堆的优先级队列来有效地确定搜索次序。可以通过从训练图像识别每一关键点在关键点数据库中的最近的相邻者来找出每一关键点的最佳候选匹配。最近的相邻者可以被界定为距给定描述符向量具有最小欧几里得距离的关键点。可以通过采用距最近相邻者的距离与次近者的距离的比来确定匹配为正确的概率。

在一个示例性实施方案中，可以拒绝其中距离比大于0.8的匹配，这消除90％的错误匹配，同时丢弃少于5％的正确匹配。为进一步改进最优节点优先算法的效率，可以在检查预定数目的(例如100个)最近的相邻候选者之后停止搜索。对于具有100,000个关键点的数据库，这可以提供超过精确的最近邻域搜索约2个数量级的加速，而又导致正确匹配数目的少于5％的损失。

注意，在所述示例性实施方案的情况下，可以使用霍夫变换来将可靠模型假设集群以搜索在特定模型姿势上一致的关键点。霍夫变换可以用于通过使用每一特征选出可能与所述特征一致的对象姿势来识别具有一致解释的特征的集群。当发现特征的集群选出对象的相同姿势时，解释正确的概率可以高于任何单一特征的情况。可以产生哈希表中的项以根据匹配假设预测模型位置、定向及尺度。可以搜索哈希表以识别在区间中具有至少3项的集群，且可将区间排序成大小的降序。

根据本发明的方面，SIFT关键点中的每一者都可以指定2D位置、尺度及定向。另外，数据库中的每一匹配关键点都可以具有与训练图像(在其中发现所述关键点)有关的其参数的记录。由这4个参数暗示的相似度变换可以近似等于3D对象的6自由度姿势空间，且也不考虑任何非刚性变形。因此，示例性实施方案可对于定向使用30度的宽区间大小，对于尺度使用因数2，且对于位置使用0.25倍的最大经预计训练图像尺寸(使用预测尺度)。可对以较大尺度产生的SIFT关键样本给出以较小尺度产生的样本的权重的两倍权重。利用此方法，较大尺度实际上可能能够滤出用于以较小尺度进行检查的最可能相邻者。此方法还通过将较大权重给予噪声最小的尺度而改进辨识性能。根据本发明的方面，为了避免在区间指派中的边界效应问题，每一关键点匹配可以选出在每一维度中的2个最近区间，从而对于每种假设给出总共16项且进一步加宽姿势范围。

图3A和图3B图示根据本发明的一些方面的检测且去除移动对象的方法。图3A图示将用户的脚304a和304b包含为移动对象的图像帧302。图3B图示将用户的脸308包含为移动对象的另一图像帧306。用户的脚304a和304b以及用户的脸308可以被认为是离群值；且此类离群值的特征可以从根据在以下部分中所描述的方法捕获的图像帧去除。

根据本发明的方面，对于给定参数解，可以通过检查每一图像特征与模型之间的一致性来去除离群值。例如，给定线性最小平方解，可能需要每一匹配在用于霍夫变换区间中的参数的误差范围的一半内一致。在离群值被丢弃时，可以用剩余点来求解线性最小平方解，且所述过程可以迭代。在一些实施方案中，如果在丢弃离群值之后剩余小于预定数目的点(例如，3个点)，则可拒绝所述匹配。另外，可以使用自上向下的匹配相位来添加与所预计的模型位置一致的任何进一步匹配，所述匹配可能由于相似度变换近似或其它误差而从霍夫变换区间错过。

接受或拒绝模型假设的决定可以基于详细的概率模型。给定所预计的模型大小、在所述区域内的特征的数目以及拟合的准确性，所述方法首先计算到模型姿势的错误匹配的预期数目。贝叶斯概率分析随后可以基于所发现的匹配特征的实际数目来给出对象可能存在的概率。如果正确解释的最终概率大于预定百分比(例如95％)，则可以接受模型。

根据本发明的方面，在一种方法中，旋转不变特征变换(RIFT)方法可以用作SIFT的旋转不变广义化以解决混乱或部分遮挡情况。可以使用划分成相等宽度的同心环的圆形归一化块来构造RIFT描述符，且在每一环内，可以计算梯度定向直方图。为维持旋转不变性，可以在每一点处相对于从中心指向外部的方向测量定向。

在另一方法中，可以使用广义的稳健不变特征(G-RIF)方法。G-RIF以组合感知信息与空间编码的统一形式对边缘定向、边缘密度及色调信息进行编码。对象辨识方案使用基于相邻背景的选举来估计对象模型。

在又另一方法，可以使用加速稳健特征(SURF)方法，其使用尺度及旋转不变关注点检测器/描述符，所述检测器/描述符在可重复性、独特性及稳健性方面可以胜过先前所提出的方案。SURF依赖于整体的图像用于图像卷积以减少计算时间，且依靠主要的现有检测器及描述符的强度(对于检测器及基于分布的描述符使用基于快速赫斯矩阵的测量)。SURF方法描述哈尔小波响应在关注点邻域内的分布。整体的图像可以用于速度，且64个维度可以用于减少用于特征计算及匹配的时间。索引步骤可以基于拉普拉斯算子的符号，这增加描述符的匹配速度及稳健性。

在又另一方法中，可以使用主成分分析SIFT(PCA-SIFT)方法。在一些实施方案中，PCA-SIFT描述符为在支持区域内计算的在x及y方向上的图像梯度的向量。梯度区域可在39×39个位置处取样。因此，向量可以具有维度3042。所述维度可以用PCA减小到36。在又另一方法中，可以使用梯度位置-定向直方图(GLOH)方法，其为经设计以增加其稳健性及独特性的SIFT描述符的扩展。在一些实施方案中，可以针对在径向方向上具有三个区间(半径设定成6、11及15)且在角方向上具有8个区间的对数极坐标位置网格(其导致17个位置区间)计算SIFT描述符。中心区间不在角方向上进行划分。可在16个区间中量化梯度定向，从而产生272个区间直方图。此描述符的大小可以用PCA减小。可根据从各种图像收集的图像块估计PCA的协方差矩阵。128个最大本征向量随后可以用于描述。

在又另一方法中，可以采用两对象辨识算法来配合当前移动装置的局限性而使用。与经典SIFT方法相比，加速分段测试特征(FAST)角点检测器可以用于特征检测。此方法在离线准备阶段(其中可以不同尺度水平产生特征)与在线阶段(其中可以移动装置的相机图像的当前固定尺度水平产生特征)之间加以区分。在一个示例性实施方案中，可以从预定固定块大小(例如15×15像素)产生特征，且所述特征形成具有36个维度的SIFT描述符。可以通过将可扩展词汇树集成在辨识管线中而进一步扩展所述方法。这允许有效地辨识移动装置上的大量对象。

根据本发明的方面，局部图像特征的检测及描述可以有助于对象辨识。SIFT特征可以为局部的且基于对象在特定关注点处的外观，且对于图像缩放及旋转可以为不变的。所述特征对于照明、噪声的变化及视角的较小变化也可以为稳健的。除这些特性之外，特征可以为高度独特的、相对容易获取且允许以低失配概率正确地识别对象。所述特征可以相对较容易地匹配局部特征的(大)数据库，且通常可以使用具有最优节点优先搜索的k维(k-d)树等概率算法。通过一组SIFT特征进行的对象描述对于部分遮挡也可以为稳健的。例如，来自对象的少至3个SIFT特征可以足以计算其位置及姿势。在一些实施方案中，对于小数据库且在现代计算机硬件上，可以准实时地执行辨识。

根据本发明的方面，可以采用随机样本一致性(RANSAC)技术来去除由在相机的视野中的移动对象造成的离群值。注意，RANSAC使用迭代方法来从包含离群值的一组所观测数据来估计数学模型的参数。此方法是非确定性的，因为其以相关联概率产生合理结果，其中所述概率可随着执行更多迭代而增加。

在一个示例性实施方案中，一组观测到的数据值，可以相对应的置信度参数拟合到观测结果的参数化模型。在此示例性实施方案中，所述方法迭代地选择原始数据的随机子组。这些数据可以是假设的群内值(inlier)，且随后可以如下测试这些假设：

1.将模型拟合到假设的群内值，即从所述群内值重建模型的所有自由参数。

2.随后可对照经拟合模型测试所有其它数据，且如果某一点很好地拟合到所估计的模型；则可认为其是假设的群内值。

3.如果已经将足够数目的点归类为假设的群内值，则可以认为所估计的模型是可接受的。

4.从所有假设的群内值重新估计所述模型，因为所述模型仅已从初始组假设群内值进行了估计。

5.最终，通过估计群内值相对于模型的误差来评估模型。

每当产生因为过少的点被归类为群内值而可能被拒绝的模型或与相对应的误差测量一起产生改进的模型时，可以重复以上步骤预定次数。在后一种情况下，如果误差低于先前保存的模型，则保持所述改进的模型。

在另一示例性实施方案中，可以使用基于模型的运动跟踪方法来有效地识别并去除在相机的视野中的移动对象。在一种方法中，跟踪的目标可以处理为模型辨识问题。可以跟踪目标的二进制表示，且使用基于豪斯多夫距离的搜索来在图像的区域中搜索对象。对于目标的二进制表示(模型)，用模型历史的概念来扩增来自经高斯平滑的图像的标准坎尼(canny)边缘检测器的输出。在每一帧处，可以使用来自当前图像的坎尼边缘及当前模型来对每一目标执行豪斯多夫搜索。另外，可以执行仿射估计以近似得出净背景运动。可以从这两个搜索的结果收集关于目标的信息，且可以使用所述信息来近似得出目标的运动且在目标的区域中将背景与运动分离开来。为能够处理危险/异常的条件(例如被遮挡的对象进入阴影中，对象离开所述帧，或相机图像失真提供不良图像质量)，可以保留关于目标的历史数据，例如目标的过去运动及大小变化、目标的特性视图(在所有时间存在的快照，其提供已跟踪目标所用不同方式的准确表示)，以及在过去的匹配质量。

跟踪目标的历史可不仅仅有用于辅助危险/异常的条件；可靠的运动跟踪方法的那一部分可能涉及历史数据，而不仅仅是运动比较的逐帧方法。此历史状态可以提供关于如何决定应将何内容视为目标的部分的信息(例如，以相同速度移动的接近于对象移动的事物应并入所述对象中)，且利用关于运动及大小的信息，所述方法可以预测性地估计丢失的对象可能去往何处，或其可能重新出现于何处(这已经有用于恢复离开帧且在时间上稍后重新出现的目标)。

运动跟踪方法中的固有挑战可能由以下事实造成：相机可以具有任意移动(与固定相机相反)，这使得难以开发可以处理相机运动的不可预测变化的跟踪系统。可以使用计算上有效的仿射背景估计方案来提供关于相机及场景的运动的信息。

根据本发明的方面，可执行在时间t处的图像到在时间t+dt处的图像的仿射变换，这允许使两个图像的运动相关。此背景信息允许所述方法从在时间t处的图像及仿射变换(其可为净场景运动的近似)合成在时间t+dt处的图像。此合成图像可以有用于产生新模型信息且从模型空间去除背景混乱，因为可采用在t+dt处的实际图像与在t+dt处所产生的图像的差值来从目标周围的空间去除图像特征。

仿射变换除被用作清除搜索空间的工具之外，还用于归一化目标的坐标移动：通过具有跟踪背景可如何移动的向量及跟踪目标可如何移动的向量，可以采用所述两个向量的差值来产生描述目标相对于背景的运动的向量。此向量允许所述方法预测性地匹配目标应处的位置，且预计危险条件(例如，在运动的方向上向前看可以提供关于即将出现的障碍物的线索，以及保持跟踪对象在危险条件下可能处于的位置)。当对象进入危险条件时，所述方法可能仍能够估计背景运动，且结合模型的先前移动的知识来使用所述背景运动来猜测模型可能重新出现于何处或在何处重新进入帧中。

背景估计已经是在对象的长期跟踪中的关键因素。注意，可在不进行背景估计的情况下执行短期跟踪，但在一段时间之后，在没有对背景的良好估计的情况下，可能难以有效地处理对象失真及危险。

根据本发明的方面，使用豪斯多夫距离作为匹配运算符的优点之一是其在匹配期间对于形状的改变可能相当耐受，但使用豪斯多夫距离作为匹配运算符可能需要更准确地界定所跟踪的对象。

在一种方法中，可以使用从时间t+1图像获取新模型的基于直接扩张的方法。注意，在其中存在接近于对象的非对象特征(其出现频率很高)的一些情形中，扩张方法可能并不有效，因为其可能将整个场景缓慢地并入模型中。因此，可以采用从帧到帧更新模型的方法，所述方法可以耐受模型形状的变化，但并不过于宽松以致将非模型像素并入到模型中。一个示例性实施方案为使用背景去除与将先前模型添加到当前模型匹配窗及采用看似稳定的像素以及其周围的新像素(其随时间推移可能因为其可能不稳定而从模型消除或并入到模型中)的组合。此方法已经有效地保持模型在图像中相对干净而无混乱。例如，利用此方法，接近于卡车的道路不再被逐像素地拉入模型中。注意，模型可能呈现为扩张型，但这可能是构造模型的方式的历史效果的结果，但其还可具有使搜索结果更为确定的特征，因为此方法可以使更多模型像素可能在下一帧中匹配。

注意，在每一帧处，可能存在大量计算要执行。根据一些实施方案，移动装置可以经配置以执行平滑/特征提取、豪斯多夫匹配每一目标(例如每模型一个匹配)，以及仿射背景估计。这些操作中的每一者可能个别地在计算上非常昂贵。为实现在移动装置上的实时性能，设计可以经配置以使用尽可能多的并行性。

图4图示根据本发明的一些方面的示例性移动装置的框图。移动装置102包含用于捕获环境的图像的相机108，所述图像可以是或者个别的照片或者视频的帧。移动装置102还可以包含传感器116，所述传感器可以用于提供数据，移动装置102可以利用所述数据确定其位置及定向，即，姿势。可与移动装置102一起使用的传感器的实例包含加速度计、石英传感器、陀螺仪、用作线性加速度计的微机电系统(MEMS)传感器，以及磁力计。

移动装置102还可以包含用户接口110，所述用户接口包含能够显示图像的显示器112。用户接口110还可以包含用户可以经由其将信息输入到移动装置102中的小键盘114或其它输入装置。如果需要，可以通过将虚拟小键盘集成到具有触摸传感器的显示器112中来排除小键盘114。用户接口110还可以包含麦克风117和一或多个扬声器118(例如，如果移动装置是蜂窝式电话)。当然，移动装置102可以包含与本发明无关的其它组件。

移动装置102进一步包含控制单元120，其连接到相机108和传感器116以及用户接口110连同任何其它所希望的特征且与所述装置进行通信。控制单元120可以由一或多个处理器122及相关联的存储器/存储装置124提供。控制单元120还可以包含软件126和硬件128以及固件130。控制单元120包含失调角计算模块132，其经配置以在移动装置102的定向和运动方向之间的失调角。控制单元进一步包含运动方向跟踪模块133，其经配置以跟踪移动装置102的运动方向(所述运动方向可以指示用户的运动方向)。控制单元120进一步包含速度计算模块134，其经配置以计算移动装置102的速度(所述速度可以指示用户的速度)。为了清楚起见，失调角计算模块132、运动方向跟踪模块133以及速度计算模块134与处理器122和/或硬件128分开图示，但也可以基于在软件126和固件130中的指令组合和/或在处理器122和/或硬件128中实施。

图5A图示根据本发明的一些方面的估计移动装置的速度和失调角的方法。在图5A中示出的实例中，所述方法在框502中开始，且其后移动到框504，其中所述方法收集传感器数据。根据本发明的方面，传感器数据可以包含如图1B中所描述通过一或多个相机108a和108b捕获的图像帧。传感器数据还可以包含通过加速度计、陀螺仪、磁力计和/或通过移动装置102的无线接收器收集的数据。在框506中，所述方法从所捕获的图像帧中提取特征。在框508中，所述方法执行视角补偿。根据本发明的方面，结合图2A到图2C的描述提供执行视角补偿的实例。在框510中，所述方法比较在两个连续图像帧之间的特征以确定在两个连续图像帧之间的像素的间隔。根据本发明的方面，结合图2A到图2C的描述提供提取且比较图像帧中的特征的方法。在框512中，所述方法至少部分基于在框510中执行的在图像帧之间的特征的比较来计算位移的量值和角度。

在框514中，所述方法计算横越在图像帧之间的距离。在框516中，所述方法根据结合图5B所描述的方法计算移动装置的速度。在框518中，所述方法至少部分基于在框512中确定的位移的角度来确定移动装置的运动方向。在框520中，所述方法至少部分基于在框518中确定的运动方向和通过由移动装置102的一或多个传感器获得的数据确定的定向来确定在移动装置的定向和运动方向之间的失调角。所述方法在框520中结束。

图5B图示根据本发明的一些方面的估计移动装置的速度的方法。在图5B中示出的示例性实施方案中，通过跟踪通过移动装置102的一或多个相机108a和/或108b捕获的图像帧中的特征，可以确定两个连续图像帧之间的像素的间隔。所述方法将图像帧中的像素的位移转换成以米为单位的距离的位移。随后，所述方法确定一或多个相机(108a和/或108b)的视野和一或多个相机被固持在地面上方的高度。注意，由于透视投影，取决于对象可能远离移动装置的相机的视角的程度，相同的距离可以与所捕获的图像帧中不同数目的像素相对应。在一些应用中，可以估计移动装置102被固持在地面上方的默认高度。在一些其它应用中，可以从移动装置102的GPS位置或从所述移动装置的其它定位估计(例如WiFi、蓝牙测量)来确定高度。

如图5B中示出，对于投射直线图像的相机108的透镜109，视角Alpha(α)可以从所选择的维度(d)和有效焦距(F)计算为Alpha＝2*arctan(d/2F)，其中d表示在所测量的方向上的传感器的大小。注意，如果在从相机观看时的对象角度大小等于相机视角，则对象图像可能占据整个传感器，其中此类实际对象大小为d*S1/S2。

将在d维中的像素的数目表示为MaxPix(如果在视频模式中获得图像，则所述MaxPix其可以是例如720或1080，图像的一个像素可以与对象(表面)的d*S1/S2/MaxPix米相对应。如果相机(在用户手中)使固定对象横移，且对象特征已经移动了N个像素，那么这意味着所述相机已经移动了Npix*d*S1/S2/MaxPix。如果移动已经在时间间隔T上发生(如在两个邻接的30Hz帧之间的1/30秒)，那么移动装置的速度可以估计为Speed＝Npix*d*S₁/S₂/MaxPix/T。

上式还可以替代形式呈现，而不必参考传感器大小和从传感器到透镜的距离。因为在示例性实施方案中，S1表示相机距地板H的距离，且S1近似等于F，所以所述表达式可以重新写成Speed＝Npix*d*H/F/MaxPix/T。另外，Alpha＝2*arctan(d/2F)可以近似为Alpha＝d/F，这得到公式

Speed＝Alpha/MaxPix*Npix*H/T。

在此公式中，Alpha/MaxPix包含已知相机参数的组合，对象图像位移Npix和行进时间T可以测量，且相机距地板H的距离可以或者假设或者在用户速度可以已知时(例如)从GNSS或WiFi位置校准。

图6图示根据本发明的一些方面的确定移动装置的位置特性的示例性方法。在框602中，控制单元120可以经配置以从移动装置捕获表示视图的多个图像。在框604中，控制单元120可以经配置以至少部分基于移动装置的定向调整多个图像的视角。在框606中，控制单元120可以经配置以使用多个图像来确定相对于移动装置的运动方向的失调角。在框608中，控制单元120可以经配置以将失调角和运动方向存储在存储装置中。

根据本发明的实施例，在框604中执行的方法可以进一步包含在框610中执行的方法。在框610中，控制单元120可以经配置以基于使用从一或多个传感器收集的数据来计算的移动装置的定向而调整多个图像的视角，使用靠近多个图像的中心的区域来补偿多个图像的视角，和/或至少部分基于在多个图像中的特征的位置的加权平均来补偿多个图像的视角。

根据本发明的实施例，在框606中执行的方法可以进一步包含在框612到622中执行的方法。在框612中，控制单元120可以经配置以跟踪来自多个图像的特征、估计移动装置的运动方向、使用传感器数据估计移动装置的定向以及至少部分基于移动装置的运动方向和定向确定失调角。

在框614中，控制单元120可以经配置以执行以下各项中的至少一者：使用由移动装置的陀螺仪提供的信息来确定相对于移动装置的运动方向的失调角的置信度、使用由移动装置的磁力计提供的信息来确定相对于移动装置的运动方向的失调角的置信度以及使用多个图像的特征来确定相对于移动装置的运动方向的失调角的置信度。

在框616中，控制单元120可以经配置以确定移动装置的速度估计、确定移动装置的速度估计的置信度以及应用速度估计和速度估计的置信度以指引移动装置的用户。在框618中，控制单元120可以经配置以应用失调角和失调角的置信度以指引移动装置的用户。

根据本发明的实施例，在框612中执行的方法可以进一步包含在框620中执行的方法。在框620中，控制单元120可以经配置以拒绝在多个图像的特征中的离群值以消除在多个图像中的至少一个移动对象。

根据本发明的实施例，在框616中执行的方法可以进一步包含在框622中执行的方法。在框622中，控制单元120可以经配置以从多个图像提取特征、使用来自多个图像的特征计算移动装置的平均位移以及至少部分基于移动装置的平均位移计算速度估计。

在框622中，控制单元120可以进一步经配置以比较来自多个图像的特征、确定在多个图像中的两个连续图像之间的像素的间隔、确定在两个连续图像之间的时间间隔以及根据在两个连续图像之间的像素的间隔和时间间隔来计算移动装置的速度估计。另外，控制单元120可以进一步经配置以根据移动装置的GPS位置信息和WIFI位置信息中的至少一者校准移动装置的高度。

根据本发明的一些方面，在图5A和图6中描述的功能可以通过图4的控制单元120可能地结合一或多个其它元件来实施。在一些实施方案中，所述功能可以通过处理器122、软件126、硬件128以及固件130或上述组件的组合来执行以执行在本发明中描述的设备的各种功能。在又一些其它实施方案中，在图5A和图6中描述的功能可以通过处理器122结合一或多个其它元件(例如图4的元件108到118和124到134)来实施。

图7A图示根据本发明的一些方面的在一段时间内监视移动装置的运动、失调角以及与所述失调角相关联的置信度的方法。如图7A中示出，第一曲线图702示出在一段时间(在此实例中所述时间是80秒)内在移动装置102的定向和运动方向之间的失调角(在图7A中也称为角度)。第二曲线图704示出在同一段时间内与失调角相关联的相对应的置信度值。第三曲线图706示出在同一段时间内移动装置102是否在运动中。

在一些应用中，置信度估计可以是导航算法的输入，所述导航算法可以经配置以分辨移动装置是否可能依赖于在某一时间点处确定的失调角。如上所述，置信度估计可以从特征跟踪算法得到。在一些应用中，置信度值还可以通过陀螺仪和磁力计来估计。例如，陀螺仪和磁力计可以经配置以指示在用户转向(即改变运动方向)时，失调角的置信度值可能减小。

在一些其它应用中，当陀螺仪值超出阈值时，它可以推断用户可能在使移动装置移动或在转向；且在这些情况下，置信度值可能相应地减小。当陀螺仪指示转向时，计算失调角的平均值的过滤器可以复位。注意，置信度度量值说明良好地跟踪特征的程度。如果置信度值较低，那么移动装置可以经配置以使用来自先前时间或来自不同相机的角度，例如从前置相机切换到后置相机，反之亦然。

图7B图示示出根据本发明的一些方面的在一段时间内移动装置的平均失调角的变化的曲线图。如图7B中示出，在从近似2到46秒的第一时段708中，平均失调角(在图7B中也称为平均角度)是近似-86度。在从近似47到60秒的第二时段710中，平均失调角急剧地变化，这通常指示用户可能在将移动装置移动到不同的位置或用户可能在转向。在从近似61到75秒的第三时段712中，平均失调角是近似-60度。此类信息可以用于辅助定位和行人导航应用。

根据本发明的方面，监视失调角和运动方向的方法可以替代地或另外如下执行：在一些实施方案中，对于在移动装置102上运行的传感器辅助的行人导航应用程序，失调角计算模块132可以用于确定在移动装置102的定向和如通过运动方向跟踪模块133给出的移动装置102的前进运动的方向之间的角度偏移。例如，如图1A中示出，失调角可以由在移动装置102的运动方向M和移动装置的定向的方向O之间的角度差界定。通过计算和利用失调角，可以在其中常规运动方向技术失效的情况下获得移动装置102的运动方向M。更具体来说，取决于移动装置102的定向的方向O，失调角可以具有广泛范围的值(例如，从0到360度)。在没有失调角的情况下，即使是装置前进方向到运动方向的近似转换也可能具有挑战性。

失调角用于促进移动装置102的定位。例如，移动装置102可以配备有罗盘或其它机制以提供指示移动装置102的前进方向的信息，所述前进方向可以被界定为移动装置在给定精度或容差量内所定向(例如，相对于磁北)的方向。然而，除非移动装置102固定不动地定位使得它始终在运动的方向上定向，否则移动装置102的罗盘前进方向自身不表示移动装置102移动的方向。因此，在移动装置102不在运动的方向上定向的情况下，失调角可以用于将移动装置102的定向的方向转换成运动方向。作为实例，在罗盘辅助的航位推测应用中的运动方向可以计算为罗盘前进方向加失调角。

运动方向跟踪模块133和失调角计算模块132可以基于传感器数据操作从步测器(未图示)等获得的信息，以确定与由行人携带的移动装置102的移动相关联的失调角。初始地，基于从加速度计和/或步测器收集的数据，可以识别行人步子且可以确定相对于移动装置102的传感器轴的重力方向。这些初始计算形成运动方向跟踪模块133和失调角计算模块132的操作的基础，如下文所描述。

关于行人运动，例如行走、跑步等，运动方向基于行人运动的生物力学在给定行人步子内且在连续步子之间发生变化。例如，移动的行人以连续的步子左右移位(例如，在利用左脚的步子期间左移且在利用右脚的步子期间右移)且在每一步内竖直地(例如，上下)移位，而非在恒定前进方向上行进。因此，与一连串行人步子相关联的横向(侧向)加速以两步的周期在左右之间循环，而前进和竖直加速以单步的周期循环。

根据本发明的方面，运动方向跟踪模块133可以包含步子移位器、步子求和模块和步子相关模块(图4中未示出)。运动方向跟踪模块133可以利用上述行人运动的特性来将运动的前进分量与竖直和横向分量分离。例如，运动方向跟踪模块133记录从加速度计28(例如，在缓冲器中)获得的在连续步子上的加速度信息。为了调整前进加速度和抑制或消除加速度的横向分量，运动方向跟踪模块133利用步子移位器和步子求和模块来对奇数和偶数步子求和。换句话说，步子移位器通过一步及时改变与一连串行人步子相对应的加速度数据。随后，步子求和模块对原始加速度信息与经改变加速度信息进行求和。如上文所提到，横向变化由于身体旋转和摇摆利用连续的步子以两步周期表示，而前进和竖直加速度显示单步周期。因此，在单步移位之后对行人步子求和减小横向加速度而对竖直或前进加速度具有极小影响。

如果移动装置102不居中定位在行人的身体上或在行人运动期间改变定向，那么横向加速度在各步之间可能不是对称的。因此，尽管步子移位器和步子求和模块操作以减小加速度的横向分量，但这些模块可能不能基本上消除横向加速度。为了增强横向加速度的去除，步子相关模块可以进一步对从加速度计获得的加速度数据进行操作。

当行人前进时(例如，当行走时)，行人的重心在步子开始时上移且在步子结束时下移。类似地，当行人的脚在步子结束时到达地面时行人的前进速度减小且在所述步子期间增加。在行人的步子的前进期间在前进和竖直运动之间的此关系可以被步子相关模块用于进一步消除横向加速度。具体来说，如果与行人步子相关联的加速度被视为周期性函数，那么可以观测到，与步子相关联的竖直加速度和前进加速度偏移近似步子的四分之一(例如，90度)。因此，步子相关模块使竖直加速度与(通过步子移位器)向前和向后移位步子的四分之一(例如，+/-90度)的水平加速度相关。

在如上文所描述进行移位和相关之后，竖直/前进相关性由于行人运动的生物力学可能是相对较强的，而竖直/横向相关性可能近似为零。因此，计算在竖直加速度和向前及向后移位四分之一步的水平加速度之间的相关性，且可以从向后移位结果减去向前移位结果(因为两个相关的结果符号相反)来进一步减小加速度的横向分量。

在运动方向跟踪模块133如上文所论述基本上消除横向加速度之后，失调角计算模块132确定在加速度的前进分量和移动装置102的定向之间的角度。根据本发明的方面，失调角计算模块132可以包含本征分析模块和角度方向推断模块(未在图4中示出)。在一个示例性实施方案中，失调角计算模块132经由本征分析识别失调角，如通过本征分析模块执行，且进一步处理通过角度方向推断模块执行。基于由运动方向跟踪模块133提供的信息，本征分析模块确定移动装置的传感器轴相对于地面的定向，从所述定向获得与移动装置102的运动方向相对应的线。角度方向推断模块分析所获得的线以及与相对应的行人步子相对应的前进和竖直加速度数据，以基于移动装置102的运动方向(例如，沿着所获得的线向前或向后)来确定失调角的方向。通过这样做，角度方向推断模块起到解决与失调角相关联的向前/向后模糊性的作用。

根据本发明的方面，角度方向推断模块利用行人步子的运动特征来确定失调角的方向。如上文所论述，与行人步子相对应的前进和竖直加速度由于腿部旋转、身体移动以及与行人运动相关联的其它因素的机制而相关。因此，角度方向推断模块可以经配置以利用对这些关系的了解来识别运动方向是沿着给定线向前还是向后。

尽管以上论述涉及获得二维运动方向，例如，相对于水平面，但类似技术可以用来获得三维形式的运动方向。因此，本文中所描述的技术可以经扩展以考虑海拔高度的变化、沿着不均匀表面的行人运动和/或影响三维形式的运动方向的其它因素。

另外，除加速度计外，上文所描述的技术可以经扩展以利用陀螺仪。进一步参考行人运动的生物力学，腿部旋转和在行人步子期间的其它相关联的移动可以归类为角移动，例如，在倾斜或摇摆方面所测量的移动。因此，陀螺仪可以用于将重力与由于移动产生的加速度分离，使得在上文所描述的计算之前可以旋转用于计算的参考帧以考虑移动装置102的定向。

注意，至少第[0097]到[0099]段、图4、图5A、图5B、图6以及其相对应的描述提供用于从移动装置捕获表示视图的多个图像的装置、用于至少部分基于移动装置的定向调整多个图像的视角的装置、用于使用多个图像确定相对于移动装置的运动方向的失调角的装置以及用于将失调角和运动方向存储在存储装置中的装置。至少第[0097]到[0099]段、图1A、图1B、图4、图5A、图5B、图6以及其相对应的描述提供用于基于使用从一或多个传感器收集的数据来计算的移动装置的定向而调整多个图像的视角的装置；用于使用靠近多个图像的中心的区域补偿多个图像的视角的装置；用于至少部分基于在多个图像中的特征的位置的加权平均来补偿多个图像的视角的装置；用于跟踪来自多个图像的特征的装置；用于估计移动装置的运动方向的装置；用于使用传感器数据估计移动装置的定向的装置；用于至少部分基于移动装置的运动方向和定向来确定失调角的装置；用于使用由移动装置的陀螺仪提供的信息确定相对于移动装置的运动方向的失调角的置信度的装置；用于使用由移动装置的磁力计提供的信息确定相对于移动装置的运动方向的失调角的置信度的装置；用于使用多个图像的特征确定相对于移动装置的运动方向的失调角的置信度的装置；用于确定移动装置的速度估计的装置；用于确定移动装置的速度估计的置信度的装置；以及用于应用速度估计和速度估计的置信度以指引移动装置的用户的装置。

本文中所描述的方法和移动装置可以取决于应用通过各种装置实施。例如，这些方法可以在硬件、固件、软件或其组合中实施。对于硬件实施方案，处理单元可以在一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中描述的功能的其它电子单元或其组合内实施。本文中，术语“控制逻辑”涵盖由软件、硬件、固件或组合实施的逻辑。

对于固件和/或软件实施方案，可以用执行本文中所描述的功能的模块(例如，程序、函数等)来实施方法。任何有形地体现指令的机器可读媒体都可以用于实施本文中所描述的方法。例如，软件代码可以存储在存储器中并且通过处理单元执行。存储器可以在处理单元内或在处理单元外部实施。如本文中所使用，术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其它存储装置并且不限于任何特定类型的存储器或任何特定数目的存储器，或任何特定类型的其上存储有存储器的媒体。

如果在固件和/或软件中实施，那么可以将所述功能作为一或多个指令或代码存储在计算机可读媒体上。实例包含编码有数据结构的计算机可读媒体和编码有计算机程序的计算机可读媒体。计算机可读媒体可以采用制造品的形式。计算机可读媒体包含物理计算机存储媒体和/或其它非暂时性媒体。存储媒体可以是可以通过计算机进行存取的任何可获得的媒体。借助于实例而非限制，此类计算机可读媒体可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置，磁盘存储装置或其它磁性存储装置，或可用于存储呈指令或数据结构的形式的期望程序代码并且可通过计算机存取的任何其它媒体；如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)，软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上述各项的组合也应包含在计算机可读媒体的范围内。

除存储在计算机可读媒体上之外，指令和/或数据还可以提供为通信设备中所包含的传输媒体上的信号。例如，通信设备可以包含具有指示指令和数据的信号的收发器。所述指令和数据经配置以使得一或多个处理器实施权利要求书中概述的功能。也就是说，通信设备包含具有指示执行所揭示的功能的信息的信号的传输媒体。在第一时间，通信设备中所包含的传输媒体可以包含执行所揭示的功能的信息的第一部分，而在第二时间，通信设备中所包含的传输媒体可以包含执行所揭示的功能的信息的第二部分。

本发明可以结合例如无线广域网(WWAN)、无线局域网(WLAN)、无线个人局域网(WPAN)等各种无线通信网络实施。术语“网络”和“系统”常常可互换使用。术语“位置(position)”和“位置(location)”常常可互换使用。WWAN可以是码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)网络、WiMAX(IEEE 802.16)网络等。CDMA网络可以实施一或多种无线电接入技术(RAT)，例如cdma2000、宽带CDMA(W-CDMA)等。Cdma2000包含IS-95、IS2000和IS-856标准。TDMA网络可以实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某一其它RAT。GSM和W-CDMA描述于来自名为“第三代合作伙伴计划”(3GPP)的联盟的文件中。Cdma2000描述于来自命名“第三代移动通信标准化伙伴项目2”(3GPP2)的联盟的文件中。3GPP和3GPP2文件是公开可用的。WLAN可为IEEE 802.11x网络，且WPAN可为蓝牙网络、IEEE 802.15x或某一其它类型的网络。所述技术还可以结合WWAN、WLAN和/或WPAN的任何组合来实施。

移动台是指例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机或能够接收无线通信和/或导航信号的其它合适的移动装置等装置。术语“移动台”还意图包含例如通过短程无线、红外线、导线连接或其它连接(不管卫星信号接收、辅助数据接收和/或与位置相关的处理是在所述装置处还是在所述PND处发生)与个人导航装置(PND)通信的装置。并且，“移动台”意图包含所有装置，包含无线通信装置、计算机、膝上型计算机等，所述装置能够例如经由因特网、Wi-Fi或其它网络与服务器通信，而不管卫星信号接收、辅助数据接收和/或与位置相关的处理是在所述装置处、在服务器处还是在与所述网络相关联的另一装置处发生。上述项的任何可操作组合也被视为“移动台”。

某事物是“优化的”、“所需的”或其它指定的指定并不指示本发明仅适用于经优化的系统或其中存在“所需的”元件的系统(或由于其它指定导致的其它局限性)。这些指定仅指特定描述的实施方案。当然，许多实施方案都是可能的。所述技术可以与除了本文中所论述的协议之外的协议一起使用，包含正在开发或待开发的协议。

所属领域的技术人员将认识到，可以使用所揭示实施例的许多可能的修改和组合，同时仍采用相同的基本基础机制和方法。出于说明的目的，前述描述已参考具体实施例写出。然而，以上说明性论述并不意图是穷尽性的或将本发明限于所揭示的精确形式。鉴于以上教示，许多修改和变化均是可能的。选择和描述所述实施例以说明本发明的原理和其实际应用，且使所属领域的技术人员能够以适合于所涵盖的特定用途的各种修改最好地利用本发明和各种实施例。

Claims (35)

1.一种确定移动装置的位置特性的方法，其包括：

从所述移动装置捕获表示视图的多个图像；

至少部分基于所述移动装置的定向调整所述多个图像的视角；

使用所述多个图像确定相对于所述移动装置的运动方向的失调角；以及

将所述失调角和所述运动方向存储在存储装置中。

2.根据权利要求1所述的方法，其中调整所述多个图像的视角包括以下各项中的至少一者：

基于使用从一或多个传感器收集的数据来计算的所述移动装置的所述定向而调整所述多个图像的视角；

使用靠近所述多个图像的中心的区域补偿所述多个图像的视角；以及

至少部分基于在所述多个图像中的特征的位置的加权平均来补偿所述多个图像的视角。

3.根据权利要求1所述的方法，其中确定所述失调角包括：

跟踪来自所述多个图像的特征；

估计所述移动装置的运动方向；

使用传感器数据估计所述移动装置的所述定向；以及

至少部分基于所述移动装置的所述运动方向和所述定向来确定所述失调角。

4.根据权利要求3所述的方法，其中所述跟踪来自所述多个图像的特征包括：

拒绝在所述多个图像的特征中的离群值以消除在所述多个图像中的至少一个移动对象。

5.根据权利要求1所述的方法，其进一步包括以下各者中的至少一者：

使用由所述移动装置的陀螺仪提供的信息来确定相对于所述移动装置的所述运动方向的所述失调角的置信度；

使用由所述移动装置的磁力计提供的信息来确定相对于所述移动装置的所述运动方向的所述失调角的所述置信度；

使用所述多个图像的特征来确定相对于所述移动装置的所述运动方向的所述失调角的所述置信度。

6.根据权利要求1所述的方法，其进一步包括：

确定所述移动装置的速度估计；

确定所述移动装置的所述速度估计的置信度；以及

应用所述速度估计和所述速度估计的所述置信度来指引所述移动装置的用户。

7.根据权利要求6所述的方法，其中确定速度估计包括：

从所述多个图像提取特征；

使用来自所述多个图像的所述特征计算所述移动装置的平均位移；以及

至少部分基于所述移动装置的所述平均位移计算所述速度估计。

8.根据权利要求7所述的方法，其中计算所述速度估计包括：

比较来自所述多个图像的所述特征；

确定在所述多个图像中的两个连续图像之间的像素的间隔；

确定在所述两个连续图像之间的时间间隔；以及

根据在所述两个连续图像之间的像素的所述间隔和所述时间间隔计算所述移动装置的所述速度估计。

9.根据权利要求8所述的方法，其进一步包括：

根据所述移动装置的GPS位置信息和WIFI位置信息中的至少一者校准所述移动装置的高度。

10.根据权利要求1所述的方法，其进一步包括：

应用所述失调角和所述失调角的置信度来指引所述移动装置的用户。

11.一种设备，其包括：

包含处理逻辑的控制单元，所述处理逻辑包括：

经配置以从移动装置捕获表示视图的多个图像的逻辑；

经配置以至少部分基于所述移动装置的定向调整所述多个图像的视角的逻辑；

经配置以使用所述多个图像确定相对于所述移动装置的运动方向的失调角的逻辑；以及

经配置以将所述失调角和所述运动方向存储在存储装置中的逻辑。

12.根据权利要求11所述的设备，其中所述经配置以调整所述多个图像的视角的逻辑包括以下各项中的至少一者：

经配置以基于使用从一或多个传感器收集的数据来计算的所述移动装置的所述定向而调整所述多个图像的视角的逻辑；

经配置以使用靠近所述多个图像的中心的区域来补偿所述多个图像的视角的逻辑；以及

经配置以至少部分基于在所述多个图像中的特征的位置的加权平均来补偿所述多个图像的视角的逻辑。

13.根据权利要求11所述的设备，其中所述经配置以确定所述失调角的逻辑包括：

经配置以跟踪来自所述多个图像的特征的逻辑；

经配置以估计所述移动装置的运动方向的逻辑；

经配置以使用传感器数据估计所述移动装置的所述定向的逻辑；以及

经配置以至少部分基于所述运动方向和所述移动装置的所述定向来确定所述失调角的逻辑。

14.根据权利要求13所述的设备，其中所述经配置以跟踪来自所述多个图像的特征的逻辑包括：

经配置以拒绝在所述多个图像的特征中的离群值以消除在所述多个图像中的至少一个移动对象的逻辑。

15.根据权利要求11所述的设备，其进一步包括以下各项中的至少一者：

经配置以使用由所述移动装置的陀螺仪提供的信息来确定相对于所述移动装置的所述运动方向的所述失调角的置信度的逻辑；

经配置以使用由所述移动装置的磁力计提供的信息来确定相对于所述移动装置的所述运动方向的所述失调角的所述置信度的逻辑；以及

经配置以使用所述多个图像的特征来确定相对于所述移动装置的所述运动方向的所述失调角的所述置信度的逻辑。

16.根据权利要求11所述的设备，其进一步包括：

经配置以确定所述移动装置的速度估计的逻辑；

经配置以确定所述移动装置的所述速度估计的置信度的逻辑；以及

经配置以应用所述速度估计和所述速度估计的所述置信度以指引所述移动装置的用户的逻辑。

17.根据权利要求16所述的设备，其中所述经配置以确定速度估计的逻辑包括：

经配置以从所述多个图像提取特征的逻辑；

经配置以使用来自所述多个图像的所述特征计算所述移动装置的平均位移的逻辑；以及

经配置以至少部分基于所述移动装置的所述平均位移来计算所述速度估计的逻辑。

18.根据权利要求17所述的设备，其中所述经配置以计算所述速度估计的逻辑包括：

经配置以比较来自所述多个图像的所述特征的逻辑；

经配置以确定在所述多个图像中的两个连续图像之间的像素的间隔的逻辑；

经配置以确定在所述两个连续图像之间的时间间隔的逻辑；以及

经配置以根据在所述两个连续图像之间的像素的所述间隔和所述时间间隔计算所述移动装置的所述速度估计的逻辑。

19.根据权利要求18所述的设备，其进一步包括：

经配置以根据所述移动装置的GPS位置信息和WIFI位置信息中的至少一者校准所述移动装置的高度的逻辑。

20.根据权利要求11所述的设备，其进一步包括：

经配置以应用所述失调角和所述失调角的置信度以指引所述移动装置的用户的逻辑。

21.一种计算机程序产品，其包括存储用于通过一或多个计算机系统执行的指令的非暂时性媒体，所述指令包括：

用于从移动装置捕获表示视图的多个图像的指令；

用于至少部分基于所述移动装置的定向来调整所述多个图像的视角的指令；

用于使用所述多个图像确定相对于所述移动装置的运动方向的失调角的指令；以及

用于将所述失调角和所述运动方向存储在存储装置中的指令。

22.根据权利要求21所述的计算机程序产品，其中所述用于调整所述多个图像的视角的指令包括以下各项中的至少一者：

用于基于使用从一或多个传感器收集的数据来计算的所述移动装置的所述定向而调整所述多个图像的视角的指令；

用于使用靠近所述多个图像的中心的区域来补偿所述多个图像的视角的指令；以及

用于至少部分基于在所述多个图像中的特征的位置的加权平均来补偿所述多个图像的视角的指令。

23.根据权利要求21所述的计算机程序产品，其中所述用于确定所述失调角的指令包括：

用于跟踪来自所述多个图像的特征的指令；

用于估计所述移动装置的运动方向的指令；

用于使用传感器数据估计所述移动装置的所述定向的指令；以及

用于至少部分基于所述移动装置的所述运动方向和所述定向来确定所述失调角的指令。

24.根据权利要求23所述的计算机程序产品，其中所述用于跟踪来自所述多个图像的特征的指令包括：

用于拒绝在所述多个图像的特征中的离群值以消除在所述多个图像中的至少一个移动对象的指令。

25.根据权利要求21所述的计算机程序产品，其进一步包括以下各项中的至少一者：

用于使用由所述移动装置的陀螺仪提供的信息来确定相对于所述移动装置的所述运动方向的所述失调角的置信度的指令；

用于使用由所述移动装置的磁力计提供的信息来确定相对于所述移动装置的所述运动方向的所述失调角的所述置信度的指令；以及

用于使用所述多个图像的特征来确定相对于所述移动装置的所述运动方向的所述失调角的所述置信度的指令。

26.根据权利要求21所述的计算机程序产品，其进一步包括：

用于确定所述移动装置的速度估计的指令；

用于确定所述移动装置的所述速度估计的置信度的指令；以及

用于应用所述速度估计和所述速度估计的所述置信度以指引所述移动装置的用户的指令。

27.根据权利要求26所述的计算机程序产品，其中所述用于确定速度估计的指令包括：

用于从所述多个图像提取特征的指令；

用于使用来自所述多个图像的所述特征计算所述移动装置的平均位移的指令；以及

用于至少部分基于所述移动装置的所述平均位移来计算所述速度估计的指令。

28.根据权利要求27所述的计算机程序产品，其中所述用于计算所述速度估计的指令包括：

用于比较来自所述多个图像的所述特征的指令；

用于确定在所述多个图像中的两个连续图像之间的像素的间隔的指令；

用于确定在所述两个连续图像之间的时间间隔的指令；以及

用于根据在所述两个连续图像之间的像素的所述间隔和所述时间间隔计算所述移动装置的所述速度估计的指令。

29.根据权利要求28所述的计算机程序产品，其进一步包括：

用于根据所述移动装置的GPS位置信息和WIFI位置信息中的至少一者校准所述移动装置的高度的指令。

30.根据权利要求21所述的计算机程序产品，其进一步包括：

用于应用所述失调角和所述失调角的置信度以指引所述移动装置的用户的指令。

31.一种系统，其包括：

用于从移动装置捕获表示视图的多个图像的装置；

用于至少部分基于所述移动装置的定向来调整所述多个图像的视角的装置；

用于使用所述多个图像确定相对于所述移动装置的运动方向的失调角的装置；以及

用于将所述失调角和所述运动方向存储在存储装置中的装置。

32.根据权利要求31所述的系统，其中所述用于调整所述多个图像的视角的装置包括以下各项中的至少一者：

用于基于使用从一或多个传感器收集的数据来计算的所述移动装置的所述定向而调整所述多个图像的视角的装置；

用于使用靠近所述多个图像的中心的区域补偿所述多个图像的视角的装置；以及

用于至少部分基于在所述多个图像中的特征的位置的加权平均来补偿所述多个图像的视角的装置。

33.根据权利要求31所述的系统，其中所述用于确定所述失调角的装置包括：

用于跟踪来自所述多个图像的特征的装置；

用于估计所述移动装置的运动方向的装置；

用于使用传感器数据估计所述移动装置的所述定向的装置；以及

用于至少部分基于所述移动装置的所述运动方向和所述定向来确定所述失调角的装置。

34.根据权利要求31所述的系统，其进一步包括以下各项中的至少一者：

用于使用由所述移动装置的陀螺仪提供的信息来确定相对于所述移动装置的所述运动方向的所述失调角的置信度的装置；

用于使用由所述移动装置的磁力计提供的信息来确定相对于所述移动装置的所述运动方向的所述失调角的所述置信度的装置；以及

用于使用所述多个图像的特征来确定相对于所述移动装置的所述运动方向的所述失调角的所述置信度的装置。

35.根据权利要求31所述的系统，其进一步包括：

用于确定所述移动装置的速度估计的装置；

用于确定所述移动装置的所述速度估计的置信度的装置；以及

用于应用所述速度估计和所述速度估计的所述置信度来指引所述移动装置的用户的装置。