CN104756155B - 合并多个地图以用于基于计算机视觉的跟踪的系统及方法 - Google Patents

Abstract

用于合并多个地图以用于基于计算机视觉的跟踪的方法、设备及计算机程序产品包括：从至少一个移动装置接收场馆中的场景的多个地图；识别所述场景的所述多个地图的多个关键帧；以及去除冗余关键帧以产生所述场景的全局地图。

Description

合并多个地图以用于基于计算机视觉的跟踪的系统及方法

相关申请案的交叉参考

本申请案主张2013年3月14日申请的标题为“合并多个地图以用于基于计算机视觉的移动装置跟踪的系统及方法(Systems and Methods of Merging Multiple Maps forComputer Vision Based Mobile Device Tracking)”的第13/830,664号美国申请案的权益，所述美国申请案又主张2012年10月31日申请的标题为“合并多个地图以用于基于计算机视觉的移动装置跟踪的系统及方法(Systems and Methods of Merging Multiple Mapsfor Computer Vision Based Mobile Device Tracking)”第61/720,804号美国临时申请案的权益。前述美国申请案的全文特此以引用的方式并入。

技术领域

本发明涉及无线通信、计算机视觉及扩增实境的领域。明确地说，本发明涉及合并多个地图以用于基于计算机视觉的跟踪的系统及方法。

背景技术

众多常规方法可用于从多个子地图产生总地图。这些常规方法将冗余子地图存储在存储器中以支持合并所述多个子地图。此类冗余子地图对于总地图的质量可能贡献不大。然而，其可消耗大量存储空间。此外，可能浪费宝贵的计算资源及时间来处理此类冗余子地图。

发明内容

本发明涉及合并多个地图以用于基于计算机视觉的跟踪的系统及方法。在一个实施例中，一种合并多个地图以用于基于计算机视觉的跟踪的方法包括：从至少一个移动装置接收场馆中的场景的多个地图；识别所述场景的所述多个地图的多个关键帧；以及合并所述多个关键帧以产生所述场景的全局地图。所述方法进一步包括跟踪所述至少一个移动装置在所述场馆中的地点。

接收场馆中的场景的多个地图的方法包括从多个移动装置接收所述场景的所述多个地图。所述方法进一步包括：评估来自多个移动装置的所述场景的所述多个地图的所述多个关键帧的冗余；以及去除冗余关键帧。所述方法进一步包括：使用来自多个移动装置的所述场景的所述多个地图产生同时定位与制图(SLAM)地图；以及在所述多个移动装置之间共享所述SLAM地图。

识别所述场景的所述多个地图的多个关键帧的方法包括以下各者中的至少一者：识别表示从多个角度看所述场景的多个视点的所述多个关键帧；以及识别表示用多个比例看所述场景的多个视点的所述多个关键帧，其中所述多个关键帧包含所述多个地图的共同特征、地点坐标及外观。所述多个比例包括以下各者中的至少一者：所述至少一个移动装置与所述场景之间的多个距离；以及来自所述至少一个移动装置的所述场景的多个纵横比。

合并所述多个关键帧以产生所述场景的全局地图的方法包括：对于所述多个关键帧中的每一关键帧，至少部分基于所述关键帧的角度分集及所述关键帧的比例分集来确定贡献分数；以及响应于所述贡献分数低于预定阈值而去除所述关键帧。至少部分基于所述关键帧的角度分集及比例分集确定贡献分数的方法包括：通过将第一权重因子应用于所述关键帧的所述角度分集而计算角度分集评分度量；通过将第二权重因子应用于所述关键帧的所述比例分集而计算比例分集评分度量；以及组合所述角度分集评分度量与所述比例分集评分度量以产生所述贡献分数。

合并所述多个关键帧以产生所述场景的全局地图的方法进一步包括：对于所述多个关键帧中的每一关键帧，至少部分基于所述关键帧的角度分集确定贡献分数；以及响应于所述贡献分数低于预定阈值而去除所述关键帧。合并所述多个关键帧以产生所述场景的全局地图的方法进一步包括：对于所述多个关键帧中的每一关键帧，至少部分基于所述关键帧的比例分集确定贡献分数；以及响应于所述贡献分数低于预定阈值而去除所述关键帧。

合并所述多个关键帧以产生所述场景的全局地图的方法进一步包括：在角度直方图中记录所述多个关键帧，其中所述角度直方图包含表示所述场景的不同观看角度的多个区间(bin)，且所述多个区间中的每一区间包含表示所述场景的不同观看比例的多个区段。所述方法进一步包含：对于所述角度直方图中的所述多个关键帧中的每一关键帧，至少部分基于所述关键帧的角度分集及所述关键帧的比例分集确定贡献分数；以及响应于所述贡献分数低于预定阈值而去除所述关键帧。

至少部分基于所述关键帧的角度分集及比例分集确定贡献分数的方法包括：通过将第一权重因子应用于所述关键帧的所述角度分集而计算角度分集评分度量，其中所述第一权重因子是至少部分基于所述关键帧所处于的区间中的关键帧的数目；通过将第二权重因子应用于所述关键帧的所述比例分集而计算比例分集评分度量，其中所述第二权重因子是至少部分基于所述关键帧所处于的区段中的关键帧的数目；以及组合所述角度分集评分度量与所述比例分集评分度量以产生所述贡献分数。

在另一实施例中，一种设备包括：经配置以从至少一个移动装置接收场馆中的场景的多个地图的逻辑；经配置以识别所述场景的所述多个地图的多个关键帧的逻辑；以及经配置以合并所述多个关键帧以产生所述场景的全局地图的逻辑。

在又一实施例中，一种计算机程序产品包括非暂时性媒体，其存储指令以供一或多个计算机系统执行。所述指令包括：用于从至少一个移动装置接收场馆中的场景的多个地图的指令；用于识别所述场景的所述多个地图的多个关键帧的指令；以及用于合并所述多个关键帧以产生所述场景的全局地图的指令。

在又一实施例中，一种系统包括：用于从至少一个移动装置接收场馆中的场景的多个地图的装置；用于识别所述场景的所述多个地图的多个关键帧的装置；以及用于合并所述多个关键帧以产生所述场景的全局地图的装置。

附图说明

在结合以下图式阅读本发明的实施例的详细描述之后，本发明的前述特征及优点以及其额外特征及优点将更明显地可理解。

图1说明根据本发明的一些方面的示范性场馆。

图2说明根据本发明的一些方面的从多个角度俘获场景的多个视点的方法。

图3说明根据本发明的一些方面的从多个距离俘获场景的多个视点的方法。

图4说明根据本发明的一些方面的以多个纵横比俘获场景的多个视点的方法。

图5说明根据本发明的一些方面的用于实施合并多个地图以用于基于计算机视觉的跟踪的方法的示范性设备。

图6说明根据本发明的一些方面的用于实施合并多个地图以用于基于计算机视觉的跟踪的方法的示范性流程图。

图7说明根据本发明的一些方面的移动装置的示范性框图。

图8说明根据本发明的一些方面的用于确定关键帧的角度及比例分集的示范性方法。

图9说明根据本发明的一些方面的用于确定关键帧的角度及比例分集的另一示范性方法。

贯穿各图使用相同数字。

具体实施方式

揭示合并多个地图以用于基于计算机视觉的跟踪的实施例。呈现以下描述以便使得所属领域的技术人员能够进行并使用本发明。特定实施例及应用的描述仅是作为实例提供。所属领域的技术人员将容易明白本文所述的实例的各种修改及组合，且在不脱离本发明的范围的情况下，本文中所界定的一般原理可应用于其它实例及应用。因此，本发明并不希望限于所描述及展示的实例，而是应符合与本文中揭示的原理及特征一致的最宽范围。

根据本发明的一些方面，基于同时定位与制图(SLAM)的应用建立且维持关于通过至少一个移动装置观测的环境或场馆的信息以跟踪所述至少一个移动装置在所述环境或场馆中的地点。此信息包含但不限于特征的结构(3D地点)及外观，其也可称为环境地图。用于为建筑物制图的技术可有益于支持不同环境或场馆中的各种使用情况。举例来说，使用多个移动装置建立大地点的全局地图可用于跟踪多个移动装置在环境中的地点。注意，相较于使用单个移动装置建立全局地图，使用多个移动装置建立全局地图可为优选的。

在一些实施方案中，这些全局地图可由环境中的多个移动装置在实施定位时共享。在具有来自不同移动装置的场景的多个地图的情况下，一个方法是合并这些地图以获得全局地图。根据本发明的方面，可实时地产生全局地图，或可在服务器中离线产生全局地图。另一方法是移除冗余，而合并多个地图可导致较小的全局地图大小及使用全局地图的较低跟踪时间。在以下部分中描述以有效方式产生表示关于环境或场馆的信息的合并地图的方法。

根据本发明的一些方面，场景的地图可表示为关键帧，关键帧为从各种视点俘获的图像。每一关键帧可包含场景中的3D特征(点、线，等)中的特征的一组图像及观测结果(点/线的地点坐标及外观)。在一些实施方案中，过去的观测结果及关键帧经存储且用以用新传入的观测结果或约束改进几何结构。一个方法是将特征观测结果存储在关键帧中。地图中的关键帧可以不同视点俘获场景特征的观测结果。此外，关键帧可提供场景的不同部分的观测结果，且在所存储信息中具有最少冗余。对于使用外观进行特征跟踪，具有来自多个视点(如结合图2所描述)及多个比例(如结合图3及图4所描述)的特征的观测结果是有用的。此类特征跟踪方法可用于改善跟踪质量及稳健性。

注意，在合并地图之间的信息时，保留所有关键帧在存在冗余信息的情况下可能增大联合地图大小。此外，需要精简(舍弃)关键帧不会影响跟踪质量，因为关键帧对于跟踪性能是至关重要的。在一个方法中，可保留以不同角度观看特征的关键帧，但可舍弃以不同比例观看特征的关键帧。然而，此方法不保留用于在不同距离连续地跟踪特征的信息。其仅保留对于对结构执行三角测量或解算所必要的信息。在另一方法中，观测较近特征的关键帧可为优选的。在又一方法中，可保留以不同距离观测特征的关键帧，但可舍弃以不同角度观测特征的那些关键帧。评估关键帧在产生总地图或图像时的贡献。

根据本发明的方面，以不同比例观测特征的关键帧可用于以比例变化俘获外观变化，如结合图3及图4所描述。此外，关键帧可用以从各种比例当中的正确比例来预测外观，使得所预测外观具有最少假影或外观失真。

在一个示范性实施方案中，可至少部分基于关键帧的角度分集及比例分集确定与关键帧相关联的贡献分数。举例来说，可从关键帧对由所述关键帧观测的特征的角度分集的贡献导出贡献分数的一个部分。可从关键帧对由所述关键帧观测的特征的比例分集的贡献导出贡献分数的另一部分。接着，如果贡献分数低于预定阈值，则可去除所述关键帧。根据本发明的方面，用于贡献分数的预定阈值可取决于应用而为可编程的。在一些其它实施方案中，贡献分数可表示已经存在于区间中的关键帧的数目，所述区间经配置以记录关键帧从某些观看角度及从某些观看比例或距离的出现数目。举例来说，在一些应用中，用于区间中的关键帧数目的预定阈值可设定为2，且在一些其它应用中，用于区间中的关键帧数目的预定阈值可设定为5。

换句话说，关键帧评分方法可使用第一评分度量来测量角度分集，且使用第二评分度量来测量关键帧的比例分集。所述两个度量可接着与不同权重因子组合并求和。权重因子可用以较之于另一评分度量而更多地强调一个评分度量。根据本发明的方面，用于角度分集及比例分集的权重因子可为可编程的，且其范围可从0(0％)到1(100％)而变化。举例来说，在一些实施方案中，角度分集的权重可为0，且比例分集的权重可为1，或反之亦然。在一些其它实施方案中，角度分集的权重可为.5，且比例分集的权重可为.5。在又一些其它实施方案中，角度分集的权重可为.6，且比例分集的权重可为.4，等等。接着可使用联合度量来评估关键帧对于制图及跟踪的贡献。如上文所描述，如果关键帧的贡献分数低于预定阈值，则可去除(或精简)所述关键帧。举例来说，如果存在九个其它关键帧从极类似的距离及角度查看场景中的相同对象，则这九个关键帧将具有低角度及比例分集分数，因为移除其中的任一者没什么影响(因为其它关键帧具有相同信息内容)。

在另一示范性实施方案中，在确定场景的角度分集度量时，可计算场景的每一观测结果的信息内容。可接着累加经归一化分数以形成关键帧的贡献分数。注意，此方法促进角度分集，但偏向于表示对应距离较接近于移动装置的场景的关键帧。

在确定场景的比例分集度量时，使用比例分集的量度。所述方法可经配置以使用距离为x的关键帧来合成距离0.5x到2x(作为一实例)的视图，其对应于下取样/上取样一个层级。在此方法中，对于落入此范围的所有关键帧，所述方法指派贡献分数，所述贡献分数可为1除以所述范围内的关键帧的数目(N)。其接着总计来自所观测地图点的贡献分数。根据本发明的方面，各种方法可用以基于比例分集指派分数，例如，一个方法可在N<＝5的情况下使用-0.25*N+1.5，且在N>5的情况下使用1/N。

图1说明根据本发明的一些方面的示范性场馆。如图1所示，示范性场馆102可为综合性足球场。对于此类综合性场馆，典型移动装置可能不能够俘获表示整个体育场的图像。需要合并由一或多个移动装置俘获的多个图像以建构可用于跟踪及定位应用的全局图像。

图2说明根据本发明的一些方面的从多个角度俘获场景的多个视点的方法。在图2中所示的实例中，可通过一或多个移动装置(201a到201f)在不同观看角度俘获场景202。举例来说，移动装置201a具有观看角度A1，移动装置201b具有观看角度A2…，且移动装置201f具有观看角度A6。在一些实施方案中，可通过一个移动装置俘获多个视点(A1到A6)。在一些其它实施方案中，可通过多个移动装置俘获多个视点(A1到A6)。

图3说明根据本发明的一些方面的从多个距离俘获场景的多个视点的方法。在图3中所示的实例中，可通过一或多个移动装置(301a到301c)从不同距离俘获场景302。举例来说，移动装置301a在距离D1俘获场景302，移动装置301b在距离D2俘获场景302，且移动装置301c在距离D3俘获场景302。在一些实施方案中，可通过一个移动装置俘获不同距离(D1到D3)的多个视点。在一些其它实施方案中，可通过多个移动装置俘获不同距离(D1到D3)的多个视点。

图4说明根据本发明的一些方面的以多个纵横比俘获场景的多个视点的方法。在图4中所示的实例中，可通过一或多个移动装置(401a到401c)以所述一或多个移动装置的不同纵横比设定俘获场景402的多个视点。举例来说，移动装置401a在距离D以纵横比AR1俘获场景402，移动装置401b在距离D以纵横比AR2俘获场景402，且移动装置401c在距离D以纵横比AR3俘获场景402。在一些实施方案中，可通过一个移动装置以不同纵横比(AR1到AR3)俘获场景402的多个视点。在一些其它实施方案中，可通过多个移动装置以不同纵横比(AR1到AR3)俘获场景402的多个视点。

图5说明根据本发明的一些方面的用于实施合并多个地图以用于基于计算机视觉的跟踪的方法的示范性设备。在图5中所示的实例中，设备500包含一或多个处理器502、网络接口504、地图数据库506、关键帧处理模块508，及存储器510。一或多个处理器502可经配置以控制设备500的操作。网络接口504可经配置以与网络(未展示)通信，其可经配置以与网络上的服务器、计算机及移动装置通信。地图数据库506可经配置以存储不同场馆的图像、地标、地图及其它用户定义的信息。关键帧处理模块538可经配置以实施合并多个地图以用于基于计算机视觉的跟踪的方法。举例来说，与处理器502合作，关键帧处理模块508可经配置以实施上文所描述的方法及下文结合图6、图8及图9所描述的方法。存储器510可经配置以存储用于设备500的程序代码及数据。注意，在其它实施例中，下文结合图6、图8及图9所描述的方法可由如图2、图3及图4中所示的移动装置中的一者实施且可由服务器实施。

图6说明根据本发明的一些方面的用于实施合并多个地图以用于基于计算机视觉的跟踪的方法的示范性流程图。在图6中所示的示范性实施方案中，在框602中，所述方法从至少一个移动装置接收场馆中的场景的多个地图。在框604中，所述方法识别所述场景的所述多个地图的多个关键帧。在框606中，所述方法合并所述多个关键帧以产生所述场景的全局地图。根据本发明的方面，所述全局地图可包含但不限于场馆的三维模型、同时定位与制图(SLAM)地图及二维模型。此外，所述全局地图可动态地更新或可在远程服务器中离线更新。注意，在一些情形中，所述多个地图可能都不彼此重叠；且在此类情形中，所述多个地图中的对应关键帧都不可移除，因为可认为这些关键帧相对于其附近关键帧中的相应一或多者具有高角度及/或比例分集。在一些其它情形中，所述多个地图中的一些可能彼此重叠；且在此类情形中，可移除所述多个地图中的对应关键帧中的一些，因为可认为一些冗余关键帧相对于其附近关键帧中的相应一或多者具有低角度及/或比例分集。在一些特殊情形中，两个或两个以上地图可能实质上彼此重叠；且在此类情形中，可移除来自所述地图中的至少一者的大多数对应关键帧，因为可认为大多数冗余关键帧相对于其附近关键帧中的相应一或多者具有低角度及/或比例分集。

根据本发明的一些方面，在框602中执行的方法可进一步包含在框608中执行的方法，且在框608中执行的方法可进一步包含在框609及610中执行的方法。在框608中，所述方法从多个移动装置接收场景的多个地图。在框609中，所述方法评估来自多个移动装置的场景的所述多个地图的多个关键帧的冗余，并去除冗余关键帧。在框610中，所述方法使用来自多个移动装置的场景的多个地图产生全局地图，并在所述多个移动装置之间共享所述全局地图。

根据本发明的一些方面，在框604中执行的方法可进一步包含在框612中执行的方法，且在框612中执行的方法可进一步包含框614的元素。在框612中，所述方法识别表示从多个角度看所述场景的多个视点的多个关键帧，及/或识别表示用多个比例看所述场景的多个视点的多个关键帧，其中所述多个关键帧包含所述多个地图的特征、三维坐标及外观。在框614中，所述多个比例包括以下各者中的至少一者：至少一个移动装置与所述场景之间的多个距离，及来自所述至少一个移动装置的所述场景的多个纵横比。

根据本发明的一些方面，在框606中执行的方法可进一步包含在框616中执行的方法，且在框616中执行的方法可进一步包含在框618中执行的方法。在框616中，对于多个关键帧中的每一关键帧，所述方法至少部分基于所述关键帧的角度分集及所述关键帧的比例分集来确定贡献分数，且响应于所述贡献分数低于预定阈值而去除所述关键帧。在框618中，所述方法通过将第一权重因子应用于所述关键帧的所述角度分集而计算角度分集评分度量，通过将第二权重因子应用于所述关键帧的所述比例分集而计算比例分集评分度量，且组合所述角度分集评分度量与所述比例分集评分度量以产生所述贡献分数。在框620中，所述方法可任选地跟踪至少一个移动装置在场馆中的地点。

图7说明根据本发明的一些方面的移动装置的示范性框图。移动装置201(可经配置以实施201a到201f)包含：收发器106，用于与包含但不限于服务器及其它移动装置的其它计算装置通信；相机108，用于俘获环境的图像，所述图像可为个别照片或视频帧。移动装置201还可包含传感器116，所述传感器116可用以提供移动装置201可借以确定其位置及定向(即，姿势)的数据。可与移动装置201一起使用的传感器的实例包含加速度计、石英传感器、陀螺仪、用作线性加速度计的微机电系统(MEMS)传感器，以及磁力计。

移动装置201还可包含包括能够显示图像的显示器112的用户接口110。用户接口110还可包含小键盘114或用户可经由其将信息输入到移动装置201中的其它输入装置。如果需要，则可通过将虚拟小键盘集成到具有触摸传感器的显示器112中而排除小键盘114。用户接口110还可包含麦克风117及一或多个扬声器118(例如，如果移动平台是蜂窝式电话)。当然，移动装置201可包含与本发明不相关的其它组件。

移动装置201进一步包含连接到相机108及传感器116且与之通信的控制单元120，以及用户接口110连同任何其它所需特征。控制单元120可由一或多个处理器122及相关联存储器/存储装置124提供。控制单元120还可包含软件126，以及硬件128及固件130。控制单元120包含经配置以基于移动装置201所俘获的观测结果来处理关键帧的关键帧处理模块132。控制单元120进一步包含经配置以基于多个子地图产生地图的地图产生模块134。关键帧处理模块132及地图产生模块134为了清楚起见而说明为与处理器122及/或硬件128分开，但可基于软件126及固件130中的指令而组合及/或实施于处理器122及/或硬件128中。注意，控制单元120可经配置以实施关键帧处理及地图产生的方法。举例来说，控制单元120可经配置以实施图2、图3及图4中描述的移动装置201的功能。

图8说明根据本发明的一些方面的用于确定关键帧的角度及比例分集的示范性方法。如图8中所示，展示为黑色正方形的对象802可从不同角度、不同距离且以不同比例来观测。在一个方法中，可能方向可离散成球体800的区间，例如图8中所示的804及806。根据本发明的方面，区间可表示球体800的扇区(大致展示为角锥)。区间还可视为记录包含观测结果的关键帧(其由区间中的一或多个星形表示)的角度直方图。出于说明的目的，区间804分开地展示于球体800的右侧上。在此实例中，区间804可包含观测结果810a、810b、810c、810d、810e及810f。在一些实施方案中，区间可进一步分割成多个区段，例如图8中所示的区段1及区段2。可对照扇区内的其它观测结果评估区间内的每一观测结果，或可对照来自其它区间的其它观测结果来评估区间内的每一观测结果。

在一些实施方案中，如果区间中观测结果(地图点)的数目小于预定数目(例如3)，则可认为观测结果具有高角度重要性，且可保留所述观测结果。另一方面，如果观测结果的数目大于预定数目，则可认为额外观测结果具有低角度重要性，且可舍弃所述额外观测结果。

根据本发明的方面，给定地图点从一视角的观测结果，可预期在相机到所述地图点的距离的1/f到f倍内准确地产生其从不同视角及类似观看角度的外观。在一些实施方案中，f可等于2；且在其它实施方案中，f的值可取决于需要多大比例覆盖范围而较小。对于每一观测结果的相机到地图点的距离的对数可指派给区间，其表示观测结果的角度直方图。距离可以线性比例或对数比例来记录。

在一些实施方案中，如果区间中的观测结果的数目小于预定数目(例如2)，则可认为所述观测结果具有高比例重要性，且可保留此类观测结果。另一方面，如果区间中的观测结果的数目大于预定数目，则可认为区间中的额外观测结果具有低比例重要性，且可舍弃额外观测结果。

根据本发明的方面，如果观测结果具有高角度或比例重要性，则其可标记为重要。如果观测结果具有低角度及低比例重要性，则其可标记为不重要，且其可移除。如果关键帧具有大于可移除观测结果的预定分数(例如0.8)及小于重要观测结果的预定分数(例如0.1)，则其可经标记以移除。

图9说明根据本发明的一些方面的用于确定关键帧的角度及比例分集的另一示范性方法。在图9中所示的实例中，展示为黑色正方形的对象902可从不同角度、不同距离且以不同比例来观测。在一个方法中，可能方向可离散成球体900的区间，例如图9中所示的904及906。类似于图8中所示的实例，区间可表示球体900的扇区(展示为锥形)。区间还可视为记录包含观测结果的关键帧(其由区间中的一或多个星形表示)的角度直方图。出于说明的目的，区间904分开地展示于球体900的右侧上。在此实例中，区间904可包含观测结果910a、910b、910c、910d、910e、910f及910g。在一些实施方案中，区间可进一步分割成多个剖面，例如图9中所示的剖面1及剖面2。可对照扇区内的其它观测结果评估区间内的每一观测结果，或可对照来自其它区间的其它观测结果来评估区间内的每一观测结果。

根据本发明的方面，假定第一观测结果已经存在于第一区间中，则在第二区间中具有第二观测结果将比在第一区间中具有第二观测结果贡献于更高角度分集(即重要性)。举例来说，如果观测结果910a已经存在于区间904中，则在区间906中具有观测结果912a将比在区间904中具有观测结果910b贡献于更高角度分集。在一些实施方案中，额外观测结果对区间的角度分集的贡献可与区间中观测结果的数目成反比。

根据本发明的方面，假定观测结果已经存在于区间的第一区段中，则在区间的第二区段中具有额外观测结果将比在第一区段中具有额外观测结果贡献于更高比例分集(即重要性)。举例来说，如果观测结果910a已经存在于区间904的区段1中，则在区间904的区段2中具有额外观测结果910f将比在区间904的区段1中具有观测结果910b贡献于更高比例分集。在一些实施方案中，区间的区段中的额外观测结果对比例分集的贡献可与区间的区段中的观测结果的数目成反比。

根据本发明的方面，可使用数种技术执行识别及跟踪图像帧中的特征。在一个方法中，可通过检查每一2乘2梯度矩阵的最小特征值来执行识别特征的方法。接着，使用最小化两个窗之间的差的牛顿-拉普森方法(Newton-Raphson method)来跟踪所述特征。多分辨率跟踪方法允许图像之间的相对较大位移。注意，在从一个帧到下一帧跟踪特征期间，错误可能累积。为检测潜在不良的特征，移动装置可经配置以监视当前帧中围绕所述特征的窗中的图像信号是否仍类似于先前帧中围绕所述特征的图像信号。因为可能在许多帧上跟踪特征，因此图像内容可能变形。为解决此问题，可用相似度或仿射制图执行一致性检查。

根据本发明的方面，为识别图像中的对象，可提取对象上的点以提供对象的特征描述(也称为关键点、特征点或简称为特征)。从训练图像提取的此描述可接着用以在尝试在含有许多其它对象的测试图像中定位所述对象时识别所述对象。为执行可靠辨识，从训练图像提取的特征可为可检测的，即使在图像比例、噪声及照明改变时也是如此。此些点通常位于图像的高对比度区域中，例如对象边缘。

这些特征的另一特性为其间的在原始场景中的相对位置可能不从一个图像到另一图像而改变。举例来说，如果仅将门的四个拐角用作特征，则其可有效而不管门的位置如何；但如果使用帧中的若干点，则如果门打开或关闭，辨识可能失败。类似地，如果在所处理的组中的两个图像之间发生其内部几何布置的任何改变，则位于铰接或柔性对象中的特征通常可能无效。在一些实施方案中，SIFT检测且使用来自图像的大量特征，其可减少由所有特征匹配错误的平均错误的局部变化引起的错误的贡献。因此，所揭示方法可识别甚至处于混乱且部分被遮挡的对象；因为SIFT特征描述符对于均匀缩放、定向可不变，且对于仿射失真及照明改变部分地不变。

举例来说，可首先从一组参考图像提取对象的关键点且将其存储于数据库中。通过比较来自新图像的每一特征与此数据库且基于其特征向量的欧几里得距离找出候选匹配特征来在新图像中辨识对象。从整组匹配项，可识别在对象及其在新图像中的位置、缩放及定向上一致的关键点的子组以滤出良好匹配项。可通过使用一般化的霍夫(Hough)变换的杂凑表实施方案来执行一致群集的确定。在对象及其姿势上一致的3个或3个以上特征的每一群集可接着经受进一步详述的模型验证，且随后可舍弃离群值。可接着基于拟合准确度及可能的错误匹配项的数目来计算一组特定特征指示存在对象的概率。通过测试的对象匹配项可以高置信度识别为正确的。

根据本发明的方面，图像特征产生将图像变换成大的特征向量集合，所述特征向量中的每一者对于图像平移、缩放及旋转可为不变的，且对于照明改变为不变的并且对于局部几何失真是稳健的。这些特征与灵长类动物视觉中用于对象辨识的下颞叶皮层中的神经元具有类似特性。关键地点可被定义为在尺度空间(scale space)中应用于一系列经平滑化且重新取样的图像的高斯功能的差异结果的最大值及最小值。可舍弃低对比度候选点及沿着边缘的边缘响应点。优势定向指派给局部化的关键点。此方法确保关键点对于匹配及辨识更为稳定。可接着通过考虑围绕所述关键地点的半径的像素、模糊化且重新取样局部图像定向平面来获得对局部仿射失真稳健的SIFT描述符。

特征匹配及编索引可包含存储SIFT关键点及从新图像识别匹配的关键点。在一种方法中，也称为最佳区间优先搜索方法(best-bin-first search method)的k-d树算法的修改可用以使用有限量的计算来以高概率识别最接近的相邻者。最佳区间优先算法使用k-d树算法的经修改搜索次序以使得可按距查询地点最近的距离的次序搜索特征空间中的区间。此搜索次序需要使用基于堆栈的优先级队列来有效地确定搜索次序。可通过从训练图像识别每一关键点在关键点数据库中的最接近的相邻者来找出每一关键点的最佳候选匹配。最接近的相邻者可被定义为距给定描述符向量具有最小欧几里得距离的关键点。可通过取距最近相邻者的距离与次近者的距离的比率来确定匹配是正确的概率。

在一个示范性实施方案中，可拒绝距离比率大于0.8的匹配，此举消除90％的错误匹配，同时舍弃小于5％的正确匹配。为进一步改进最佳区间优先算法的效率，可在检查预定数目个(例如100个)最接近的相邻候选者之后停止搜索。对于具有100,000个关键点的数据库，此可提供较之确切的最接近相邻者搜索加速约2个数量级，而又导致正确匹配数目的小于5％的损失。

注意，对于所述示范性实施方案，可使用霍夫变换来将可靠模型假设集群以搜索在特定模型姿势上一致的关键点。可使用霍夫变换来通过使用每一特征选出可与所述特征一致的对象姿势而识别具有一致解释的特征群集。当发现特征群集选出对象的相同姿势时，解释正确的概率可高于任何单个特征。可产生杂凑表中的条目以依据匹配假设预测模型地点、定向及缩放。可搜索杂凑表以识别在区间中具有至少3个条目的群集，且可将区间排序成大小的降序。

根据本发明的方面，SIFT关键点中的每一者可指定2D地点、缩放及定向。此外，数据库中的每一匹配关键点可具有与训练图像(在其中发现所述关键点)有关的其参数的记录。由这4个参数暗示的相似度变换可近似等于3D对象的6自由度姿势空间，并且也不考量任何非硬质变形。因此，示范性实施方案可对于定向使用30度的宽区间大小，对于缩放使用因数2，且对于地点使用0.25倍的最大投影训练图像维度(使用预测缩放)。可向以较大缩放产生的SIFT关键样本给出两倍于以较小缩放产生的样本的权重。对于此方法，较大缩放可实际上能够滤出用于以较小缩放进行检查的最可能相邻者。此方法还通过向噪声最小的缩放给出较大权重而改进辨识性能。根据本发明的方面，为避免区间指派中的边界效应问题，每一关键点匹配可在每一维度中选出2个最近的区间，从而对于每一假设得到总共16个条目且进一步加宽了姿势范围。

根据本发明的方面，对于给定参数解，可通过检查每一图像特征与模型之间的一致性来移除离群值。举例来说，给定线性最小平方解，可能需要每一匹配在用于霍夫变换区间中的参数的错误范围的一半内一致。在离群值被舍弃时，可用剩余点来求解线性最小平方解，且所述过程可迭代。在一些实施方案中，如果在舍弃离群值之后剩余小于预定数目个点(例如，3个点)，则可拒绝所述匹配。此外，可使用自上向下的匹配阶段来添加与所投影模型位置一致的任何进一步匹配，所述匹配可能归因于相似度变换近似或其它错误而从霍夫变换区间错过。

接受或拒绝模型假设的决策可基于详述的概率模型。给定模型的投影大小、区域内特征的数目及拟合的准确度，所述方法首先计算到模型姿势的错误匹配的预期数目。贝叶斯概率分析可接着给出可基于所发现的匹配特征的实际数目呈现对象的概率。如果正确解释的最终概率大于预定百分比(例如95％)，则可接受模型。

根据本发明的方面，在一种方法中，旋转不变特征变换(RIFT)方法可用作SIFT的旋转不变一般化以解决杂物下或部分遮挡情境。可使用划分成相等宽度的同心环的圆形归一化片来建构RIFT描述符，且在每一环内，可计算梯度定向直方图。为维持旋转不变性，可在每一点处相对于从中心指向外的方向测量定向。

在另一方法中，可使用一般化的稳健不变特征(G-RIF)方法。G-RIF以组合感知信息与空间编码的统一形式编码边缘定向、边缘密度及色调信息。对象辨识方案使用基于相邻上下文的表决来估计对象模型。

在又一方法中，可使用加速稳健特征(SURF)方法，其使用缩放及旋转不变关注点检测器/描述符，在可重复性、独特性及稳健性方面，其可能性能优于先前所提议的方案。SURF依赖于整体的图像用于图像卷积以减少计算时间，且依靠最主要的现有检测器及描述符的强度(对于检测器及分布式描述符使用基于快速赫斯矩阵的测量)。SURF方法描述哈尔小波响应(Haar wavelet response)在关注点领域内的分布。整体的图像可用于速度，且64个维度可用以减少用于特征计算及匹配的时间。编索引步骤可基于拉普拉斯(Laplacian)的正负号，其增大描述符的匹配速度及稳健性。

在又一方法中，可使用主分量分析SIFT(PCA-SIFT)方法。在一些实施方案中，PCA-SIFT描述符为在支持区域内计算的在x及y方向上的图像梯度的向量。梯度区域可在39x39个地点处取样。因此，向量可具有维度3042。通过PCA，维度可减小到36。在又一方法中，可使用梯度地点-定向直方图(GLOH)方法，其为经设计以增大其稳健性及独特性的SIFT描述符的扩展。在一些实施方案中，可针对在径向方向上具有三个区间(半径设定到6、11及15)且在倾斜方向上具有8个区间(其导致17个地点区间)的对数极坐标地点栅格计算SIFT描述符。中心区间可不在倾斜方向上进行划分。可在16个区间中量化梯度定向，从而导致272个区间的直方图。通过PCA可减小此描述符的大小。可根据从各种图像收集的图像块估计PCA的协方差矩阵。128个最大特征向量可接着用于描述。

在又一方法中，可使用两对象辨识算法来配合当前移动装置的限制而使用。与经典SIFT方法相比，加速分段测试特征(Features from Accelerated Segment Test，FAST)拐角检测器可用于特征检测。此方法在离线准备阶段(其中可以不同灰度层级产生特征)与在线阶段(其中可以移动装置的相机图像的当前固定灰度层级产生特征)之间加以区分。在一个示范性实施方案中，可从预定固定片大小(例如15x15像素)产生特征，且所述特征形成具有36个维度的SIFT描述符。可通过将可扩展词汇树(scalable vocabulary tree)集成在辨识管线中而进一步扩展所述方法。此允许有效地辨识移动装置上的大量对象。

根据本发明的方面，局部图像特征的检测及描述可有助于对象辨识。SIFT特征可为局部的且基于对象在特定关注点处的外观，且对于图像缩放及旋转可为不变的。其对于照明、噪声的改变及视点的较小改变也可为稳健的。除这些特性之外，特征可为高度独特的，相对容易提取且允许以低失配概率正确地识别对象。可相对容易地对照局部特征的(大)数据库来匹配特征，且通常可使用例如具有最佳区间优先搜索的k维(k-d)树等概率算法。通过一组SIFT特征进行的对象描述对于部分遮挡也可为稳健的。举例来说，来自对象的少到3个SIFT特征可足以计算其地点及姿势。在一些实施方案中，对于小数据库且在现代计算机硬件上，可准实时地执行辨识。

根据本发明的方面，可使用随机样本一致性(RANSAC)技术来移除由相机视图中的移动对象引起的离群值。注意，RANSAC使用迭代方法来从含有离群值的一组所观测数据来估计数学模型的参数。此方法可为非确定性的，因为其以相关联概率产生合理结果，其中所述概率可随着执行更多迭代而增大。

在一个示范性实施方案中，一组观测到的数据值，可以对应置信度参数拟合到观测结果的参数化模型。在此示范性实施方案中，所述方法迭代地选择原始数据的随机子组。这些数据可为假想的群内值(inlier)，且可接着如下测试所述假设：

1.可将模型拟合到假想的群内值，即从所述群内值重建构模型的所有自由参数。

2.接着可对照拟合的模型测试所有其它数据，且如果一点良好地拟合到所述估计模型，则可认为其是假想的群内值。

3.如果已将足够数目的点分类为假想的群内值，则可认为所述估计模型可接受。

4.可从所有假想群内值重新估计所述模型，因为其仅已从初始组假想群内值进行了估计。

5.最终，可通过相对于模型估计群内值的错误来评估所述模型。

每当产生因为过少的点被分类为群内值而可被拒绝的模型或与对应错误测量一起产生改进的模型时，可重复以上程序预定次数。在后一种情况下，如果错误低于先前保存的模型，则可保持所述改进的模型。

在另一示范性实施方案中，可使用基于模型的运动跟踪方法来主动地识别并移除在相机视图中的移动对象。在一种方法中，跟踪的目标可处理为模型辨识问题。可跟踪目标的二进制表示，且可使用基于豪斯多夫距离(Hausdorff distance)的搜索来在图像的若干区域中搜索对象。对于目标的二进制表示(模型)，可用模型历史的概念来扩增从高斯平滑化图像的标准坎尼边缘检测器(canny edge detector)的输出。在每一帧处，可使用来自当前图像的坎尼边缘及当前模型来对每一目标执行豪斯多夫搜索。此外，可执行仿射估计以大致得出净背景运动。从这两个搜索的结果，可搜集关于目标的信息，且可使用所述信息来大致得出目标的运动并且在目标的区域中将背景与运动分离开来。为能够处置危险性/不寻常的条件(例如被遮挡的对象进入阴影中，对象离开帧，或相机图像失真提供不良图像质量)，可保持关于目标的历史数据，例如目标的过去运动及大小改变、目标的特征性视图(在所有时间存在的快照，其提供已跟踪目标的不同方式的准确表示)，及在过去的匹配质量。

跟踪目标的历史可不仅仅适用于辅助危险性/不寻常的条件；可靠的运动跟踪方法的那一部分可涉及历史数据，而不仅仅是运动比较的逐帧方法。此历史状态可提供关于如何决定应将何内容视为目标的部分的信息(例如，以相同速度移动的接近于对象移动的事物应并入所述对象中)，且通过关于运动及大小的信息，所述方法可预测性地估计丢失的对象可能去往何处，或其可能重新出现于何处(其始终适用于恢复离开帧且在时间上稍后重新出现的目标)。

运动跟踪方法中的固有挑战可能由以下事实引起：相机可具有任意移动(相较于固定相机)，其使得难以开发可处置相机运动的不可预测改变的跟踪系统。可使用具计算效益的仿射背景估计方案来提供关于相机及场景的运动的信息。

根据本发明的方面，可执行时间t的图像到时间t+dt的图像的仿射变换，其允许使两个图像的运动相关。此背景信息允许所述方法从时间t的图像及仿射变换(其可为净场景运动的近似)合成时间t+dt的图像。此合成图像可适用于产生新模型信息及从模型空间移除背景杂物，因为可采用在t+dt的实际图像与在t+dt处所产生的图像的差异来从目标周围的空间移除图像特征。

除使用仿射变换作为清除搜索空间的工具之外，其还可用以归一化目标的坐标移动：通过具有跟踪背景可如何移动的向量及跟踪目标可如何移动的向量，可采用所述两个向量的差异来产生描述目标相对于背景的运动的向量。此向量允许所述方法预测性地匹配目标应处的位置，且预测危险条件(例如，在运动的方向上向前看可提供关于即将出现的障碍物的线索，并且保持跟踪对象在危险条件下可能处于的位置)。当对象进入危险条件时，所述方法可能仍能够估计背景运动，且结合模型的先前移动的知识来使用所述背景运动猜测模型可能重新出现于何处或重新进入帧中。

背景估计可为对象的长期跟踪的关键因素。注意，可在不进行背景估计的情况下执行短期跟踪，但在一段时间之后，在没有对背景的良好估计的情况下，可能难以有效地应对对象失真及危险。

根据本发明的方面，使用豪斯多夫距离作为匹配运算符的优点之一是其在匹配期间对于形状的改变可能非常耐受，但使用豪斯多夫距离作为匹配运算符可能需要更准确地定义所跟踪的对象。

在一种方法中，可使用从时间t+1图像获得新模型的基于直接扩张的方法(straight dilation-based method)。注意，在可能存在接近于对象的非对象特征(其出现频率很高)的一些情形中，扩张方法可能并不有效，因为其可能将整个场景缓慢地并入模型中。因此，可采用从帧到帧更新模型的方法，所述方法可耐受模型形状的改变，但并不过于宽松以致将非模型像素并入到模型中。一个示范性实施方案为使用背景移除与将先前模型添加到当前模型匹配窗及采用看似稳定的像素以及其周围的新像素(其随时间推移可因为其可能不稳定而从模型消除或并入到模型中)的组合。此方法可有效地保持模型在图像中相对清洁而无杂物。举例来说，通过此方法，接近于卡车的道路不再被逐像素地拉入模型中。注意，模型可能显得臃肿，但此可为建构模型的方式的历史效果的结果，但其还可具有使搜索结果更为确定的特征，因为此方法可使更多模型像素可能在下一帧中匹配。

注意，在每一帧处，可能存在大量计算要执行。根据一些实施方案，移动装置可经配置以执行平滑化/特征提取、匹配每一目标(例如每模型一个匹配)的豪斯多夫，以及仿射背景估计。这些操作中的每一者可个别地在计算上非常昂贵。为实现在移动装置上的实时执行，设计可经配置以使用尽可能多的并行性。

注意，至少接下来的两段、图5、图6、图7及其对应描述提供用于从至少一个移动装置接收场馆中的场景的多个地图的装置、用于识别所述场景的所述多个地图的多个关键帧的装置，以及用于合并所述多个关键帧以产生所述场景的全局地图的装置。

本文所述的方法和移动装置可以取决于应用通过各种装置实施。举例来说，这些方法可以用硬件、固件、软件或其组合实施。对于硬件实施方案，处理单元可以在一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文所述的功能的其它电子单元或其组合内实施。本文中，术语“逻辑控制”涵盖通过软件、硬件、固件或组合实施的逻辑。

对于固件及/或软件实施方案，可用执行本文中所描述的功能的模块(例如，程序、功能等等)实施方法。任何有形地体现指令机器可读媒体都可以用于实施本文所述的方法。举例来说，软件代码可存储在存储器中并且通过处理单元执行。存储器可实施在处理单元内或处理单元外部。如本文所使用，术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其它存储装置且不限于任何特定类型的存储器或数目的存储器，或任何类型的存储存储器的媒体。

如果在固件及/或软件中实施，则可将所述功能作为一或多个指令或代码存储在计算机可读媒体上。实例包含编码有数据结构的计算机可读媒体及编码有计算机程序的计算机可读媒体。计算机可读媒体可采用制品的形式。计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。作为实例而非限制，此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置，磁盘存储装置或其它磁性存储装置，或任何其它可用于存储指令或数据结构的形式的期望程序代码并且可通过计算机存取的媒体；在本文中使用时，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)，软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上述各项的组合也应包含在计算机可读媒体的范围内。

除了存储在计算机可读媒体上之外，还可将指令及/或数据提供为通信设备中包含的发射媒体上的信号。举例来说，通信设备可包含具有指示指令及数据的信号的收发器。所述指令及数据经配置以致使至少一个处理器实施权利要求书中概述的功能。即，通信设备包含具有指示用以执行所揭示的功能的信息的信号的发射媒体。在第一时间，通信设备中所包含的发射媒体可包含用以执行所揭示的功能的信息的第一部分，而在第二时间，通信设备中所包含的发射媒体可包含用以执行所揭示的功能的信息的第二部分。

本发明可以配合例如无线广域网(WWAN)、无线局域网(WLAN)、无线个人局域网(WPAN)等各种无线通信网络实施。术语“网络”与“系统”常常可互换使用。术语“位置”与“地点”常常可互换使用。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)网络、WiMAX(IEEE 802.16)网络等。CDMA网络可实施一或多种无线电接入技术(RAT)，例如cdma2000、宽带CDMA(W-CDMA)等等。Cdma2000包含IS-95、IS2000和IS-856标准。TDMA网络可以实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某种其它RAT。GSM及W-CDMA描述于来自名为“第三代合作伙伴计划”(3GPP)的协会的文献中。Cdma2000描述于来自名为“第三代合作伙伴计划2”(3GPP2)的协会的文献中。3GPP及3GPP2文献可公开获得。WLAN可为IEEE 802.11x网络，且WPAN可为蓝牙网络、IEEE 802.15x或某种其它类型的网络。所述技术还可结合WWAN、WLAN及/或WPAN的任何组合来实施。

移动台是指例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机或能够接收无线通信及/或导航信号的其它合适的移动装置等装置。术语“移动台”还希望包含例如通过短程无线、红外线线连接或其它连接(不管是卫星信号接收、辅助数据接收和/或在所述装置或在所述PND处发生的与位置相关的处理)与个人导航装置(PND)通信的装置。而且，“移动台”希望包含所有装置，包含无线通信装置、计算机、膝上型计算机等，其能够例如经由因特网、Wi-Fi或其它网络与服务器通信，并且不管是在所述装置处、服务器处还是在与所述网络相关联的另一装置处发生卫星信号接收辅助数据接收及/或与位置相关的处理。以上各者的任何可操作组合也被视为“移动台”。

某个事物被“优化”、“需要”或其它说法并不指示本发明仅适用于被优化的系统或其中存在所述“所需”元件的系统(或其它归因于其它说法的局限性)。这些名称仅指代特定描述的实施方案。当然，许多实施方案是可能的。所述技术可以与除了本文中论述的协议之外的协议一起使用，包含正在开发或有待开发的协议。

相关领域的技术人员将认识到，可以使用所揭示的实施例的许多可能修改和组合，同时仍然采用相同的基本基础机构和方法。出于解释的目的，前文描述是参考具体实施例撰写的。然而，上文的说明性论述并不希望是穷举的或将本发明限于所揭示的精确形式。鉴于以上教示，许多修改及变化均是可能的。选择且描述所述实施例是为了阐释本发明的原理及其实际应用，且为了使得所属领域的技术人员能够以适合于所涵盖的特定用法的各种修改最好地利用本发明及各种实施例。

Claims (32)

1.一种合并多个地图以用于基于计算机视觉的跟踪的方法，其包括：

从至少一个移动装置接收场馆中的场景的多个地图；

识别所述场景的所述多个地图的多个关键帧；以及

合并所述多个关键帧以产生所述场景的全局地图，其中合并所述多个关键帧以产生所述场景的全局地图包括：

对于所述多个关键帧中的每一关键帧，

基于所述关键帧的角度分集及所述关键帧的比例分集来确定贡献分数，以及

响应于所述贡献分数低于预定阈值而去除所述关键帧。

2.根据权利要求1所述的方法，其中接收场馆中的场景的多个地图包括：

从多个移动装置接收所述场景的所述多个地图。

3.根据权利要求2所述的方法，其进一步包括：

评估来自多个移动装置的所述场景的所述多个地图的所述多个关键帧的冗余；以及

去除冗余关键帧。

4.根据权利要求2所述的方法，其进一步包括：

使用来自多个移动装置的所述场景的所述多个地图产生同时定位与制图SLAM地图；以及

在所述多个移动装置之间共享所述SLAM地图。

5.根据权利要求1所述的方法，其中识别所述场景的所述多个地图的多个关键帧包括以下各者中的至少一者：

识别表示从多个角度看所述场景的多个视点的所述多个关键帧；以及

识别表示用多个比例看所述场景的多个视点的所述多个关键帧；

其中所述多个关键帧包含所述多个地图的共同特征、地点坐标及外观。

6.根据权利要求5所述的方法，其中多个比例包括以下各者中的至少一者：

所述至少一个移动装置与所述场景之间的多个距离；以及

来自所述至少一个移动装置的所述场景的多个纵横比。

7.根据权利要求1所述的方法，其中基于所述关键帧的角度分集及比例分集确定贡献分数包括：

通过将第一权重因子应用于所述关键帧的所述角度分集而计算角度分集评分度量；

通过将第二权重因子应用于所述关键帧的所述比例分集而计算比例分集评分度量；以及

组合所述角度分集评分度量与所述比例分集评分度量以产生所述贡献分数。

8.根据权利要求1所述的方法，其中合并所述多个关键帧以产生所述场景的全局地图包括：

对于所述多个关键帧中的每一关键帧，

基于所述关键帧的角度分集确定贡献分数；以及

响应于所述贡献分数低于预定阈值而去除所述关键帧。

9.根据权利要求1所述的方法，其中合并所述多个关键帧以产生所述场景的全局地图包括：

对于所述多个关键帧中的每一关键帧，

基于所述关键帧的比例分集确定贡献分数；以及

响应于所述贡献分数低于预定阈值而去除所述关键帧。

10.根据权利要求1所述的方法，其中合并所述多个关键帧以产生所述场景的全局地图包括：

在角度直方图中记录所述多个关键帧，其中所述角度直方图包含表示所述场景的不同观看角度的多个区间，且所述多个区间中的每一区间包含表示所述场景的不同观看比例的多个区段；

对于所述角度直方图中的所述多个关键帧中的每一关键帧，

基于所述关键帧的角度分集及所述关键帧的比例分集来确定贡献分数，以及

响应于所述贡献分数低于预定阈值而去除所述关键帧。

11.根据权利要求10所述的方法，其中基于所述关键帧的角度分集及比例分集确定贡献分数包括：

通过将第一权重因子应用于所述关键帧的所述角度分集而计算角度分集评分度量，其中所述第一权重因子是基于所述关键帧所处于的区间中的关键帧的数目；

通过将第二权重因子应用于所述关键帧的所述比例分集而计算比例分集评分度量，其中所述第二权重因子是基于所述关键帧所处于的区段中的关键帧的数目；以及

组合所述角度分集评分度量与所述比例分集评分度量以产生所述贡献分数。

12.根据权利要求1所述的方法，其进一步包括：

跟踪所述至少一个移动装置在所述场馆中的地点。

13.一种设备，其包括：

经配置以从至少一个移动装置接收场馆中的场景的多个地图的模块；

经配置以识别所述场景的所述多个地图的多个关键帧的模块；以及

经配置以合并所述多个关键帧以产生所述场景的全局地图的模块，其中经配置以合并所述多个关键帧以产生所述场景的全局地图的模块包括：

对于所述多个关键帧中的每一关键帧，

经配置以基于所述关键帧的角度分集及所述关键帧的比例分集来确定贡献分数的模块，以及

经配置以响应于所述贡献分数低于预定阈值而去除所述关键帧的模块。

14.根据权利要求13所述的设备，其中经配置以接收场馆中的场景的多个地图的模块包括：

经配置以从多个移动装置接收所述场景的所述多个地图的模块。

15.根据权利要求14所述的设备，其进一步包括：

经配置以评估来自多个移动装置的所述场景的所述多个地图的所述多个关键帧的冗余的模块；以及

经配置以去除冗余关键帧的模块。

16.根据权利要求14所述的设备，其进一步包括：

经配置以使用来自多个移动装置的所述场景的所述多个地图产生同时定位与制图SLAM地图的模块；以及

经配置以在所述多个移动装置之间共享所述SLAM地图的模块。

17.根据权利要求13所述的设备，其中经配置以识别所述场景的所述多个地图的多个关键帧的模块包括以下各者中的至少一者：

经配置以识别表示从多个角度看所述场景的多个视点的所述多个关键帧的模块；

以及

经配置以识别表示用多个比例看所述场景的多个视点的所述多个关键帧的模块；

其中所述多个关键帧包含所述多个地图的共同特征、地点坐标及外观。

18.根据权利要求17所述的设备，其中多个比例包括以下各者中的至少一者：

所述至少一个移动装置与所述场景之间的多个距离；以及

来自所述至少一个移动装置的所述场景的多个纵横比。

19.根据权利要求13所述的设备，其中经配置以基于所述关键帧的角度分集及比例分集确定贡献分数的模块包括：

经配置以通过将第一权重因子应用于所述关键帧的所述角度分集而计算角度分集评分度量的模块；

经配置以通过将第二权重因子应用于所述关键帧的所述比例分集而计算比例分集评分度量的模块；以及

经配置以组合所述角度分集评分度量与所述比例分集评分度量以产生所述贡献分数的模块。

20.根据权利要求13所述的设备，其中经配置以合并所述多个关键帧以产生所述场景的全局地图的模块包括：

对于所述多个关键帧中的每一关键帧，

经配置以基于所述关键帧的角度分集确定贡献分数的模块；以及

经配置以响应于所述贡献分数低于预定阈值而去除所述关键帧的模块。

21.根据权利要求13所述的设备，其中经配置以合并所述多个关键帧以产生所述场景的全局地图的模块包括：

对于所述多个关键帧中的每一关键帧，

经配置以基于所述关键帧的比例分集确定贡献分数的模块；以及

经配置以响应于所述贡献分数低于预定阈值而去除所述关键帧的模块。

22.根据权利要求13所述的设备，其中经配置以合并所述多个关键帧以产生所述场景的全局地图的模块包括：

经配置以在角度直方图中记录所述多个关键帧的模块，其中所述角度直方图包含表示所述场景的不同观看角度的多个区间，且所述多个区间中的每一区间包含表示所述场景的不同观看比例的多个区段；

对于所述角度直方图中的所述多个关键帧中的每一关键帧，

经配置以基于所述关键帧的角度分集及所述关键帧的比例分集来确定贡献分数的模块，以及

经配置以响应于所述贡献分数低于预定阈值而去除所述关键帧的模块。

23.根据权利要求22所述的设备，其中经配置以基于所述关键帧的角度分集及比例分集确定贡献分数的模块包括：

经配置以通过将第一权重因子应用于所述关键帧的所述角度分集而计算角度分集评分度量的模块，其中所述第一权重因子是基于所述关键帧所处于的区间中的关键帧的数目；

经配置以通过将第二权重因子应用于所述关键帧的所述比例分集而计算比例分集评分度量的模块，其中所述第二权重因子是基于所述关键帧所处于的区段中的关键帧的数目；以及

经配置以组合所述角度分集评分度量与所述比例分集评分度量以产生所述贡献分数的模块。

24.根据权利要求13所述的设备，其进一步包括：

经配置以跟踪所述至少一个移动装置在所述场馆中的地点的模块。

25.一种合并多个地图以用于基于计算机视觉的跟踪的设备，其包括：

用于从至少一个移动装置接收场馆中的场景的多个地图的装置；

用于识别所述场景的所述多个地图的多个关键帧的装置；以及

用于合并所述多个关键帧以产生所述场景的全局地图的装置，其中用于合并所述多个关键帧以产生所述场景的全局地图的装置包括：

对于所述多个关键帧中的每一关键帧，

用于基于所述关键帧的角度分集及所述关键帧的比例分集来确定贡献分数的装置，以及

用于响应于所述贡献分数低于预定阈值而去除所述关键帧的装置。

26.根据权利要求25所述的设备，其中用于接收场馆中的场景的多个地图的装置包括：

用于从多个移动装置接收所述场景的所述多个地图的装置。

27.根据权利要求26所述的设备，其进一步包括：

用于评估来自多个移动装置的所述场景的所述多个地图的所述多个关键帧的冗余的装置；以及

用于去除冗余关键帧的装置。

28.根据权利要求26所述的设备，其进一步包括：

用于使用来自多个移动装置的所述场景的所述多个地图产生同时定位与制图SLAM地图的装置；以及

用于在所述多个移动装置之间共享所述SLAM地图的装置。

29.根据权利要求25所述的设备，其中用于识别所述场景的所述多个地图的多个关键帧的装置包括以下各者中的至少一者：

用于识别表示从多个角度看所述场景的多个视点的所述多个关键帧的装置；以及

用于识别表示用多个比例看所述场景的多个视点的所述多个关键帧的装置；

其中所述多个关键帧包含所述多个地图的共同特征、地点坐标及外观。

30.根据权利要求25所述的设备，其中多个比例包括以下各者中的至少一者：

所述至少一个移动装置与所述场景之间的多个距离；以及

来自所述至少一个移动装置的所述场景的多个纵横比。

31.根据权利要求25所述的设备，其中用于基于所述关键帧的角度分集及比例分集确定贡献分数的装置包括：

用于通过将第一权重因子应用于所述关键帧的所述角度分集而计算角度分集评分度量的装置；

用于通过将第二权重因子应用于所述关键帧的所述比例分集而计算比例分集评分度量的装置；以及

用于组合所述角度分集评分度量与所述比例分集评分度量以产生所述贡献分数的装置。

32.根据权利要求25所述的设备，其进一步包括：

用于跟踪所述至少一个移动装置在所述场馆中的地点的装置。