CN103946890B - 跟踪三维物体的方法及设备 - Google Patents

跟踪三维物体的方法及设备 Download PDF

Info

Publication number
CN103946890B
CN103946890B CN201280055792.1A CN201280055792A CN103946890B CN 103946890 B CN103946890 B CN 103946890B CN 201280055792 A CN201280055792 A CN 201280055792A CN 103946890 B CN103946890 B CN 103946890B
Authority
CN
China
Prior art keywords
characteristic point
picture
tracing
image
data base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280055792.1A
Other languages
English (en)
Other versions
CN103946890A (zh
Inventor
丹尼尔·瓦格纳
迈克尔·盖尔沃茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103946890A publication Critical patent/CN103946890A/zh
Application granted granted Critical
Publication of CN103946890B publication Critical patent/CN103946890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明揭示了用于跟踪三维3D物体的方法及设备。在一个实施例中,跟踪3D物体的方法包含:使用跟踪背景构建数据库以存储所述3D物体的二维2D图像的集合,其中所述跟踪背景包含至少一个己知图案;接收跟踪图像;根据所述跟踪图像的特征点确定所述跟踪图像是否匹配所述数据库中的至少一个图像;及响应于所述跟踪图像匹配所述数据库中的所述至少一个图像而提供关于所述跟踪图像的信息。构建数据库的方法还包含:借助所述跟踪背景捕获所述3D物体的2D图像的所述集合;从每一2D图像提取特征点的集合;及将特征点的所述集合存储于所述数据库中。

Description

跟踪三维物体的方法及设备
相关申请案的交叉参考
本申请案主张2012年4月18日申请且标题为“跟踪三维物体(TrackingThree-Dimensional Objects)”的第13/450,241号美国申请案的权益,所述美国申请案又主张2011年11月29日申请且标题为“跟踪三维物体(Tracking Three-DimensionalObjects)”的第61/564,722号美国临时申请案的权益。前述美国申请案的全文特此以引用的方式并入。
技术领域
本发明涉及处理数字图像数据的领域。特定来说,本发明涉及跟踪三维物体的方法及设备。
背景技术
基于常规模型的物体跟踪限于假定精确地知道关于物体的几何性质的方法。此限制常常将基于模型的跟踪限于平面物体,其中物体的几何性质是平凡的。此限制提出了在跟踪自然三维(3D)物体中的挑战,所述自然3D物体通常比简单物体(例如,海报及产品包装)更复杂。在许多状况下,虚拟模型并不存在,且用于此些自然3D物体的典型常规模型获取过程可能过于复杂。举例来说,一个常规方法为使用三维扫描仪来扫描自然物体。然而,此方法可为乏味的、成本密集型的,且可在3D模型化中需要特殊的技能。结果,常规方法可太昂贵且太复杂以致不能部署到大众市场。
因此,需要可处理常规解决方案的以上问题的跟踪3D物体的设备及方法。
发明内容
本发明涉及跟踪三维物体。根据本发明的实施例,跟踪三维(3D)物体的方法包含:使用跟踪背景构建数据库以存储所述3D物体的二维(2D)图像的集合,其中所述跟踪背景包含至少一个已知图案;接收跟踪图像;根据所述跟踪图像的特征点确定所述跟踪图像是否匹配所述数据库中的至少一个图像;及响应于所述跟踪图像匹配所述数据库中的至少一个图像而提供关于所述跟踪图像的信息。
构建数据库的方法还包含:借助所述跟踪背景捕获所述3D物体的2D图像的所述集合,其中2D图像的所述集合包含所述3D物体的多个视角;从每一2D图像提取特征点的集合,其中特征点的所述集合包含所述3D物体的特征点的第一子集及所述跟踪背景的特征点的第二子集;及将特征点的所述第一子集存储于所述数据库中。构建数据库的方法进一步包含:记录2D图像的所述集合相对于由背景目标的图案定义的常见坐标系的对应姿态信息;及将特征点的所述集合存储于所述数据库中。
确定所述跟踪图像是否匹配所述数据库中的至少一个图像的方法包含:从所述跟踪图像提取特征点;及将所述跟踪图像的所述特征点与所述数据库中的2D图像的所述集合的对应特征点相比较。将所述跟踪图像的所述特征点与所述数据库中的2D图像的所述集合的对应特征点相比较的方法包含:执行就所述跟踪图像与所述数据库中的2D图像的所述集合之间的匹配特征点的数目的累计表决;及根据就匹配特征点的数目的所述累计表决从2D图像的所述集合中识别至少一个代表性图像。将所述跟踪图像的所述特征点与所述数据库中的2D图像的所述集合的对应特征点相比较的方法进一步包含从具有最高的匹配特征点数目的所述至少一个代表性图像估计所述跟踪图像的代表性姿态。将所述跟踪图像的所述特征点与所述数据库中的2D图像的所述集合的对应特征点相比较的方法进一步包含:通过合并来自所述代表性图像中的两者或两者以上的特征点创建经合并特征点的集合;及根据经合并特征点的所述集合估计所述跟踪图像的代表性姿态。
提供关于所述跟踪图像的信息的方法包含以下各者中的至少一者:提供所接收的所述跟踪图像的姿态信息;根据所述跟踪图像的所述姿态信息提供用以支持移动装置上的动画应用程序的信息;及根据所述跟踪图像的所述姿态信息提供用以支持所述移动装置上的扩增实境应用程序的信息。
在另一实施例中,用于跟踪三维物体的计算机程序产品包括存储用于由一或多个计算机系统执行的计算机程序的非暂时性媒体。所述计算机程序产品进一步包括:用于使用跟踪背景构建数据库以存储3D物体的二维(2D)图像的集合的代码,其中所述跟踪背景包含至少一个已知图案;用于接收跟踪图像的代码;用于根据所述跟踪图像的特征点确定所述跟踪图像是否匹配所述数据库中的至少一个图像的代码;及用于响应于所述跟踪图像匹配所述数据库中的至少一个图像而提供关于所述跟踪图像的信息的代码。
在又一实施例中,移动装置包括:至少一个处理器,其经配置以控制所述移动装置的操作;及3D物体跟踪模块,其经配置以与所述至少一个处理器一起工作。所述3D物体跟踪模块包含:经配置以使用跟踪背景构建数据库以存储3D物体的二维(2D)图像的集合的逻辑,其中所述跟踪背景包含至少一个已知图案;经配置以接收跟踪图像的逻辑;经配置以根据所述跟踪图像的特征点确定所述跟踪图像是否匹配所述数据库中的至少一个图像的逻辑;及经配置以响应于所述跟踪图像匹配所述数据库中的至少一个图像而提供关于所述跟踪图像的信息的逻辑。
在又一实施例中,设备包括:至少一个处理器,其经配置以控制所述设备的操作;及3D物体跟踪模块,其经配置以与所述至少一个处理器一起工作。所述3D物体跟踪模块包含:用于使用跟踪背景构建数据库以存储3D物体的二维(2D)图像的集合的装置,其中所述跟踪背景包含至少一个已知图案;用于接收跟踪图像的装置;用于根据所述跟踪图像的特征点确定所述跟踪图像是否匹配所述数据库中的至少一个图像的装置;及用于响应于所述跟踪图像匹配所述数据库中的至少一个图像而提供关于所述跟踪图像的信息的装置。
附图说明
将可在阅读本发明的实施例的详细描述以及以下图式之后更清楚地理解本发明的前述特征及优点以及其额外特征及优点。
图1说明根据本发明的一些方面的获取物体的图像模型的方法。
图2a说明根据本发明的一些方面的经配置以执行图像物体跟踪的设备的框图。
图2b说明由根据本发明的一些方面的图2a的3D物体跟踪模块实施的示范性流程图。
图3说明根据本发明的一些方面的跟踪3D物体的另一方法。
具体实施方式
揭示了跟踪3D物体的实施例。呈现以下描述以使得所属领域的技术人员能够进行及使用本发明。对特定实施例及应用的描述仅作为实例提供。所属领域的技术人员将容易明白本文中所描述的实例的各种修改及组合,且本文中所定义的一般原理可在不偏离本发明的精神或范围的情况下适用于其它实例及应用。因此,不希望本发明限于所描述及展示的实例,而是赋予其与本文中揭示的原理和特征相一致的最广范围。
图1说明根据本发明的一些方面的获取物体的图像模型的方法。在此实例中,雕像102为待跟踪的三维(3D)物体。雕像102被置于跟踪背景104之上,其中跟踪背景可包含至少一个已知图案。从不同检视方向拍摄的照片图像可由移动装置(所述移动装置由106a到106d表示)捕获以用于跟踪雕像102。椭圆108指示可捕获多个照片图像以形成雕像102的二维(2D)图像的集合。在一个方法中,可以10度的视角分离拍摄照片。在其它方法中,可基于用于特征检测的特征描述符及检测方法以5、15、20或60度的视角分离拍摄照片。在其它实施例中,可独立于用于跟踪的装置及软件离线地执行模型获取过程。许多不同装置可用以捕获照片图像,包含,但不限于,照相机、照相手机、网络摄像机及其它图像捕获装置。
如图1中所示,跟踪背景104可为包含至少一个已知图案的标记板或图像。此些预定的已知图案可用以确定相对于背景的相机位置。在此方法中,因为雕像与标记板的相对位置固定,所以可获得雕像的一系列重合图像。在此实例中,已知跟踪背景进一步允许将前景(即,雕像)与背景(即,标记板)分割。应注意:在此实例中,跟踪背景包含二十个(4x5)独特标记。在其它实施方案中,可使用不同跟踪背景(例如,图片或20x20标记板),以允许在大数目个标记可被遮蔽的情形中的强健及准确姿态估计。在其它方法中,可由静态装置拍摄照片图像,且可使用转盘来控制跟踪背景104及雕像102。在另一方法中,图片中的重叠区可用以创建前景物体的3D几何模型。在又一方法中,可使用组合的彩色及深度相机或RGBD(红绿蓝及深度)获取装置,其为特征点以及前景分割提供额外几何信息。
根据本发明的实施例,可由在3D模型化或计算机视觉中可能尚未受过训练的用户执行模型获取。移动装置106a可为具有相机的移动手机,其中相机可借助由移动手机制造者提供的数据来校准,或由任何其它校准方法或能够拍摄照片的任何其它装置来校准。在已由移动装置106a捕获雕像102的2D图像(也被称作参考图像)的集合之后,这些图像可用以创建数据库(未图示),所述数据库用于支持雕像102的后续跟踪,且用于提供与雕像有关的其它有用信息及应用程序。另外,使用嵌入于存储于数据库中的2D图像的集合中的跟踪背景104,可确定这些图像中的每一者相对于物体的姿态(包含位置及定向)。另外,已知跟踪背景可用于分割(将物体与背景区分开)。
如上文实例中所说明,替代与目标物体的细致质感3D模型一起工作(如在常规方法中),所揭示的方法使用从各种视点表示目标物体的多个平面模型。在每一视图中,特征点被布置于3D飞机中,所述3D飞机代表如从所述视点观察的3D物体。一个方法将此飞机放置于3D物体的中心,且将其定向成垂直于相机针对此视图的检视方向。另一方法将飞机放置于背景目标的中心,且针对所述视图将其定向成直立的并面向相机。因为被跟踪的3D物体与跟踪图像的检视距离相比较可相对较小,所以平面近似成立。
从跟踪图像估计相机姿态使用在跟踪图像中的2D特征与数据库中的3D特征之间的匹配步骤中所找到的对应。即使最接近跟踪图像的当前相机位置的数据库视图最佳地表示3D物体,所估计的姿态的质量仍可通过也考虑来自相邻视图的特征对应而进一步改进。
如上文所描述,数据库存储多个平面图像,所述平面图像描绘从所关注的许多不同检视方向观察的物体。因此,数据集大小可随着检视方向的数目而线性地增长。为了限制参考图像的数目,两个相邻参考视点之间的角度(例如,在15°到30°之间)可基于物体的形状来选择,以使得仍可实现成功的检测及跟踪。另外,替代存储物体的实际图像,可存储表示图像中的每一者的特征点。
根据本发明的实施例,方法将来自移动装置(配备有相机)所捕获的跟踪图像的特征点与数据库中的参考图像的集合的特征点相比较。表决过程可用于代表性参考视图,所述代表性参考视图可具有匹配跟踪图像的对应特征点的最高绝对数或相对数(由针对所述视图的数据库中的特征的数目归一化)的特征点。代表性视图接着可用于姿态估计。
图2a说明根据本发明的一些方面的经配置以执行图像物体跟踪的设备的框图。如图2a中所示,天线202从基站接收经调制信号,且将所接收的信号提供到调制解调器204的解调器(DEMOD)部分。解调器处理(例如,调节及数字化)所接收的信号且获得输入样本。所述解调器进一步对输入样本执行正交频分多路复用(OFDM)解调,且为所有副载波提供频域接收符号。RX数据处理器206处理(例如,符号解映射、解交错及解码)频域接收符号,且将经解码数据提供到移动装置的控制器/处理器208。
控制器/处理器208可经配置以控制移动装置经由无线网络与服务器通信。TX数据处理器210产生发信符号、数据符号及导频符号,所述符号可由调制解调器204的调制器(MOD)处理且经由天线202发射到基站。另外,控制器/处理器208指导移动装置处的各种处理单元的操作。存储器212可经配置以存储用于移动装置的程序代码及数据。3D物体跟踪模块214可经配置以捕获物体的模型且将其存储于数据库中,且使用数据库检测物体的跟踪图像。
图2b说明由根据本发明的一些方面的图2a的3D物体跟踪模块实施的示范性流程图。在框220中,物体跟踪模块214可经配置以构建数据库以存储相对于跟踪背景的物体的二维(2D)图像的集合。在框222中,物体跟踪模块214可经配置以从移动装置接收跟踪图像。在框224中,物体跟踪模块214可经配置以根据跟踪图像的特征点确定跟踪图像是否匹配数据库中的至少一个图像。在框226中,物体跟踪模块214可经配置以响应于跟踪图像匹配数据库中的至少一个图像而提供关于跟踪图像的信息。应注意,物体可为三维物体,且跟踪背景可包含至少一个已知图案。应注意,在框220中创建数据库之后,可重复地使用框222到226中所描述的方法以使用数据库来跟踪物体。在一些实施方案中,图2b的框中的每一者中所描述的方法可相对于其它框独立地且重复地执行。举例来说,可独立地执行框220中所描述的方法以更新图像的集合及其存储于数据库中的对应特征点。可重复地执行框222中所描绘的方法以捕获较佳质量跟踪图像。框226中所描述的方法可执行多次以提供与跟踪图像有关的信息。
根据本发明的实施例,框220中执行的方法可进一步包含框228到232中所执行的方法。举例来说,在框228中,物体跟踪模块214可经配置以借助跟踪背景捕获物体的2D图像的集合,其中2D图像的集合包含物体的多个视角。在框230中,物体跟踪模块214可经配置以从每一2D图像提取特征点的集合,其中特征点的集合包含物体的特征点的第一子集及跟踪背景的特征点的第二子集。在框230中,物体跟踪模块214可经配置以将特征点的第一子集存储于数据库中。
根据本发明的实施例,框224中执行的方法可进一步包含框236到238中所执行的方法。在图2b中所示的实例中,在框236中,物体跟踪模块214可经配置以从跟踪图像提取特征点。在框238中,物体跟踪模块214可经配置以将跟踪图像的特征点与数据库中的2D图像的集合的对应特征点相比较。
根据本发明的实施例,框238中执行的方法可进一步包含框240到框248中所执行的方法。在此实例中,在框240及框242中,物体跟踪模块214可经配置以分别执行就跟踪图像与数据库中的2D图像的集合之间的匹配特征点的数目的累计表决,且根据就匹配特征点的数目的累计表决从2D图像的集合中识别至少一个代表性图像。在框244中,物体跟踪模块214可经配置以从具有最高的匹配特征点数目的至少一个代表性图像估计跟踪图像的代表性姿态。在框246及框248中,物体跟踪模块214可经配置以分别通过合并来自代表性图像中的两者或两者以上的特征点创建经合并特征点的集合,且根据经合并特征点的集合估计跟踪图像的代表性姿态。
根据本发明的实施例,在框226中,物体跟踪模块214可经配置以提供以下各者中的至少一者,包含,但不限于:所接收的跟踪图像的姿态信息、移动装置相对于跟踪背景的相对位置、用以支持移动装置上的动画应用程序的信息及/或用以支持移动装置上的扩增实境应用程序的信息。
图3说明根据本发明的方面的所描述的跟踪方法的示范性使用。如图3中所示,可使用玩具飞机302或玩具汽车(310、312)作为游戏板(304)上的游戏物件。3D游戏物件由如之前所描述(306a到306e)的从游戏物件中的每一者拍摄的图像的集合表示。游戏板的跟踪/检测的所揭示的方法允许游戏开发者知道游戏板可位于何处及游戏物件中的每一者可相对于游戏板位于何处。
根据本发明的实施例,在已产生数据库之后,飞机302可移动到游戏板上的任何位置上且可在其处被跟踪。换句话说,方法可找出飞机302在游戏板上何处及其可朝向哪一方向。应注意:在创作期间,可独立于游戏板产生用于飞机的数据集。游戏板可用以使飞机的图像彼此重合,但不一定是相对于游戏板上的固定位置。稍后在游戏中,如果玩家想要知道飞机相对于游戏板在何处(玩家将飞机放在哪一区域),那么可跟踪游戏板(作为图像物体)以及相对于相机的飞机(作为3D物体),且以此方式,可相对于游戏板确定飞机的位置。
根据本发明的实施例,可由所揭示的方法跟踪的物体的范围已扩展到包含具有结构化及/或不规则表面的类别的物体。另外,被跟踪的物体的表示可独立于物体的复杂度,因为类似方法可适用于跟踪不同物体。这对于难以表示的物体(例如,自然树木、灌木、毛皮、头发及结构化表面)来说是尤其有用的。可估计存储器使用量,因为其与来自不同视图的图像的固定数目有关。此外,模型构建过程可由用户执行,而无需计算机图形方面的特殊设备或训练。借助所揭示的方法,用户可借助从不同视图拍摄的照片图像的集合“扫描”物体,且将照片图像用于需要跟踪图像物体的应用程序中,例如扩增实境应用程序。
应注意,段落[0036]到[0038]、图1、图2a到2b及其对应描述提供:用于使用跟踪背景构建数据以存储3D物体的二维(2D)图像的集合的装置、用于接收跟踪图像的装置、用于根据跟踪图像的特征点确定跟踪图像是否匹配数据库中的至少一个图像的装置,及用于响应于跟踪图像匹配数据库中的至少一个图像而提供关于跟踪图像的信息的装置。段落[0036]到[0038]、图1、图2b、图3及其对应描述进一步提供:用于借助跟踪背景捕获3D物体的2D图像的集合的装置、用于从每一2D图像提取特征点的集合的装置,及用于将特征点的集合存储于数据库中的装置;用于记录2D图像的集合相对于常见坐标系的对应姿态信息的装置,及用于将特征点的集合存储于数据库中的装置。段落[0036]到[0038]、图1、图2b、图3及其对应描述进一步提供:用于从跟踪图像提取特征点的装置,及用于将跟踪图像的特征点与数据库中的2D图像的集合的对应特征点相比较的装置;用于执行就跟踪图像与数据库中的2D图像的集合之间的匹配特征点的数目的累计表决的装置,及用于根据就匹配特征点的数目的累计表决从2D图像的集合中识别至少一个代表性图像的装置;及用于从具有最高的匹配特征点数目的至少一个代表性图像估计跟踪图像的代表性姿态的装置。
本文中所描述的方法及移动装置可取决于应用而通过各种手段来实施。举例来说,这些方法可实施于硬件、固件、软件或其组合中。对于硬件实施方案,处理单元可实施于一个或一个以上专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它电子单元,或其组合内。本文中,术语“控制逻辑”包含由软件、硬件、固件或组合实施的逻辑。
对于固件和/或软件实施方案,可用执行本文中所描述的功能的模块(例如,程序、功能等等)来实施所述方法。有形地体现指令的任何机器可读媒体可用于实施本文中所描述的方法。举例来说,软件代码可存储于存储器中,且由处理单元执行。存储器可实施于处理单元内或在处理单元外部。如本文中所使用,术语“存储器”指任何类型的长期、短期、易失性、非易失性或其它存储装置,且不应限于任何特定类型的存储器或存储器数目,或存储器所存储的媒体类型。
如果以固件和/或软件实施,那么功能可作为一个或一个以上指令或代码存储于计算机可读媒体上。实例包含以数据结构编码的计算机可读媒体和以计算机程序编码的计算机可读媒体。计算机可读媒体可采取制造的物品的形式。计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。通过实例,且无限制,此计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体;如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和蓝光光盘,其中磁盘通常以磁性方式再生数据,而光盘使用激光以光学方式再生数据。上文的组合也应包含在计算机可读媒体的范围内。
除了计算机可读媒体上的存储之外,指令及/或数据可作为信号提供于通信设备中所包含的发射媒体上。举例来说,通信设备可包含具有指示指令及数据的信号的收发器。指令及数据经配置以致使至少一个处理器实施权利要求书中所概述的功能。即,通信设备包含发射媒体,其具有指示用以执行所揭示的功能的信息的信号。在第一时间,通信设备中所包含的发射媒体可包含用以执行所揭示的功能的信息的第一部分,而在第二时间,通信设备中所包含的发射媒体可包含用以执行所揭示的功能的信息的第二部分。
本发明可结合各种无线通信网络(例如,无线广域网(WWAN)、无线局域网(WLAN)、无线个人局域网(WPAN)等)来实施。通常,可互换地使用术语“网络”和“系统”。通常,可互换地使用术语“位置”和“定位”。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)网络、WiMAX(IEEE 802.16)网络等等。CDMA网络可实施一或多个无线电存取技术(RAT),例如cdma2000、宽带CDMA(W-CDMA)等等。Cdma2000包含IS-95、IS2000及IS-856标准。TDMA网络可实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某一其它RAT。GSM和W-CDMA描述于来自名为“第三代合作伙伴计划”(3GPP)的协会的文献中。Cdma2000描述于来自名为“第三代合作伙伴计划2”(3GPP2)的协会的文献中。3GPP及3GPP2文献是公众可获得的。WLAN可为IEEE 802.11x网络,且WPAN可为蓝牙网络、IEEE 802.15x或某一其它类型的网络。技术还可结合WWAN、WLAN及/或WPAN的任何组合来实施。
移动台是指例如以下各者的装置:蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型或能够接收无线通信及/或导航信号的其它合适的移动装置。术语“移动台”还希望包含例如通过短程无线、红外线、有线连接或其它连接与个人导航装置(PND)通信的装置,而不管卫星信号接收、辅助数据接收及/或位置相关处理是发生于装置处还是PND处。而且,“移动台”希望包含能够例如经由因特网、Wi-Fi或其它网络与服务器通信的所有装置,包含无线通信装置、计算机、膝上型计算机等,且不管无线信号接收、辅助数据接收及/或位置相关处理是发生在装置处,服务器处还是与网络相关联的另一装置处。以上的任何可操作组合还被视为“移动台”。
某物“经优化”、“被需要”的指定或其它指定不指示当前发明仅适用于经优化的系统或存在“被需要”元件的系统(或归因于其它指定的其它限制)。这些指定仅指特定描述的实施方案。当然,许多实施方案是可能的。技术可供除了本文中所论述的协议之外的协议(包含在开发中或待开发的协议)使用。
所属领域的技术人员将认识到,可使用所揭示的实施例的许多可能的修改及组合,同时仍使用相同的基本底层机制及方法。出于解释的目的,已参考特定实施例来撰写前述描述。然而,上文的说明性论述并不希望是详尽的,或将本发明限于所揭示的精确形式。根据上文教示,许多修改及变化是可能的。实施例经选择及描述以解释本发明及其实际应用的原理,且使得所属领域的其它技术人员能够最佳地利用本发明及具有适合于预期的特定用途的各种修改的各种实施例。

Claims (23)

1.一种跟踪三维3D物体的方法,其包括:
在移动设备处接收所述3D物体的跟踪图像;
从所述3D物体的所述跟踪图像提取特征点;
将所述3D物体的所述跟踪图像的所述特征点与数据库相比较,其中所述数据库包含具有跟踪背景的所述3D物体的二维2D图像的集合的特征点,其中所述跟踪背景包含至少一个已知图案;
确定所述跟踪图像的所述特征点是否匹配所述数据库中的所述2D图像的集合中一个或多个图像的特征点;及
响应于确定所述跟踪图像的所述特征点匹配所述数据库中的所述2D图像的集合的一个或多个图像的特征点而在所述移动设备的显示屏上提供关于所述跟踪图像的信息。
2.根据权利要求1所述的方法,其中所述数据库按如下步骤构建:
借助所述跟踪背景捕获所述3D物体的2D图像的所述集合,其中2D图像的所述集合包含所述3D物体的多个视角;
从每一2D图像提取特征点的集合,其中特征点的所述集合包含所述3D物体的特征点的第一子集及所述跟踪背景的特征点的第二子集;及
将特征点的所述集合存储于所述数据库中。
3.根据权利要求2所述的方法,进一步包括:
记录2D图像的所述集合相对于常见坐标系的对应姿态信息;及
将特征点的所述集合存储于所述数据库中。
4.根据权利要求1所述的方法,其中将所述3D物体的所述跟踪图像的所述特征点与所述数据库相比较包括:
执行就所述跟踪图像与所述数据库中的2D图像的所述集合之间的匹配特征点的数目的累计表决;及
根据就匹配特征点的数目的所述累计表决从2D图像的所述集合中识别至少一个代表性图像。
5.根据权利要求4所述的方法,其中将所述3D物体的所述跟踪图像的所述特征点与所述数据库相比较进一步包括:
从具有最高的匹配特征点数目的所述至少一个代表性图像估计所述跟踪图像的代表性姿态。
6.根据权利要求4所述的方法,其中将所述3D物体的所述跟踪图像的所述特征点与所述数据库相比较进一步包括:
通过合并来自所述代表性图像中的两者或两者以上的特征点创建经合并特征点的集合;及
根据经合并特征点的所述集合估计所述跟踪图像的代表性姿态。
7.根据权利要求1所述的方法,其中提供关于所述跟踪图像的信息包括:
提供所接收的所述跟踪图像的姿态信息。
8.根据权利要求7所述的方法,其中提供关于所述跟踪图像的信息进一步包括:
根据所述跟踪图像的所述姿态信息提供用以支持移动装置上的动画应用程序的信息。
9.根据权利要求7所述的方法,其中提供关于所述跟踪图像的信息进一步包括:
根据所述跟踪图像的所述姿态信息提供用以支持移动装置上的扩增实境应用程序的信息。
10.一种跟踪三维3D物体的移动装置,其包括:
至少一个处理器,其经配置以控制所述移动装置的操作;及
3D物体跟踪模块,其经配置以与所述至少一个处理器一起工作,其中所述3D物体跟踪模块包含:
经配置以在移动设备处接收3D物体跟踪图像的逻辑;
经配置以从所述3D物体的所述跟踪图像提取特征点的逻辑;
经配置以将所述3D物体的所述跟踪图像的所述特征点与数据库相比较的逻辑,其中所述数据库包含具有跟踪背景的所述3D物体的二维2D图像的集合的特征点,其中所述跟踪背景包含至少一个已知图案;
经配置以确定所述跟踪图像的所述特征点是否匹配所述数据库中的所述2D图像的集合中一个或多个图像的特征点的逻辑;及
经配置以响应于确定所述跟踪图像的所述特征点匹配所述数据库中的所述2D图像的集合的一个或多个图像的特征点而在所述移动设备的显示屏上提供关于所述跟踪图像的信息的逻辑。
11.根据权利要求10所述的移动装置,其中所述数据库由如下逻辑构建:
经配置以借助所述跟踪背景捕获所述3D物体的2D图像的所述集合的逻辑,其中2D图像的所述集合包含所述3D物体的多个视角;
经配置以从每一2D图像提取特征点的集合的逻辑,其中特征点的所述集合包含所述3D物体的特征点的第一子集及所述跟踪背景的特征点的第二子集;及
经配置以将特征点的所述集合存储于所述数据库中的逻辑。
12.根据权利要求11所述的移动装置,进一步包括:
经配置以记录2D图像的所述集合相对于常见坐标系的对应姿态信息的逻辑;及
经配置以将特征点的所述集合存储于所述数据库中的逻辑。
13.根据权利要求10所述的移动装置,其中经配置以将所述3D物体的所述跟踪图像的所述特征点与所述数据库相比较的逻辑包括:
经配置以执行就所述跟踪图像与所述数据库中的2D图像的所述集合之间的匹配特征点的数目的累计表决的逻辑;及
经配置以根据就匹配特征点的数目的所述累计表决从2D图像的所述集合中识别至少一个代表性图像的逻辑。
14.根据权利要求13所述的移动装置,其中经配置以将所述3D物体的所述跟踪图像的所述特征点与所述数据库相比较的逻辑进一步包括:
经配置以从具有最高的匹配特征点数目的所述至少一个代表性图像估计所述跟踪图像的代表性姿态的逻辑。
15.根据权利要求13所述的移动装置,其中经配置以将所述3D物体的所述跟踪图像的所述特征点与所述数据库相比较的逻辑进一步包括:
经配置以通过合并来自所述代表性图像中的两者或两者以上的特征点创建经合并特征点的集合的逻辑;及
经配置以根据经合并特征点的所述集合估计所述跟踪图像的代表性姿态的逻辑。
16.根据权利要求10所述的移动装置,其中经配置以提供关于所述跟踪图像的信息的逻辑包括:
经配置以提供所接收的所述跟踪图像的姿态信息的逻辑。
17.根据权利要求16所述的移动装置,其中经配置以提供关于所述跟踪图像的信息的逻辑进一步包括:
经配置以根据所述跟踪图像的所述姿态信息提供用以支持所述移动装置上的动画应用程序的信息的逻辑。
18.根据权利要求16所述的移动装置,其中经配置以提供关于所述跟踪图像的信息的逻辑进一步包括:
经配置以根据所述跟踪图像的所述姿态信息提供用以支持所述移动装置上的扩增实境应用程序的信息的逻辑。
19.一种跟踪三维3D物体的设备,其包括:
至少一个处理器,其经配置以控制所述设备的操作;及
3D物体跟踪模块,其经配置以与所述至少一个处理器一起工作,其中所述3D物体跟踪模块包含:
用于在移动设备处接收3D物体跟踪图像的装置;
用于从所述3D物体的所述跟踪图像提取特征点的装置;
用于将所述3D物体的所述跟踪图像的所述特征点与数据库相比较的装置,其中所述数据库包含具有跟踪背景的所述3D物体的二维2D图像的集合的特征点,其中所述跟踪背景包含至少一个已知图案;
用于确定所述跟踪图像的所述特征点是否匹配所述数据库中的所述2D图像的集合中一个或多个图像的特征点的装置;及
用于响应于确定所述跟踪图像的所述特征点匹配所述数据库中的所述2D图像的集合的一个或多个图像的特征点而在所述移动设备的显示屏上提供关于所述跟踪图像的信息的装置。
20.根据权利要求19所述的设备,其中所述数据库由如下装置构建:
用于借助所述跟踪背景捕获所述3D物体的2D图像的所述集合的装置,其中2D图像的所述集合包含所述3D物体的多个视角;
用于从每一2D图像提取特征点的集合的装置,其中特征点的所述集合包含所述3D物体的特征点的第一子集及所述跟踪背景的特征点的第二子集;及
用于将特征点的所述集合存储于所述数据库中的装置。
21.根据权利要求20所述的设备,进一步包括:
用于记录2D图像的所述集合相对于常见坐标系的对应姿态信息的装置;及
用于将特征点的所述集合存储于所述数据库中的装置。
22.根据权利要求19所述的设备,其中用于将所述3D物体的所述跟踪图像的所述特征点与所述数据库相比较的装置包括:
用于执行就所述跟踪图像与所述数据库中的2D图像的所述集合之间的匹配特征点的数目的累计表决的装置;及
用于根据就匹配特征点的数目的所述累计表决从2D图像的所述集合中识别至少一个代表性图像的装置。
23.根据权利要求22所述的设备,其中用于将所述3D物体的所述跟踪图像的所述特征点与所述数据库相比较的装置进一步包括:
用于从具有最高的匹配特征点数目的所述至少一个代表性图像估计所述跟踪图像的代表性姿态的装置。
CN201280055792.1A 2011-11-29 2012-11-20 跟踪三维物体的方法及设备 Active CN103946890B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161564722P 2011-11-29 2011-11-29
US61/564,722 2011-11-29
US13/450,241 US8855366B2 (en) 2011-11-29 2012-04-18 Tracking three-dimensional objects
US13/450,241 2012-04-18
PCT/US2012/066114 WO2013081917A1 (en) 2011-11-29 2012-11-20 Tracking three-dimensional objects

Publications (2)

Publication Number Publication Date
CN103946890A CN103946890A (zh) 2014-07-23
CN103946890B true CN103946890B (zh) 2016-08-24

Family

ID=48466898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280055792.1A Active CN103946890B (zh) 2011-11-29 2012-11-20 跟踪三维物体的方法及设备

Country Status (6)

Country Link
US (1) US8855366B2 (zh)
EP (1) EP2786346B1 (zh)
JP (1) JP5823634B2 (zh)
KR (1) KR101556579B1 (zh)
CN (1) CN103946890B (zh)
WO (1) WO2013081917A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101427377B1 (ko) * 2013-02-27 2014-08-08 (주)모션블루 미러월드 기반 체감형 디지털 보드 게임 서비스 제공 방법 및 장치
US20140297485A1 (en) * 2013-03-29 2014-10-02 Lexmark International, Inc. Initial Calibration of Asset To-Be-Tracked
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
US9646384B2 (en) 2013-09-11 2017-05-09 Google Technology Holdings LLC 3D feature descriptors with camera pose information
US9418284B1 (en) * 2014-04-09 2016-08-16 Vortex Intellectual Property Holding LLC Method, system and computer program for locating mobile devices based on imaging
US9911190B1 (en) 2014-04-09 2018-03-06 Vortex Intellectual Property Holding LLC Method and computer program for generating a database for use in locating mobile devices based on imaging
US10735902B1 (en) 2014-04-09 2020-08-04 Accuware, Inc. Method and computer program for taking action based on determined movement path of mobile devices
US10157189B1 (en) 2014-04-09 2018-12-18 Vortex Intellectual Property Holding LLC Method and computer program for providing location data to mobile devices
EP3132379B1 (en) 2014-04-15 2018-11-07 Huntington Ingalls Incorporated System and method for augmented reality display of dynamic environment information
US9864909B2 (en) 2014-04-25 2018-01-09 Huntington Ingalls Incorporated System and method for using augmented reality display in surface treatment procedures
WO2015164755A1 (en) 2014-04-25 2015-10-29 Huntington Ingalls Incorporated Augmented reality display of dynamic target object information
US10915754B2 (en) 2014-06-09 2021-02-09 Huntington Ingalls Incorporated System and method for use of augmented reality in outfitting a dynamic structural space
WO2015191346A1 (en) 2014-06-09 2015-12-17 Huntington Ingalls Incorporated System and method for augmented reality display of electrical system information
US10504294B2 (en) 2014-06-09 2019-12-10 Huntington Ingalls Incorporated System and method for augmented reality discrepancy determination and reporting
US9898867B2 (en) 2014-07-16 2018-02-20 Huntington Ingalls Incorporated System and method for augmented reality display of hoisting and rigging information
KR20170055982A (ko) 2014-09-10 2017-05-22 하스브로, 잉크. 수동식 스캐너를 구비한 토이 시스템
US20160086372A1 (en) * 2014-09-22 2016-03-24 Huntington Ingalls Incorporated Three Dimensional Targeting Structure for Augmented Reality Applications
GB2532075A (en) 2014-11-10 2016-05-11 Lego As System and method for toy recognition and detection based on convolutional neural networks
US9519061B2 (en) * 2014-12-26 2016-12-13 Here Global B.V. Geometric fingerprinting for localization of a device
WO2016172506A1 (en) 2015-04-23 2016-10-27 Hasbro, Inc. Context-aware digital play
US9818043B2 (en) 2015-06-24 2017-11-14 Microsoft Technology Licensing, Llc Real-time, model-based object detection and pose estimation
US9881378B2 (en) 2016-02-12 2018-01-30 Vortex Intellectual Property Holding LLC Position determining techniques using image analysis of marks with encoded or associated position data
US10824878B2 (en) 2016-03-08 2020-11-03 Accuware, Inc. Method and arrangement for receiving data about site traffic derived from imaging processing
CN105892474A (zh) * 2016-03-31 2016-08-24 深圳奥比中光科技有限公司 无人机以及无人机控制方法
CN105847684A (zh) * 2016-03-31 2016-08-10 深圳奥比中光科技有限公司 无人机
CN106251404B (zh) * 2016-07-19 2019-02-01 央数文化(上海)股份有限公司 方位跟踪方法、实现增强现实的方法及相关装置、设备
US10607070B2 (en) * 2016-09-30 2020-03-31 Intel Corporation Human search and identification in complex scenarios
CN106863355A (zh) * 2016-12-27 2017-06-20 北京光年无限科技有限公司 一种用于机器人的物体识别方法以及机器人
US11551368B2 (en) * 2017-08-31 2023-01-10 Sony Group Corporation Electronic devices, methods, and computer program products for controlling 3D modeling operations based on pose metrics
CN109934847B (zh) * 2019-03-06 2020-05-22 视辰信息科技(上海)有限公司 弱纹理三维物体姿态估计的方法和装置
CN110705605B (zh) * 2019-09-11 2022-05-10 北京奇艺世纪科技有限公司 特征数据库建立及动作识别方法、装置、系统及存储介质
CN113514008B (zh) * 2020-04-10 2022-08-23 杭州思看科技有限公司 三维扫描方法、三维扫描系统和计算机可读存储介质
KR20220083166A (ko) 2020-12-11 2022-06-20 삼성전자주식회사 인체 추정 방법 및 장치
KR102489927B1 (ko) * 2021-01-22 2023-01-18 한국과학기술연구원 증강현실 엔진에 독립적인 피처 데이터 기반의 엔터티 추적 방법 및 장치
KR102536525B1 (ko) * 2022-06-29 2023-05-26 주식회사 쓰리디뱅크 마커가 구비된 특수 마네킹을 이용한 3d 스캔용 촬영장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010055957A (ko) * 1999-12-13 2001-07-04 오길록 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법
CN1689024A (zh) * 2002-09-05 2005-10-26 柯耐克斯公司 立体门传感器
EP1594322A2 (en) * 2004-02-11 2005-11-09 British Broadcasting Corporation Position determination

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475422A (en) * 1993-06-21 1995-12-12 Nippon Telegraph And Telephone Corporation Method and apparatus for reconstructing three-dimensional objects
GB2366463B (en) 1997-05-30 2002-04-17 British Broadcasting Corp Position determination
WO2005099423A2 (en) * 2004-04-16 2005-10-27 Aman James A Automatic event videoing, tracking and content generation system
US6795567B1 (en) 1999-09-16 2004-09-21 Hewlett-Packard Development Company, L.P. Method for efficiently tracking object models in video sequences via dynamic ordering of features
US7409092B2 (en) * 2002-06-20 2008-08-05 Hrl Laboratories, Llc Method and apparatus for the surveillance of objects in images
US7113185B2 (en) 2002-11-14 2006-09-26 Microsoft Corporation System and method for automatically learning flexible sprites in video layers
SG119229A1 (en) * 2004-07-30 2006-02-28 Agency Science Tech & Res Method and apparatus for insertion of additional content into video
JP2007257489A (ja) * 2006-03-24 2007-10-04 Toyota Motor Corp 画像処理装置および画像処理方法
US20080219504A1 (en) * 2007-03-05 2008-09-11 Adams Henry W Automatic measurement of advertising effectiveness
NO327279B1 (no) 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
JP5293429B2 (ja) * 2009-06-10 2013-09-18 日産自動車株式会社 移動物体検出装置、及び移動物体検出方法
WO2011047360A1 (en) 2009-10-15 2011-04-21 Ogmento, Inc. Systems and methods for tracking natural planar shapes for augmented reality applications
US8472698B2 (en) 2009-11-24 2013-06-25 Mitsubishi Electric Research Laboratories, Inc. System and method for determining poses of objects
US10133950B2 (en) * 2011-03-04 2018-11-20 Qualcomm Incorporated Dynamic template tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010055957A (ko) * 1999-12-13 2001-07-04 오길록 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법
CN1689024A (zh) * 2002-09-05 2005-10-26 柯耐克斯公司 立体门传感器
EP1594322A2 (en) * 2004-02-11 2005-11-09 British Broadcasting Corporation Position determination

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Robust and Unobtrusive Marker Tracking on Mobile Phones;Daniel Wagner et al.;《7th IEEE/ACM International Symposium on Mixed and Augmented Reality》;20080915;第121-124页 *

Also Published As

Publication number Publication date
KR20140097451A (ko) 2014-08-06
WO2013081917A1 (en) 2013-06-06
KR101556579B1 (ko) 2015-10-01
CN103946890A (zh) 2014-07-23
US8855366B2 (en) 2014-10-07
JP2014533867A (ja) 2014-12-15
JP5823634B2 (ja) 2015-11-25
EP2786346A1 (en) 2014-10-08
US20130136300A1 (en) 2013-05-30
EP2786346B1 (en) 2018-01-10

Similar Documents

Publication Publication Date Title
CN103946890B (zh) 跟踪三维物体的方法及设备
US11393173B2 (en) Mobile augmented reality system
EP2915140B1 (en) Fast initialization for monocular visual slam
US10410089B2 (en) Training assistance using synthetic images
KR101609486B1 (ko) 모션 패럴랙스를 이용한 2d 이미지로부터의 3d 지각 생성
US20130129191A1 (en) Methods and Apparatus for Image Rectification for Stereo Display
US20230298280A1 (en) Map for augmented reality
US10607385B2 (en) Augmented reality positioning and tracking system and method
JP6017343B2 (ja) データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム
US11227407B2 (en) Systems and methods for augmented reality applications
US10791319B1 (en) Multi-camera 3D content creation
KR101334980B1 (ko) 증강현실 콘텐츠 저작 장치 및 증강현실 콘텐츠 저작 방법
EP3317854A1 (en) Hypotheses line mapping and verification for 3d maps
Zhang et al. Kinect-based universal range sensor for laboratory experiments
Corke et al. Using Multiple Images
CN117063206A (zh) 用于在增强现实观看环境中对齐虚拟物体的装置和方法
Park et al. The Extraction of Spatial Information and Object Location Information from Video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant