CN105593877A - 基于动态地构建的环境地图数据进行物体追踪 - Google Patents
基于动态地构建的环境地图数据进行物体追踪 Download PDFInfo
- Publication number
- CN105593877A CN105593877A CN201480054276.6A CN201480054276A CN105593877A CN 105593877 A CN105593877 A CN 105593877A CN 201480054276 A CN201480054276 A CN 201480054276A CN 105593877 A CN105593877 A CN 105593877A
- Authority
- CN
- China
- Prior art keywords
- key frame
- camera
- respect
- target
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 65
- 230000007613 environmental effect Effects 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 208000035126 Facies Diseases 0.000 claims description 5
- 230000008569 process Effects 0.000 description 43
- 230000036544 posture Effects 0.000 description 39
- 238000004891 communication Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000003190 augmentative effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000003467 diminishing effect Effects 0.000 description 1
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001965 increasing effect Effects 0.000 description 1
- 108010052322 limitin Proteins 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
Abstract
一种在物体辨识系统中追踪目标物体的计算机实施的方法包含用相机采集多个图像。所述方法进一步包含同时追踪所述目标物体和从所述多个图像动态地构建环境地图数据。所述追踪所述目标物体包含尝试基于所述多个图像中的至少一个和基于目标地图数据估计所述目标物体相对于所述相机的目标姿势。接下来，所述方法确定相对于所述相机对所述目标物体的所述追踪是否成功。如果不成功，则所述方法包含基于所述动态地构建的环境地图数据推断相对于所述相机的所述目标姿势。在一方面中，所述方法包含即使追踪成功也融合所述推断的目标姿势与所述实际目标姿势以改进稳固性。
Description
相关申请案的交叉引用
本申请案主张2013年10月4日申请的美国临时申请案第61/887,211号的权益。
技术领域
本发明大体上涉及基于计算机视觉的物体辨识应用程序，并且具体来说但非排他地，涉及增强现实系统中的物体追踪。
背景技术
在移动电话或其它移动平台上实现增强现实(AR)的一个难题是实时地检测和追踪物体的问题。用于AR应用程序的物体检测具有非常苛刻的要求：其必须提供完整的六个自由度，产生相对于给定坐标系的绝对测量值，非常稳固并且实时地运行。所关注的是使用基于计算机视觉(CV)的途径来计算相机姿势的方法，其依赖于首先检测并且随后在相机视图内追踪物体。一方面，检测操作包含检测数字图像内包含的一组特征。特征可以指数字图像中的一个区域，这个区域的属性(例如亮度或颜色)与所述区域周围的区相比是不同的。一方面，特征是数字图像中的一个区域，在这个区域中一些属性是不变的，或者在规定的值范围内变化。
接着将检测到的特征与特征数据库中包含的已知特征比较，以便确定图像中是否存在现实世界物体。因此，基于视觉的AR系统的操作中的一个重要要素是特征数据库的组成。在一些系统中，在运行时间之前构建特征数据库，构建的方式是通过从多种已知视点取得已知目标物体的多个样本图像。接着从这些样本图像中提取特征并将其添加到特征数据库。
近年来，增强现实系统已经转向基于模型的追踪算法或同时定位与地图绘制(SLAM)算法，其基于相机俘获的颜色或灰度图像数据。SLAM算法从相机俘获的传入图像序列重构三维(3D)点，并且用于实时地构建场景的3D地图(即，SLAM地图)。从重构的地图中，有可能定位当前图像帧中的相机的6DoF(自由度)姿势。
在一些系统中，在运行时间之前并且在离目标物体很近的距离中产生所述物体的SLAM地图。在运行时间中，使用所产生的物体的SLAM地图从传入视频帧估计相机相对于物体的6DoF姿势。
在现有方法中，追踪性能取决于相机视图中的物体的外观和其大小。如果目标物体较小、被部分地遮挡、或者不具有独特的视觉特征，则估计的相机姿势会丢失准确度并且还可能展现明显的追踪抖动。在更极端的情况下，可能根本无法追踪非常遥远的物体和处于当前视场外部的物体，因此与目标对齐的任何虚拟增强也将丢失。
发明内容
本文中论述的一些实施例用于实现任何可追踪的物体的改进的追踪稳固性，并且可以扩展可追踪的姿势的范围使其超出目标的可见范围。本文中论述的实施例可以应用于基于追踪参考目标的任何增强现实(AR)系统。一方面，追踪系统基于目标地图数据估计相机帧中的目标姿势，同时并行地，姿势计算器基于动态地产生的目标周围的环境的3D表示(即，环境地图数据)来确定目标姿势的估计。如果基于目标地图数据追踪失败，则可使用由姿势计算器产生的估计目标姿势。
举例来说，在相机在环境周围移动时，同时定位与地图绘制(SLAM)系统可以构建目标周围的环境(其可以任选地还包含目标本身)的3D表示。接下来，基于SLAM地图数据估计环境姿势。相机帧中的目标姿势和环境姿势一起提供环境中的目标姿势的估计，其可以随着更多观测结果被记录而得到改进。如果目标的追踪失败，例如当目标离开视图或者变小时，接着使用环境中的目标姿势的估计从追踪的环境姿势推断目标姿势。在一个实施例中，如果目标的追踪变得不稳定，例如，由于大小很小导致抖动或者由于图像中的特征的覆盖不良导致准确度较低，则融合推断的目标姿势和实际目标姿势以改进稳固性。
本发明的上述以及其它方面、目标和特征将从结合附图给出的各种实施例的以下描述中变得显而易见。
附图说明
参见以下图式描述本发明的非限制性和非穷尽性的实施例，其中除非另有指定，否则各图中相同的参考标号指代相同的部件。
图1A和1B说明包含不同距离处的目标物体的场景的图像。
图2是说明构建环境地图数据的过程的流程图。
图3是说明追踪场景中的目标物体的过程的流程图。
图4是用于物体检测和追踪的处理单元的功能框图。
图5是能够执行本文中论述的过程的移动平台的功能框图。
图6是物体辨识系统的功能框图。
具体实施方式
贯穿本说明书对“一个实施例”、“一实施例”、“一个实例”或“一实例”的参考意味着结合所述实施例或实例描述的特定特征、结构或特性包含在本发明的至少一个实施例中。因此，贯穿本说明书在不同位置中出现短语“在一个实施例中”或“在一实施例中”未必都是指同一个实施例。此外，在一个或多个实施例中，具体特征、结构或特性可以任何适合的方式组合。在此说明的任何实例或实施例不应解释为比其它实例或实施例优选或有利。
一方面，在追踪目标物体时使用环境地图数据会改进任何可追踪的物体的追踪稳固性，并且扩展可追踪的姿势的范围使其超出目标的可见范围，甚至可以提高相对于环境移动的物体的追踪性能。
在一个实施例中，环境地图数据包含地图特征和关键帧图像，其中每一特征包含关键点地点和所述地点的至少一个相应描述符。地图特征可以包含从场景提取的特征(例如2D/3D点、边缘、斑点等)。关键帧图像可以包含场景的一些图像，从这些图像提取地图特征。举例来说，通过能看到所述点的关键帧之间的三角测量可以重构3D点。从观察到地图点的关键帧提取地图特征的描述符(例如图像片描述符和线描述符)。
在一个实例中，目标物体的目标地图数据是脱机产生的，因而可以被称作“脱机地图数据”，其关键帧通常是从物体的近距离产生的。脱机地图数据被认为足够“良好”而能执行对目标的检测和追踪。当用户开始与目标物体的交互时，其脱机地图数据被加载到增强现实应用程序，并且从相机图像检测和追踪目标物体。
一旦从相机视频帧检测到目标物体，就实时地追踪目标物体并且获得相机的6DoF姿势。图1A说明场景102的采集到的图像100A，其包含在近距离的包含特征106的目标物体104。因此，目标物体104占据了相机图像100A的大部分，并且追踪通常将很奏效。然而，随着相机从图1B如中所描绘的目标物体104移开，图像100B中的目标104的比例很快变小。当相机图像中物体比例变小或甚至在图像外部时，追踪很可能失败。
因此，本文中所揭示的实施例解决了追踪的这个局限性，方法是通过使用在用户在物体周围移动相机时动态地采集到的场景的环境地图数据。当将环境的关键帧添加到环境地图数据时，追踪变得稳固且稳定。在一个实施例中，环境地图数据可被称为“联机地图数据”。
当用户在物体和其环境周围移动相机时，将新关键帧添加到环境地图数据。常规SLAM框架通过比较候选关键帧(即，当前相机图像)的姿势与现有关键帧的姿势来添加关键帧。如果候选关键帧的姿势类似于现有关键帧中的一者，则忽略所述候选关键帧。以此方式，常规SLAM框架避免了创建过多重复的关键帧，这些关键帧具有靠近的视点。然而，这个常规方案导致无法添加联机关键帧并且导致难以迅速地扩展脱机地图。
因此，本发明的实施例通过在添加联机关键帧时在姿势比较步骤中跳过脱机关键帧来解决这个问题。在产生环境地图数据时，在这个姿势比较中仅仅考虑联机关键帧。如果将要添加第一联机关键帧，则没有要与之比较的联机关键帧。在这种情况下，计算来自所有脱机关键帧的姿势差异，并且将最大值用作姿势差异测量值。在一个实施例中，在创建之后丢弃许多脱机关键帧，并且仅仅保留3D点和描述符的地图。因此，在这个实例中，在没有任何脱机关键帧的情况下构建联机地图数据，并且因此，第一联机关键帧将被自动接受并添加到环境地图。图2是说明构建联机地图数据的实例过程200的流程图。
关键帧创建在过程框205中开始。如果环境地图数据中不包含现有的联机关键帧，则过程200进行到过程框220，在过程框220中使用脱机关键帧计算姿势差异。然而，如果在决策框210中确定实际上存在现有联机关键帧，则过程框215包含仅仅从联机关键帧计算姿势差异(例如姿势差异)。在决策框225中，将计算得到的姿势差异与姿势阈值POSETH比较以确定姿势差异是否足够大。如果是，则在环境地图数据中创建新的关键帧(即，过程框230)。如果姿势差异不够大，则过程200进行到过程框235，其中结束关键帧创建。随着相机在场景周围移动，可以针对俘获到的图像中的一或多者重复过程200。
当将新的关键帧添加到现有环境地图数据时，在SLAM框架中更新所有地图特征的坐标和所有关键帧的6DoF姿势，以便全局地优化地图数据。因此，当添加关键帧时，根据优化结果稍微改变物体表面上的地图特征。这个策略可用于以全局方式改进地图的质量。然而，在当前实施例中修改脱机地图数据是不期望的，因为这样可能会降低在近距离中检测和追踪目标的质量。为了防止这种情况，本文中所揭示的实施例将脱机地图数据设置成“不变”，并且在过程200中不更新脱机地图数据。
图3是说明追踪场景中的目标物体的过程300的流程图。过程300开始于过程框305，其中已经检测到目标物体并且正在实施追踪。因此，在过程框305中接收到下一个图像。接下来，在过程框310中，物体追踪器(例如追踪算法)可以尝试追踪检测到的物体，并且提供目标相对于相机的所估计姿势。如果追踪成功，则物体追踪器将这个所估计目标姿势传递到AR引擎，AR引擎可以执行其它工作，例如增强现实(即，过程框345)。
与过程框310平行执行，过程300包含过程框325-335，其包含计算目标相对于环境的估计姿势。举例来说，在过程框325中，通过应用前述SLAM技术，基于接收到的图像构建环境的环境地图数据。图2的过程200是过程框325的一个可能的实施方案。在过程框330中，接着使用环境地图数据来估计环境相对于相机的姿势。接着在过程框335中一起使用过程框310的估计目标姿势和过程框330的估计环境姿势以提供环境中的目标姿势的估计，随着接收到更多的图像，目标姿势估计可以得到改进。在一个实例中，改进可以包含处置其中目标已相对于环境移动(例如在移动的目标等的情况下)的情况。
如果在决策框315中，追踪不成功，则过程300进行到过程框340，其中基于过程框335的估计目标姿势来推断目标相对于相机的姿势。接着在过程框345中将推断的目标姿势继续传递给AR引擎。
在一些实施例中，如果目标的追踪变得不稳定，例如，由于大小很小导致抖动或者由于图像中的特征的覆盖不良导致准确度较低，则可以融合推断的目标姿势和实际目标姿势以改进稳固性。融合推断目标姿势和实际目标姿势可以包含应用滤波器，例如卡尔曼滤波器。
图4是用于物体检测和追踪的处理单元400的功能框图。在一个实施例中，处理单元400在程序代码的指导下可以执行过程200和/或300，如上所述。举例来说，处理单元400接收到图像的时间序列402。物体检测器406检测图像中的至少一个中包含的目标物体，并且物体追踪器408基于所述图像的序列402追踪物体。当采集图像时，地图数据产生器404可以将所选择的关键帧添加到环境地图数据414(例如参见过程200)。
物体检测器406可以基于接收到的图像并基于目标地图数据416确定相机相对于目标物体的当前姿势。如上文所论述，当物体追踪器408追踪目标物体时，姿势计算器412可以在并行地产生目标姿势相对于环境的估计。如果对目标物体的追踪丢失，则物体追踪器408可以基于姿势计算器412产生的目标姿势推断相对于相机的目标姿势。
增强现实(AR)引擎410可以基于物体检测器406和/或物体追踪器408确定的相机姿势来执行与增强现实相关的任何操作。
图5是能够执行本文中论述的过程的移动平台500的功能框图。如本文所使用，移动平台指代一种装置，例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机，或能够接收无线通信和/或导航信号(例如导航定位信号)的其它合适的移动装置。术语“移动平台”还意在包含(例如)通过短程无线、红外线、有线连接或其它连接与个人导航装置(PND)通信的装置，而不管是在装置处还是在PND处发生卫星信号接收、辅助数据接收和/或位置相关处理。并且，“移动平台”意在包含所有能够(例如)经由因特网、WiFi或其它网络与服务器通信的装置，包含无线通信装置、计算机、膝上型计算机等，并且不管是在装置处、在服务器处还是在与网络相关联的另一装置处发生卫星信号接收、辅助数据接收及/或位置相关处理。另外，“移动平台”还可包含所有能够支持增强现实(AR)、虚拟现实(VR)和/或混合现实(MR)应用程序的电子装置。以上各项的任何可操作组合也视为“移动平台”。
移动平台500可以任选地包含相机502以及任选的用户接口506，用户接口506包含显示器522，显示器522能够显示相机502俘获的图像。用户接口506还可包含小键盘524或其它输入装置，用户可以通过所述输入装置输入信息到移动平台500中。如果需要，可以通过将虚拟小键盘整合到具有触摸传感器的显示器522中来去掉小键盘524。用户接口506还可包含麦克风526和扬声器528。
移动平台500还包含控制单元504，其连接到相机502和用户接口506(如果存在的话)并且与其通信。控制单元504接受并处理从相机502和/或从网络适配器516接收的图像。控制单元504可以由处理单元508和相关联的存储器514、硬件510、软件515和固件512提供。
图4的处理单元400是如上文所论述的用于物体检测和追踪的处理单元508的一个可能的实施方案。控制单元504可进一步包含图形引擎520，其可以例如是游戏引擎，用于在期望时在显示器522中渲染期望的数据。出于清楚起见分开说明处理单元508和图形引擎520，但是处理单元508和图形引擎520可以是单个单元，和/或基于软件515中的指令实施在处理单元508中，软件515在处理单元508中运行。处理单元508以及图形引擎520可能(但不需要必然)包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)等等。术语处理器和处理单元描述通过系统而非特定的硬件实施的功能。此外，如本文中所使用，术语“存储器”指代任何类型的计算机存储媒体，其包含与移动平台500相关联的长期、短期或其它存储器，且并不限于任何特定类型的存储器或特定数目的存储器，或特定类型的其上存储有存储器的媒体。
根据应用，本文中所描述的过程可以通过各种装置来实施。举例来说，这些过程可以在硬件510、固件512、软件515或其任何组合中实施。对于硬件实施方案，处理单元可在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它电子单元或其组合内实现。
对于固件和/或软体实施方案，可使用执行本文中所描述的功能的模块(例如程序、功能等等)来实施所述过程。任何有形地体现指令的计算机可读媒体可用于实施本文所描述的过程。举例来说，程序代码可以存储于存储器515中并且通过处理单元508执行。存储器可以在处理单元508内部或外部实施。
如果以固件和/或软件实施，那么可将所述功能作为一或多个指令或代码存储在计算机可读媒体上。实例包含以数据结构编码的非暂时性计算机可读媒体，和以计算机程序编码的计算机可读媒体。计算机可读媒体包含物理计算机存储媒体。储存媒体可为可由计算机存取的任何可用媒体。作为实例而非限制，此计算机可读媒体可包括RAM、ROM、快闪存储器、EEPROM、CD-ROM或其他光盘存储装置、磁盘存储装置或其他磁性存储装置，或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体；如本文中所使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上的组合也应该包含在计算机可读媒体的范围内。
图6是物体辨识系统600的功能框图。如图所示，物体辨识系统600包含实例移动平台602，其包含相机(当前视图中未图示)，所述相机能够俘获包含物体614的场景的图像。特征数据库612可以包含任何前述地图数据，包含环境(联机)和目标(脱机)地图数据。
移动平台602可以包含显示器，用以展示相机俘获的图像。移动平台602还可用于例如基于使用来自卫星定位系统(SPS)(其包含人造卫星606)或任何其它用于确定位置的适当来源(包含蜂窝塔604或无线通信接入点705)的信号确定其经纬度来进行导航。移动平台602还可包含定向传感器，例如数字指南针、加速计或陀螺仪，其可用于确定移动平台602的定向。
卫星定位系统(SPS)通常包含发射器的系统，其经定位以使得实体能够至少部分地基于从发射器接收到的信号来确定其在地球上或上方的位置。此发射器通常发射经标记有设置数目个码片的重复伪随机噪声(PN)码的信号且可位于基于地面的控制站、用户设备和/或宇宙飞船上。在特定实例中，此类发射器可位于地球轨道人造卫星(SV)606上。举例来说，全球导航卫星系统(GNSS)群集(例如，全球定位系统(GPS)、伽利略(Galileo)、格洛纳斯(Glonass)或指南针(Compass))中的SV可发射经标记有PN码的信号，所述PN码可区别于由群集中的其它SV发射的PN码(例如，如在GPS中，针对每一卫星使用不同PN码，或如在格洛纳斯中，在不同频率上使用相同码)。
根据某些方面，本文中所提出的技术并不限于SPS的全球系统(例如，GNSS)。举例来说，本文中所提供的技术可应用于或以其它方式得到支持以用于在各种地区性系统中使用，例如，比如日本的准天顶卫星系统(QZSS)、印度的印度地区性导航卫星系统(IRNSS)、中国的北斗卫星等，和/或可与一或多个全球的及/或地区性导航卫星系统相关联或以其它方式得到支持以供一或多个全球的及/或地区性导航卫星系统使用的各种增强系统(例如，基于卫星的增强系统(SBAS))。借助实例但非限制，SBAS可以包含提供完整性信息、差分校正等的增强系统，比如，例如，广域增强系统(WAAS)、欧洲地球同步导航叠加服务(EGNOS)、多功能卫星增强系统(MSAS)、GPS辅助地理增强导航或GPS和地理增强导航系统(GAGAN)等等。因此，如本文所使用，SPS可包含一或多个全球和/或区域性导航卫星系统和/或增强系统的任何组合，且SPS信号可包含SPS、类似SPS和/或与此一或多个SPS相关联的其它信号。
移动平台602不限于与SPS一起用于位置确定，因为位置确定技术可以配合多种无线通信网络实施，所述无线通信网络包含蜂窝塔604并且来自无线通信接入点605，例如无线广域网(WWAN)、无线局域网(WLAN)、无线个域网(WPAN)。另外，移动平台602可以经由蜂窝塔604并且从无线通信接入点605使用各种无线通信网络或者期望时使用人造卫星606接入一或多个服务器608以从数据库612获得数据，例如联机和/或脱机地图数据。术语“网络”与“系统”经常可互换使用。WWAN可以是码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)等等。CDMA网络可实施一或多种无线电接入技术(RAT)，例如cdma2000、宽带CDMA(W-CDMA)等等。Cdma2000包含IS-95、IS-2000及IS-856标准。TDMA网络可实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某种其它RAT。来自名为“第三代合作伙伴计划”(3GPP)的协会的文献中描述了GSM和W-CDMA。来自名为“第三代合作伙伴计划2”(3GPP2)的协会的文献中描述了Cdma2000。3GPP及3GPP2文献是公众可获得的。WLAN可以为IEEE802.11x网络，且WPAN可以为蓝牙网络、IEEE802.15x或某一其它类型的网络。所述技术还可结合WWAN、WLAN和/或WPAN的任何组合来实施。
如图6中所展示，系统600包含移动平台602，其俘获有待基于特征数据库612中包含的地图数据来检测和追踪的物体614的图像。如所说明，移动平台602可以例如经由蜂窝塔604或无线通信接入点605接入网络610(例如无线广域网(WWAN))，网络610耦合到服务器608，服务器608连接到数据库612，数据库612存储与目标物体和其图像有关的信息。虽然图6展示了一个服务器608，但是应理解可使用多个服务器以及多个数据库612。如图6中所说明，移动平台602可以执行物体检测和追踪本身，方法是通过从服务器608获得数据库612的至少一部分，并且将所下载的地图数据存储在移动平台602内部的本地数据库中。从服务器608获得的数据库的部分可以基于通过移动平台的定位系统确定的移动平台的地理位置。此外，从服务器608获得的数据库的部分可以取决于需要移动平台602上的数据库的特定应用程序。移动平台602可以从俘获的查询图像提取特征，并且将查询特征与存储于本地数据库中的特征匹配。查询图像可以是来自相机的预览帧中的图像或相机俘获的图像，或从视频序列提取的帧。物体检测可以至少部分地基于每一查询特征的确定置信级，所述置信级可以接着用于移除离群值。通过基于移动平台的地理位置下载数据库612的较小部分并且在移动平台602上执行物体检测，可以避免网络等待时间问题，并且空中(OTA)带宽使用以及客户端(即，移动平台)侧上的存储器要求减小。然而，如果期望的话，则可以通过服务器608(或其它服务器)执行物体检测和追踪，其中移动平台602将查询图像本身或从查询图像所提取的特征提供到服务器608。在一个实施例中，联机地图数据由移动平台602在本地存储，而脱机地图数据在云端中存储于数据库612中。
过程框中的一些或全部在上文所论述的每一过程中出现的顺序不应当被认为是限制性的。而是，得益于本发明的所属领域的技术人员将理解，可以未说明的多种顺序执行所述过程框中的一些。
所属领域的技术人员将进一步了解，结合本文所揭示的实施例描述的各种说明性逻辑块、模块、引擎、电路及算法步骤可实施为电子硬件、计算机软件或两者的组合。为清楚地说明硬件与软件的此互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、引擎、电路及步骤。此功能性是实施为硬件还是软件取决于特定应用及施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但此类实施方案决策不应被解释为会导致脱离本发明的范围。
所属领域的技术人员将容易了解对本文所揭示的实施例的各种修改，且可在不脱离本发明的精神或范围的情况下将本文定义的一般原理应用到其它实施例。因此，本发明并不希望限于本文中所展示的实施例，而应被赋予与本文中所揭示的原理和新颖特征相一致的最广泛范围。
Claims (30)
1.一种在物体辨识系统中追踪目标物体的计算机实施的方法，所述方法包括：
用相机采集多个图像；
同时追踪所述目标物体和从所述多个图像动态地构建环境地图数据，其中追踪所述目标物体包含尝试基于所述多个图像中的至少一个并且基于目标地图数据估计所述目标物体相对于所述相机的目标姿势；
确定相对于所述相机对所述目标物体的所述追踪是否成功；以及如果不成功，则
基于所述环境地图数据推断相对于所述相机的所述目标姿势。
2.根据权利要求1所述的计算机实施的方法，其进一步包括：
如果确定相对于所述相机对所述目标物体的追踪成功，则基于所述环境数据推断相对于所述相机的所述目标姿势；以及
融合所述估计的目标姿势与所述推断的目标姿势。
3.根据权利要求2所述的计算机实施的方法，其中融合所述估计的目标姿势与所述推断的目标姿势包含应用卡尔曼滤波器。
4.根据权利要求1所述的计算机实施的方法，其中基于所述环境地图数据推断相对于所述相机的所述目标姿势包含：
估计所述环境相对于所述相机的环境姿势；
估计所述目标物体相对于所述环境的目标姿势；以及
基于相对于所述环境的所述估计的目标姿势推断相对于所述相机的所述目标姿势。
5.根据权利要求1所述的计算机实施的方法，其中所述环境地图数据是基于与用所述相机采集到的所述一或多个多个图像对应的一或多个关键帧。
6.根据权利要求5所述的计算机实施的方法，其中构建所述环境地图数据包含关键帧同时定位与地图绘制SLAM。
7.根据权利要求5所述的计算机实施的方法，其中构建所述环境地图数据包含通过计算候选关键帧和对应于所述相机采集到的图像的其它联机关键帧之间的姿势差异将所述候选关键帧添加到所述一或多个关键帧。
8.根据权利要求7所述的计算机实施的方法，其中计算所述候选关键帧和其它联机关键帧之间的所述姿势差异包含在计算所述姿势差异时跳过脱机关键帧。
9.根据权利要求7所述的计算机实施的方法，其中所述姿势差异是所述候选关键帧和其它联机关键帧之间的最小姿势差异，所述方法进一步包括如果所述姿势差异超过姿势阈值则将所述候选关键帧添加到所述其它联机关键帧。
10.一种包含存储于其上的用于在物体辨识系统中追踪目标物体的程序代码的计算机可读媒体，所述程序代码包括用于以下操作的指令：
用相机采集多个图像；
同时追踪所述目标物体和从所述多个图像动态地构建环境地图数据，其中用于追踪所述目标物体的所述指令包含用于以下操作的指令：尝试基于所述多个图像中的至少一个并且基于目标地图数据估计所述目标物体相对于所述相机的目标姿势；
确定相对于所述相机对所述目标物体的追踪是否成功；以及如果不成功，则
基于所述环境地图数据推断相对于所述相机的所述目标姿势。
11.根据权利要求10所述的计算机可读媒体，其中用于基于所述环境地图数据推断相对于所述相机的所述目标姿势的所述指令包含用于以下操作的指令：
估计所述环境相对于所述相机的环境姿势；
估计所述目标物体相对于所述环境的目标姿势；以及
基于相对于所述环境的所述估计的目标姿势推断相对于所述相机的所述目标姿势。
12.根据权利要求10所述的计算机可读媒体，其中所述环境地图数据是基于与用所述相机采集到的所述一或多个多个图像对应的一或多个关键帧。
13.根据权利要求12所述的计算机可读媒体，其中用于构建所述环境地图数据的所述指令包含关键帧同时定位与地图绘制SLAM。
14.根据权利要求12所述的计算机可读媒体，其中用于构建所述环境地图数据的所述指令包含用于以下操作的指令：将候选关键帧添加到所述一或多个关键帧和计算所述候选关键帧和对应于所述相机采集到的图像的其它联机关键帧之间的姿势差异。
15.根据权利要求14所述的计算机可读媒体，其中用于计算所述候选关键帧和其它联机关键帧之间的所述姿势差异的所述指令包含用于在计算所述姿势差异时跳过脱机关键帧的指令。
16.根据权利要求14所述的计算机可读媒体，其中所述姿势差异是所述候选关键帧和其它联机关键帧之间的最小姿势差异，所述媒体进一步包括用于以下操作的指令：如果所述姿势差异超过姿势阈值则将所述候选关键帧添加到所述其它联机关键帧。
17.一种设备，其包括：
存储器，其适于存储用于在物体辨识系统中追踪目标物体的程序代码；
处理单元，其适于存取和执行所述程序代码中包含的指令，其中当所述指令由所述处理单元执行时，所述处理单元引导所述设备：
用相机采集多个图像；
同时追踪所述目标物体和从所述多个图像动态地构建环境地图数据，其中用于追踪所述目标物体的指令包含用于以下操作的指令：尝试基于所述多个图像中的至少一个并且基于目标地图数据估计所述目标物体相对于所述相机的目标姿势；
确定相对于所述相机对所述目标物体的所述追踪是否成功；以及如果不成功，则
基于所述环境地图数据推断相对于所述相机的所述目标姿势。
18.根据权利要求17所述的设备，其中用于基于所述环境地图数据推断相对于所述相机的所述目标姿势的所述指令包含用于以下操作的指令：
估计所述环境相对于所述相机的环境姿势；
估计所述目标物体相对于所述环境的目标姿势；以及
基于相对于所述环境的所述估计的目标姿势推断相对于所述相机的所述目标姿势。
19.根据权利要求17所述的设备，其中所述环境地图数据是基于与用所述相机采集到的所述一或多个多个图像对应的一或多个关键帧。
20.根据权利要求19所述的设备，其中用于构建所述环境地图数据的所述指令包含关键帧同时定位与地图绘制SLAM。
21.根据权利要求19所述的设备，其中用于构建所述环境地图数据的所述指令包含用于以下操作的指令：将候选关键帧添加到所述一或多个关键帧和计算所述候选关键帧和对应于所述相机采集到的图像的其它联机关键帧之间的姿势差异。
22.根据权利要求21所述的设备，其中用于计算所述候选关键帧和其它联机关键帧之间的所述姿势差异的所述指令包含用于在计算所述姿势差异时跳过脱机关键帧的指令。
23.根据权利要求21所述的设备，其中所述姿势差异是所述候选关键帧和其它联机关键帧之间的最小姿势差异，所述媒体进一步包括用于以下操作的指令：如果所述姿势差异超过姿势阈值则将所述候选关键帧添加到所述其它联机关键帧。
24.根据权利要求17所述的设备，其进一步包括用于采集所述多个图像的所述相机。
25.一种设备，其包括：
用于用相机采集多个图像的装置；
用于同时追踪所述目标物体和从所述多个图像动态地构建环境地图数据的装置，其中所述用于追踪所述目标物体的装置包含用于以下操作的装置：尝试基于所述多个图像中的至少一个并且基于目标地图数据估计所述目标物体相对于所述相机的目标姿势；
用于确定相对于所述相机对所述目标物体的所述追踪是否成功的装置；以及
用于如果相对于所述相机对所述目标物体的所述追踪不成功则基于所述环境地图数据推断相对于所述相机的所述目标姿势的装置。
26.根据权利要求25所述的设备，其进一步包括：
用于如果确定相对于所述相机对所述目标物体的所述追踪成功则基于所述环境数据推断相对于所述相机的所述目标姿势的装置；以及
用于融合所述估计的目标姿势与所述推断的目标姿势的装置。
27.根据权利要求25所述的设备，其中所述用于基于所述环境地图数据推断相对于所述相机的所述目标姿势的装置包含：
用于估计所述环境相对于所述相机的环境姿势的装置；
用于估计所述目标物体相对于所述环境的目标姿势的装置；以及
用于基于相对于所述环境的所述估计的目标姿势推断相对于所述相机的所述目标姿势的装置。
28.根据权利要求25所述的设备，其中所述环境地图数据是基于与用所述相机采集到的所述一或多个多个图像对应的一或多个关键帧，并且其中所述用于构建所述环境地图数据的装置包含关键帧同时定位与地图绘制SLAM。
29.根据权利要求25所述的设备，其中所述环境地图数据是基于与用所述相机采集到的所述一或多个多个图像对应的一或多个关键帧，并且其中所述用于构建所述环境地图数据的装置包含用于以下操作的装置：通过计算候选关键帧和对应于所述相机采集到的图像的其它联机关键帧之间的姿势差异，将所述候选关键帧添加到所述一或多个关键帧。
30.根据权利要求29所述的设备，其中所述姿势差异是所述候选关键帧和其它联机关键帧之间的最小姿势差异，所述设备进一步包括用于如果所述姿势差异超过姿势阈值则将所述候选关键帧添加到所述其它联机关键帧的装置。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361887211P | 2013-10-04 | 2013-10-04 | |
| US61/887,211 | 2013-10-04 | ||
| US14/494,947 | 2014-09-24 | ||
| US14/494,947 US9524434B2 (en) | 2013-10-04 | 2014-09-24 | Object tracking based on dynamically built environment map data |
| PCT/US2014/057522 WO2015050773A1 (en) | 2013-10-04 | 2014-09-25 | Object tracking based on dynamically built environment map data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105593877A true CN105593877A (zh) | 2016-05-18 |
| CN105593877B CN105593877B (zh) | 2018-12-18 |
Family
ID=52776984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480054276.6A Active CN105593877B (zh) | 2013-10-04 | 2014-09-25 | 基于动态地构建的环境地图数据进行物体追踪 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9524434B2 (zh) |
| EP (1) | EP3053099A1 (zh) |
| JP (1) | JP6144828B2 (zh) |
| KR (1) | KR101812158B1 (zh) |
| CN (1) | CN105593877B (zh) |
| WO (1) | WO2015050773A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111033425A (zh) * | 2017-09-04 | 2020-04-17 | 日本电产株式会社 | 移动体、位置推断装置以及计算机程序 |
| CN112308879A (zh) * | 2019-07-30 | 2021-02-02 | 佳能株式会社 | 图像处理设备、追踪对象物体的方法和存储介质 |
| CN112926514A (zh) * | 2021-03-26 | 2021-06-08 | 哈尔滨工业大学（威海） | 一种多目标检测及跟踪方法、系统、存储介质及应用 |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10262462B2 (en) * | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9811731B2 (en) * | 2013-10-04 | 2017-11-07 | Qualcomm Incorporated | Dynamic extension of map data for object detection and tracking |
| US9928656B2 (en) * | 2015-09-11 | 2018-03-27 | Futurewei Technologies, Inc. | Markerless multi-user, multi-object augmented reality on mobile devices |
| US10073531B2 (en) | 2015-10-07 | 2018-09-11 | Google Llc | Electronic device pose identification based on imagery and non-image sensor data |
| JP6775969B2 (ja) * | 2016-02-29 | 2020-10-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US10890600B2 (en) | 2016-05-18 | 2021-01-12 | Google Llc | Real-time visual-inertial motion tracking fault detection |
| US10802147B2 (en) | 2016-05-18 | 2020-10-13 | Google Llc | System and method for concurrent odometry and mapping |
| US11017610B2 (en) * | 2016-05-18 | 2021-05-25 | Google Llc | System and method for fault detection and recovery for concurrent odometry and mapping |
| US10025984B2 (en) * | 2016-07-18 | 2018-07-17 | X Development Llc | Delegation of object and pose detection |
| US10593116B2 (en) | 2016-10-24 | 2020-03-17 | Snap Inc. | Augmented reality object manipulation |
| US10242503B2 (en) | 2017-01-09 | 2019-03-26 | Snap Inc. | Surface aware lens |
| US10843068B2 (en) * | 2017-01-18 | 2020-11-24 | Xvisio Technology Corp. | 6DoF inside-out tracking game controller |
| US11432879B2 (en) | 2017-08-18 | 2022-09-06 | Siemens Healthcare Gmbh | Method and apparatus for wide area multi-body 6D pose tracking system |
| CN111247390B (zh) | 2017-10-06 | 2023-09-01 | 高通股份有限公司 | Vslam的并发的重新定位和重新初始化 |
| CA3031276A1 (en) | 2018-02-08 | 2019-08-08 | Ascension Technology Corporation | Compensating for distortion in an electromagnetic tracking system |
| KR102557049B1 (ko) * | 2018-03-30 | 2023-07-19 | 한국전자통신연구원 | Slam 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치 |
| US11030813B2 (en) | 2018-08-30 | 2021-06-08 | Snap Inc. | Video clip object tracking |
| US11037368B2 (en) | 2018-09-11 | 2021-06-15 | Samsung Electronics Co., Ltd. | Localization method and apparatus of displaying virtual object in augmented reality |
| KR20200046437A (ko) | 2018-10-24 | 2020-05-07 | 삼성전자주식회사 | 영상 및 맵 데이터 기반 측위 방법 및 장치 |
| US11176737B2 (en) | 2018-11-27 | 2021-11-16 | Snap Inc. | Textured mesh building |
| US10909692B2 (en) * | 2018-12-14 | 2021-02-02 | Andrew Bennett | System and method of detecting and acting upon moving objects |
| US11164326B2 (en) | 2018-12-18 | 2021-11-02 | Samsung Electronics Co., Ltd. | Method and apparatus for calculating depth map |
| WO2020132541A1 (en) | 2018-12-20 | 2020-06-25 | Snap Inc. | Virtual surface modification |
| US10984575B2 (en) | 2019-02-06 | 2021-04-20 | Snap Inc. | Body pose estimation |
| US11189098B2 (en) | 2019-06-28 | 2021-11-30 | Snap Inc. | 3D object camera customization system |
| WO2021035471A1 (en) * | 2019-08-26 | 2021-03-04 | Beijing Voyager Technology Co., Ltd. | Systems and methods for positioning a target subject |
| US11232646B2 (en) | 2019-09-06 | 2022-01-25 | Snap Inc. | Context-based virtual object rendering |
| US11514594B2 (en) | 2019-10-30 | 2022-11-29 | Vergence Automation, Inc. | Composite imaging systems using a focal plane array with in-pixel analog storage elements |
| US11227442B1 (en) | 2019-12-19 | 2022-01-18 | Snap Inc. | 3D captions with semantic graphical elements |
| US11263817B1 (en) | 2019-12-19 | 2022-03-01 | Snap Inc. | 3D captions with face tracking |
| US20230245341A1 (en) * | 2020-06-19 | 2023-08-03 | Nec Corporation | Positioning device, estimation method, and non-transitory computer-readable medium |
| US11615592B2 (en) | 2020-10-27 | 2023-03-28 | Snap Inc. | Side-by-side character animation from realtime 3D body motion capture |
| US11660022B2 (en) | 2020-10-27 | 2023-05-30 | Snap Inc. | Adaptive skeletal joint smoothing |
| WO2022092511A1 (ko) * | 2020-10-30 | 2022-05-05 | 에스케이텔레콤 주식회사 | 3차원 맵을 생성하는 방법 및 생성된 3차원 맵을 이용하여 사용자 단말의 포즈를 결정하는 방법 |
| US11450051B2 (en) | 2020-11-18 | 2022-09-20 | Snap Inc. | Personalized avatar real-time motion capture |
| US11734894B2 (en) | 2020-11-18 | 2023-08-22 | Snap Inc. | Real-time motion transfer for prosthetic limbs |
| US11748931B2 (en) | 2020-11-18 | 2023-09-05 | Snap Inc. | Body animation sharing and remixing |
| CN112887793B (zh) * | 2021-01-25 | 2023-06-13 | 脸萌有限公司 | 视频处理方法、显示设备和存储介质 |
| US11880947B2 (en) | 2021-12-21 | 2024-01-23 | Snap Inc. | Real-time upper-body garment exchange |
| US11847259B1 (en) | 2022-11-23 | 2023-12-19 | Google Llc | Map-aided inertial odometry with neural network for augmented reality devices |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1577319A (zh) * | 2003-07-28 | 2005-02-09 | 乐金电子(中国)研究开发中心有限公司 | 基于数字视频处理技术的位置追踪系统及方法 |
| CN1612631A (zh) * | 2003-10-31 | 2005-05-04 | 乐金电子(中国)研究开发中心有限公司 | 相机一体型便携式终端的拍摄限制方法及系统 |
| US20110286631A1 (en) * | 2010-05-21 | 2011-11-24 | Qualcomm Incorporated | Real time tracking/detection of multiple targets |
| WO2012166814A1 (en) * | 2011-05-31 | 2012-12-06 | Honda Motor Co., Ltd. | Online environment mapping |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8649565B1 (en) | 2009-06-18 | 2014-02-11 | Hrl Laboratories, Llc | System for automatic object localization based on visual simultaneous localization and mapping (SLAM) and cognitive swarm recognition |
| US8638986B2 (en) | 2011-04-20 | 2014-01-28 | Qualcomm Incorporated | Online reference patch generation and pose estimation for augmented reality |
| US20120306850A1 (en) * | 2011-06-02 | 2012-12-06 | Microsoft Corporation | Distributed asynchronous localization and mapping for augmented reality |
| US9578226B2 (en) | 2012-04-12 | 2017-02-21 | Qualcomm Incorporated | Photometric registration from arbitrary geometry for augmented reality |
| US9147122B2 (en) | 2012-05-31 | 2015-09-29 | Qualcomm Incorporated | Pose estimation based on peripheral information |
| US9811731B2 (en) * | 2013-10-04 | 2017-11-07 | Qualcomm Incorporated | Dynamic extension of map data for object detection and tracking |
-
2014
- 2014-09-24 US US14/494,947 patent/US9524434B2/en active Active
- 2014-09-25 JP JP2016520066A patent/JP6144828B2/ja active Active
- 2014-09-25 KR KR1020167011051A patent/KR101812158B1/ko active IP Right Grant
- 2014-09-25 EP EP14782043.5A patent/EP3053099A1/en active Pending
- 2014-09-25 CN CN201480054276.6A patent/CN105593877B/zh active Active
- 2014-09-25 WO PCT/US2014/057522 patent/WO2015050773A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1577319A (zh) * | 2003-07-28 | 2005-02-09 | 乐金电子(中国)研究开发中心有限公司 | 基于数字视频处理技术的位置追踪系统及方法 |
| CN1612631A (zh) * | 2003-10-31 | 2005-05-04 | 乐金电子(中国)研究开发中心有限公司 | 相机一体型便携式终端的拍摄限制方法及系统 |
| US20110286631A1 (en) * | 2010-05-21 | 2011-11-24 | Qualcomm Incorporated | Real time tracking/detection of multiple targets |
| WO2012166814A1 (en) * | 2011-05-31 | 2012-12-06 | Honda Motor Co., Ltd. | Online environment mapping |
Non-Patent Citations (1)
| Title |
|---|
| FIORAIO N, STEFANO L D: "Joint Detection, Tracking and Mapping by Semantic Bundle Adjustment", 《COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111033425A (zh) * | 2017-09-04 | 2020-04-17 | 日本电产株式会社 | 移动体、位置推断装置以及计算机程序 |
| CN112308879A (zh) * | 2019-07-30 | 2021-02-02 | 佳能株式会社 | 图像处理设备、追踪对象物体的方法和存储介质 |
| CN112926514A (zh) * | 2021-03-26 | 2021-06-08 | 哈尔滨工业大学（威海） | 一种多目标检测及跟踪方法、系统、存储介质及应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015050773A1 (en) | 2015-04-09 |
| EP3053099A1 (en) | 2016-08-10 |
| US20150098614A1 (en) | 2015-04-09 |
| KR101812158B1 (ko) | 2017-12-26 |
| JP6144828B2 (ja) | 2017-06-07 |
| JP2016536668A (ja) | 2016-11-24 |
| KR20160068815A (ko) | 2016-06-15 |
| US9524434B2 (en) | 2016-12-20 |
| CN105593877B (zh) | 2018-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105593877A (zh) | 基于动态地构建的环境地图数据进行物体追踪 | |
| CN108717710B (zh) | 室内环境下的定位方法、装置及系统 | |
| CN105580029B (zh) | 动态扩展地图数据以进行物体检测和追踪 | |
| JP7326720B2 (ja) | 移動体位置推定システムおよび移動体位置推定方法 | |
| Cortés et al. | ADVIO: An authentic dataset for visual-inertial odometry | |
| CN107990899B (zh) | 一种基于slam的定位方法和系统 | |
| US10134196B2 (en) | Mobile augmented reality system | |
| CN104285244B (zh) | 用于标注的图像驱动的视图管理的方法和设备 | |
| CN109074667B (zh) | 基于预测器-校正器的位姿检测 | |
| EP2614487B1 (en) | Online reference generation and tracking for multi-user augmented reality | |
| CN103119627B (zh) | 用于云辅助式扩增现实的可适应性框架 | |
| US9674507B2 (en) | Monocular visual SLAM with general and panorama camera movements | |
| US9317133B2 (en) | Method and apparatus for generating augmented reality content | |
| US9024972B1 (en) | Augmented reality computing with inertial sensors | |
| US20140016821A1 (en) | Sensor-aided wide-area localization on mobile devices | |
| US20120300020A1 (en) | Real-time self-localization from panoramic images | |
| CN105917361A (zh) | 动态地更新含有对应于已知目标对象的特征的特征数据库 | |
| CN106471548A (zh) | 使用外围信息的加速模板匹配 | |
| US20130135446A1 (en) | Street view creating system and method thereof | |
| Moun et al. | Localization and building identification in outdoor environment for smartphone using integrated GPS and camera | |
| Feng et al. | Sensor synchronization for Android phone tightly-coupled visual-inertial SLAM | |
| Nguyen et al. | Panoramic image-based navigation for smart-phone in indoor environment | |
| Park et al. | AnchorLoc: Large-Scale, Real-Time Visual Localisation Through Anchor Extraction and Detection | |
| CN117274567A (zh) | 一种虚拟场景中的终端定位方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |