CN103003843B - 用于跟踪具有动态变化部分的目标的数据集创建 - Google Patents

用于跟踪具有动态变化部分的目标的数据集创建 Download PDF

Info

Publication number
CN103003843B
CN103003843B CN201180026296.9A CN201180026296A CN103003843B CN 103003843 B CN103003843 B CN 103003843B CN 201180026296 A CN201180026296 A CN 201180026296A CN 103003843 B CN103003843 B CN 103003843B
Authority
CN
China
Prior art keywords
target
image
data set
described target
pattern mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180026296.9A
Other languages
English (en)
Other versions
CN103003843A (zh
Inventor
D·瓦格纳
Z·S·萨拉瓦里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103003843A publication Critical patent/CN103003843A/zh
Application granted granted Critical
Publication of CN103003843B publication Critical patent/CN103003843B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

移动平台使用针对目标的特征数据集来视觉地检测和/或跟踪该目标,该目标包括动态变化部分或以其他方式包括不合需部分,该特征数据集排除该不合需部分。该特征数据集是通过提供该目标的图像并标识该目标的不合需部分来创建的。对该不合需部分的标识可以是自动的或者通过用户选择的。针对该不合需部分生成图像掩模。该图像掩模用于在对目标的特征数据集的创建中排除不合需部分。例如,可将该图像掩模覆盖在图像上并且仅从目标的图像的未掩盖区域提取特征。替换地,可从图像的所有区域提取特征并使用该图像掩模移除从不合需部分提取的特征。

Description

用于跟踪具有动态变化部分的目标的数据集创建
对待审的临时申请的交叉引用
本申请要求于2010年5月28日提交的、且题为“DynamicTrackingTargetsForAugmentedReality(用于增强实境的动态跟踪目标)”的共同拥有的美国临时申请No.61/349,481以及于2011年5月27日提交的共同拥有的美国申请S/N13/117,472的优先权,这两者皆通过援引明确纳入于此。
背景
对刚性物体的基于模型的视觉检测和跟踪通常假定这些物体的外观在运行时或者在关于这些物体的数据集已被创建之后不改变。然而在实践中,许多物体并不落入此类别中。例如,(开启的)电视机在屏幕上显现不可预测的内容,而电视机的其余部分(例如,边框,等等)并不改变。另一示例是部分由强反射材料构成的物体(诸如,墙壁上的镜子),其包括不可预测内容(反射)的区域,而边框并不改变。又一示例是汽车的仪表板中的收音机、或者具有显示器的任何其他设备,其包括动态变化部分(显示器)和静态部分(控制器和边框)。当前方法并不能对具有变化外观的区域建模,从而对使用具有动态变化区域的物体的图像进行基于图像的检测和跟踪造成了困难。
概述
移动平台使用针对目标的特征数据集来视觉地检测和/或跟踪该目标,该目标包括动态变化部分或以其他方式包括不合需部分,该特征数据集排除该不合需部分。通过提供该目标的图像并标识该目标的不合需部分来创建该特征数据集。对该不合需部分的标识可以是自动的或者通过用户选择的。针对该不合需部分生成图像掩模。该图像掩模用于在对目标的特征数据集的创建中排除不合需部分。例如,可将该图像掩模覆盖在图像上并且仅从目标的图像的未掩盖区域提取特征。替换地,可从图像的所有区域提取特征并使用该图像掩模移除从不合需部分提取的特征。
在一方面,方法包括提供目标的图像,标识该目标的不合需部分,生成针对该不合需部分的图像掩模;以及使用该图像掩模从该目标的特征数据集中排除该不合需部分来创建该目标的特征数据集。
在另一方面,装置包括处理器;连接至该处理器的存储器,连接至该存储器的显示器;以及保持在该存储器中并在该处理器中运行的软件。该软件使该处理器在图像中标识目标的不合需部分,生成针对该不合需部分的图像掩模;以及使用该图像掩模从该目标的特征数据集中排除该不合需部分来创建该目标的特征数据集。
在另一方面,系统包括用于提供目标的图像的装置,用于标识该目标的不合需部分的装置,用于生成针对该不合需部分的图像掩模的装置;以及用于使用该图像掩模从该目标的特征数据集中排除该不合需部分来创建该目标的特征数据集的装置。
在又一方面,包括存储于其上的程序代码的计算机可读介质包括在所捕获的图像中标识目标的不合需部分的程序代码,生成针对该不合需部分的图像掩模的程序代码;以及使用该图像掩模从该目标的特征数据集中排除该不合需部分来创建该目标的特征数据集的程序代码。
附图简要描述
图1A和1B分别解说了移动平台的正面和反面,该移动平台能够使用具有动态变化部分、或者以其他方式具有不合需部分的物体进行基于图像的检测和跟踪。
图2解说了示出创建用于检测并跟踪具有动态变化部分的目标的经掩盖数据集的过程的流程图。
图3A、3B、3C、和3D解说了使用图像掩模来生成电视机形式的目标的自然特征数据集,其中,该图像掩模排除来自电视机的屏幕的特征。
图4A、4B、和4C解说了使用图像掩模来生成镜子形式的目标的自然特征数据集,其中,该图像掩模排除来自镜子的反射表面的特征。
图5是移动平台的框图,该移动平台能够创建用于检测并跟踪具有动态变化部分的目标的经掩盖数据集。
具体描述
图1A和1B分别解说了移动平台100的正面和反面,该移动平台100能够使用具有动态变化部分的物体进行基于图像的检测和跟踪。移动平台100被示为包括外壳101、显示器102(可以是触摸屏显示器)、以及扬声器104和话筒106。移动平台100还包括对环境成像的相机110。
移动平台100使用基于自然特征的检测,其中,在运行时在现场相机图像中检测并跟踪目标上的先前确定的“自然特征”。应当理解,如本文中所使用的术语图像或所捕获图像表示静止图像或由相机110捕获的视频画面。该目标是真实世界物体,可使用该目标的图像(有时称作该目标的输入图像)并通过处理该图像来从该目标提取自然特征以生成自然特征数据集而检测或跟踪该物体。通过将从目标的输入图像(有时称作参考图像)创建的自然特征数据集与运行时从现场相机图像提取的特征集相比较来检测该目标。作为目标检测的结果,相机相对于该目标的位置和取向(姿势)的估计被计算为几何变换。跟踪表示在一时段上更新连续的相机画面中的姿势估计的过程。跟踪通常假定目标的粗略位置的知识(因为该目标已在先前图像中被检测或跟踪),并更新当前画面中的姿势。然而,应当理解,检测和跟踪有时是可互换使用的。例如,在“通过检测来跟踪”中,有可能是通过检测每个画面中的目标来跟踪该目标。因此,检测和跟踪在本文中是以一般意义来使用的并且旨在表示检测和跟踪中的仅一个或者两个。
移动平台100能够检测和跟踪具有动态变化部分的目标,这是通过忽略这些动态变化部分来进行的。这些动态变化部分是通过使用掩模图像生成针对目标的自然特征数据集而被忽略的,该掩模图像是虚拟地覆盖在目标之上并防止来自该目标的动态变化部分中的特征被添加到自然特征数据集。结果,自然特征数据集不包含在运行时将会不可用的特征,并且同时该自然特征数据集变得更小以改善总体性能。掩去不能被检测的区域防止无用的数据被存储在自然特征数据集中。因为跟踪单元能忽略相机图像中不包含有用数据的部分,由此改善了跟踪速度和稳健性。此外,由于自然特征数据集的尺寸减小,还改善了检测性能。
不包含来自目标的动态变化部分的特征的自然特征数据集可由移动平台100自身或者外部源生成。例如,移动平台100可在对目标的检测和跟踪之前生成关于该目标的经掩盖自然特征数据集。可替换地,移动平台100可在对目标的检测和跟踪之前从外部源接收经掩盖自然特征数据集。例如,外部源(其可以是分开的处理器)可使用由移动平台100或任何其他可用源提供的一个或多个目标的图像来生成经掩盖自然特征数据集。
如本文中所使用的,移动平台是指任何便携式电子设备,诸如,蜂窝或其他无线通信设备、个人通信系统(PCS)设备、个人导航设备(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、或者其他合适的移动设备。该移动平台可以能够接收无线通信和/或导航信号,诸如导航定位信号。术语“移动平台”还旨在包括诸如通过短程无线、红外、有线连接、或其他连接与个人导航设备(PND)通信的设备,不论卫星信号接收、辅助数据接收、和/或与位置有关的处理是发生在该设备处还是在PND处。而且,“移动平台”旨在包括能够进行AR的所有电子设备,包括无线通信设备、计算机、膝上型电脑、平板计算机等等。
图2解说了示出创建用于检测并跟踪具有动态变化部分的目标的经掩盖数据集的过程的流程图。此经掩盖数据集可在对目标的检测和跟踪之前由例如移动平台110生成或者由外部源生成并被提供给移动平台100。如图所示,(例如通过由移动平台的相机110捕获目标的静止图像或视频画面或者通过从另一源接收图像来)提供目标的图像(202)。标识该目标的不合需部分(204)。此不合需部分是在检测和/或跟踪目标时要被排除的目标的部分,例如,动态变化部分。可通过选择或自动地标识不合需部分。例如,可(例如在移动平台的显示器102上)向用户显示目标的图像,并且该用户被提示标识任何不合需部分。该不合需部分可由用户通过图形界面选择,该图形界面是使用触摸屏显示器或使用光标及键盘或任何其他合适的用户接口设备来控制的,并且该图形界面可在移动平台100或创建经掩盖数据集的外部设备上提供。补充地或替换地,可通过随着时间和/或在不同位置捕获目标的多个图像并将从这多个图像提取的各特征进行比较以标识随时间改变或基于移动平台的位置而改变(例如,由反射表面引起)的部分来自动地标识不合需部分。
使用所标识的不合需部分,针对该不合需部分生成图像掩模(206)。使用该图像掩模从该目标的自然特征数据集中排除不合需部分来创建该目标的自然特征数据集(208)。例如,可在目标的图像上覆盖图像掩模并例如使用已知特征提取技术(诸如,尺度不变特征变换(SIFT)和加速稳健特征(SURF))或者任何其他期望的方法来从该图像的未被掩盖的区域提取特征。替换地,可通过从图像的所有区域提取特征并使用图像掩模移除从不合需部分提取的特征来创建特征数据集。
经掩盖的自然特征数据集在(如果由外部源创建的情况下)从外部源接收到之后被存储于移动平台100中,并被用于利用移动平台检测和跟踪目标。对目标的检测和跟踪可被用于任何期望的应用,诸如增强实境(AR)类型的应用。
图3A、3B、3C、和3D解说了使用图像掩模来生成目标的自然特征数据集,该自然特征数据集排除了来自该目标的不合需部分的特征。图3A解说了电视机250的(例如由移动平台100捕获的)图像,该图像包括显示文本“SpecialBroadcast(特别广播)”的屏幕252。屏幕252是目标的不合需部分,因为它随时间动态改变。此外,可在屏幕252中看到的反射基于移动平台100的位置而改变。图3B解说了电视机250的图像的自然特征数据集。每个被标识的特征由“x”示出。应理解,图3B中所示的自然特征数据集仅仅是示例性的,并且通常将会标识多得多的特征。该自然特征数据集是通过用功能集分析输入图像并使用诸如SIFT、SURF或任何其他期望特征提取技术的技术来提取特征而创建的。
如图3B中所见,自然特征是从电视机250的动态变化部分(即,屏幕252)以及电视机250的不改变的剩余部分提取的。为了考虑到对目标(即,电视机250)的动态跟踪,图3C中所示的图像掩模260被创建以在检测或跟踪过程期间用来从目标图像掩去不合需部分(例如,目标的动态变化部分)。图3C中的图像掩模260是以屏幕252的形状的。图像掩模260可通过用户选择选择或自动地标识,如以上所讨论的。例如,用户可(例如使用图形界面)将屏幕252标识为电视机250的不合需部分。因此,可在生成图3B中所示的自然特征数据集之前创建并应用图形掩模260。替换地,可使用其中在屏幕252中显示不同图像的电视机250的多个图像来将屏幕252自动地标识为不合需部分,由此在电视机250的每个图像中从屏幕252提取不同的特征,同时从电视机250的剩余部分提取的特征不改变。
图3D解说了在应用了图像掩模260以从电视机250的自然特征数据集中排除不合需部分(即,屏幕252)之后电视机250的图像。因此,在图3D的经掩盖数据集中排除了来自屏幕252的特征。使用图像掩模260生成如图3D中所示的经掩盖数据集,对于目标的诸部分动态改变或以其他方式不合需时的情形,可达成稳健得多的检测和跟踪性能。可随后将目标的检测和跟踪用于任何期望的应用,诸如,增强实境(AR)类型应用,在此应用中,将信息(诸如帮助信息)覆盖在移动平台100的显示器102中目标的图像上。
应当理解,该目标不限于电视机,而是任何目标,其可以是可包括动态变化部分的任何物体。例如,目标可以是汽车收音机或者其中一部分因为外观会随着时间或移动平台100的位置变化而不适于生成数据集的任何其他物体。作为例示,在捕获图像时目标的不合需部分可能基于移动平台100的位置而变化。具有反射表面的目标(诸如,镜子、或者窗户或画框的玻璃)的图像取决于图像生成时移动平台100的位置可能包括不同物体的映像。因此,物体的反射表面对于检测和跟踪而言可能是不合需部分。
图4A、4B、和4C解说了使用图像掩模来生成镜子270形式的目标的自然特征数据集,其中,该图像掩模排除来自镜子270的反射表面272的诸特征,但不排除镜子270的边框274。图4A解说了镜子270的图像,其具有反射表面272和边框274。镜子270的图像的自然特征数据集用“x”示出。如图4B中所见,在没有图像掩模的情况下,自然特征是从镜子270的动态变化部分(即,反射表面272)以及镜子270的剩余部分提取的。
图4B解说了图像掩模280,其被创建以在检测或跟踪过程期间从镜子270的目标图像掩去不合需部分(例如,目标的动态变化部分)。图4B中的图像掩模280是以反射表面272的形状并且可通过用户选择或自动地被创建。例如,用户可(例如使用图形界面)将反射表面272标识为镜子270的不合需部分。替换地,可使用镜子270的来自不同位置的多个图像自动地将反射表面272标识为不合需部分,在这些不同位置中,反射表面272中反射出不同物体。
图4C解说了在应用了图像掩模280以从电视机250的自然特征数据集中排除不合需部分(即,反射表面272)之后镜子270的图像。因此,在图4C的经掩盖数据集中排除来自镜子270的诸特征以产生仅来自镜子270的静态部分的经掩盖数据集以在运行时用于检测和跟踪。
可包括动态变化部分的目标的另一示例是产品包装。产品包装可包括依据产品类型变化的区域,以及不依据产品类型改变的静态区域,诸如,商标信息、标志,等等。因此,可生成图像掩模以排除来自产品包装的可变的区域的特征提取,而容许来自产品包装的静态(例如,不改变)部分的特征提取。产品包装是其经掩盖自然特征数据集可由制造商而不是移动平台100产生的目标的示例。目标的其他不合需部分可包括例如不适于检测的区域,诸如,稀疏纹理或重复纹理的表面。
图5是移动平台100的框图,该移动平台100能够创建用于检测并跟踪具有动态变化部分的目标的经掩盖数据集并使用该数据集来对目标进行检测和跟踪。
应当理解,如以上所讨论的,经掩盖数据集可由移动平台外部的源创建,此源诸如具有外部接口的计算机或服务器,经掩盖数据集可通过该外部接口被提供给移动平台100。此类用于创建经掩盖数据集的外部计算机或服务器可类似于如图5中所示的结构,但没有移动性所需的元件,诸如,无线收发机157(其可用有线接口代替)、运动传感器158、SPS接收机159、以及相机110。
回顾图5,移动平台100包括相机110以及用户接口150,该用户接口包括能够显示由相机110捕获的图像的显示器102。用户接口150还可包括按键板152或其他输入设备,通过这些输入设备用户可将信息输入到移动平台100中,诸如,对目标的不合需部分的标识。若期望,可通过将虚拟按键板整合到带有触摸传感器的显示器102中来省去按键板152。例如,如果移动平台是蜂窝电话,则用户接口150还可包括话筒106和扬声器104。
移动平台100可包括无线收发机157,后者可用于接收外部信息,诸如,图像掩模或由外部源(诸如,包括可改变部分的产品包装的制造商,如以上所讨论的)产生的经掩盖数据集。移动平台100可选地可包括有助于AR应用的附加特征,诸如,运动传感器158(举例而言,包括,加速计、陀螺仪、电子罗盘、或者其他类似的运动感测元件)、以及能够从卫星定位系统(SPS)系统接收定位信号的SPS接收机159。当然,移动平台100可包括与本公开不相关的其他元件。
移动平台100还包括控制单元160,该控制单元160被连接至相机110和用户接口150连同其他部件(诸如,无线收发机157、运动传感器158和SPS接收机159(若使用))并与它们通信。控制单元160接受并处理来自相机110的数据并作为响应而控制显示器102,如以上所讨论的。控制单元160可由处理器161以及相关联的存储器164、硬件162、软件165和固件163来提供。移动平台100可包括特征提取单元166,特征提取单元166从由相机110捕获的图像中提取特征。移动平台100还可包括图像掩模单元167,图像掩模单元167用于(不论用经由用户接口150的用户输入还是自动地,如以上所讨论的)生成所捕捉图像的图像掩模,或用于从外部源接收图像掩模(例如用于产品包装)。特征提取单元166和图像掩模单元167可用于生成目标的经掩盖特征数据集,该经掩盖特征数据集可被存储于存储器164中。若期望,外部源可提供目标的经掩盖特征数据集,该经掩盖特征数据集也类似地被存储于存储器164中。控制单元160还包括用于用所存储的经掩盖特征数据集提取并匹配来自相机110所捕获的图像中特征的检测单元168,并包括用于使用匹配的特征跟踪目标的跟踪单元169。控制单元160可进一步包括例如增强实境(AR)单元170以基于由跟踪单元169提供的跟踪信息来生成并在显示器102上显示AR信息。为了清楚起见,特征提取单元166、图像掩模单元167、检测单元168、跟踪单元169、以及AR单元170被示为是分开的并且与处理器161分开,但它们可以是单个单元和/或基于在处理器161中运行的软件165中的指令而在处理器161中实现。将理解,如本文中所使用的,处理器161、以及特征提取单元166、图像掩模单元167、检测单元168、跟踪单元169、和AR单元170中的一个或多个可以但不必须包括一个或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)等。术语处理器旨在描述由系统实现的功能而非具体硬件。此外,如本文所使用的术语“存储器”是指任何类型的计算机存储介质,包括与移动平台相关联的长期、短期、或其他存储器,且并不被限定于任何特定类型的存储器或特定数目的存储器、或记忆存储在其上的介质的类型。
本文中所描述的方法体系取决于应用可藉由各种手段来实现。例如,这些方法体系可在硬件162、固件163、软件165、或其任何组合中实现。对于硬件实现,这些处理单元可以在一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子器件、设计成执行本文中所描述功能的其他电子单元、或其组合内实现。
对于固件和/或软件实现,这些方法体系可用执行本文中所描述的功能的模块(例如,规程、函数等等)来实现。任何有形地体现指令的机器可读介质可被用来实现本文中所描述的方法体系。例如,软件代码可被存储在存储器164中并由处理器161执行。存储器可以实现在处理器161内部或外部。
如果在固件和/或软件中实现,则各功能可作为一条或更多条指令或代码存储在计算机可读介质上。示例包括编码成具有数据结构的非瞬态计算机可读介质和编码成具有计算机程序的计算机可读介质。计算机可读介质包括物理计算机存储介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定,此类计算机可读介质可包括RAM、ROM、闪存、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质;如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟,其中盘常常磁性地再现数据,而碟用激光光学地再现数据。上述的组合也应被包括在计算机可读介质的范围内。
尽管出于指导目的结合具体实施例解说了本发明,但是本发明并不被限定于此。可作出各种适应性改编和改动而不会脱离本发明的范围。因此,所附权利要求的精神和范围不应当被限定于前面的描述。

Claims (33)

1.一种用于图像跟踪的方法,包括:
提供目标的图像,所述目标是要被跟踪的物体;
标识所述目标的不合需部分,其中所述不合需部分包括所述目标中的要在跟踪所述目标之时被排除的部分;
生成针对所述不合需部分的图像掩模;
使用所述图像掩模从所述目标的特征数据集中排除所述不合需部分来创建所述目标的特征数据集;以及
使用所述目标的特征数据集跟踪所捕获图像中的所述目标,其中,所述目标的所述不合需部分从所述特征数据集中被排除。
2.如权利要求1所述的方法,其特征在于,所述不合需部分是所述目标的动态变化区域。
3.如权利要求1所述的方法,其特征在于,所述不合需部分是显示器、反射表面、稀疏纹理表面、重复纹理表面、或者产品包装上的可变区域。
4.如权利要求1所述的方法,其特征在于,使用所述图像掩模创建所述目标的特征数据集包括:将所述图像掩模覆盖在所述目标的所述图像上并从所述目标的所述图像的未掩盖区域提取特征。
5.如权利要求1所述的方法,其特征在于,使用所述图像掩模创建所述目标的特征数据集包括:从所述目标的所述图像的所有区域提取特征并使用所述图像掩模移除从所述不合需部分提取的特征。
6.如权利要求1所述的方法,其特征在于,标识所述目标的所述不合需部分包括接收标识所述不合需部分的用户输入。
7.如权利要求1所述的方法,其特征在于,标识所述目标的所述不合需部分包括:
捕获所述目标的多个图像;
从所述目标的所述多个图像中的每一个图像提取特征;
将所述目标的一区域标识为所述不合需部分,在所述目标的所述多个图像中所述区域具有改变的特征。
8.如权利要求1所述的方法,其特征在于,进一步包括,使用所述目标的特征数据集检测所捕获图像中的所述目标,其中,所述目标的所述不合需部分从所述特征数据集中被排除。
9.一种用于图像跟踪的装置,包括:
相机;
处理器;
存储器,其连接至所述处理器;
显示器,其连接至所述存储器;其中
所述处理器在图像中标识目标的不合需部分,其中所述不合需部分包括所述目标中的要在跟踪所述目标之时被排除的部分,所述目标是要被跟踪的物体,生成针对所述不合需部分的图像掩模;使用所述图像掩模从所述目标的特征数据集中排除所述不合需部分来创建所述目标的特征数据集;以及使用所述目标的特征数据集跟踪所述相机捕获的所捕获图像中的所述目标,其中,所述目标的所述不合需部分从所述特征数据集中被排除。
10.如权利要求9所述的装置,其特征在于,所述不合需部分是所述目标的动态变化区域。
11.如权利要求9所述的装置,其特征在于,所述不合需部分是显示器、反射表面、稀疏纹理表面、重复纹理表面、或者产品包装上的可变区域。
12.如权利要求9所述的装置,其特征在于,所述处理器还通过将所述图像掩模覆盖在所述目标的所述图像上并从所述目标的所述图像的未掩盖区域提取特征来使用所述图像掩模创建所述目标的特征数据集。
13.如权利要求9所述的装置,其特征在于,所述处理器还通过从所述目标的所述图像的所有区域提取特征并使用所述图像掩模移除从所述不合需部分提取了的特征子集来使用所述图像掩模创建所述目标的特征数据集。
14.如权利要求9所述的装置,其特征在于,所述装置进一步包括用户接口,所述处理器还通过接收对所述不合需部分的用户选择来标识所述目标的所述不合需部分。
15.如权利要求9所述的装置,其特征在于,所述处理器接收所述目标的多个图像,所述处理器还通过从所述目标的所述多个图像中的每一个图像提取特征并将所述目标的一区域标识为所述不合需部分来标识所述目标的所述不合需部分,在所述目标的所述多个图像中所述区域具有改变的特征。
16.如权利要求9所述的装置,其特征在于,所述图像从所述相机被提供给所述处理器。
17.如权利要求9所述的装置,其特征在于,所述处理器还使用所述目标的特征数据集检测所述相机捕获的所捕获图像中的所述目标,其中,所述目标的所述不合需部分从所述特征数据集中被排除。
18.一种用于图像跟踪的系统,包括:
用于提供目标的图像的装置,所述目标是要被跟踪的物体;
用于标识所述目标的不合需部分的装置,其中所述不合需部分包括所述目标中的要在跟踪所述目标之时被排除的部分;
用于生成针对所述不合需部分的图像掩模的装置;
用于使用所述图像掩模从所述目标的特征数据集中排除所述不合需部分来创建所述目标的特征数据集的装置;以及
用于使用所述目标的特征数据集检测所捕获图像中的所述目标的装置,其中,所述目标的所述不合需部分从所述特征数据集中被排除。
19.如权利要求18所述的系统,其特征在于,所述不合需部分是所述目标的动态变化区域。
20.如权利要求18所述的系统,其特征在于,所述不合需部分是显示器、反射表面、稀疏纹理表面、重复纹理表面、或者产品包装上的可变区域。
21.如权利要求18所述的系统,其特征在于,所述用于使用所述图像掩模创建所述目标的特征数据集的装置包括,用于将所述图像掩模覆盖在所述目标的所述图像上并从所述目标的所述图像的未掩盖区域提取特征的装置。
22.如权利要求18所述的系统,其特征在于,所述用于使用所述图像掩模创建所述目标的特征数据集的装置包括,用于从所述目标的所述图像的所有区域提取特征并使用所述图像掩模移除从所述不合需部分提取的特征的装置。
23.如权利要求18所述的系统,其特征在于,所述用于标识所述目标的所述不合需部分的装置包括用于接收标识所述不合需部分的用户输入的装置。
24.如权利要求18所述的系统,其特征在于,所述用于标识所述目标的所述不合需部分的装置包括:
用于提供所述目标的多个图像的装置;
用于从所述目标的所述多个图像中的每一个图像提取特征的装置;
用于将所述目标的一区域标识为所述不合需部分的装置,在所述目标的所述多个图像中所述区域具有改变的特征。
25.如权利要求18所述的系统,其特征在于,进一步包括,用于使用所述目标的特征数据集跟踪所捕获图像中的所述目标的装置,其中,所述目标的所述不合需部分从所述特征数据集中被排除。
26.一种用于图像跟踪的装置,包括:
特征提取单元,用于在图像中标识目标的不合需部分,所述目标是要被跟踪的物体,其中所述不合需部分包括所述目标中的要在跟踪所述目标之时被排除的部分;
图像掩模单元,用于生成针对所述不合需部分的图像掩模;
所述特征提取单元还用于使用所述图像掩模从所述目标的特征数据集中排除所述不合需部分来创建所述目标的特征数据集;以及
跟踪单元,用于使用所述目标的特征数据集跟踪所捕获图像中的所述目标,其中,所述目标的所述不合需部分从所述特征数据集中被排除。
27.如权利要求26所述的装置,其特征在于,所述不合需部分是所述目标的动态变化区域。
28.如权利要求26所述的装置,其特征在于,所述不合需部分是显示器、反射表面、稀疏纹理表面、重复纹理表面、或者产品包装上的可变区域。
29.如权利要求26所述的装置,其特征在于,所述特征提取单元将所述图像掩模覆盖在所述目标的所述图像上并从所述目标的所述图像的未掩盖区域提取特征。
30.如权利要求26所述的装置,其特征在于,所述特征提取单元从所述目标的所述图像的所有区域提取特征并使用所述图像掩模移除从所述不合需部分提取了的特征子集。
31.如权利要求26所述的装置,其特征在于,所述特征提取单元提供用户界面给用户来选择所述不合需部分。
32.如权利要求26所述的装置,其特征在于,所述特征提取单元从所述目标的多个图像中的每一个图像提取特征并将所述目标的一区域标识为所述不合需部分,在所述目标的所述多个图像中所述区域具有改变的特征。
33.如权利要求26所述的装置,其特征在于,进一步包括检测单元,用于使用所述目标的特征数据集检测所捕获图像中的所述目标,其中,所述目标的所述不合需部分从所述特征数据集中被排除。
CN201180026296.9A 2010-05-28 2011-05-27 用于跟踪具有动态变化部分的目标的数据集创建 Expired - Fee Related CN103003843B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US34948110P 2010-05-28 2010-05-28
US61/349,481 2010-05-28
US13/117,472 US9256956B2 (en) 2010-05-28 2011-05-27 Dataset creation for tracking targets with dynamically changing portions
US13/117,472 2011-05-27
PCT/US2011/038429 WO2011150386A1 (en) 2010-05-28 2011-05-27 Dataset creation for tracking targets with dynamically changing portions

Publications (2)

Publication Number Publication Date
CN103003843A CN103003843A (zh) 2013-03-27
CN103003843B true CN103003843B (zh) 2016-08-03

Family

ID=44511462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180026296.9A Expired - Fee Related CN103003843B (zh) 2010-05-28 2011-05-27 用于跟踪具有动态变化部分的目标的数据集创建

Country Status (6)

Country Link
US (2) US9256956B2 (zh)
EP (1) EP2577607A1 (zh)
JP (1) JP2013535047A (zh)
KR (2) KR20130022410A (zh)
CN (1) CN103003843B (zh)
WO (1) WO2011150386A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9256956B2 (en) * 2010-05-28 2016-02-09 Qualcomm Incorporated Dataset creation for tracking targets with dynamically changing portions
CN104054059B (zh) * 2012-01-18 2016-12-21 丰田自动车株式会社 信息处理装置和信息处理方法
EP2908919A1 (en) 2012-10-22 2015-08-26 Longsand Limited Collaborative augmented reality
WO2015062164A1 (en) * 2013-10-31 2015-05-07 The Chinese University Of Hong Kong Method for optimizing localization of augmented reality-based location system
US9218667B2 (en) * 2013-11-25 2015-12-22 International Business Machines Corporation Spherical lighting device with backlighting coronal ring
US9684831B2 (en) * 2015-02-18 2017-06-20 Qualcomm Incorporated Adaptive edge-like feature selection during object detection
US11288169B2 (en) * 2016-11-10 2022-03-29 Eggplant Limited Method of, and apparatus for, handling reference images for an automated test of software with a graphical user interface
IT201800010949A1 (it) * 2018-12-10 2020-06-10 Datalogic IP Tech Srl Metodo e dispositivo di rilevamento e classificazione di un oggetto
CN111665942A (zh) * 2020-06-08 2020-09-15 浙江商汤科技开发有限公司 一种ar特效触发展示方法、装置、电子设备和存储介质
US20220378929A1 (en) 2021-02-25 2022-12-01 MediBoston Limted Anti-her2 antibody-drug conjugates and uses thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674925B1 (en) * 2000-02-08 2004-01-06 University Of Washington Morphological postprocessing for object tracking and segmentation
CN101986348A (zh) * 2010-11-09 2011-03-16 上海电机学院 一种视觉目标识别与跟踪方法

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US102103A (en) 1870-04-19 Improved lunch valise
DE2950652B3 (de) * 1979-12-15 2008-09-04 LFK Lenkflugkörpersysteme GmbH Verfahren zur Verfolgung eines Zieles
JPS63247680A (ja) * 1987-04-02 1988-10-14 Mitsubishi Electric Corp 画像追尾装置
US5034986A (en) * 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
US5687258A (en) * 1991-02-12 1997-11-11 Eastman Kodak Company Border treatment in image processing algorithms
JPH06231275A (ja) * 1993-01-29 1994-08-19 Hitachi Ltd 画像シミュレーション方法
JPH06274625A (ja) 1993-03-18 1994-09-30 Toshiba Corp 監視画像の移動物体追跡方法
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
WO2000073996A1 (en) * 1999-05-28 2000-12-07 Glebe Systems Pty Ltd Method and apparatus for tracking a moving object
US6993167B1 (en) * 1999-11-12 2006-01-31 Polartechnics Limited System and method for examining, recording and analyzing dermatological conditions
DE10158990C1 (de) * 2001-11-30 2003-04-10 Bosch Gmbh Robert Videoüberwachungssystem
JP3861781B2 (ja) 2002-09-17 2006-12-20 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
JP2005071344A (ja) * 2003-08-07 2005-03-17 Matsushita Electric Ind Co Ltd 画像処理方法、画像処理装置及び画像処理プログラムを記録した記録媒体
US7536044B2 (en) * 2003-11-19 2009-05-19 Siemens Medical Solutions Usa, Inc. System and method for detecting and matching anatomical structures using appearance and shape
JP4198071B2 (ja) * 2004-01-20 2008-12-17 オリンパス株式会社 情報呈示システム
JP4697923B2 (ja) 2004-04-16 2011-06-08 財団法人電力中央研究所 水中または水面における移動体の計数システムおよび計数方法
JP2006012042A (ja) 2004-06-29 2006-01-12 Canon Inc 画像生成方法及び装置
JP4490752B2 (ja) 2004-07-30 2010-06-30 日本放送協会 映像オブジェクト抽出装置、映像オブジェクト軌跡合成装置、その方法及びそのプログラム
US7447359B2 (en) * 2004-09-07 2008-11-04 Siemens Medical Solutions Usa, Inc. System and method for anatomical structure parsing and detection
US7424167B1 (en) 2004-10-01 2008-09-09 Objectvideo, Inc. Tide filtering for video surveillance system
US7852353B1 (en) * 2005-03-31 2010-12-14 Apple Inc. Encoding a transparency (alpha) channel in a video bitstream
US8203609B2 (en) * 2007-01-31 2012-06-19 The Invention Science Fund I, Llc Anonymization pursuant to a broadcasted policy
FR2893720B1 (fr) * 2005-11-21 2008-04-18 Mehmed Yilmaz Dispositif de prise de vues a longue distance
ITRM20060110A1 (it) 2006-03-03 2007-09-04 Cnr Consiglio Naz Delle Ricerche Metodo e sistema per la rilevazione automatica di eventi in ambito sportivo
US7724962B2 (en) * 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
JP4650386B2 (ja) * 2006-09-29 2011-03-16 沖電気工業株式会社 個人認証システム及び個人認証方法
TWI323434B (en) * 2006-11-30 2010-04-11 Ind Tech Res Inst Method of object segmentation for video
TW200834459A (en) * 2007-02-05 2008-08-16 Huper Lab Co Ltd Video object segmentation method applied for rainy situations
JP4802112B2 (ja) 2007-02-08 2011-10-26 株式会社東芝 トラッキング方法及びトラッキング装置
US8179556B2 (en) * 2007-03-26 2012-05-15 Xerox Corporation Masking of text in document reproduction
WO2010082942A1 (en) * 2008-02-01 2010-07-22 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
DE102008007199A1 (de) * 2008-02-01 2009-08-06 Robert Bosch Gmbh Maskierungsmodul für ein Videoüberwachungssystem, Verfahren zur Maskierung von selektierten Objekten sowie Computerprogramm
JP2009219573A (ja) * 2008-03-14 2009-10-01 Fujinon Corp 内視鏡用画像処理装置及び内視鏡用画像処理方法
US8098904B2 (en) * 2008-03-31 2012-01-17 Google Inc. Automatic face detection and identity masking in images, and applications thereof
US8116542B2 (en) * 2008-05-09 2012-02-14 General Electric Company Determining hazard of an aneurysm by change determination
JP5048609B2 (ja) 2008-08-01 2012-10-17 株式会社豊田中央研究所 対象物追跡装置及びプログラム
US8320620B1 (en) * 2008-12-18 2012-11-27 Adobe Systems Incorporated Methods and apparatus for robust rigid and non-rigid motion tracking
JP4548542B1 (ja) * 2009-06-30 2010-09-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9256956B2 (en) * 2010-05-28 2016-02-09 Qualcomm Incorporated Dataset creation for tracking targets with dynamically changing portions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674925B1 (en) * 2000-02-08 2004-01-06 University Of Washington Morphological postprocessing for object tracking and segmentation
CN101986348A (zh) * 2010-11-09 2011-03-16 上海电机学院 一种视觉目标识别与跟踪方法

Also Published As

Publication number Publication date
US9785836B2 (en) 2017-10-10
WO2011150386A1 (en) 2011-12-01
EP2577607A1 (en) 2013-04-10
KR20160042461A (ko) 2016-04-19
JP2013535047A (ja) 2013-09-09
US20160098600A1 (en) 2016-04-07
US9256956B2 (en) 2016-02-09
CN103003843A (zh) 2013-03-27
KR20130022410A (ko) 2013-03-06
US20110293140A1 (en) 2011-12-01

Similar Documents

Publication Publication Date Title
CN103003843B (zh) 用于跟踪具有动态变化部分的目标的数据集创建
US11481982B2 (en) In situ creation of planar natural feature targets
US9576183B2 (en) Fast initialization for monocular visual SLAM
KR101433305B1 (ko) 증강 현실 환경을 위한 모바일 디바이스 기반 콘텐츠 맵핑
JP6348574B2 (ja) 総体的カメラ移動およびパノラマカメラ移動を使用した単眼視覚slam
JP6043856B2 (ja) Rgbdカメラを用いた頭部ポーズ推定
EP2671188B1 (en) Context aware augmentation interactions
US20130135295A1 (en) Method and system for a augmented reality
EP3206163B1 (en) Image processing method, mobile device and method for generating a video image database
US10796207B2 (en) Automatic detection of noteworthy locations

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160803

Termination date: 20200527