CN109829937A - 使用遮挡来检测并跟踪三维对象 - Google Patents

使用遮挡来检测并跟踪三维对象 Download PDF

Info

Publication number
CN109829937A
CN109829937A CN201910111365.4A CN201910111365A CN109829937A CN 109829937 A CN109829937 A CN 109829937A CN 201910111365 A CN201910111365 A CN 201910111365A CN 109829937 A CN109829937 A CN 109829937A
Authority
CN
China
Prior art keywords
shape
interest
area
mobile platform
relative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910111365.4A
Other languages
English (en)
Inventor
M·吉瓦次
R·L·A·伊尼戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109829937A publication Critical patent/CN109829937A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Generation (AREA)

Abstract

本申请涉及使用遮挡来检测并跟踪三维对象。移动平台使用对二维(2D)表面的遮挡来检测并跟踪三维(3D)对象。为检测并跟踪3D对象，捕捉并显示带3D对象的2D表面的图像，并且检测并跟踪2D表面。检测对被指定为2D表面上的感兴趣区域的区域的遮挡。基于预定义形状或通过使用2D表面的被遮挡区域的形状连同相机相对于2D的位置以计算形状，来确定3D对象的形状。可以执行相对于3D对象在2D表面上的位置的任何所需动作，如在所显示的3D对象上或其附近呈现并显示图形对象。

Description

使用遮挡来检测并跟踪三维对象
本申请是申请日为2012年1月25日申请号为第201280006340.4号发明名称为“使用遮挡来检测并跟踪三维对象”的中国专利申请的分案申请。
背景
在增强现实(AR)应用中，真实世界对象被成像并连同计算机生成的信息(诸如图像或文本信息)一起显示在屏幕上。在AR中，检测并跟踪所成像的真实世界对象以确定相机相对于该对象的位置和定向(姿态)信息。这一信息被用来正确地呈现要与该真实世界对象一起显示的图形对象。被检测并跟踪的真实世界对象一般是二维(2D)对象。与检测并跟踪2D表面相比，检测并跟踪三维(3D)对象在算法上更加复杂并且在计算上非常昂贵。在台式计算机上，通常通过根据对象的几何形状来识别整个3D对象来执行完整的3D跟踪。由于移动平台(如智能电话)上有限的处理能力，没有针对移动平台的完整3D对象跟踪解决方案。然而，3D对象检测和跟踪在AR应用中仍然是重要的目标，以构建围绕真实世界中的3D对象(而非只是2D图像或平面)的引人注目的用户体验。因而，需要一种用于检测并跟踪3D对象的改进方式。
概述
移动平台使用3D对象对2D表面的遮挡来检测并跟踪3D对象。为了检测并跟踪3D对象，捕捉并显示其上带有3D对象的2D表面的图像，并且检测并跟踪移动平台相对于该2D表面的位置。检测对2D表面上的被指定为感兴趣区域的区域的遮挡。基于预定义的形状或通过使用2D表面的被遮挡的区域的形状连同移动平台相对于2D表面的位置以计算该形状，来确定3D对象的形状。可以执行相对于3D对象在2D表面上的位置的任何所需动作，如基于2D表面的感兴趣区域的位置和3D对象的形状来在所显示的3D对象上或其附近呈现并显示图形对象。
附图简述
图1A和1B分别示出了能够使用对2D表面的遮挡来检测并跟踪3D对象的移动平台的前侧和背侧。
图2示出了以横向模式把持的移动平台的前侧，显示了2D检验表面和3D管状对象的所捕捉的图像。
图3是用移动平台使用对2D表面的遮挡来检测并跟踪3D对象的流程图。
图4示出了所成像的2D检测表面的俯视图，其中两个区域被指定为“感兴趣区域”。
图5示出了捕捉2D表面和3D对象的图像的移动平台的侧视图，并且3D对象基于3D对象的形状和移动平台相对于2D表面的姿态来遮挡2D表面的区域。
图6示出了2D方格表面的俯视图，示出了2D表面的一区域被3D对象所遮挡。
图7示出了以横向模式把持的移动平台的前侧，显示了2D检验表面和3D管状对象的所捕捉的图像连同所呈现和显示的图形对象。
图8是能够使用对2D表面的遮挡来检测并跟踪3D对象的移动平台的框图。
详细描述
图1A和1B分别示出了能够使用对2D表面的遮挡来检测并跟踪3D对象的移动平台100的前侧和背侧。图1A和1B中的移动平台100被示为包括外壳101、显示器102，显示器102可以是触摸屏显示器。移动站100还可包括扬声器104和话筒106，例如在移动平台100是蜂窝电话的情况下。移动平台100还包括用于对环境进行成像的前向相机108，它被显示在显示器102上。移动平台100还可包括运动传感器110，如加速度计、陀螺仪等，它可被用来辅助确定移动平台100的姿态(或等效地确定相机108的姿态)，移动平台100可具有与运动传感器110的已知/经校准位置关系。移动平台100的姿态也可以或另选地使用基于视觉的跟踪技术来确定。应该理解，移动平台100可以是任何便携式电子设备，诸如蜂窝或其他无线通信设备、个人通信系统(PCS)设备、个人导航设备(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、笔记本计算机、相机或能够进行增强现实(AR)的其他合适的移动设备。
图2示出了以横向模式把持的移动平台100的前侧。显示器102被示为显示真实世界2D方格表面120的图像，其中真实世界3D管状对象122在表面120上。如果需要，显示器102也可以显示计算机呈现的图形对象。使用相机108(图1B)来产生真实世界对象，而任何AR对象是计算机呈现的对象(或信息)。移动平台100基于在已知位置处对2D表面120的遮挡和3D对象的所确定的形状来检测并跟踪3D对象122。因此，不要求移动平台100直接检测并跟踪3D对象，从而提高了计算效率，这转化为改进的帧率和电池使用。
图3是使用对2D表面的遮挡来检测并跟踪3D对象的流程图。如图所示，捕捉并显示带有3D对象的2D表面的图像(202)。应当理解，所捕捉的图像可以是单个图像，例如照片或视频帧，或者如果需要则可使用不止一张照片或视频帧来生成该单个图像。检测并跟踪移动平台相对于2D表面的位置(204)。例如，检测并跟踪移动平台100相对于图2中示出的2D方格表面120的位置。检测并跟踪移动平台相对于2D表面的位置可以使用公知的基于视觉的跟踪来执行，其中提取来自相机108的附加图像的特征并将其与来自2D表面的图像的所提取的特征进行比较。或者，如果需要，则移动平台与2D表面之间的关系可基于2D表面在真实世界中的已知姿态和移动平台的姿态来确定，移动平台的姿态是使用运动传感器110来确定的。
2D表面的特定区域，即具有已知位置的区域，被指定为“感兴趣区域”(206)。感兴趣区域是预期要被3D对象遮挡的区域。可例如由用户在通过显示器102查看2D表面时使用移动平台100上的图形用户接口执行对感兴趣区域的指定。或者，感兴趣区域的指定可离线地执行并被存储在移动平台100的存储器中。如果需要，整个2D表面或只有2D表面的一小部分区域可被指定为感兴趣区域。在同一2D表面内，一个或多个区域可被指定为感兴趣区域。这些感兴趣区域可以是普通的几何形状，如正方形、矩形、三角形、圆形等等，或者覆盖2D图像内的特定区域的任何多边形。例如，感兴趣区域的形状以及感兴趣区域的位置可以基于3D对象的预定义形状和位置。例如，图4示出了所成像的2D方格表面120的俯视图，具有被指定为“感兴趣区域”的带有已知位置的两个区域124a和124b。区域124a和124b被示为圆形，因为在该示例中，预期3D对象122具有管状形状并且因而具有圆形横截面。如果需要，可以指定更多感兴趣区域。另外，如果需要，感兴趣区域可具有与3D对象的横截面形状不同的形状。
该过程随后检测感兴趣区域何时被遮挡，即被覆盖(208)。可通过使用感兴趣区域中的多个特征执行自然特征检测和匹配并标识出当感兴趣区域处于相机108的视野中时感兴趣区域中的特征的相当大一部分(即大于预定阈值的数量)未被检测到，来检测遮挡。可作为基于视觉的跟踪技术的一部分来检测和匹配各特征。如果各特征很好地分布在感兴趣区域上，则用几何学找出该区域的被覆盖和未被覆盖的部分是可能的。如果需要，则要求遮挡整个感兴趣区域或其相当大一部分以供呈现和显示AR对象。换言之，只遮挡感兴趣区域的一部分可能是不够的。对感兴趣区域的遮挡可被假定为(但不一定)是由3D对象造成的。为了减少虚假检测的量，即对并非由3D对象造成的对感兴趣区域的遮挡的检测，感兴趣区域的形状可具有与3D对象相同的横截面，并且如果在形状上与感兴趣区域显著不同的区域被遮挡，则可以确定该遮挡不是由3D对象造成的。例如，如果需要，可以使用特定形状的感兴趣区域，以便只有特定对象可被用来遮挡感兴趣区域。因为感兴趣区域在2D表面上具有已知位置，所以检测到的对感兴趣区域的遮挡提供了与遮挡对象的位置有关的信息，该遮挡对象被假定为是3D对象。
还确定3D对象的形状(210)。3D对象的形状可以是预定义的，即3D对象的形状由用户提供或被预编程并存储在存储器中。3D对象的形状也可以基于2D表面的遮挡区域来确定。例如，图5示出了捕捉2D表面120和3D对象122的图像的移动平台100的侧视图，并且3D对象122遮挡2D表面120的区域126。如图5的光线123所示，3D对象122将遮挡2D表面120的区域126，区域126将基于3D对象122的形状以及移动平台100相对于表面120的姿态(即，位置和定向)而变化。图6示出了所成像的方格表面120连同被3D对象遮挡的用阴影线示出的区域126的俯视图。因而，基于移动平台100相对于2D方格表面120的已知姿态(这通过跟踪2D表面120来确定)连同2D方格表面120的被遮挡区域的形状，可以计算3D对象122的形状。随着移动平台100相对于2D方格表面120和3D对象122移动并对其成像，与3D对象122的形状有关的附加信息可被导出并存储在移动平台100的存储器中。
使用被遮挡的感兴趣区域的已知位置和所确定的3D对象的形状，移动平台100可以间接地跟踪3D对象。因而，并非直接检测并跟踪实际的3D对象，检测并跟踪2D表面上的被遮挡的感兴趣区域，从而极大地降低了计算需求。随后可对3D对象在2D表面上的位置执行任何所需动作(212)。例如，随后可以参考被遮挡的感兴趣区域的位置来呈现并显示增强现实对象，其中该AR对象是相对于3D对象的所确定的形状来呈现的(212)。如果需要，可基于3D对象的所确定的位置来触发任何其他动作，如使用移动平台或在移动平台内执行各分立动作或者打开或关闭活动。真实世界活动或动作可由移动平台控制，例如直接经由射频或光信号或通过无线网络。例如，可通过将3D对象(触觉图标)置于配线图上来控制真实世界或模拟电子电路。可以通过将3D对象置于火车站的平面图上来控制火车站中的开关点。其他示例包括例如通过将3D对象放置为该流体中的障碍来影响或控制流体模拟应用，例如该障碍可以是诸如旋转通风设备等流体源。通过将真实通风设备置于场景中，流体模拟可相应地被更改。另一示例是调整冲突反应，例如虚拟对象可对被放置为物理模拟应用中的障碍的3D对象的冲突正确地作出反应。
图7示出了以横向模式把持的移动平台100的前侧，显示了2D表面和3D管状对象的所捕捉的图像(类似于图2中示出的)，但还示出了所呈现和显示的图形对象。例如，AR对象128被示为相对于3D对象122的尺寸来呈现并参考被遮挡的感兴趣区域来显示，使得3D对象122看起来被AR对象128覆盖或喷涂。其他AR对象129a和129b可相对于3D对象122的尺寸来呈现，但没有显示在3D对象122上而是显示在其附近。在本示例中，AR对象129a和129b看起来是绕3D对象122飞舞的蜜蜂，消失在3D对象122之后，如AR对象129b所示。
图8是能够使用对2D表面的遮挡来检测并跟踪3D对象的移动平台100的框图。移动平台100包括用于捕捉带3D对象的2D表面的图像的装置，如相机108，并且可包括运动传感器110，如加速度计、陀螺仪、电子指南针或其他类似运动传感元件。移动平台100可包括其他位置确定方法，如使用“计算机视觉”技术的对象识别。移动平台100还包括用户接口150，用户接口150包括用于显示图像和AR对象的装置，诸如显示器102。用户接口150还可包括按键板152或其他输入设备，用户可藉此向移动平台100输入信息。如果需要，可通过将虚拟按键板整合到带有触摸传感器的显示器102中来省去按键板152。例如，如果移动平台是蜂窝电话，则用户接口150还可包括话筒106和扬声器104。当然，移动平台100可包括与本公开不相关的其他元件，如无线收发机。
移动平台100还包括控制单元160，其与相机108、运动传感器110和用户接口150相连接和通信。控制单元160接受并处理来自相机108和运动传感器110的数据，并且作为响应来控制显示器102。控制单元160可由处理器161以及相关联的存储器164、硬件162、软件165和固件163来提供。控制单元160可包括图像处理器166，图像处理器166用于处理来自相机108的图像以检测2D表面并确定感兴趣区域何时被遮挡并且如果需要则确定被遮挡区域的形状。控制单元还可包括位置处理器167，位置处理器167基于来自相机108的视觉数据和/或从运动传感器110接收到的数据来确定并跟踪移动平台100相对于所检测的2D表面的姿态。控制单元160还可包括图形引擎168，图形引擎168可以是例如游戏引擎，用于相对于被遮挡的感兴趣区域的位置并相对于所确定的3D对象的形状来呈现所需AR对象。图形引擎168可从存储(例如，存储器164中)检索AR对象。为清楚起见，图像处理器166、位置处理器167以及图形引擎与处理器161分开地被示出，但它们可以是处理器161的一部分或者基于在处理器161中运行的软件165中的指令在处理器中实现。将理解，如本文中所使用的，处理器161可以但无需必然包括一个或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)、及类似物。术语“处理器”旨在描述由系统实现的功能而非专门的硬件。此外，如本文所使用的术语“存储器”是指任何类型的计算机存储介质，包括与移动平台相关联的长期、短期、或其他存储器，且并不被限定于任何特定类型的存储器或特定数目的存储器、或记忆存储在其上的介质的类型。
该设备包括用于检测并跟踪2D表面的装置，该装置可包括图像处理器166、位置处理器167以及运动传感器110(如果需要)。该设备还包括用于检测对2D表面上的感兴趣区域的遮挡的装置，该装置可包括图像处理器166。用于确定3D对象的形状的装置可包括图形引擎168，它从存储器164检索3D对象的预定义形状。另外，可以例如由图像处理器166提供用于确定2D表面的遮挡区域的形状的装置，并且可以例如由位置处理器167以及如果需要也由运动传感器110提供用于确定移动平台相对于2D表面的姿态的装置，以及用于确定3D对象的形状的装置可以是例如处理器161，处理器161使用2D表面的遮挡区域的形状和相机相对于2D表面的姿态来确定3D对象的形状。用于参考2D表面的感兴趣区域的位置来呈现图形对象的装置可以是图形引擎168，其中该图形对象是相对于3D对象的形状来呈现的。
本文中所描述的方法体系取决于应用可藉由各种手段来实现。例如，这些方法体系可在硬件162、固件163、软件165、或其任何组合中实现。对于硬件实现，这些处理单元可以在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子器件、设计成执行本文中所描述功能的其他电子单元、或其组合内实现。
对于固件和/或软件实现，这些方法体系可用执行本文中描述的功能的模块(例如，规程、函数等等)来实现。任何有形地实施指令的机器可读介质可被用来实现本文中所描述的方法体系。例如，软件代码可被存储在存储器164中并由处理器161执行。存储器可以实现在处理器161内部或外部。
如果在固件和/或软件中实现，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上。示例包括编码成具有数据结构的非瞬态计算机可读介质和编码成具有计算机程序的计算机可读介质。例如，其上包括所存储的程序代码的计算机可读介质可包括用于显示由相机捕捉的带3D对象的2D表面的图像的程序代码，用于在图像中检测并跟踪2D表面的程序代码，用于检测对被指定为2D表面上的感兴趣区域的区域的遮挡的程序代码，用于确定3D对象的形状的程序代码，以及用于参考2D表面上的感兴趣区域的位置来呈现和显示图形对象的程序代码，其中图形对象是相对于3D对象的形状来呈现的。计算机可读介质还可包括用于确定2D表面的遮挡区域的形状的程序代码以及用于确定相机相对于2D表面的姿态的程序代码，其中用于确定3D对象的形状的程序代码使用2D表面的遮挡区域的形状和2D表面的姿态来确定3D对象的形状。计算机可读介质包括物理计算机存储介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质；如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘常常磁性地再现数据，而碟用激光光学地再现数据。以上的组合也应被包括在计算机可读介质的范围内。
例如，其上包括所存储的程序代码的计算机可读介质可包括用于显示由相机捕捉的带3D对象的2D表面的图像的程序代码，用于在图像中检测并跟踪2D表面的程序代码，用于检测对被指定为2D表面上的感兴趣区域的区域的遮挡的程序代码，用于确定3D对象的形状的程序代码，以及用于参考2D表面上的感兴趣区域的位置来呈现和显示图形对象的程序代码，其中图形对象是相对于3D对象的形状来呈现的。
尽管出于指导目的结合具体实施例解说了本发明，但是本发明并不被限定于此。可作出各种适应性改编和改动而不会脱离本发明的范围。因此，所附权利要求的精神和范围不应当被限定于前面的描述。

Claims (24)

1.一种方法，包括：
使用相机捕捉带三维(3D)对象的二维(2D)表面的图像并显示该图像；
检测并跟踪所述相机相对于所述2D表面的位置；
将所述2D表面的一区域指定为感兴趣区域；
检测所述3D对象对所述2D表面上的感兴趣区域的遮挡；
基于所述相机相对于所述2D表面的位置并基于所述3D对象对所述2D表面上的感兴趣区域的所述遮挡来确定所述3D对象的形状；以及
参考所述3D对象对所述2D表面上的感兴趣区域的所述遮挡并相对于所述3D对象的形状和尺寸来呈现并显示图形对象。
2.如权利要求1所述的方法，其特征在于，所述3D对象的形状是预定义的。
3.如权利要求1所述的方法，其特征在于，确定所述3D对象的形状包括确定所述2D表面的遮挡区域的形状以及所述相机相对于所述2D表面的位置，以及使用所述2D表面的遮挡区域的形状和所述相机相对于所述2D表面的位置来计算所述3D对象的形状。
4.如权利要求1所述的方法，其特征在于，所述图形对象被呈现在所述3D对象上。
5.如权利要求1所述的方法，其特征在于，所述图形对象被呈现在所述3D对象附近。
6.如权利要求1所述的方法，其特征在于，所述2D表面的多个区域被指定为感兴趣区域。
7.如权利要求1所述的方法，其特征在于，所述感兴趣区域的位置是预定义的。
8.如权利要求1所述的方法，其特征在于，所述图像是由移动平台捕捉并显示的。
9.一种移动平台，包括：
相机；
处理器，其连接至所述相机；
连接至所述处理器的存储器；
连接至所述存储器的显示器；以及
保持在所述存储器中并在所述处理器中运行的软件，使得所述处理器在所述显示器上显示由所述相机捕捉的带三维(3D)对象的二维(2D)表面的图像，在所述图像中检测并跟踪所述相机相对于所述2D表面的位置，检测所述3D对象对指定为2D表面上的感兴趣区域的区域的遮挡，基于所述相机相对于所述2D表面的位置并基于所述3D对象对所述2D表面上的感兴趣区域的所述遮挡来确定所述3D对象的形状，以及参考所述3D对象对所述2D表面上的感兴趣区域的所述遮挡并相对于所述3D对象的形状和尺寸来在所述显示器上呈现并显示图形对象。
10.如权利要求9所述的移动平台，其特征在于，所述3D对象的形状是预定义的。
11.如权利要求9所述的移动平台，其特征在于，在所述处理器中运行的所述软件使得所述处理器基于所述2D表面的遮挡区域的形状以及所述相机相对于所述2D表面的位置来确定所述3D对象的形状。
12.如权利要求9所述的移动平台，其特征在于，所述图形对象在所述显示器中被呈现在所述3D对象上。
13.如权利要求9所述的移动平台，其特征在于，所述图形对象在所述显示器中被呈现在所述3D对象附近。
14.如权利要求9所述的移动平台，其特征在于，所述2D表面的多个区域被指定为感兴趣区域。
15.如权利要求9所述的移动平台，其特征在于，所述感兴趣区域的位置是预定义的。
16.如权利要求9所述的移动平台，其特征在于，还包括运动传感器，其中所述软件使得所述处理器使用来自所述运动传感器的数据在所述图像中检测并跟踪所述2D表面。
17.如权利要求9所述的移动平台，其特征在于，所述软件使得所述处理器使用来自所述相机的附加图像在所述图像中检测并跟踪所述2D表面。
18.一种系统，包括：
用于捕捉带三维(3D)对象的二维(2D)表面的图像的装置；
用于显示所述图像的装置；
用于检测并跟踪用于捕捉所述图像的装置相对于所述2D表面的位置的装置；
用于检测所述3D对象对指定为所述2D表面上的感兴趣区域的区域的遮挡的装置；
用于基于用于捕捉所述图像的装置相对于所述2D表面的位置并基于所述3D对象对所述2D表面上的感兴趣区域的所述遮挡来确定所述3D对象的形状的装置；以及
用于参考所述3D对象对所述2D表面的感兴趣区域的所述遮挡并相对于所述3D对象的形状和尺寸来呈现并显示图形对象的装置。
19.如权利要求18所述的系统，其特征在于，所述3D对象的形状是预定义的。
20.如权利要求18所述的系统，其特征在于，进一步包括：
用于确定所述2D表面的遮挡区域的形状的装置；以及
用于确定用于捕捉所述图像的装置相对于所述2D表面的位置的装置，其中用于确定所述3D对象的形状的装置使用所述2D表面的遮挡区域的形状和用于捕捉所述图像的装置相对于所述2D表面的位置来确定所述3D对象的形状。
21.如权利要求18所述的系统，其特征在于，所述图形对象被呈现在所述3D对象上。
22.如权利要求18所述的系统，其特征在于，所述图形对象被呈现在所述3D对象附近。
23.如权利要求18所述的系统，其特征在于，所述2D表面的多个区域被指定为感兴趣区域。
24.如权利要求18所述的系统，其特征在于，所述感兴趣区域的位置是预定义的。
CN201910111365.4A 2011-01-25 2012-01-25 使用遮挡来检测并跟踪三维对象 Pending CN109829937A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/013,535 2011-01-25
US13/013,535 US10109065B2 (en) 2011-01-25 2011-01-25 Using occlusions to detect and track three-dimensional objects
CN2012800063404A CN103339654A (zh) 2011-01-25 2012-01-25 使用遮挡来检测并跟踪三维对象

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2012800063404A Division CN103339654A (zh) 2011-01-25 2012-01-25 使用遮挡来检测并跟踪三维对象

Publications (1)

Publication Number Publication Date
CN109829937A true CN109829937A (zh) 2019-05-31

Family

ID=45563597

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910111365.4A Pending CN109829937A (zh) 2011-01-25 2012-01-25 使用遮挡来检测并跟踪三维对象
CN2012800063404A Pending CN103339654A (zh) 2011-01-25 2012-01-25 使用遮挡来检测并跟踪三维对象

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2012800063404A Pending CN103339654A (zh) 2011-01-25 2012-01-25 使用遮挡来检测并跟踪三维对象

Country Status (6)

Country Link
US (1) US10109065B2 (zh)
EP (1) EP2668636A1 (zh)
JP (1) JP5554457B2 (zh)
KR (1) KR101532854B1 (zh)
CN (2) CN109829937A (zh)
WO (1) WO2012103168A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120170800A1 (en) * 2010-12-30 2012-07-05 Ydreams - Informatica, S.A. Systems and methods for continuous physics simulation from discrete video acquisition
US9049433B1 (en) * 2012-01-06 2015-06-02 John H. Prince High-speed railroad inspection using coordinated 3D cameras
US9384711B2 (en) 2012-02-15 2016-07-05 Microsoft Technology Licensing, Llc Speculative render ahead and caching in multiple passes
US9235925B2 (en) 2012-05-31 2016-01-12 Microsoft Technology Licensing, Llc Virtual surface rendering
US9230517B2 (en) 2012-05-31 2016-01-05 Microsoft Technology Licensing, Llc Virtual surface gutters
US9177533B2 (en) 2012-05-31 2015-11-03 Microsoft Technology Licensing, Llc Virtual surface compaction
US9286122B2 (en) * 2012-05-31 2016-03-15 Microsoft Technology Licensing, Llc Display techniques using virtual surface allocation
US9361730B2 (en) 2012-07-26 2016-06-07 Qualcomm Incorporated Interactions of tangible and augmented reality objects
US9025823B2 (en) 2013-03-12 2015-05-05 Qualcomm Incorporated Tracking texture rich objects using rank order filtering
CN103236074B (zh) * 2013-03-25 2015-12-23 深圳超多维光电子有限公司 一种2d/3d图像处理方法及装置
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
US9383819B2 (en) * 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
US9354702B2 (en) 2013-06-03 2016-05-31 Daqri, Llc Manipulation of virtual object in augmented reality via thought
US9307007B2 (en) 2013-06-14 2016-04-05 Microsoft Technology Licensing, Llc Content pre-render and pre-fetch techniques
KR20170031656A (ko) * 2014-07-08 2017-03-21 삼성전자주식회사 화상을 이용해 3차원 정보를 처리하는 전자 장치 및 방
US9821813B2 (en) * 2014-11-13 2017-11-21 Nec Corporation Continuous occlusion models for road scene understanding
KR20170127505A (ko) 2015-03-01 2017-11-21 넥스트브이알 인코포레이티드 환경 측정들을 하고 및/또는 ３ｄ 이미지 렌더링에서 이러한 측정들을 사용하기 위한 방법들 및 장치
US20170228929A1 (en) * 2015-09-01 2017-08-10 Patrick Dengler System and Method by which combining computer hardware device sensor readings and a camera, provides the best, unencumbered Augmented Reality experience that enables real world objects to be transferred into any digital space, with context, and with contextual relationships.
JP6677297B2 (ja) * 2016-06-30 2020-04-08 日産自動車株式会社 物体追跡方法及び物体追跡装置
US10140539B2 (en) * 2016-09-23 2018-11-27 Optofidelity Oy Calibration device for camera-finger—offset
CN106780769B (zh) * 2016-12-23 2020-11-13 太炫科技(南京)有限公司 一种减少近距离对象遮挡的三维模型绘制系统及绘制方法
CN109460690B (zh) * 2017-09-01 2022-10-14 虹软科技股份有限公司 一种用于模式识别的方法和装置
US10909671B2 (en) * 2018-10-02 2021-02-02 International Business Machines Corporation Region of interest weighted anomaly detection
US10818028B2 (en) * 2018-12-17 2020-10-27 Microsoft Technology Licensing, Llc Detecting objects in crowds using geometric context
WO2021140439A1 (en) * 2020-01-10 2021-07-15 Dirtt Environmental Solutions, Ltd. Occlusion solution within a mixed reality architectural design software application

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2933547A1 (en) * 2005-10-07 2007-04-07 Rearden Mova, Llc Apparatus and method for performing motion capture using a random pattern on capture surfaces
CN101000690A (zh) * 2005-10-17 2007-07-18 美国西门子医疗解决公司 用于提高图像一致性的设备、系统及方法
CN101415152A (zh) * 2007-10-19 2009-04-22 Lg电子株式会社 用于控制终端中消息通信窗口的显示的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643024B2 (en) 2001-05-17 2010-01-05 The Trustees Of Columbia University In The City Of New York System and method for view management in three dimensional space
JP2006059165A (ja) 2004-08-20 2006-03-02 Riyuukoku Univ ３次元モデリング装置、幾何学パターン、３次元モデリングデータの生成方法、３次元モデリングプログラム、記録媒体
JP4480083B2 (ja) 2005-02-23 2010-06-16 アイシン精機株式会社 物体認識装置
JP4600760B2 (ja) 2005-06-27 2010-12-15 アイシン精機株式会社 障害物検出装置
WO2007132487A1 (en) 2006-05-15 2007-11-22 Im3D S.P.A. Method and system for automatic recognition of preneoplastic anomalies in anatomic structures based on an improved region-growing segmentation, and computer program therefor
JP4789745B2 (ja) 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
CN101710429B (zh) 2009-10-12 2012-09-05 湖南大学 一种基于动态光照图的增强现实系统光照算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2933547A1 (en) * 2005-10-07 2007-04-07 Rearden Mova, Llc Apparatus and method for performing motion capture using a random pattern on capture surfaces
CN101000690A (zh) * 2005-10-17 2007-07-18 美国西门子医疗解决公司 用于提高图像一致性的设备、系统及方法
CN101415152A (zh) * 2007-10-19 2009-04-22 Lg电子株式会社 用于控制终端中消息通信窗口的显示的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUN A. LEE: "《Occlusion based Interaction Methods for Tangible Augmented Reality Environments》", 《PROCEEDINGS OF THE 2004 ACM SIGGRAPH INTERNATIONAL CONFERENCE ON VIRTUAL REALITY CONTINUUM AND ITS APPLICATION IN INDUSTRY》 *
王靖滨: "《基于增强现实技术的景观规划系统》", 《中国图象图形学报》 *

Also Published As

Publication number Publication date
CN103339654A (zh) 2013-10-02
JP2014503922A (ja) 2014-02-13
EP2668636A1 (en) 2013-12-04
JP5554457B2 (ja) 2014-07-23
WO2012103168A1 (en) 2012-08-02
US10109065B2 (en) 2018-10-23
KR101532854B1 (ko) 2015-06-30
KR20130122660A (ko) 2013-11-07
US20120188342A1 (en) 2012-07-26

Similar Documents

Publication Publication Date Title
CN109829937A (zh) 使用遮挡来检测并跟踪三维对象
US11880541B2 (en) Systems and methods of generating augmented reality (AR) objects
KR101554797B1 (ko) 콘텍스트 인식 증강 상호작용
EP3855288B1 (en) Spatial relationships for integration of visual images of physical environment into virtual reality
EP3437075B1 (en) Virtual object manipulation within physical environment
KR101784328B1 (ko) 증강 현실 표면 디스플레잉
US9224237B2 (en) Simulating three-dimensional views using planes of content
JP5877219B2 (ja) 動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果
US9437038B1 (en) Simulating three-dimensional views using depth relationships among planes of content
US9591295B2 (en) Approaches for simulating three-dimensional views
KR102355391B1 (ko) 가상 기재로서 사용하기 위한 평면 및/또는 쿼드트리들을 검출하기 위한 방법 및 디바이스
US20140126769A1 (en) Fast initialization for monocular visual slam
EP2896200B1 (en) Augmented reality apparatus and method
US20180188801A1 (en) Content Browsing
EP3327544B1 (en) Apparatus, associated method and associated computer readable medium
KR20150130483A (ko) 평면의 자연스러운 특성 타겟들의 인시츄 생성
WO2016193537A1 (en) Mediated reality
US9025823B2 (en) Tracking texture rich objects using rank order filtering
KR20200145698A (ko) 증강 현실 기반의 3차원 조립 퍼즐을 제공하는 방법 및 단말
US11893207B2 (en) Generating a semantic construction of a physical setting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination