CN103443743A - 上下文知晓的增强交互 - Google Patents

上下文知晓的增强交互 Download PDF

Info

Publication number
CN103443743A
CN103443743A CN2012800154742A CN201280015474A CN103443743A CN 103443743 A CN103443743 A CN 103443743A CN 2012800154742 A CN2012800154742 A CN 2012800154742A CN 201280015474 A CN201280015474 A CN 201280015474A CN 103443743 A CN103443743 A CN 103443743A
Authority
CN
China
Prior art keywords
spatial relationship
mobile platform
distance
approach
attitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800154742A
Other languages
English (en)
Other versions
CN103443743B (zh
Inventor
R·劳伦斯阿什克伊尼戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103443743A publication Critical patent/CN103443743A/zh
Application granted granted Critical
Publication of CN103443743B publication Critical patent/CN103443743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

移动平台基于空间关系,诸如现实世界对象之间的接近度和/或相对位置,来呈现不同的增强现实对象。移动平台检测并跟踪一个或多个已捕捉的图像中的第一对象和第二对象。该移动平台确定对象的空间关系,例如,对象间的接近度或距离和/或对象间的相对位置。接近度可基于对象是否显现在同一图像中或对象间的距离。基于对象的空间关系,例如通过搜索数据库,确定要被呈现的增强对象。所选择的增强对象被呈现和显示。

Description

上下文知晓的增强交互
背景技术
在增强现实(AR)应用中,现实世界对象被成像并连同计算机生成的信息(诸如图像或文本信息)一起显示在屏幕上。AR可被用来提供关于现实世界对象(诸如建筑物或产品)的图形信息或文本信息。通常,所呈现的AR对象依赖于被成像的现实世界对象。然而,该现实世界对象的上下文,例如位置或其它周围对象,在呈现AR对象时未被考虑。然而,希望能够显示具有关于物理环境或至其它产品的接近度的上下文的AR内容。
发明内容
移动平台基于空间关系,诸如现实世界对象之间的接近度和/或相对位置,来呈现不同的增强现实对象。空间关系,其可以是对象的接近度或对象的相对位置,提供现实世界对象的上下文。移动平台检测并跟踪一个或多个已捕捉的图像中的第一对象和第二对象。移动平台随后确定对象的空间关系作为对象之间的接近度(或距离)和/或相对位置。接近度可以基于对象是显现在同一图像中还是显现为相距例如基于姿态信息或通过图像处理所确定的对象之间的定量距离。基于对象的空间关系,例如通过搜索数据库来确定要被呈现的增强对象。所选择的增强对象被呈现和显示。
附图说明
图1A和1B分别示出了移动平台的正面和背面,该移动平台能够基于现实世界对象的空间关系来提供增强现实应用。
图2示出了移动平台的正面,该移动平台显示了被捕捉的两个现实世界对象的图像,以及基于现实对象之间的空间关系所呈现的增强对象。
图3是基于现实世界对象的空间关系来提供增强现实应用的流程图。
图4示出了移动平台的正面,该移动平台显示了被捕捉的三个现实世界对象的图像,以及基于现实对象之间的空间关系所呈现的不同的增强对象。
图5A和5B示出了分别成像现实世界对象的移动平台100的俯视图。
图6A和6B分别示出了在分别成像图5A和5B的对象时由移动平台显示的图像。
图7是能够基于现实世界对象的空间关系来提供增强现实应用的移动平台的框图。
具体实施方式
图1A和1B分别示出了移动平台100的正面和背面,该移动平台能够基于现实世界对象的空间关系来提供增强现实应用。图1A和1B中的移动平台100被示为包括外壳101,可以是触摸屏显示器的显示器102。移动平台100还可包括扬声器104和麦克风106,例如,如果移动平台100是蜂窝电话。移动平台100还包括对环境进行成像的面向前的相机108,该环境被显示在显示器102中。移动平台100还可包括运动传感器110,诸如加速度计、陀螺仪等,它们可被用于辅助确定移动平台100的姿态或等同地相机108的姿态,相机108具有已知的/经校准的相对于运动传感器110的位置关系。移动平台100的姿态还可以或可替换地使用基于视觉的跟踪技术来确定。可以理解,移动平台100可以是任何便携式电子设备,诸如蜂窝或其它无线通信设备、个人通信系统(PCS)设备、个人导航设备(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上电脑、相机,或其它合适的能够增强现实(AR)的移动设备。
图2示出了按横向模式持握的移动平台100的正面。显示器102被示为显示两个现实世界对象(对象A120和对象B122)的被捕捉的图像。作为示例,对象A120和对象B122可以是产品,诸如食品货架124上相互靠近的谷类食品的盒子。显示器102也被示为以箭头的形式显示计算机呈现的AR对象126。现实世界对象120、122的被捕捉的对象由相机108产生,而AR对象126是计算机呈现的对象(或信息)。应该可以理解,所捕捉的对象可以是单个图像,例如,由相机108产生的照片或一个或多个视频帧。
由移动平台100呈现并显示的AR对象126不仅依赖于被成像的现实世界对象,也依赖于被成像对象的空间关系。作为示例,空间关系可以是其它被成像的对象的接近度。因此,当现实世界对象接近另一个补充现实世界对象时,可呈现一种类型的AR对象,而当对象不接近或当不兼容的现实世界对象接近时,可呈现不同的AR对象或AR对象的不同行为。例如,当早餐产品被彼此接近地放置时可呈现一种类型的AR对象,而当早餐产品被放置于接近液体瓶子的时候,可呈现不同的AR对象或AR对象的不同行为。现实世界对象的空间关系可包括其它因素,诸如对象的相对位置以及其它因素,诸如一天里的时间或地理位置。
图3是基于现实世界对象的空间关系来提供增强现实应用的流程图。如所示,由移动平台的相机捕捉的图像中的第一对象被检测和跟踪(202)。一旦对象被检测,它可例如通过查阅板载数据库或通过访问远程服务器来被标识。跟踪对象给出了移动平台相对于该对象的位置和朝向(姿态)信息。对象可以是二维或三维对象。作为示例,图2中由移动平台100成像的对象A120被检测和跟踪。
由相机捕捉的图像中的第二对象也被检测和跟踪(204)。再次,一旦第二对象被检测,第二对象也可例如通过查阅板载数据库或通过访问远程服务器来被标识。作为示例,图2中由移动平台100成像的对象B122被检测和跟踪。第二对象可以是位于附近并在与第一对象相同的视野框架中(即,在被捕捉的同一图像中)的项目。此外,第二对象可以是分开的视野框架中的项目,即,第二对象显现在不同于第一对象的被捕捉的图像中。因此,例如,第一对象可被成像、检测和跟踪。移动平台可随后被移动以捕捉被检测和跟踪的第二对象的图像。
对象的空间关系随后被确定(206)以提供对象的上下文。如果希望,则仅当对象被标识为具有相关联的上下文依赖的增强现实对象的对象时,对象的空间关系才可被确定,例如,可通过访问板载或外部数据库来确定。空间关系可以是被成像对象的接近度。如果第一对象和第二对象的至少诸部分在同一个时间都在相机的视野中,则第一对象和第二对象可被认为接近。替换地,接近度可被确定为第一对象和第二对象之间的定量距离。例如,可以通过将对象之间的距离与对象的大小进行比较,或使用来自跟踪第一对象和第二对象的姿态信息来确定距离。该距离可与一个或多个阈值进行比较以确定这些对象是否被认为接近。此外,如果第一对象和第二对象没有显现在同一图像中,则可基于对象之间的距离来确定对象的接近度,对象之间的距离是使用来自移动平台100中的运动传感器100的跟踪信息和数据来确定的。空间关系也可以,或者可替换地,是第一对象和第二对象的相对位置,例如,第一对象是在第二对象之前还是在第二对象之上。也可使用附加上下文信息,诸如一个或多个附加现实世界对象的存在(或不存在)、一天中的时间、环境光,移动平台的地理位置等。
使用所标识的第一对象和所标识的第二对象之间的所确定的空间关系,可确定要被呈现的AR对象(208)。例如,对于特定现实世界对象的不同空间关系,AR对象的数据库可被维持。一旦现实世界对象的空间关系被确定,数据库就可被访问以确定要被呈现的AR对象。AR对象可随后被呈现并被移动平台100显示(210)。
作为解说,图2示出基于所标识的对象A120和所标识的对象B122的空间关系来呈现和显示的AR对象126。AR对象126是以箭头的形式指示例如对象A120与对象B122兼容。另一方面,图4示出了产生除了第三对象被标识之外类似于图2所示的图像的移动平台100,对象C123被检测和跟踪并被确定为接近对象B122。基于空间关系(例如对象B122和不兼容的对象C123的接近度),呈现包括具有贯穿它的线的箭头的不同的AR对象128。如果希望,AR对象可被动画化,并且已被动画化的AR对象的行为可基于现实世界对象的空间关系而改变。此外,如果希望,附加的现实世界对象可被检测和跟踪,并被用于确定要呈现的AR对象。
图5A和5B分别示出了分别对对象A120和对象B122成像的移动平台100的俯视图。图6A和6B分别示出了在如图5A和5B所示的移动平台100分别对对象A120和对象B122成像时在移动平台100的显示器102上显示的图像。如图5A和6A所示,移动平台100成像并显示现实世界对象A120。如以上在图3的步骤202中讨论的,对象A120被检测和跟踪。对象122没有显示在图6A中,因为对象122在图5A中的相机视野109之外。在移动移动平台100以将现实世界对象B122放入视野109中之后,如图5B所示,对象B122被成像和显示,如图6B所示。如以上在图3的步骤204中讨论的,对象B122被检测和跟踪。如图5B所示,通过确定对象的接近度来确定对象A120和对象B122的空间关系(图3中的步骤206)。例如,接近度可被确定为如虚线箭头130所示的对象A120和对象B122之间的距离和/或如虚线箭头132所示的对象120和122之间的角位移。距离130和/或角位移132可使用跟踪信息以及来自移动平台上的运动传感器110的数据来确定。基于所确定的空间关系,即对象的接近度,所希望的AR对象被确定(图3中的步骤208),并且随后被呈现和显示(图3中的步骤210)。例如,如图6B所示,包括对象A120的已呈现图像和指向对象A120方向的箭头的AR对象129被显示。
图7是能够基于现实世界对象的空间关系来提供增强现实应用的移动平台100的框图。移动平台100包括诸如相机108之类的用于捕捉现实世界对象的装置,和诸如加速度计、陀螺仪、电子罗盘,或其它类似的运动感测元件之类的运动传感器110。移动平台100可包括其它位置确定方法,诸如使用“计算机视觉”技术的对象识别。移动平台进一步包括用户接口150,该用户接口包括用于显示已捕捉图像和已呈现AR对象的装置,诸如显示器102。用户接口150也可包括按键板152或其它输入设备,用户可以通过它们将信息输入到移动平台100中。如果希望,通过将虚拟按键板整合到具有触摸传感器的显示器102中,可以除去按键板152。用户接口150还可包括麦克风106和扬声器104,例如,如果移动平台100是蜂窝电话。当然,移动平台100可包括与本发明不相关的其它元件,诸如无线收发器。
移动平台100还包括与相机108、运动传感器110和用户接口150连接并与它们通信的控制单元160。控制单元160接受并处理来自相机108和运动传感器110的数据,并且作为响应,控制显示器102。控制单元160可由处理器161和相关联的存储器164、硬件162、软件165和固件163提供。控制单元160可包括图像处理器166,用于处理来自相机108的图像以检测现实世界对象。控制单元还可以包括位置处理器167以例如基于从运动传感器110接收的数据和/或基于基于视觉的跟踪技术使用由相机108捕捉的附加图像来确定并跟踪移动平台100相对于现实世界对象的姿态。位置处理器167也可确定现实世界对象的接近度以及对象的空间关系。控制单元160还可以包括图形引擎168,其可以是例如游戏引擎,以相对于现实世界对象的位置和空间关系来呈现希望的AR对象。图形引擎168可基于现实世界对象的空间关系和任何其它希望的因素,从可在存储器164中的数据库169中检索AR对象,其中现实世界对象的空间关系诸如是对象的接近度和/或相对位置,而其它希望的因素诸如是一天中的时间(可基于时钟170来确定)和地理位置(可基于来自可任选的卫星定位系统(SPS)接收器172的数据来确定)。为清楚起见,图像处理器166、位置处理器167和图形引擎与处理器161分开示出,但是可以是处理器161的一部分或基于处理器161中运行的软件165中的指令在处理器中实现。可以理解,如本文使用的,处理器161可以但不必包括一个或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)等。术语处理器旨在描述由系统实现的功能而非特定硬件。此外,如本文所使用的,术语“存储器”是指任何类型的计算机存储介质,包括长期、短期,或与移动平台相关联的其他存储器,且并不限于任何特定类型的存储器或特定数目的存储器、或记忆存储在其上的介质的类型。
设备包括用于检测和跟踪一个或多个图像中的第一对象和第二对象的装置,如果希望,其可包括图像处理器166、位置处理器167,以及运动传感器110。设备还包括用于确定第一对象和第二对象之间的空间关系的装置,该装置可包括位置处理器167。用于基于第一对象和第二对象之间的空间关系来确定要呈现的增强对象的装置可包括访问数据库169的图形引擎168。此外,设备可包括用于确定与不同对象相关联的姿态(移动平台的位置和朝向)的装置,该装置可包括位置处理器167以及运动传感器110。设备可包括用于将对象的大小与对象之间的空间进行比较以确定对象之间的距离的装置,该装置可以是图像处理器166。
本文中所描述的方法体系取决于应用可藉由各种手段来实现。例如,这些方法体系可在硬件162、固件163、软件165、或其任何组合中实现。对于硬件实现,这些处理单元可以在一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子器件、设计成执行本文中所描述功能的其他电子单元、或其组合内实现。
对于固件和/或软件实现,这些方法体系可用执行本文中描述的功能的模块(例如,规程、函数等等)来实现。任何有形地体现指令的机器可读介质可被用来实现本文中所描述的方法体系。例如,软件代码可被存储在存储器164中并由处理器161执行。存储器可在处理器161的内部或外部实现。
如果以固件和/或软件实现,则各功能可作为一条或更多条指令或代码存储在计算机可读介质上。各示例包括编码成具有数据结构的计算机可读介质和编码成具有计算机程序的非瞬态计算机可读介质。例如,包括存储于其上的程序代码的计算机可读介质可包括在显示器上显示第一对象和第二对象的图像的程序代码、检测和跟踪第一对象并检测和跟踪第二对象的程序代码、确定第一对象和第二对象之间的空间关系的程序代码、基于第一对象和第二对象之间的空间关系来确定要呈现的增强对象的程序代码,以及在显示器上显示增强对象的程序代码。计算机可读介质还可包括确定相对于第一对象的第一姿态和相对于第二对象的第二姿态的程序代码,其中确定第一对象和第二对象之间的距离的程序代码使用第一姿态和第二姿态来确定距离。计算机可读介质还可包括将第一对象和第二对象中的至少一者的大小与第一对象和第二对象之间的空间进行比较以确定第一对象和第二对象之间的距离的程序代码。计算机可读介质包括物理计算机存储介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定,此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质;如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟,其中盘常常磁学地再现数据,而碟用激光光学地再现数据。上述设备的组合也应当被包括在计算机可读介质的范围内。
例如,包括存储于其上的程序代码的计算机可读介质可包括显示由2D表面的相机捕捉的3D对象的图像的程序代码、检测并跟踪图像中的2D表面的程序代码、检测对2D表面上的被指派为感兴趣区域的区域的遮挡的程序代码、确定3D对象的形状的程序代码,以及相对于2D表面上感兴趣区域呈现和显示图形对象的程序代码,其中图形对象相对于3D对象的形状来呈现。
尽管为了指导性目的结合特定实施例来解说本发明,但是本发明不限于此。可作出各种调整和修改而不偏离本发明的范围。因此,所附权利要求的精神和范围不应被限于前面的描述。

Claims (38)

1.一种方法,包括:
捕捉并显示第一对象和第二对象的图像;
检测并跟踪所述第一对象;
检测并跟踪所述第二对象;
确定所述第一对象和所述第二对象之间的空间关系;
基于所述第一对象和所述第二对象之间的所述空间关系确定要呈现的增强对象;以及
显示所述增强对象。
2.如权利要求1所述的方法,其特征在于,所述第一对象和所述第二对象之间的所述空间关系基于所述第一对象和所述第二对象之间的接近度。
3.如权利要求2所述的方法,其特征在于,所述第一对象和所述第二对象之间的所述接近度基于所述第一对象和所述第二对象一起在所述图像中的至少诸部分。
4.如权利要求2所述的方法,其特征在于,所述第一对象和所述第二对象之间的所述接近度基于所述第一对象和所述第二对象之间的距离。
5.如权利要求4所述的方法,其特征在于,所述第一对象和所述第二对象之间的所述接近度通过将所述距离与阈值进行比较来确定。
6.如权利要求4所述的方法,其特征在于,还包括确定相对于所述第一对象的第一姿态和相对于所述第二对象的第二姿态,并使用所述第一姿态和所述第二姿态来确定所述距离。
7.如权利要求4所述的方法,其特征在于,还包括将所述第一对象和所述第二对象中的至少一者的大小与所述第一对象和所述第二对象之间的空间进行比较以确定所述距离。
8.如权利要求1所述的方法,其特征在于,所述第一对象和所述第二对象之间的所述空间关系基于所述第一对象和所述第二对象之间的相对位置。
9.如权利要求1所述的方法,其特征在于,捕捉并显示所述第一对象和所述第二对象的图像包括捕捉并显示所述第一对象的第一图像以及捕捉并显示所述第二对象的第二图像,其中所述第一对象和所述第二对象没有一起显现在相机视野中。
10.如权利要求1所述的方法,其特征在于,还包括:
捕捉并显示第三对象的图像;
检测并跟踪所述第三对象;
确定所述第一对象和所述第三对象之间的空间关系;
基于所述第一对象和所述第三对象的所述空间关系确定要呈现的一不同增强对象;以及
显示所述不同增强对象。
11.一种移动平台,包括:
相机;
连接到所述相机的处理器;
连接到所述处理器的存储器;
连接到所述存储器的显示器;以及
保存在所述存储器中并在所述处理器中运行的软件,所述软件使得所述处理器在所述显示器上显示由所述相机捕捉的第一对象和第二对象的图像、检测并跟踪所述第一对象、检测并跟踪所述第二对象、确定所述第一对象和所述第二对象之间的空间关系、基于所述第一对象和所述第二对象之间的所述空间关系确定要呈现的增强对象、并将所述增强对象显示在所述显示器上。
12.如权利要求11所述的移动平台,其特征在于,所述第一对象和所述第二对象之间的所述空间关系基于所述第一对象和所述第二对象之间的接近度。
13.如权利要求12所述的移动平台,其特征在于,所述第一对象和所述第二对象之间的所述接近度基于所述第一对象和所述第二对象一起在所述相机的视野中的至少诸部分。
14.如权利要求12所述的移动平台,其特征在于,在所述处理器中运行的所述软件使得所述处理器确定所述第一对象和所述第二对象之间的距离,以确定所述第一对象和所述第二对象之间的所述接近度。
15.如权利要求14所述的移动平台,其特征在于,在所述处理器中运行的所述软件使得所述处理器将所述距离与阈值进行比较,以确定所述第一对象和所述第二对象之间的所述接近度。
16.如权利要求14所述的移动平台,其特征在于,在所述处理器中运行的所述软件使得所述处理器确定相对于所述第一对象的第一姿态和相对于所述第二对象的第二姿态,并使用所述第一姿态和所述第二姿态来确定所述第一对象和所述第二对象之间的所述距离。
17.如权利要求14所述的移动平台,其特征在于,在所述处理器中运行的所述软件使得所述处理器将所述第一对象和所述第二对象中的至少一者的大小与所述第一对象和所述第二对象之间的空间进行比较,以确定所述第一对象和所述第二对象之间的所述距离。
18.如权利要求11所述的移动平台,其特征在于,所述第一对象和所述第二对象之间的所述空间关系基于所述第一对象和所述第二对象之间的相对位置。
19.如权利要求11所述的移动平台,其特征在于,在所述处理器中运行的所述软件使得所述处理器在所述显示器上显示所述第一对象的第一图像并在所述显示器上显示所述第二对象的第二图像,其中所述第一对象和所述第二对象没有一起显现在所述相机的视野中。
20.如权利要求11所述的移动平台,其特征在于,在所述处理器中运行的所述软件使得所述处理器在所述显示器上显示第三对象的图像、检测并跟踪所述第三对象、确定所述第一对象和所述第三对象之间的空间关系、基于所述第一对象和所述第三对象的所述空间关系确定要呈现的一不同增强对象,以及在所述显示器上显示所述不同增强对象。
21.如权利要求11所述的移动平台,其特征在于,还包括运动传感器,其中在所述处理器中运行的所述软件使得所述处理器使用来自所述运动传感器的数据来检测并跟踪所述第一对象以及检测并跟踪所述第二对象。
22.如权利要求11所述的移动平台,其特征在于,在所述处理器中运行的所述软件使得所述处理器使用由所述相机捕捉的图像来检测并跟踪所述第一对象以及检测并跟踪所述第二对象。
23.一种设备,包括:
用于捕捉第一对象和第二对象的图像的装置;
用于检测和跟踪所述第一对象和所述第二对象的装置;
用于确定所述第一对象和所述第二对象之间的空间关系的装置;
用于基于所述第一对象和所述第二对象之间的所述空间关系确定要呈现的增强对象的装置;以及
用于显示所述增强对象以及所述第一对象和所述第二对象的图像的装置。
24.如权利要求23所述的设备,其特征在于,所述第一对象和所述第二对象之间的所述空间关系基于所述第一对象和所述第二对象之间的接近度。
25.如权利要求24所述的设备,其特征在于,所述第一对象和所述第二对象之间的所述接近度基于所述第一对象和所述第二对象一起在所述图像中的至少诸部分。
26.如权利要求24所述的设备,其特征在于,所述第一对象和所述第二对象之间的所述接近度基于所述第一对象和所述第二对象之间的距离。
27.如权利要求26所述的设备,其特征在于,所述用于确定所述第一对象和所述第二对象之间的空间关系的装置将所述距离与阈值进行比较。
28.如权利要求26所述的设备,其特征在于,还包括用于确定相对于所述第一对象的第一姿态和相对于所述第二对象的第二姿态的装置,其中所述第一姿态和所述第二姿态被用来确定所述距离。
29.如权利要求26所述的设备,其特征在于,还包括用于将所述第一对象和所述第二对象中的至少一者的大小与所述第一对象和所述第二对象之间的空间进行比较以确定所述距离的装置。
30.如权利要求23所述的设备,其特征在于,所述第一对象和所述第二对象之间的所述空间关系基于所述第一对象和所述第二对象之间的相对位置。
31.一种包括存储于其上的程序代码的计算机可读介质,包括:
用于在显示器上显示第一对象和第二对象的图像的程序代码;
用于检测和跟踪所述第一对象并且检测和跟踪所述第二对象的程序代码;
用于确定所述第一对象和所述第二对象之间的空间关系的程序代码;
用于基于所述第一对象和所述第二对象之间的所述空间关系确定要呈现的增强对象的程序代码;以及
用于在所述显示器上显示所述增强对象的程序代码。
32.如权利要求31所述的计算机可读介质,其特征在于,所述第一对象和所述第二对象之间的所述空间关系基于所述第一对象和所述第二对象之间的接近度。
33.如权利要求32所述的计算机可读介质,其特征在于,所述第一对象和所述第二对象之间的所述接近度基于所述第一对象和所述第二对象一起在所述图像中的至少诸部分。
34.如权利要求32所述的计算机可读介质,其特征在于,所述用于确定所述第一对象和所述第二对象的接近度的程序代码包括用于确定所述第一对象和所述第二对象之间的距离的程序代码。
35.如权利要求34所述的计算机可读介质,其特征在于,所述用于确定所述第一对象和所述第二对象的接近度的程序代码将所述距离与阈值进行比较以确定所述第一对象和所述第二对象之间的接近度。
36.如权利要求34所述的计算机可读介质,其特征在于,还包括用于确定相对于所述第一对象的第一姿态和相对于所述第二对象的第二姿态的程序代码,其中所述用于确定所述第一对象和所述第二对象之间的所述距离的程序代码使用所述第一姿态和所述第二姿态来确定所述距离。
37.如权利要求34所述的计算机可读介质,其特征在于,所述用于确定所述第一对象和所述第二对象之间的所述距离的程序代码将所述第一对象和所述第二对象中的至少一者的大小与所述第一对象和所述第二对象之间的空间进行比较以确定所述第一对象和所述第二对象之间的所述距离。
38.如权利要求31所述的计算机可读介质,其特征在于,所述第一对象和所述第二对象之间的所述空间关系基于所述第一对象和所述第二对象之间的相对位置。
CN201280015474.2A 2011-01-31 2012-01-31 用于上下文知晓的增强交互的方法及设备 Active CN103443743B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/018,180 US8509483B2 (en) 2011-01-31 2011-01-31 Context aware augmentation interactions
US13/018,180 2011-01-31
PCT/US2012/023381 WO2012106366A2 (en) 2011-01-31 2012-01-31 Context aware augmentation interactions

Publications (2)

Publication Number Publication Date
CN103443743A true CN103443743A (zh) 2013-12-11
CN103443743B CN103443743B (zh) 2016-06-29

Family

ID=45607393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280015474.2A Active CN103443743B (zh) 2011-01-31 2012-01-31 用于上下文知晓的增强交互的方法及设备

Country Status (6)

Country Link
US (1) US8509483B2 (zh)
EP (1) EP2671188B1 (zh)
JP (1) JP5640161B2 (zh)
KR (1) KR101554797B1 (zh)
CN (1) CN103443743B (zh)
WO (1) WO2012106366A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106470741A (zh) * 2014-06-30 2017-03-01 微软技术许可有限责任公司 交互式玩耍套件
CN107851191A (zh) * 2015-07-09 2018-03-27 高通股份有限公司 用于图像中的对象检测的基于上下文的先验
US10369477B2 (en) 2014-10-08 2019-08-06 Microsoft Technology Licensing, Llc Management of resources within a virtual world
CN110119194A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 虚拟场景处理方法、装置、交互系统、头戴显示装置、视觉交互装置及计算机可读介质
US10500497B2 (en) 2014-10-08 2019-12-10 Microsoft Corporation Transfer of attributes between generations of characters
CN111223187A (zh) * 2018-11-23 2020-06-02 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置及系统

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10096161B2 (en) 2010-06-15 2018-10-09 Live Nation Entertainment, Inc. Generating augmented reality images using sensor and location data
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
JP5885398B2 (ja) * 2011-05-20 2016-03-15 キヤノン株式会社 画像処理装置、画像処理方法
US20130050499A1 (en) * 2011-08-30 2013-02-28 Qualcomm Incorporated Indirect tracking
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US20130159196A1 (en) * 2011-12-20 2013-06-20 Ebay, Inc. Secure PIN Verification for Mobile Payment Systems
US9361730B2 (en) 2012-07-26 2016-06-07 Qualcomm Incorporated Interactions of tangible and augmented reality objects
US9530232B2 (en) * 2012-09-04 2016-12-27 Qualcomm Incorporated Augmented reality surface segmentation
US9336508B2 (en) * 2012-11-02 2016-05-10 Patrick Soon-Shiong Virtual planogram management, systems, and methods
US9953618B2 (en) * 2012-11-02 2018-04-24 Qualcomm Incorporated Using a plurality of sensors for mapping and localization
US9159133B2 (en) * 2012-11-05 2015-10-13 Qualcomm Incorporated Adaptive scale and/or gravity estimation
US8880051B2 (en) 2012-11-16 2014-11-04 Intel Corporation Automatic seamless context sharing across multiple devices
US9449340B2 (en) * 2013-01-30 2016-09-20 Wal-Mart Stores, Inc. Method and system for managing an electronic shopping list with gestures
US9910828B2 (en) * 2013-03-12 2018-03-06 Qualcomm Incorporated Spectrometer for personal context
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
US9904852B2 (en) * 2013-05-23 2018-02-27 Sri International Real-time object detection, tracking and occlusion reasoning
KR102105463B1 (ko) 2013-09-02 2020-04-28 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US10217284B2 (en) 2013-09-30 2019-02-26 Qualcomm Incorporated Augmented virtuality
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9298298B2 (en) 2013-12-18 2016-03-29 Microsoft Technology Licensing, Llc Wearable display input system
JP6303550B2 (ja) * 2014-02-03 2018-04-04 ブラザー工業株式会社 表示プログラムおよび表示装置
US9785994B2 (en) 2014-04-10 2017-10-10 Bank Of America Corporation Providing comparison shopping experiences through an optical head-mounted displays in a wearable computer
CN105320931B (zh) 2014-05-26 2019-09-20 京瓷办公信息系统株式会社 物品信息提供装置和物品信息提供系统
JP6076304B2 (ja) * 2014-09-29 2017-02-08 京セラドキュメントソリューションズ株式会社 物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラム
WO2016041088A1 (en) * 2014-09-19 2016-03-24 Sulon Technologies Inc. System and method for tracking wearable peripherals in augmented reality and virtual reality applications
EP3286718A4 (en) 2015-04-23 2018-12-05 Hasbro, Inc. Context-aware digital play
JP2017054185A (ja) * 2015-09-07 2017-03-16 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
US20180349837A1 (en) * 2017-05-19 2018-12-06 Hcl Technologies Limited System and method for inventory management within a warehouse
US10796487B2 (en) 2017-09-27 2020-10-06 Fisher-Rosemount Systems, Inc. 3D mapping of a process control environment
US10467816B2 (en) 2018-03-23 2019-11-05 Microsoft Technology Licensing, Llc Mixed reality objects
CN108932142B (zh) * 2018-04-28 2020-04-03 广州市百果园网络科技有限公司 一种画面捕捉方法及终端
US11244509B2 (en) 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
CN112912937A (zh) * 2018-10-31 2021-06-04 米沃奇电动工具公司 空间感知工具系统
US20220015982A1 (en) * 2018-11-30 2022-01-20 University Of Southern California Double-blinded, randomized trial of augmented reality low-vision mobility and grasp aid
US11804014B1 (en) 2019-04-22 2023-10-31 Apple Inc. Context-based application placement
JP6805375B2 (ja) * 2020-01-10 2020-12-23 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
US11816887B2 (en) 2020-08-04 2023-11-14 Fisher-Rosemount Systems, Inc. Quick activation techniques for industrial augmented reality applications
KR20220027651A (ko) * 2020-08-27 2022-03-08 삼성전자주식회사 증강 현실 컨텐트를 제공하는 전자 장치와 이의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030179218A1 (en) * 2002-03-22 2003-09-25 Martins Fernando C. M. Augmented reality system
WO2004042662A1 (en) * 2002-10-15 2004-05-21 University Of Southern California Augmented virtual environments
GB2399248A (en) * 2003-03-07 2004-09-08 British Broadcasting Corp Projection of supplementary image data onto a studio set
WO2005107274A1 (en) * 2004-04-28 2005-11-10 Augmented Media Aps A system for generating virtual three dimensional projections
CN101369181A (zh) * 2007-08-17 2009-02-18 财团法人工业技术研究院 惯性感测输入控制装置与接收装置及其互动系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000066717A (ja) * 1998-08-21 2000-03-03 Toshiba Corp マンマシン・インタフェース装置
WO2001056007A1 (en) * 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
US6891518B2 (en) 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
US7239752B2 (en) * 2001-10-22 2007-07-03 University Of Southern California Extendable tracking by line auto-calibration
WO2005094109A1 (en) 2004-03-18 2005-10-06 Nokia Corporation Position-based context awareness for mobile terminal device
US7295220B2 (en) 2004-05-28 2007-11-13 National University Of Singapore Interactive system and method
JP4642538B2 (ja) * 2005-04-20 2011-03-02 キヤノン株式会社 画像処理方法および画像処理装置
US8933889B2 (en) 2005-07-29 2015-01-13 Nokia Corporation Method and device for augmented reality message hiding and revealing
KR100900806B1 (ko) 2007-11-01 2009-06-04 광주과학기술원 컨텍스트 인식 증강 현실을 제공하기 위한 시스템 및 방법
JP2010026818A (ja) * 2008-07-18 2010-02-04 Geisha Tokyo Entertainment Inc 画像処理プログラム、画像処理装置及び画像処理方法
US20120120103A1 (en) * 2010-02-28 2012-05-17 Osterhout Group, Inc. Alignment control in an augmented reality headpiece
US8315674B2 (en) * 2010-10-08 2012-11-20 Research In Motion Limited System and method for displaying object location in augmented reality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030179218A1 (en) * 2002-03-22 2003-09-25 Martins Fernando C. M. Augmented reality system
WO2004042662A1 (en) * 2002-10-15 2004-05-21 University Of Southern California Augmented virtual environments
GB2399248A (en) * 2003-03-07 2004-09-08 British Broadcasting Corp Projection of supplementary image data onto a studio set
WO2005107274A1 (en) * 2004-04-28 2005-11-10 Augmented Media Aps A system for generating virtual three dimensional projections
CN101369181A (zh) * 2007-08-17 2009-02-18 财团法人工业技术研究院 惯性感测输入控制装置与接收装置及其互动系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106470741A (zh) * 2014-06-30 2017-03-01 微软技术许可有限责任公司 交互式玩耍套件
US10537821B2 (en) 2014-06-30 2020-01-21 Microsoft Technology Licensing, Llc Interactive play sets
CN106470741B (zh) * 2014-06-30 2020-05-05 微软技术许可有限责任公司 交互式玩耍套件
US10369477B2 (en) 2014-10-08 2019-08-06 Microsoft Technology Licensing, Llc Management of resources within a virtual world
US10500497B2 (en) 2014-10-08 2019-12-10 Microsoft Corporation Transfer of attributes between generations of characters
CN107851191A (zh) * 2015-07-09 2018-03-27 高通股份有限公司 用于图像中的对象检测的基于上下文的先验
CN107851191B (zh) * 2015-07-09 2022-08-26 高通股份有限公司 用于图像中的对象检测的基于上下文的先验
CN110119194A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 虚拟场景处理方法、装置、交互系统、头戴显示装置、视觉交互装置及计算机可读介质
CN111223187A (zh) * 2018-11-23 2020-06-02 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置及系统

Also Published As

Publication number Publication date
KR101554797B1 (ko) 2015-09-21
KR20130116355A (ko) 2013-10-23
CN103443743B (zh) 2016-06-29
WO2012106366A3 (en) 2012-10-26
US20120195460A1 (en) 2012-08-02
JP2014503923A (ja) 2014-02-13
EP2671188B1 (en) 2019-05-22
EP2671188A2 (en) 2013-12-11
JP5640161B2 (ja) 2014-12-10
US8509483B2 (en) 2013-08-13
WO2012106366A2 (en) 2012-08-09

Similar Documents

Publication Publication Date Title
CN103443743B (zh) 用于上下文知晓的增强交互的方法及设备
KR102420857B1 (ko) 동시 로컬화 및 매핑을 위한 시스템 및 방법
KR102166861B1 (ko) 시선 추적을 이용한 증강 현실의 인에이블링
US9576183B2 (en) Fast initialization for monocular visual SLAM
US9591295B2 (en) Approaches for simulating three-dimensional views
US9785836B2 (en) Dataset creation for tracking targets with dynamically changing portions
EP3206163B1 (en) Image processing method, mobile device and method for generating a video image database
CN103270537A (zh) 图像处理设备、图像处理方法和程序
US10165168B2 (en) Model-based classification of ambiguous depth image data
WO2012033768A2 (en) Efficient information presentation for augmented reality
CN103339654A (zh) 使用遮挡来检测并跟踪三维对象
US20140267397A1 (en) In situ creation of planar natural feature targets
US9025823B2 (en) Tracking texture rich objects using rank order filtering
US9230366B1 (en) Identification of dynamic objects based on depth data
US11348320B2 (en) Object identification utilizing paired electronic devices
CN115500083A (zh) 使用神经网络的深度估计
US20170004377A1 (en) Hypotheses line mapping and verification for 3d maps
US11935199B2 (en) Augmented reality depth detection through object recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant