CN103814397A - 用于增强实境环境的基于移动设备的内容映射 - Google Patents
用于增强实境环境的基于移动设备的内容映射 Download PDFInfo
- Publication number
- CN103814397A CN103814397A CN201180036104.2A CN201180036104A CN103814397A CN 103814397 A CN103814397 A CN 103814397A CN 201180036104 A CN201180036104 A CN 201180036104A CN 103814397 A CN103814397 A CN 103814397A
- Authority
- CN
- China
- Prior art keywords
- mobile device
- dimensional feature
- media content
- items
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
提供了促成在增强实境环境中部署媒体内容的方法、装置、和系统。在至少一个实现中,提供了一种方法,包括:提取移动设备的相机视图中捕捉的真实世界物体的三维特征,以及响应于在该移动设备处接收到的用户输入,将媒体内容项的呈现区域附于该三维特征的至少一部分。
Description
背景
1.领域
本文中所公开的主题涉及电子设备,并且尤其涉及在用于移动电子设备的增强实境环境中使用的和/或与用于移动电子设备的增强实境环境联用的方法、装置和系统。
2.信息
移动计算设备(移动设备)给用户提供经由无线通信系统对各种各样信息的访问。作为一种示例,包括例如全球定位系统(GPS)、或其他类似的全球导航卫星系统(GNSS)、无线蜂窝网、和/或无线局域网(诸如Wi-Fi或WiMAX)的定位系统(诸如基于卫星和/或地面的定位系统)可由移动设备用来获得地理定位信息。作为另一示例,使得能够与无线蜂窝网和/或无线局域网(诸如Wi-Fi或WiMAX)联用的移动设备给用户提供对因特网的大量信息资源的访问。移动设备还可使得用户能够探索增强实境环境,增强实境环境提供对物理真实世界环境的实时观看,其与计算机生成的图形内容融合在一起或被计算机生成的图形内容增强。例如,驻留在移动设备上机载的相机可与图形显示器协力使用来给用户呈现关于移动设备的相机视图中所捕捉的感兴趣点的补充信息。此类补充信息可组成覆盖在移动设备的相机视图中所捕捉的真实世界物体上的信息层。
概述
关于在增强实境环境内部署媒体内容的各实现是在移动计算上下文中公开的。在至少一个实现中,提供了一种方法,包括:提取移动设备的相机视图中捕捉的真实世界物体的三维特征,以及响应于在该移动设备处接收到的用户输入,将媒体内容项的呈现区域附于该三维特征的至少一部分。
附图简述
参照以下附图来描述非限定性和非穷尽性方面,其中相同参考标号贯穿各附图指代相同部分,除非指明并非如此。
图1是根据一个实现的示例网络环境的示意框图。
图2是根据一个实现的示例移动设备的示意框图。
图3是根据一个实现的解说用于定义增强实境环境并在该增强实境环境内部署媒体内容的示例过程的流程图。
图4-9示出根据各种实现的示例增强实境环境的图形用户界面。
具体描述
关于增强实境环境的各实现是在移动计算上下文中公开的。经由移动设备可访问的增强实境创作工具使得移动设备用户能够定义增强实境环境并部署媒体内容,诸如包括照片或该增强实境环境内的其他图形元素、视频、动画、文本和音频的图像。由特定移动设备用户部署的媒体内容可由经由其各自的移动设备探索增强实境环境的其他移动设备用户访问。
在移动设备的相机视图中捕捉的真实世界物体(诸如建筑结构或其他合适的感兴趣物体)的三维特征可例如通过应用物体识别技术提取出来以获得这些三维特征的电子表示。此类电子表示可包括从三维特征的相机视图中获得的带有其相关联的描述符的多个(关键)点。进一步,这些电子表示还可例如从预先存在的包含计算机辅助设计(CAD)模型和/或此类真实世界物体的光学扫描的特征库中获得。支持增强实境环境的信息层可由移动设备用户通过应用一个或多个呈现区域和/或激活区域来定义,这一个或多个呈现区域和/或激活区域可被附于所提取三维特征的此类电子表示。
媒体内容项的呈现区域可由用户部署到增强实境环境以用于定义该媒体内容项在该增强实境环境内所呈现的定位(例如,位置和/或取向)的目的。媒体内容项的激活区域可由用户在增强实境环境内部署以用于定义可如何和/或何时响应于用户输入和/或所估计的移动设备位置和/或取向而使能和/或发起在所关联呈现区域处呈现该媒体内容项的条件的目的。这些和其他方面将参照以下书面描述及所关联附图更为详细地描述。
图1是根据一个实现的示例网络环境100的示意框图。网络环境100可包括任何数目的移动设备,诸如举例而言,移动设备120和130。移动设备120和130可经由网络140与服务器系统110无线通信。移动设备120和130可包括任何合适的移动计算平台,包括蜂窝电话、智能电话、个人数字助理、低占空比通信设备、膝上型计算机、便携式媒体播放器设备、个人导航设备、和包括数码相机的便携式电子设备,这里列举了几个示例。进一步,在一些实现中,移动设备120和130可包括可佩带增强实境眼镜(例如,玻璃眼镜),该可佩带增强实境眼镜包括用于显示图形内容的一个或多个透镜,该图形内容诸如在通过此类透镜看得到的真实世界物体上的增强实境信息层。网络环境100可进一步包括可经由网络140与服务器系统110通信的非移动计算平台(诸如计算平台122)。在至少一些实现中,移动设备可被适配成通过藉由有线或无线通信与计算平台122对接(例如,不利用网络140)来通信。
网络140可包括广域网(例如因特网)、局域网(例如内联网)、和/或个域网中的一种或多种。例如,移动设备120和130可通过任何合适的通信协议(包括蜂窝通信协议(诸如CDMA、GSM、或WCDMA)和/或无线局域网(WLAN)协议(诸如Wifi或WiMAX))与服务器系统110无线通信。相应地,在此类实现中,网络140可包括一个或多个无线收发机。网络140的无线收发机还可由移动设备120和130用来获得用于估计移动设备位置的定位信息。
在一些实现中,基于三边测量的办法可由移动设备用来估计地理位置。例如,可使用包括CDMA中的高级前向链路三边测量(AFLT)或GSM中的增强型观测时间差(EOTD)或WCDMA中的观测抵达时间差(OTDOA)的技术,该OTDOA在移动设备处测量从若干个装备有发射机的基站中的每个基站发射的无线信号的相对抵达时间。在另一个示例中,移动设备可通过获得与无线收发机相关联的媒体接入控制(MAC)地址或其他合适标识符并将该MAC地址或标识符与该无线收发机的已知地理位置相关来估计其位置。
移动设备120和130可进一步从定位系统150获得无线定位信号以估计移动设备位置。例如,定位系统150可包括卫星定位系统(SPS)和/或基于地面的定位系统。卫星定位系统可包括例如全球定位系统(GPS)、Galileo(伽利略)、GLONASS(格洛纳斯)、NAVSTAR(导航星)、GNSS、使用来自这些系统的组合的卫星的系统、或者未来开发的任何SPS。如本文中所使用的,SPS还将被理解为包括伪卫星系统。然而,应当理解,这里提供的特定定位技术仅是示例定位技术,并且所要求保护的主题在这方面并不受限定。
服务器系统110可包括一个或多个服务器和/或其他合适的计算平台。相应地,服务器系统110可包括具有数据库114和存储于其上的指令116的存储媒介112。服务器系统110可包括用于执行指令116和/或用于促成在数据库114处存储和检索数据的一个或多个处理器(诸如示例处理器118)。服务器系统110可进一步包括用于促成与网络140的客户端(包括移动设备120和130)和计算平台122进行通信的通信接口160。
为了便于理解所公开的各实现,指令116有时以用于执行特定操作的一个或多个模块的形式描述。作为一个示例,指令116可包括提取移动设备的相机视图中捕捉的真实世界物体的特征的特征提取模块162。作为另一个示例,指令116可包括管理增强实境环境内媒体内容的部署的内容管理模块164。内容管理模块164可包括使得用户(例如人类用户)能够例如经由移动设备(例如移动设备120)或其他合适的计算平台(例如计算平台122)来与该内容管理模块交互的数种工具。在至少一些实现中,内容管理模块164可包括使得用户能够在增强实境环境内部署媒体内容的内容部署工具166;使得用户能够在增强实境环境内创建包括部署在一个或多个位置处的一个或多个媒体内容项的游览(tour)的游览创建工具168、和使得用户能够管理其他用户对该用户已部署的媒体内容的访问权限的权限管理工具170。此类工具可供用户经由移动设备或其他合适的计算平台的输入或输出设备可接入。例如,移动设备的图形显示器处所呈现的图形用户界面(GUI)可使得用户能够通过使用工具166、168、170中的一种或多种来定义包括一个或多个媒体内容项的增强实境环境。
数据114可包括各种各样的数据,包括一个或多个关联项,诸如示例关联项176。关联项176可包括例如至少一个媒体内容项178和其他关联数据元素,包括例如:呈现区域定义180、激活区域定义182、游览定义184、元数据186、和提取特征定义174。数据库114可进一步包括具有真实世界三维特征的一个或多个预先存在的电子表示(诸如示例的预先存在的电子表示194)的特征库192。此类预先存在的电子表示可例如通过应用对真实世界特征的光学和/或声波扫描技术、或通过开发真实世界特征的计算机辅助设计(CAD)模型来创建。
呈现区域定义180可定义媒体内容(例如媒体内容项178)可在增强实境环境内呈现的相对于(例如,如提取特征定义174所表示的)所提取的真实世界物体的特征的定位。呈现区域定义180可由用户经由内容部署工具166来定义。
激活区域定义182可定义媒体内容在(例如,如由呈现区域定义180所定义的)呈现区域处的呈现如何和/或何时可响应于用户输入和/或所估计的移动设备位置和/或取向而被使能和/或发起。激活区域定义182可由用户经由内容部署工具166来定义。例如,用户可利用内容部署工具166来创建定义关联媒体内容项(例如媒体内容项178)的激活区域的激活区域定义182。
游览定义184可定义增强实境环境内的导览(guided tour),其包括一个或多个关联媒体内容项。用户可利用游览创建工具168来创建游览定义184。游览定义184可定义一组任何合适数目个已部署在增强实境环境内的媒体内容项。其他用户可通过经由移动设备的相机视图在增强实境环境内进行探索来访问关联媒体内容项的导览。相应地将领会,数据库114可包括任何合适数目的关联媒体内容项,并且媒体内容项178可包括与如游览定义184所定义的给定游览相关联的多个媒体内容项之一。
元数据186可包括定义用户访问所部署的媒体内容项(诸如关联媒体内容项178)的权限的权限定义188。在一些实现中,用户可使用权限管理工具170来创建关于关联媒体内容项178的权限定义188。作为非限定示例,用户可拒绝选择用户访问特定媒体内容项,或者用户可准予选择用户访问增强实境环境内特定媒体内容项的权限。
元数据186可进一步包括与媒体内容项178相关联的设备状态数据190。设备状态数据190可指示例如当移动设备在捕捉关联媒体内容项时该移动设备的位置和/或取向。在一些实现中,移动设备的位置可被表示为相对于参考基准所测量的一个或多个纬度、经度、和/或海拔高度值。类似地,移动设备的取向可由相对于参考基准所测量的一个或多个侧滚、仰俯、和/或偏航值来表示。举例而言,关于此类取向值的参考基准可被定义为移动设备的相机的视线的轴。此类设备状态数据可以是基于在移动设备处获得的一个或多个定位信号和/或惯性传感器测量的,如将参照图2更详细描述的。
图2是根据一个实现的示例移动设备200的示意框图。移动设备200对于至少一些实现可用作图1的移动设备120和130的非限定示例。相应地,移动设备200可包括促成与其他计算平台(举例而言,诸如图1的服务器系统110、移动设备120、130和/或计算平台122)通信的通信接口228。因此,通信接口228可使得能与包括示例网络140的通信网络进行无线通信。移动设备200可进一步包括从定位系统(诸如举例而言示例定位系统150)接收定位信号的接收机230。
移动设备200可包括接收用户输入的输入设备218。例如,输入设备218可包括一个或多个物理按钮、键盘、控制器、话筒、定点设备、和/或触敏表面。移动设备200可包括向用户呈现信息的输出设备221。作为一个示例,输出设备221可包括呈现图形用户界面224的图形显示器222。图形显示器222可包括任何合适的显示器设备,包括液晶显示器(LCD)、阴极射线管(CRT)显示器、背投影显示器,等等。在至少一些实现中,图形显示器222可包括能够例如经由一个或多个触摸姿势接收用户输入的触敏图形显示器(例如,触摸屏)。触敏图形显示器可利用任何合适的感测技术(例如包括电容式感测、电阻式感测、和/或光学感测技术)以检测显示器表面处或近旁的用户输入。在此类触敏实现中,图形显示器222可以既用作用于接收用户输入的输入设备、又用作用于呈现图形内容的输出设备。在一些实现中,输出设备221可进一步包括用于呈现音频内容的音频扬声器226。
在至少一些实现中,图形用户界面(GUI)224可被呈现在图形显示器222处。GUI224可包括经由相机220获得的相机视图234和信息层236中的一者或多者。信息层236可包括一个或多个所渲染的媒体内容项(诸如所渲染的媒体内容项238)和一个或多个图形控制元素(诸如图形控制元素240)。作为非限定示例,所渲染的媒体内容项238可对应于媒体内容项178的渲染状态,诸如图像、视频、动画、连同其他合适的图形内容或其部分。图形控制元素240可包括用于使得用户能够提供用于控制移动设备的功能性的一个或多个图形化元素。
移动设备200可包括一个或多个惯性传感器232以获得移动设备上机载的惯性传感器测量。在至少一些实现中,惯性传感器232可包括一个或多个加速计、陀螺仪、或者用于测量移动设备的惯性状态的其他合适的设备。在一些实现中,移动设备的惯性状态可由惯性传感器232沿着笛卡尔和/或极坐标系中的多个轴来测量以提供对该移动设备的位置和/或取向的指示。
将领会,从惯性传感器232获得的惯性传感器测量可被处理(例如在时间上积分)来获得此类对移动设备位置和/或取向的估计。如先前所描述的,移动设备的位置可被表示为一个或多个纬度、经度、和/或海拔高度值,并且移动设备的取向可由相对于参考基准测量的一个或多个侧滚、仰俯、和/或偏航值来表示。移动设备200可包括相机220以获得可在图形显示器222处呈现的相机视图234。相机220可包括数码相机,该数码相机在一些实现中具有数个光学元件,包括一个或多个用于聚光的透镜和/或一个或多个用于将光转换成表示图像和/或视频数据的数字信号的光感测元件。作为非限定示例,光感测元件可包括光学拾波器、电荷耦合器件和/或用于将光转换成数字信号的光电器件。从相机的一个或多个光感测元件获得的数字信号可在图形显示器222处被处理和/或渲染为相机视图234。进一步,在一些实现中,经由相机220获得的相机视图可在存储媒介处被存储为图像和/或视频内容。例如,从相机220获得的数字信号可被编码并在存储媒介210处存储为.jpeg、.mpeg、或其他合适的格式。此类表示相机视图的数字信号可被传送至其他计算平台以供存储和/或处理。例如,在移动设备处获得的相机视图可经由通信网络或通过与另一计算平台对接被传送至服务器系统或其他合适的计算平台。
移动设备200可进一步包括具有数据库212和存储于其上的指令214的存储媒介210。移动设备200可包括用于执行指令214和/或促成在数据库212处存储和检索数据的一个或多个处理器(诸如示例处理器216)。数据库212可包括各种各样的数据,包括先前参照图1的数据库114描述的数据元素中的一些或所有数据元素。例如,数据库212可在移动设备200处本地保留关联内容项176和特征库192中的一个或多个,连同其他数据。将领会,此类数据也可被远程保持,例如在此类数据可由移动设备经由无线网络访问的服务器系统(诸如图1的服务器系统110)处。
指令214可类似地包括先前描述的图1的指令116的模块和/或工具中的一个或多个。例如,指令214可包括在移动设备200处本地保持的先前描述的特征提取模块162和内容管理模块164。指令214可进一步包括渲染模块254以促成在图形显示器222处渲染和/或呈现GUI224。指令可进一步包括用于处理经由接收机230获得的定位信号和/或经由惯性传感器232获得的惯性传感器测量的设备状态模块256。例如,设备状态模块256可被适配成至少部分地基于此类定位信号和/或惯性传感器测量来估计移动设备200的位置和/或取向。所估计的移动设备200的位置和/或取向可被存储在数据库212处,例如,如先前参照设备状态数据190所描述的。在至少一些实现中,设备状态模块256可被适配成响应于在移动设备处捕捉到媒体内容项来获得关于该移动设备的设备状态数据。例如,在移动设备200处经由相机220捕捉的图像可使得设备状态模块256估计移动设备在该图像被捕捉时或接近该图像被捕捉时的位置和/或取向。设备状态模块256可被进一步适配成例如在数据库212或数据库114处将设备状态数据与该媒体内容项(例如,作为元数据)相关联。
此外,在至少一些实现中,表示经由相机220获得的相机视图的数字信号可被捕捉为静态图像或动态视频。此类数字信号可由特征提取模块162处理以获得相机视图内捕捉的真实世界特征的电子表示(例如模型)。真实世界特征的此类电子表示在数据库212和/或数据库114处被存储为提取特征定义174,其中该提取特征定义174可与一个或多个媒体内容项(诸如举例而言媒体内容项178)相关联。
将领会,图2的示例移动设备200的至少一些元件可在其他移动或非移动计算平台(诸如图1的计算平台122)中给出以使得此类计算平台能够执行本文中所描述的操作、过程、和方法中的一个或多个。例如,图1的计算平台122可包括含有指令214和/或数据库212的存储媒介(诸如存储媒介210)、一个或多个处理器(诸如处理器216)、一个或多个输入和输出设备、和通信接口(诸如通信接口218)。相应地,本文中例如参照图3描述的操作、过程、和方法中的一个或多个没有必要限定于移动设备。
图3是根据一个实现解说用于定义增强实境环境并在该增强实境环境内部署媒体内容的示例过程300的流程图。作为一个示例,过程300可通过一个或多个处理器在移动设备处本地执行指令和/或在服务器系统或其他合适的计算平台处远程执行指令来执行。相应地,过程300的各种操作可由保持在一个或多个计算平台的存储媒介(诸如举例而言服务器系统110的存储媒介112和/或移动设备200的存储媒介210)中的可执行指令来表示。
简单而言,用于在增强实境环境内部署媒体内容的过程300可包括以下操作中的一个或多个:在操作310处提取移动设备的相机视图中捕捉的真实世界物体的三维特征;在操作320处例如通过在移动设备处捕捉媒体内容项和/或通过从存储媒介检索预先存在的媒体内容项来获得该媒体内容项;在操作330处定义该媒体内容项相对于该三维特征的呈现区域;在操作340处定义该媒体内容项相对于该三维特征的激活区域;以及在操作350处响应于用户输入和/或关于激活区域所估计的移动设备位置而使能和/或发起在呈现区域处对媒体内容项的呈现。
参照操作310,可提取移动设备的相机视图中所捕捉的真实世界物体的三维特征。真实世界物体可包括任何合适的感兴趣物体,例如包括,人造物体(例如,建筑结构、桥梁、道路,等等)和/或自然物体(例如,山脉、树木、河流,等等)。例如,还是参照图4,根据一个实现示出包括示例增强实境环境的相机视图400的GUI。在图4中,真实世界物体(例如建筑结构)的示例三维特征410在相机视图400中被捕捉。
在至少一些实现中,操作310处执行的特征提取过程可包括向移动设备的相机视图中所捕捉的真实世界三维特征应用物体识别技术。举例而言,此类物体识别技术可在移动设备处或远程地在服务器系统或其他合适的计算平台处通过特征提取模块162被应用到该移动设备处获得的样本相机视图上以生成真实世界三维特征的电子表示(例如,关键点和描述符、线,等等)。此类物体识别技术在至少一些实现中可包括标准和/或公知的物体识别技术。此类用于生成关键点和描述符的物体识别技术的非限定示例包括尺度不变特征变换(SIFT)、蕨(ferns)和加速稳健特征(SURF),等等。将领会,所要求保护的主题并不限于本文中所描述的示例物体识别技术。
与从样本相机视图生成的电子表示相比较的真实世界三维特征的参考电子表示可包括该三维特征的预先存在的电子表示(例如,模型、关键点和描述符),或者该参考电子表示可从相机视图被创建为该三维特征的特别(ad hoc)电子表示。此外,真实世界特征可包括二维和/或三维表面。作为一个示例,用于二维真实世界特征的模型可至少部分地从移动设备的单个相机视图中所捕捉的真实世界特征的关键点和检测符、线、形状、或其他视觉元素来创建。作为另一个示例,用于三维真实世界特征的模型可至少部分地从相对于真实世界特征不同的位置和/或取向处获得的两个或两个以上相机视图创建。例如,表示以多个不同角度、取向等捕捉特定特征的多个相机视图的多个二维图像可被用来(例如通过三角测量方法)构造该特征的三维电子表示。作为又一示例,真实世界特征的预先存在的三维电子表示可例如通过向此类特征应用扫描技术来创建。作为非限定示例,光学(例如激光)或声波扫描技术可被应用到真实世界物体(诸如建筑、城市、或地形)以创建这些真实世界物体的预先存在的三维电子表示。作为又一示例,真实世界物体的预先存在的三维电子表示可从计算机辅助设计(CAD)模型来生成。真实世界物体的预先存在的电子表示可在移动设备和/或服务器系统处的存储媒介(例如作为特征库192的一部分)中保持,其可被特征提取模块162访问。
作为非限定示例,预先存在的电子表示(例如预先存在的电子表示194)可包括数据集,该数据集包括代表真实世界物体的三维特征的任何合适数目个数据元素(例如,二维或三维空间中的空间坐标、多维描述符向量)。如从定位信号和/或惯性传感器测量获得的移动设备状态信息(例如,设备状态数据190)还可由特征提取模块用来例如基于所估计的移动设备位置和/或取向从特征库定位并检索潜在相关的预先存在的电子表示。特征提取模块可搜索相关的预先存在的电子表示域来找到匹配或包含该三维特征的特定预先存在的电子表示。相应地,匹配、表示、或包含移动设备的相机视图中所捕捉的三维特征的特定预先存在的电子表示可藉以物体识别办法和/或通过参照移动设备的设备位置和/或取向来标识。例如,从数据库获得的预先存在的电子表示可被用作提取特征定义174以与媒体内容项178相关联。
然而,在三维特征的预先存在的电子表示尚不存在或尚不可由特征提取模块访问的其他示例中,捕捉该三维特征的一个或多个相机视图的电子表示(例如图像文件或视频文件)可由特征提取模块用来创建该三维特征的ad hoc电子表示。再次,该ad hoc电子表示可包括此类真实世界特征的二维模型或三维模型。作为一个示例,真实世界特征的二维模型可至少部分地从用来创作增强实境环境的移动设备的相机视图中所捕捉的真实世界特征的角、线、形状、或其他视觉元素来创建。作为另一个示例,真实世界特征的三维模型可至少部分地从由用来创作增强实境环境的移动设备在相对于此类真实世界特征不同的位置处获得的两个或两个以上相机视图来创建的。
ad hoc电子表示可由特征提取模块添加到特征库并可进一步指示与该三维表示所捕捉自的相机视图相关联的设备状态数据(例如移动设备位置和/或取向)。在此情景下,代替或除了使用该三维特征的预先存在的电子表示之外,该ad hoc电子表示可由特征提取模块用作提取特征定义174。
提取特征定义――不论是从预先存在的电子表示还是从ad hoc电子表示获得――可与要在增强实境环境内部署的媒体内容项相关联,如将参照操作320描述的。提取特征定义可稍后在向(例如其他移动设备的)其他相机视图应用物体识别时被特征提取模块参考以用于呈现媒体内容项的目的,如将参照操作350描述的。
在320处,媒体内容项可通过在移动设备处捕捉该媒体内容项和/或通过从存储媒介检索该媒体内容项来获得。在至少一些实现中,操作320可由内容管理模块164响应于经由内容部署工具166接收到的用户输入(例如用户选择)来执行。如先前所描述的,媒体内容项可包括音频内容(例如录音)和/或视觉内容(例如图像、图形元素、视频、动画、文本内容、三维图形内容、以及其他图形内容等)。作为一个示例,图像或音频内容可经由移动设备的相机(例如相机220)来捕捉。作为另一个示例,文本内容可经由移动设备的适于捕捉文本内容的输入设备(例如键盘)来捕捉。作为又一个示例,音频内容可经由移动设备的适于捕捉音频内容的输入设备(例如话筒)来捕捉。
替换地或附加地,媒体内容项可从驻留在移动设备上机载的(例如数据库212处的)存储媒介或从驻留在另一计算平台(诸如服务器系统)处的(例如数据库114处的)存储媒介获得。在至少一些实现中,移动设备处经由图形显示器呈现的GUI可包括一个或多个图形控制元素以使得用户能够通过(例如经由相机、话筒、或其他输入设备)捕捉媒体内容项或通过从其被保持的存储媒介检索媒体内容项来获得该媒体内容项。还参照图4,例如,描绘了示例GUI,其中当用户将移动设备的相机瞄准现实世界物体(诸如三维特征410)时可经由移动设备的图形显示器实时地呈现相机视图400。然而,在至少一些实现中,相机视图400可被存储为图像或其他合适的数据格式,其稍后可由用户经由另一合适的计算平台来参考或检索。因此,先前在移动设备处捕捉的相机视图(例如相机视图400)可稍后在非移动计算平台(例如计算平台122)处呈现以用于使得能够创作增强实境环境的目的,即使该相机视图并不表示该相机视图中捕捉的真实世界物体的实时视图。在至少一些实现中,图形控制元素420(例如,可选图形按钮或图标)可在GUI处呈现以使得用户能够获得期望媒体内容项。
在330处,可相对于操作310处提取的三维特征来定义操作320处获得的媒体内容项的呈现区域。媒体内容项的呈现区域可由用户部署到增强实境环境以用于定义该媒体内容项在该增强实境环境内呈现的定位的目的。例如,还参照图5,描绘了示例GUI,其中用户相对于三维特征410定义了呈现区域510。在至少一些实现中,操作330可由内容管理模块164响应于经由内容部署工具166接收到的用户输入(例如用户选择)来执行。内容部署工具166可由移动设备用户或另一计算平台的用户用来创建呈现区域定义180,呈现区域定义180定义相对于(如提取特征定义174电子所表示的)所提取三维特征的呈现区域。
在至少一些实现中,媒体内容项相对于三维特征的呈现区域可通过将该呈现区域附于该三维特征的至少一部分和/或通过改变所附的该呈现区域相对于该三维特征的位置和/或取向来定义。在至少一些实现中,媒体内容项的呈现区域可响应于移动设备(例如移动设备120)或其他合适的计算平台(例如计算平台122)处接收到的用户输入而附于三维特征的至少一部分。此类用户输入可在移动设备处经由用户输入设备来接收,例如,通过用户按压物理按钮或通过按压移动设备的触敏图形显示器处的图形按钮或图标。作为非限定示例,用户可利用经由移动设备的触敏图形显示器呈现的GUI处的触摸姿势来通过操纵、移动呈现区域、和/或调整呈现区域的大小来定义呈现区域相对于三维特征的放置。作为另一个示例,再次参照图5,图形控制元素420可被用户选择例如来发起将呈现区域510附于三维特征410上。
在至少一些实现中,呈现区域可包括呈现表面,媒体内容项可在该呈现表面上被呈现于增强实境环境内。例如,图5的呈现区域510包括已被定义使得它基本填充该三维特征的建筑结构的门道的呈现表面。在此类实现中,可通过将呈现区域的呈现表面与例如在操作310处获得的三维特征的电子表示的至少一部分相关联来将该呈现区域附于该三维特征的至少一部分上。
例如,用户可藉由在触摸屏界面或其他合适的输入设备处接收到的一个或多个用户输入通过相对于三维特征操纵呈现区域来将该呈现区域的点或边与例如如520处所指示的该三维特征的点或边相关联。这里,在以上所讨论的具体实现中,此类三维特征可以是描述经由此类触摸屏界面呈现的相机视图中所示的真实世界物体的。作为非限定示例,用户可选择呈现区域的点(例如角、中心点等)或边并选择(例如,如通过物体识别技术应用所识别的)三维特征的点或边以将该呈现区域的点或边与该三维特征的点或边相关联。作为另一个示例,用户可选择呈现区域的点或边并将该呈现区域的所选点或边拖到三维特征的点或边缘以将该呈现区域的所选点或边与该三维特征的点或边相关联。
在一些实现中,用户可选择(例如按压触摸屏界面)并按住呈现区域持续一阈值时间段以唤起一个或多个图标,这一个或多个图标指示或高亮可能与三维特征相关联的呈现区域的点、边、或其他显著特征。类似地,在一些实现中,用户可按住三维特征持续一阈值时间段以唤起一个或多个图标,这一个或多个图标指示或高亮可能与呈现区域相关联的三维特征的点、边、或其他显著特征。例如,内容管理模块可被适配成高亮呈现区域和/或三维特征的此类点、边、或其他显著特征以方便用户以使得用户能够从此类被高亮的特征中进行选择。响应于用户将呈现区域附于三维特征,内容管理模块可被适配成为该呈现区域更新呈现区域定义以反映该呈现区域是如何相对于该三维特征的电子表示定义的。将领会,此类示例是非限定的,并且其他合适的办法也可用来将呈现区域附于从相机视图提取的三维特征。
在一些实现中,所附的呈现区域可响应于一个或多个附加用户输入而由用户通过相对于该三维特征变换、再定位该呈现区域或调整该呈现区域的大小来编辑。此类附加用户输入可包括例如经由移动设备的触敏图形显示器接收到的一个或多个触摸姿势。例如,还参照图6,描绘了示例GUI,其中呈现区域430可响应于如向量620所指示的触摸姿势而相对于三维特征410变换到不同位置610。举例而言,此类触摸姿势可在呈现区域处被接收为拖放操作。在其他示例中,呈现区域可响应于指示旋转该呈现区域的附加用户输入而相对于三维特征旋转。
在至少一些实现中,触摸姿势或其他合适的用户输入可在信息层630接收,其使得用户能够通过相对于三维特征变换、旋转呈现区域、和/或调整呈现区域的大小来编辑该呈现区域。信息层630可包括菜单,该菜单包括任何合适数目个图形控制元素。作为一个示例,图形控制元素632和634可被用户选择来变换呈现区域朝向或远离其目前位置。作为另一个示例,可选择图形控制元素636以绕第一旋转轴旋转呈现区域,和/或可选择图形控制元素638以绕不同于第一旋转轴的第二旋转轴来旋转呈现区域。以此方式,用户可在三维空间中改变呈现区域的位置和/或取向。
在至少一些实现中,可响应于用户经由触摸姿势或其他合适的用户输入选择或按压呈现区域来显示信息层(诸如信息层630)。作为一个示例,响应于用户按住呈现区域处的触摸输入持续一阈值时间段(例如,1.0秒或其他合适的时间段),用户可进入该呈现区域的编辑模式,由此可显示信息层(诸如信息层630)。
还参照图7,描绘了示例GUI,其中呈现区域430可响应于如向量710所指示的附加用户输入而相对于三维特征410被调整大小。此类用于编辑所附呈现表面的附加用户输入可以是经由移动设备的用户输入设备(诸如经由触敏图形显示器或其他合适的用户输入设备)来接收的。例如,用户可通过在移动设备的触敏图形显示器上渲染呈现区域的位置处触摸该呈现区域并将该呈现区域的至少一部分拖到不同位置来改变其位置和/或取向来编辑该呈现区域。
响应于用户通过不论变换、旋转呈现区域、还是调整呈现区域的大小来编辑该呈现区域,内容管理模块可被适配成更新针对该呈现区域的呈现区域定义以反映该呈现区域是如何相对于三维特征的电子表示来定义的而作出的变化。作为非限定示例,在呈现区域由相对于三维特征的坐标系测量的一个或多个点定义的场合,由用户作出的此类编辑可使得这一个或多个点相对于该三维特征的坐标系偏移由一个或多个用户输入所指示的量。对呈现区域定义的更新可由内容管理模块164响应于此类编辑来执行,从而可以用户所期望的位置和/或取向渲染呈现区域。
在一些实现中,内容部署工具166可采用部分自动化的过程以用于将呈现区域附于三维特征。例如,内容部署工具可识别真实世界物体中的某些特征(诸如水平和垂直特征、边、角等)并建议如何放置关于此类真实世界物体的呈现表面。用户可随后通过相对于三维特征编辑呈现表面的位置和/或取向(例如添加空间透视)来调整该呈现表面的初始放置。用户可随后响应于附加用户输入(例如,通过选择GUI的图形控制元素、通过利用触敏图形显示器处的特定触摸姿势(例如双击)、或通过经由用户输入设备来提交附加输入)将呈现表面锁定到相对于三维特征的位置。以此方式,部署于增强实境环境内的媒体内容可被剪裁为适合于该增强实境环境中存在的真实世界物体的特定三维特征。
在一些实现中,呈现区域可包括定义多个呈现表面的三维体。例如,此类三维体可被用来将图形元素、动画等在增强实境环境中呈现为此类元素或动画的三维表示。例如,呈现区域可包括其上可呈现媒体内容的规则三维形状(例如,球体、立方体等)或不规则三维形状(例如,人或动物特性、家具、车辆等)。将领会,包括三维体的呈现区域的位置和取向可以与之前参照呈现表面所描述的类似的方式而变化。
在340处,可相对于操作310处提取的三维特征来定义操作320处获得的媒体内容项的激活区域。媒体内容项的激活区域可由用户在增强实境环境内部署以用于定义可如何响应于用户输入和/或所估计的移动设备位置而使能和/或发起在呈现区域处呈现该媒体内容项的目的。
例如,还参照图8,描绘了示例GUI,其中激活区域810可相对于三维特征410来定义,以使得激活区域至少部分地与呈现区域430重叠。在此具体示例中激活区域810被描绘为可选图形按钮或图标。移动设备用户可利用一个或多个用户输入例如通过选择激活区域810来发起在呈现区域430处对媒体内容项的呈现。在此具体示例中,激活区域810包括可与三维特征410的电子表示相关联的激活表面,如之前参照呈现表面所描述的。
作为另一个示例,激活区域820相对于三维特征410来定义,以使得移动设备用户可通过将移动设备物理移动到激活区域820内来使能和/或发起在呈现表面处对媒体内容项的呈现。例如,激活区域820可被定义为一旦移动设备进入激活区域820内就发起在呈现区域430处对媒体内容项的呈现而无需附加用户输入。在其他示例中,激活区域820可被定义为一旦移动设备进入激活区域820内就使能在呈现区域430处对媒体内容项的呈现。一旦对媒体内容的呈现经使能,用户就可被提示通过提供例如在另一激活区域(诸如激活区域810)处或移动设备的任何合适输入设备处的用户输入来发起对媒体内容项的呈现。
在至少一些实现中,可使用与以上在用于定义呈现区域的操作330处所描述的过程类似的过程来定义激活区域。例如,可通过将媒体内容项的激活区域附于三维特征的至少一部分上和/或通过编辑所附的激活区域相对于三维特征的位置和/或取向来相对于该三维特征定义该激活区域。响应于用户对激活区域进行的附连和/或编辑,内容管理模块可被适配成更新该激活区域的激活区域定义以反映该激活区域是如何相对于三维特征的电子表示定义的。
在至少一些实现中,激活区域可包括可在增强实境环境内呈现的激活表面。在此类实现中,可通过将激活区域的激活表面与例如在操作310处获得的三维特征的电子表示的至少一部分相关联来将该激活区域附于该三维特征的至少一部分上。用户还可改变所附激活区域的位置和/或取向,如之前参照操作330处编辑呈现表面所描述的。
尽管操作310、320、330、和340是在移动设备环境中描述的,将领会一个或多个此类操作可在与移动设备分开的计算平台(例如计算平台122)处执行。在此类实现中,移动设备用户可将移动设备处获得的相机视图上传到不同计算平台以用于执行操作310-340中的一个或多个操作。以此方式,对增强实境环境的创作无需限定于移动设备处执行的操作,而是可以至少部分地在其他计算平台处执行。
在350处,可响应于用户输入和/或关于操作340所定义的激活区域的所估计移动设备位置来使能和/或发起在操作330处所定义的呈现区域处呈现媒体内容项。将领会,向给定用户呈现媒体内容可以与媒体内容项相关联的访问权限为条件。如之前参照操作340所描述的,激活区域可被定义为一旦移动设备被用户携带到该激活区域内就使能对媒体内容的呈现。替换地,激活区域可被定义为一旦移动设备被用户携带到该激活区域内就发起对媒体内容的呈现而无需进一步的用户输入。
进一步,关于操作350,一旦识别出相机视图中捕捉的三维特征,部署于增强实境环境内的呈现表面和/或激活表面就可被呈现在移动设备的相机视图中。例如,在对移动设备处获得的特定相机视图应用物体识别技术时特征提取模块可参考提取特征定义,以用于在该移动设备处呈现与该提取特征定义相关联的一个或多个媒体内容项、呈现区域、和/或激活区域的目的。
此类物体识别技术可再次包括将样本相机视图与一个或多个提取特征定义进行比较,以标识哪个提取特征定义存在于该样本相机视图中。此类物体识别技术通常包括确定潜在空间变换(例如,单应、仿射,或其他)以校正样本相机视图中三维特征与提取特征定义之间的视点差异。一旦标识出关于给定相机视图的有关提取特征定义,内容管理模块就可从数据库检索该提取特征定义的相关联呈现区域、激活区域、媒体内容项、和其他信息,不论该数据库是本地位于移动设备处还是远程位于服务系统或其他计算资源处。
在至少一些实现中,激活区域定义182可定义激活区域,其中如果移动设备进入该激活区域则可发起或使能对相关联媒体内容项178的呈现。例如,该激活区域可定义物理真实世界环境中的特定区域,其中响应于(如移动设备状态所指示的)携带该移动设备的用户在该特定区域内,发起对媒体内容的呈现。例如,将领会,给定移动设备相对于给定激活区域的位置和/或取向可从移动设备机上获得的定位信号和/或惯性传感器测量获得,藉此可响应于由移动设备的状态所指示的位置和/或取向来发起对媒体内容的呈现。
在对媒体内容项的呈现被发起的场合,与激活区域相关联的媒体内容项可被呈现在相关联的呈现区域而无需附加用户输入。相反,在对媒体内容的呈现被使能的场合,与激活区域相关联的媒体内容项可响应于(例如在GUI的图形控制元素处,作为触敏图形显示器处收到的触摸姿势、或作为经由其他合适的用户输入设备收到的用户输入)接收到的附加用户输入而被呈现。
在过程300的一些实现中,可从增强实境环境中略去激活区域。例如,图9示出包括相机视图400和呈现区域910的示例GUI,呈现区域910呈现用于诱使消费者进入由三维特征410定义的特定门道的标记的图形标识(例如,图像)。因此,在此具体实现中,呈现区域910可呈现媒体内容项而无需参考相关联的激活区域。以此方式,用户可通过将移动设备的相机指向真实世界物体并观察GUI的信息层处所呈现的图形内容来探索增强实境环境。例如,当第二移动设备的相机视图正在捕捉附于三维特征的呈现区域时,第二移动设备处对媒体内容项的呈现可被使能或发起。
在一些实现中,本地驻留在移动设备处或远程驻留在服务器系统处的内容管理模块可接收移动设备的位置和/或取向的更新。在此类实现中,在移动设备的位置被标识为在激活区域内、藉以相关联媒体内容可由用户经由移动设备访问的场合,可在移动设备处发起通知。此类通知可包括经由移动设备上机载的触觉反馈设备的移动设备的振动、由移动设备的音频输出设备生成的声音、和/或经由移动设备的图形显示器或发光元件呈现的视觉指示符。以这种方式,用户可被通知存在可供用户经由移动设备探索的近旁增强实境环境。
在以上实现中,用户可被呈现以图形显示器的GUI中的信息层连同经由移动设备的相机获得的相机视图(例如实时相机视图)。关于给定相机视图所呈现的信息层可通过与该相机视图中捕捉的真实世界物体的电子表示相关联的呈现和/或激活区域来定义。此类实现可被类似地应用于包括如由相关联游览定义所定义的任何合适数目个呈现和/或激活区域的导览。此类游览定义可由一个或多个用户例如经由相同移动设备或其他计算平台、或经由两个或多个分开的移动设备和/或其他计算平台创作。
例如,用户可经由游览创建工具168通过将要被部署于增强实境环境中的一个或多个媒体内容项(媒体内容项178)与游览定义(例如游览定义184)相关联来创作导览。一个或多个其他用户还可通过使用游览创建工具168将一个或多个其他媒体内容项与游览定义(例如游览定义184)相关联来帮助创作导览。这样,在一些实现中,两个或更多个用户可帮助创作公共导览。进一步,在一些实现中,用户可利用权限关联工具170来定义关于给定游览的权限定义(例如权限定义188)以包括或排除一个或多个其他用户来合作创作特定导览。例如,用户可排除一个或多个其他用户在创建特定导览上合作,同时向一个或多个其他用户授予准许。
此类导览可由创建游览的用户或由被该用户通过相关联权限定义(例如权限定义188)准予访问的其他用户经由移动设备的GUI在增强实境环境中探索。例如,如果第二用户将移动设备的相机视图指向给定游览的呈现和/或激活区域已被第一用户附于的真实世界物体,则该第二用户可被呈现以与该游览相关联的一个或多个媒体内容项。
在至少一些实现中,游览定义可包括两个或更多个相关联媒体内容项的用户定义的排序列表。在此类实现中,媒体内容项可以该排序列表所定义的次序被呈现在导览上。例如,通过使用导览来探索增强实境环境的用户可经由移动设备的GUI被提示访问任何合适数目个真实世界位置,其中媒体内容项是以由游览定义的排序列表所定义的次序呈现的。进一步,将领会,用户可将至少一些此类媒体内容项部署为视觉标识符,举例而言如之前参照图9的呈现区域910所描述的。此类视觉标识符可用作用于沿着由游览定义所定义的特定游览路线指导用户的标记或其他合适标识符。以这种方式,移动设备用户可在组成信息层的图形内容的辅助下探索他们周围的真实世界环境,该信息层对他们各自的移动设备的相机视图进行了补充。
本文中所描述的位置确定技术可协同诸如无线广域网(WWAN)、无线局域网(WLAN)、无线个域网(WPAN)等各种无线通信网络来实现。术语“网络”和“系统”常被可互换地使用。WWAN可以是码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络,等等。CDMA网络可实现诸如cdma2000、宽带CDMA(W-CDMA)等一种或多种无线电接入技术(RAT)。cdma2000包括IS-95、IS-2000和IS-856标准。TDMA网络可实现全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)、或其他某种RAT。GSM和W-CDMA在来自名为“第三代伙伴项目”(3GPP)的联盟的文献中描述。Cdma2000在来自名为“第三代伙伴项目2”(3GPP2)的联盟的文献中描述。3GPP和3GPP2文献是公众可获取的。WLAN可以是IEEE802.11x网络,并且WPAN可以是蓝牙网络、IEEE802.15x、或其他某种类型的网络。这些技术也可结合WWAN、WLAN和/或WPAN的任何组合来实现。
本文中所描述的方法体系取决于特定应用而可以按不同的方式并且用不同的配置来实现。例如,此类方法体系可在硬件、固件、和/或其组合中连同软件一起来实现。例如,在硬件实现中,处理单元可在一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子设备、设计成执行本文中所描述的功能的其他设备单元、和/或其组合内实现。
本文中所描述的存储媒介可包括主、副、和/或三级存储媒介。主存储媒介可包括诸如举例而言随机存取存储器和/或只读存储器之类的存储器。副存储媒介可包括大容量存储,诸如磁或固态硬盘驱动器。三级存储媒介可包括诸如磁或光盘、磁带、固态存储设备等的可移动存储媒介。在某些实现中,存储媒介或其诸部分可起作用地接纳或能以其他方式配置成耦合至计算机平台的其他组件(诸如处理器)。
在至少一些实现中,本文中所描述的存储媒介的一个或更多个部分可存储表示如由该存储媒介的特定状态来表达的数据和/或信息的信号。例如,可以通过影响或改变存储媒介(例如,存储器)的一部分的状态以将数据和/或信息表示为二进制信息(例如,0和1)的方式来将表示数据和/或信息的电子信号“存储”在存储媒介的此类部分中。由此,在特定实现中,用于存储表示数据和/或信息的信号的存储媒介的该部分的状态改变即构成存储媒介向不同状态或事件的转变。
在以上详细描述中,已阐述了众多具体细节来提供对所要求保护的主题内容的透彻理解。然而,本领域技术人员将理解,所要求保护的主题内容无需这些具体细节也可实践。在其他实例中,未详细描述本领域普通技术人员会知晓的方法和装置,从而不会混淆所要求保护的主题内容。
以上详细描述的一些部分是以对在具体装置或专用计算设备或平台的存储器内存储的二进制数字电子信号所进行操作的算法或符号表示的形式来给出的。在此具体说明书的上下文中,术语具体装置或类似术语包括在一旦被编程时就依照来自程序软件的指令执行特定功能的通用计算机。算法描述或符号表示是信号处理或相关领域普通技术人员用来向该领域其他技术人员传达其工作实质的技术的示例。算法在此并且一般被视为通往期望结果的自相容的操作序列或类似信号处理。在本上下文中,操作或处理涉及对物理量的物理操纵。典型情况下,尽管并非必然,这样的量可采取能作为表示信息的电子信号被存储、转移、组合、比较、或以其他方式操纵的电或磁信号的形式。已证明,主要出于通用的缘故,有时将此类信号称为比特、数据、值、元素、码元、字符、项、数、数值、信息或类似术语是方便的。然而应理解,所有这些或类似术语应与恰适物理量相关联且仅仅是便利性标签。
除非另外明确声明,否则如从以下讨论显而易见的,应当领会,本说明书通篇当中利用诸如“处理”、“计算”、“演算”、“标识”、“确定”、“建立”、“获得”等术语的讨论指的是特定装置的动作或处理,诸如专用计算机或者类似的专用电子运算设备。因此,在本说明书的上下文中,专用计算机或类似专用电子计算设备能够操纵或变换信号,这些信号典型情况下被表示为该专用计算机或类似专用电子计算设备的存储器、寄存器或其他信息存储设备、传输设备、或显示设备内的物理电子或磁量。在此具体专利申请的上下文中,术语“特定装置”可包括在一旦被编程时就依照来自程序软件的指令执行具体功能的通用计算机。
贯穿本说明书对“一个示例”、“一示例”、“某些示例”、或“示例性实现”的引用意味着结合该特征和/或示例描述的特定特征、结构、或特性可被包括在所要求保护的主题内容的至少一个特征和/或示例中。由此,短语在“一个示例中”、“示例”、“在某些示例中”或“在一些实现中”或其他类似短语贯穿本说明书在各处的出现并非必然全部引述同一特征、示例、和/或限制。此外,这些特定特征、结构或特性可在一个或更多个示例和/或特征中加以组合。
虽然已解说和描述了目前认为是示例特征的内容,但是本领域技术人员将理解,可作出其他各种改动并且可换用等效技术方案而不会脱离所要求保护的主题内容。此外,可作出许多改动以使特定境况适应于所要求保护的主题内容的教导而不会脱离本文中所描述的中心思想。因此,所要求保护的主题内容并非旨在被限定于所公开的特定示例,相反,如此要求保护的主题内容还可包括落入所附权利要求及其等效技术方案的范围内的所有方面。
Claims (23)
1.一种方法,包括:
提取移动设备的相机视图中捕捉的真实世界物体的三维特征;以及
响应于在所述移动设备处接收到的用户输入,将媒体内容项的呈现区域附于所述三维特征的至少一部分。
2.如权利要求1所述的方法,其特征在于,提取所述三维特征包括向所述三维特征应用物体识别以获得所述三维特征的电子表示;以及
其中,将所述呈现区域附于所述三维特征的至少一部分包括将所述呈现区域的呈现表面与所述三维特征的所述电子表示相关联。
3.如权利要求2所述的方法,其特征在于,进一步包括:
在所述呈现表面处发起对所述媒体内容项的呈现。
4.如权利要求1所述的方法,其特征在于,进一步包括:
响应于在所述移动设备处接收到的一个或多个附加用户输入,改变所附的呈现表面相对于所述三维特征的位置和/或取向。
5.如权利要求4所述的方法,其特征在于,进一步包括:
在所述移动设备的触敏图形显示器处呈现所述相机视图;以及
当所述相机视图在所述触敏图形显示器处呈现时,经由所述触敏图形显示器接收所述一个或多个附加用户输入以至少部分地定义所附的呈现表面相对于所述三维特征的位置和/或取向。
6.如权利要求1所述的方法,其特征在于,进一步包括:
将所附的呈现表面与所述媒体内容项相关联。
7.如权利要求1所述的方法,其特征在于,进一步包括:
响应于在所述移动设备处接收到的用户输入,将媒体内容项的激活区域附于所述三维特征的至少一部分;以及
响应于在所附的激活区域处接收到的用户选择,使能经由第二移动设备在所述呈现区域处对所述媒体内容项的呈现。
8.如权利要求1所述的方法,其特征在于,进一步包括:
定义所述媒体内容项相对于所提取的三维特征的激活区域;
将所述媒体内容项与激活区域相关联;以及
响应于移动设备进入到所述激活区域内,发起在该移动设备处对所述媒体内容项的呈现。
9.如权利要求1所述的方法,其特征在于,进一步包括:
其中提取所述真实世界物体的所述三维特征包括:在服务器系统处接收经由通信网络来自所述移动设备的所捕捉相机视图;以及
其中所述将所述媒体内容项的所述呈现区域附于所述三维特征的至少一部分包括:在所述服务器系统处经由所述通信网络从所述移动设备接收所述用户输入并响应于在所述服务器系统处接收到所述用户输入而发起将所述媒体内容项的所述呈现区域附于所述三维特征的至少一部分。
10.如权利要求9所述的方法,其特征在于,进一步包括:
在服务器系统处经由通信网络从所述移动设备接收所述移动设备的后续相机视图,所述后续相机视图捕捉所述呈现区域;
通过发起经由所述通信网络从所述服务器系统向所述移动设备传送所述媒体内容项来使能在所述呈现区域对所述媒体内容项的呈现以在所述移动设备的所述后续相机视图中所捕捉的呈现区域呈现所述媒体内容项。
11.如权利要求1所述的方法,其特征在于,进一步包括:
当第二移动设备的相机视图正在捕捉附于所述三维特征的呈现区域时,使能在所述第二移动设备处对所述媒体内容项的呈现。
12.如权利要求11所述的方法,其特征在于,所述使能在所述第二移动设备处对所述媒体内容项的呈现包括:
在服务器设备处经由通信网络从所述第二移动设备接收所述第二移动设备的所述相机视图;以及
发起经由所述通信网络从所述服务器设备向所述第二移动设备传送所述媒体内容项和定义所述第二移动设备的所述相机视图中所述呈现区域的定位的呈现区域定义以在所述第二移动设备的所述相机视图中所捕捉的所述呈现区域处呈现所述媒体内容项。
13.一种装置,包括:
移动设备,包括:
用户输入设备,用于接收用户输入;
相机,用于捕捉相机视图;
图形显示器,用于至少呈现由所述相机捕捉的所述相机视图;以及
处理器,其用指令编程为:
提取所述相机的相机视图中捕捉的真实世界物体的三维特征;以及
响应于在所述移动设备处经由所述用户输入设备接收到的用户输入,将媒体内容项的呈现区域附于所述三维特征的至少一部分。
14.如权利要求13所述的装置,其特征在于,所述处理器进一步用指令编程为:
通过向所述三维特征应用物体识别以获得所述三维特征的电子表示来提取所述三维特征;以及
通过将所述呈现区域的呈现表面与所述三维特征的电子表示相关联来将所述呈现区域附于所述三维特征的至少一部分。
15.如权利要求13所述的装置,其特征在于,所述处理器进一步用指令编程为:
经由所述图形显示器发起在所述呈现区域处对所述媒体内容项的呈现。
16.如权利要求13所述的装置,其特征在于,所述处理器进一步用指令编程为:
响应于所述用户输入设备处接收到的一个或多个附加用户输入,改变所附的呈现表面相对于所述三维特征的位置和/或取向。
17.一种装置,包括:
具有存储于其上的指令的存储介质,所述指令可由计算平台执行以:
经由无线通信网络从移动设备获得相机视图;
提取所述相机视图中捕捉的一个或多个真实世界物体的三维特征;
响应于经由所述无线通信网络从所述移动设备处接收到的用户输入,将媒体内容的呈现区域附于所述三维特征的至少一部分;
将所附的呈现区域与媒体内容项相关联;以及
通过经由所述无线通信网络向另一移动设备传送所述媒体内容来发起在所附的呈现区域处对所述媒体内容的呈现。
18.如权利要求17所述的装置,其特征在于,所述存储介质进一步具有存储于其上可由所述计算平台执行以执行以下操作的指令:
响应于经由所述无线通信网络从所述移动设备处接收到的一个或多个附加用户输入,改变所附的呈现表面相对于所述三维特征的位置和/或取向。
19.如权利要求17所述的装置,其特征在于,所述存储介质进一步具有存储于其上可由所述计算平台执行以执行以下操作的指令:
通过向所述三维特征应用物体识别以获得所述三维特征的电子表示来提取所述三维特征;以及
通过将所述呈现区域的呈现表面与所述三维特征的电子表示相关联来将所述呈现区域关联到所述三维特征的至少一部分。
20.一种设备,包括:
用于提取移动设备的相机视图中捕捉的真实世界物体的三维特征的装置;以及
用于响应于在所述移动设备处接收到的用户输入,将媒体内容项的呈现区域附于所述三维特征的至少一部分的装置。
21.如权利要求20所述的设备,其特征在于,进一步包括:
用于响应于所述移动设备处接收到的一个或多个附加用户输入,改变所附的呈现表面相对于所述三维特征的位置和/或取向的装置。
22.如权利要求20所述的设备,其特征在于,进一步包括:
用于经由所述移动设备的图形显示器发起在所述呈现表面处对所述媒体内容项的呈现的装置。
23.如权利要求20所述的设备,
其特征在于,所述用于提取所述三维特征的装置包括用于向所述三维特征应用物体识别以获得所述三维特征的电子表示的装置;以及
其中,所述用于将所述呈现区域附于所述三维特征的至少一部分的装置包括用于将所述呈现区域的呈现表面与所述三维特征的电子表示相关联的装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/818,014 | 2010-06-17 | ||
US12/818,014 US20110310227A1 (en) | 2010-06-17 | 2010-06-17 | Mobile device based content mapping for augmented reality environment |
PCT/US2011/040969 WO2011160076A2 (en) | 2010-06-17 | 2011-06-17 | Mobile device based content mapping for augmented reality environment |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103814397A true CN103814397A (zh) | 2014-05-21 |
Family
ID=44627433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180036104.2A Pending CN103814397A (zh) | 2010-06-17 | 2011-06-17 | 用于增强实境环境的基于移动设备的内容映射 |
Country Status (13)
Country | Link |
---|---|
US (1) | US20110310227A1 (zh) |
EP (1) | EP2583254B1 (zh) |
JP (2) | JP5766795B2 (zh) |
KR (1) | KR101433305B1 (zh) |
CN (1) | CN103814397A (zh) |
DK (1) | DK2583254T3 (zh) |
ES (1) | ES2791823T3 (zh) |
HU (1) | HUE049025T2 (zh) |
IN (1) | IN2013CN00115A (zh) |
PL (1) | PL2583254T3 (zh) |
PT (1) | PT2583254T (zh) |
SI (1) | SI2583254T1 (zh) |
WO (1) | WO2011160076A2 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107770238A (zh) * | 2016-08-19 | 2018-03-06 | 索尼公司 | 用于基于图像处理进行数据通信的系统和方法 |
CN107924584A (zh) * | 2015-08-20 | 2018-04-17 | 微软技术许可有限责任公司 | 增强现实 |
Families Citing this family (89)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8908995B2 (en) * | 2009-01-12 | 2014-12-09 | Intermec Ip Corp. | Semi-automatic dimensioning with imager on a portable device |
US20110310227A1 (en) * | 2010-06-17 | 2011-12-22 | Qualcomm Incorporated | Mobile device based content mapping for augmented reality environment |
KR101397712B1 (ko) * | 2010-07-27 | 2014-06-27 | 주식회사 팬택 | 증강 현실 객체 인식 가이드 제공 장치 및 방법 |
JP5799521B2 (ja) * | 2011-02-15 | 2015-10-28 | ソニー株式会社 | 情報処理装置、オーサリング方法及びプログラム |
US8793357B2 (en) * | 2011-04-02 | 2014-07-29 | Open Invention Network, Llc | System and method for persisting mobile agents within a mobile region of interest |
US9600933B2 (en) * | 2011-07-01 | 2017-03-21 | Intel Corporation | Mobile augmented reality system |
WO2013023705A1 (en) * | 2011-08-18 | 2013-02-21 | Layar B.V. | Methods and systems for enabling creation of augmented reality content |
JP5765256B2 (ja) * | 2012-02-01 | 2015-08-19 | コニカミノルタ株式会社 | 文書管理装置、エアタグ情報管理システムおよびプログラム |
WO2013116901A1 (en) * | 2012-02-08 | 2013-08-15 | Fairweather Corporation Pty Ltd. | Computing device for facilitating discounting and promotions using augmented reality |
JP6028351B2 (ja) | 2012-03-16 | 2016-11-16 | ソニー株式会社 | 制御装置、電子機器、制御方法、及びプログラム |
US9293118B2 (en) * | 2012-03-30 | 2016-03-22 | Sony Corporation | Client device |
US20130293580A1 (en) | 2012-05-01 | 2013-11-07 | Zambala Lllp | System and method for selecting targets in an augmented reality environment |
US9779546B2 (en) | 2012-05-04 | 2017-10-03 | Intermec Ip Corp. | Volume dimensioning systems and methods |
US9122321B2 (en) * | 2012-05-04 | 2015-09-01 | Microsoft Technology Licensing, Llc | Collaboration environment using see through displays |
US10007858B2 (en) | 2012-05-15 | 2018-06-26 | Honeywell International Inc. | Terminals and methods for dimensioning objects |
US20130326018A1 (en) * | 2012-05-31 | 2013-12-05 | Jung Hee Ryu | Method for Providing Augmented Reality Service, Server and Computer-Readable Recording Medium |
US9135735B2 (en) | 2012-06-26 | 2015-09-15 | Qualcomm Incorporated | Transitioning 3D space information to screen aligned information for video see through augmented reality |
US9361730B2 (en) | 2012-07-26 | 2016-06-07 | Qualcomm Incorporated | Interactions of tangible and augmented reality objects |
US10321127B2 (en) | 2012-08-20 | 2019-06-11 | Intermec Ip Corp. | Volume dimensioning system calibration systems and methods |
US9939259B2 (en) | 2012-10-04 | 2018-04-10 | Hand Held Products, Inc. | Measuring object dimensions using mobile computer |
US20140104413A1 (en) | 2012-10-16 | 2014-04-17 | Hand Held Products, Inc. | Integrated dimensioning and weighing system |
KR101984915B1 (ko) * | 2012-12-03 | 2019-09-03 | 삼성전자주식회사 | 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템 |
US10013531B2 (en) | 2012-12-20 | 2018-07-03 | Accenture Global Services Limited | Context based augmented reality |
US20140198130A1 (en) * | 2013-01-15 | 2014-07-17 | Immersion Corporation | Augmented reality user interface with haptic feedback |
US9679414B2 (en) * | 2013-03-01 | 2017-06-13 | Apple Inc. | Federated mobile device positioning |
US9928652B2 (en) | 2013-03-01 | 2018-03-27 | Apple Inc. | Registration between actual mobile device position and environmental model |
US9080856B2 (en) | 2013-03-13 | 2015-07-14 | Intermec Ip Corp. | Systems and methods for enhancing dimensioning, for example volume dimensioning |
US9361716B1 (en) * | 2013-03-15 | 2016-06-07 | Ca, Inc. | System and method for increasing the system awareness of IT operations personnel with augmented reality |
KR20140129513A (ko) * | 2013-04-30 | 2014-11-07 | 삼성전자주식회사 | 전자 문서의 정보 제공 방법 및 이를 지원하는 전자 장치 |
US10228452B2 (en) | 2013-06-07 | 2019-03-12 | Hand Held Products, Inc. | Method of error correction for 3D imaging device |
KR102158843B1 (ko) | 2013-08-05 | 2020-10-23 | 삼성전자주식회사 | 모바일 디바이스를 이용한 사용자 입력 방법 및 모바일 디바이스 |
US20150185825A1 (en) * | 2013-12-30 | 2015-07-02 | Daqri, Llc | Assigning a virtual user interface to a physical object |
US9106887B1 (en) | 2014-03-13 | 2015-08-11 | Wowza Media Systems, LLC | Adjusting encoding parameters at a mobile device based on a change in available network bandwidth |
US9690370B2 (en) | 2014-05-05 | 2017-06-27 | Immersion Corporation | Systems and methods for viewport-based augmented reality haptic effects |
US9964409B1 (en) * | 2014-05-27 | 2018-05-08 | Apple Inc. | Localized map generation |
US9723109B2 (en) | 2014-05-28 | 2017-08-01 | Alexander Hertel | Platform for constructing and consuming realm and object feature clouds |
US10026226B1 (en) | 2014-06-10 | 2018-07-17 | Ripple Inc | Rendering an augmented reality object |
US12008697B2 (en) | 2014-06-10 | 2024-06-11 | Ripple, Inc. Of Delaware | Dynamic location based digital element |
US9646418B1 (en) * | 2014-06-10 | 2017-05-09 | Ripple Inc | Biasing a rendering location of an augmented reality object |
US10930038B2 (en) | 2014-06-10 | 2021-02-23 | Lab Of Misfits Ar, Inc. | Dynamic location based digital element |
US9619940B1 (en) | 2014-06-10 | 2017-04-11 | Ripple Inc | Spatial filtering trace location |
US9823059B2 (en) | 2014-08-06 | 2017-11-21 | Hand Held Products, Inc. | Dimensioning system with guided alignment |
US9779276B2 (en) | 2014-10-10 | 2017-10-03 | Hand Held Products, Inc. | Depth sensor based auto-focus system for an indicia scanner |
US10810715B2 (en) | 2014-10-10 | 2020-10-20 | Hand Held Products, Inc | System and method for picking validation |
US10775165B2 (en) | 2014-10-10 | 2020-09-15 | Hand Held Products, Inc. | Methods for improving the accuracy of dimensioning-system measurements |
US10060729B2 (en) | 2014-10-21 | 2018-08-28 | Hand Held Products, Inc. | Handheld dimensioner with data-quality indication |
US9762793B2 (en) | 2014-10-21 | 2017-09-12 | Hand Held Products, Inc. | System and method for dimensioning |
US9752864B2 (en) | 2014-10-21 | 2017-09-05 | Hand Held Products, Inc. | Handheld dimensioning system with feedback |
US9897434B2 (en) | 2014-10-21 | 2018-02-20 | Hand Held Products, Inc. | Handheld dimensioning system with measurement-conformance feedback |
US10475239B1 (en) * | 2015-04-14 | 2019-11-12 | ETAK Systems, LLC | Systems and methods for obtaining accurate 3D modeling data with a multiple camera apparatus |
US9786101B2 (en) | 2015-05-19 | 2017-10-10 | Hand Held Products, Inc. | Evaluating image values |
US10066982B2 (en) | 2015-06-16 | 2018-09-04 | Hand Held Products, Inc. | Calibrating a volume dimensioner |
US20160377414A1 (en) | 2015-06-23 | 2016-12-29 | Hand Held Products, Inc. | Optical pattern projector |
US9857167B2 (en) | 2015-06-23 | 2018-01-02 | Hand Held Products, Inc. | Dual-projector three-dimensional scanner |
US9835486B2 (en) | 2015-07-07 | 2017-12-05 | Hand Held Products, Inc. | Mobile dimensioner apparatus for use in commerce |
EP3396313B1 (en) * | 2015-07-15 | 2020-10-21 | Hand Held Products, Inc. | Mobile dimensioning method and device with dynamic accuracy compatible with nist standard |
US20170017301A1 (en) | 2015-07-16 | 2017-01-19 | Hand Held Products, Inc. | Adjusting dimensioning results using augmented reality |
US10094650B2 (en) | 2015-07-16 | 2018-10-09 | Hand Held Products, Inc. | Dimensioning and imaging items |
US10235808B2 (en) | 2015-08-20 | 2019-03-19 | Microsoft Technology Licensing, Llc | Communication system |
EP3345184A1 (en) * | 2015-09-02 | 2018-07-11 | THOMSON Licensing | Method, apparatus and system for facilitating navigation in an extended scene |
CN107924495A (zh) * | 2015-09-02 | 2018-04-17 | 因温特奥股份公司 | 使用移动装置维护建筑物内的运输设备 |
US10249030B2 (en) | 2015-10-30 | 2019-04-02 | Hand Held Products, Inc. | Image transformation for indicia reading |
US10225544B2 (en) | 2015-11-19 | 2019-03-05 | Hand Held Products, Inc. | High resolution dot pattern |
US10025314B2 (en) | 2016-01-27 | 2018-07-17 | Hand Held Products, Inc. | Vehicle positioning and object avoidance |
US10120437B2 (en) * | 2016-01-29 | 2018-11-06 | Rovi Guides, Inc. | Methods and systems for associating input schemes with physical world objects |
JP6304305B2 (ja) * | 2016-05-25 | 2018-04-04 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
US11468111B2 (en) | 2016-06-01 | 2022-10-11 | Microsoft Technology Licensing, Llc | Online perspective search for 3D components |
US10339352B2 (en) | 2016-06-03 | 2019-07-02 | Hand Held Products, Inc. | Wearable metrological apparatus |
US9940721B2 (en) | 2016-06-10 | 2018-04-10 | Hand Held Products, Inc. | Scene change detection in a dimensioner |
US10163216B2 (en) | 2016-06-15 | 2018-12-25 | Hand Held Products, Inc. | Automatic mode switching in a volume dimensioner |
US10909708B2 (en) | 2016-12-09 | 2021-02-02 | Hand Held Products, Inc. | Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements |
EP3577632A4 (en) | 2017-03-09 | 2020-07-22 | Samsung Electronics Co., Ltd. | SYSTEM AND METHOD FOR IMPROVING THE EXTENDED REALITY EXPERIENCE ON USER DEVICES BASED ON INTERNAL CONTENT |
KR102000960B1 (ko) * | 2017-03-20 | 2019-07-18 | ㈜라이커스게임 | 벡터를 이용한 증강 현실 영상 구현 방법 |
US11047672B2 (en) | 2017-03-28 | 2021-06-29 | Hand Held Products, Inc. | System for optically dimensioning |
IT201700058961A1 (it) | 2017-05-30 | 2018-11-30 | Artglass S R L | Metodo e sistema di fruizione di un contenuto editoriale in un sito preferibilmente culturale o artistico o paesaggistico o naturalistico o fieristico o espositivo |
US11175516B1 (en) * | 2018-02-27 | 2021-11-16 | Snap Inc. | Object recognition for improving interfaces on an eyewear device and other wearable and mobile devices |
JP7209474B2 (ja) * | 2018-03-30 | 2023-01-20 | 株式会社スクウェア・エニックス | 情報処理プログラム、情報処理方法及び情報処理システム |
US10584962B2 (en) | 2018-05-01 | 2020-03-10 | Hand Held Products, Inc | System and method for validating physical-item security |
US10922895B2 (en) | 2018-05-04 | 2021-02-16 | Microsoft Technology Licensing, Llc | Projection of content libraries in three-dimensional environment |
US10349059B1 (en) | 2018-07-17 | 2019-07-09 | Wowza Media Systems, LLC | Adjusting encoding frame size based on available network bandwidth |
KR102181499B1 (ko) * | 2019-03-14 | 2020-11-23 | 주식회사 듀코젠 | 양손 입력을 지원하는 vr 콘텐츠 저작 방법 및 시스템 |
US10963140B2 (en) * | 2019-04-12 | 2021-03-30 | John William Marr | Augmented reality experience creation via tapping virtual surfaces in augmented reality |
US11430168B2 (en) * | 2019-08-16 | 2022-08-30 | Samsung Electronics Co., Ltd. | Method and apparatus for rigging 3D scanned human models |
KR102659324B1 (ko) * | 2019-09-25 | 2024-04-22 | 누들 테크놀로지 인코포레이티드 | 무선 라디오들을 이용하여 신호들을 캡처하는 것에 의한 현실 증강 |
US11195020B1 (en) * | 2019-10-29 | 2021-12-07 | Facebook Technologies, Llc | Systems and methods for maintaining virtual spaces |
JP2023504369A (ja) | 2019-12-06 | 2023-02-03 | マジック リープ, インコーポレイテッド | 動的ブラウザステージ |
US11137976B1 (en) | 2020-09-11 | 2021-10-05 | Google Llc | Immersive audio tours |
CN117940964A (zh) * | 2021-09-01 | 2024-04-26 | 斯纳普公司 | 手工制作的增强现实体验 |
US11880942B2 (en) * | 2021-12-07 | 2024-01-23 | Verizon Patent And Licensing Inc. | Systems and methods for using a location-based field of view associated with a virtual location marker |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6898307B1 (en) * | 1999-09-22 | 2005-05-24 | Xerox Corporation | Object identification method and system for an augmented-reality display |
US20090079700A1 (en) * | 2007-09-24 | 2009-03-26 | Microsoft Corporation | One-touch rotation of virtual objects in virtual workspace |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4298407B2 (ja) * | 2002-09-30 | 2009-07-22 | キヤノン株式会社 | 映像合成装置及び映像合成方法 |
JP4253567B2 (ja) * | 2003-03-28 | 2009-04-15 | オリンパス株式会社 | データオーサリング処理装置 |
JP4589343B2 (ja) * | 2004-02-13 | 2010-12-01 | エンビジョンアイティー・エルエルシー | 公共サービスメッセージの放送システム及び方法 |
FR2887057B1 (fr) * | 2005-06-08 | 2007-12-21 | Decopole Sa | Procede et systeme d'elaboration de caracteristiques geometriques d'une image encodee numeriquement |
US7577522B2 (en) * | 2005-12-05 | 2009-08-18 | Outland Research, Llc | Spatially associated personal reminder system and method |
KR100677502B1 (ko) * | 2006-01-13 | 2007-02-02 | 엘지전자 주식회사 | 이동통신 단말기에서의 증강현실기반의 메시지 작성 방법및 그 이동통신 단말기 |
US20080221989A1 (en) * | 2007-03-09 | 2008-09-11 | Samsung Electronics Co., Ltd. | Method and system for providing sponsored content on an electronic device |
US7636574B2 (en) * | 2006-05-19 | 2009-12-22 | Alcatel-Lucent | Auctioning of message delivery opportunities in a location-based services system |
US7784461B2 (en) * | 2006-09-26 | 2010-08-31 | Nellcor Puritan Bennett Llc | Three-dimensional waveform display for a breathing assistance system |
US20090161963A1 (en) * | 2007-12-20 | 2009-06-25 | Nokia Corporation | Method. apparatus and computer program product for utilizing real-world affordances of objects in audio-visual media data to determine interactions with the annotations to the objects |
US20110001758A1 (en) * | 2008-02-13 | 2011-01-06 | Tal Chalozin | Apparatus and method for manipulating an object inserted to video content |
US8314779B2 (en) * | 2009-02-23 | 2012-11-20 | Solomon Systech Limited | Method and apparatus for operating a touch panel |
US9014685B2 (en) * | 2009-06-12 | 2015-04-21 | Microsoft Technology Licensing, Llc | Mobile device which automatically determines operating mode |
US9118428B2 (en) * | 2009-11-04 | 2015-08-25 | At&T Intellectual Property I, L.P. | Geographic advertising using a scalable wireless geocast protocol |
US8400548B2 (en) * | 2010-01-05 | 2013-03-19 | Apple Inc. | Synchronized, interactive augmented reality displays for multifunction devices |
US8903798B2 (en) * | 2010-05-28 | 2014-12-02 | Microsoft Corporation | Real-time annotation and enrichment of captured video |
US20110310227A1 (en) * | 2010-06-17 | 2011-12-22 | Qualcomm Incorporated | Mobile device based content mapping for augmented reality environment |
-
2010
- 2010-06-17 US US12/818,014 patent/US20110310227A1/en not_active Abandoned
-
2011
- 2011-06-17 DK DK11727622.0T patent/DK2583254T3/da active
- 2011-06-17 ES ES11727622T patent/ES2791823T3/es active Active
- 2011-06-17 JP JP2013515565A patent/JP5766795B2/ja active Active
- 2011-06-17 WO PCT/US2011/040969 patent/WO2011160076A2/en active Application Filing
- 2011-06-17 PT PT117276220T patent/PT2583254T/pt unknown
- 2011-06-17 PL PL11727622T patent/PL2583254T3/pl unknown
- 2011-06-17 SI SI201131879T patent/SI2583254T1/sl unknown
- 2011-06-17 HU HUE11727622A patent/HUE049025T2/hu unknown
- 2011-06-17 CN CN201180036104.2A patent/CN103814397A/zh active Pending
- 2011-06-17 IN IN115CHN2013 patent/IN2013CN00115A/en unknown
- 2011-06-17 KR KR1020137001167A patent/KR101433305B1/ko active IP Right Grant
- 2011-06-17 EP EP11727622.0A patent/EP2583254B1/en active Active
-
2015
- 2015-03-10 JP JP2015046977A patent/JP2015144007A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6898307B1 (en) * | 1999-09-22 | 2005-05-24 | Xerox Corporation | Object identification method and system for an augmented-reality display |
US20090079700A1 (en) * | 2007-09-24 | 2009-03-26 | Microsoft Corporation | One-touch rotation of virtual objects in virtual workspace |
Non-Patent Citations (2)
Title |
---|
GABRIEL TAKACS, ETAL: "Outdoors Augmented Reality on Mobile Phone using Loxel-Based Visual Feature Organization", 《MIR ’08 PROCEEDINGS OF THE 1ST ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA INFORMATION》 * |
GABRIEL TAKACS, ETAL: "Outdoors Augmented Reality on Mobile Phone using Loxel-Based Visual Feature Organization", 《MIR ’08 PROCEEDINGS OF THE 1ST ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA INFORMATION》, 31 October 2008 (2008-10-31) * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107924584A (zh) * | 2015-08-20 | 2018-04-17 | 微软技术许可有限责任公司 | 增强现实 |
CN107924584B (zh) * | 2015-08-20 | 2021-06-08 | 微软技术许可有限责任公司 | 增强现实 |
CN107770238A (zh) * | 2016-08-19 | 2018-03-06 | 索尼公司 | 用于基于图像处理进行数据通信的系统和方法 |
CN107770238B (zh) * | 2016-08-19 | 2021-01-29 | 索尼公司 | 用于基于图像处理进行数据通信的系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2011160076A3 (en) | 2013-06-27 |
EP2583254B1 (en) | 2020-02-12 |
DK2583254T3 (da) | 2020-04-14 |
JP5766795B2 (ja) | 2015-08-19 |
HUE049025T2 (hu) | 2020-08-28 |
JP2013538377A (ja) | 2013-10-10 |
JP2015144007A (ja) | 2015-08-06 |
PT2583254T (pt) | 2020-05-15 |
IN2013CN00115A (zh) | 2015-07-03 |
ES2791823T3 (es) | 2020-11-06 |
US20110310227A1 (en) | 2011-12-22 |
KR20130029800A (ko) | 2013-03-25 |
EP2583254A2 (en) | 2013-04-24 |
SI2583254T1 (sl) | 2020-07-31 |
WO2011160076A2 (en) | 2011-12-22 |
KR101433305B1 (ko) | 2014-08-22 |
PL2583254T3 (pl) | 2020-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103814397A (zh) | 用于增强实境环境的基于移动设备的内容映射 | |
US8890896B1 (en) | Image recognition in an augmented reality application | |
US9858726B2 (en) | Range of focus in an augmented reality application | |
CN104335268B (zh) | 用于为地图视图改变提供三维过渡动画的方法、系统和装置 | |
JP6208654B2 (ja) | 関心地点情報をプッシュするための方法及びシステム | |
US9699375B2 (en) | Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system | |
US8543917B2 (en) | Method and apparatus for presenting a first-person world view of content | |
US11922588B2 (en) | Cooperative augmented reality map interface | |
US20130120450A1 (en) | Method and apparatus for providing augmented reality tour platform service inside building by using wireless communication device | |
JP2011527004A (ja) | ナビゲータとしてのモバイルイメージング装置 | |
CN104380346A (zh) | 针对视频透视扩增现实将3d空间信息转变为屏幕对准信息 | |
KR101568741B1 (ko) | 모바일 증강현실 기반의 정보 제공 시스템 | |
Aydın et al. | ARCAMA-3D–a context-aware augmented reality mobile platform for environmental discovery | |
Yin et al. | Touch2Query enabled mobile devices: a case study using OpenStreetMap and iPhone | |
Yin | Mobile 2D and 3D Spatial Query Techniques for the Geospatial Web | |
US9196151B2 (en) | Encoding location-based reminders | |
Nowostawski et al. | A Virtual Spatiotemporal Annotation System: The Virtual Stickies Mobile Augmented Reality Study |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140521 |