CN103765410B - 基于干涉的增强现实托管平台 - Google Patents

基于干涉的增强现实托管平台 Download PDF

Info

Publication number
CN103765410B
CN103765410B CN201280027652.3A CN201280027652A CN103765410B CN 103765410 B CN103765410 B CN 103765410B CN 201280027652 A CN201280027652 A CN 201280027652A CN 103765410 B CN103765410 B CN 103765410B
Authority
CN
China
Prior art keywords
context
augmented reality
interference
scene
hosted platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280027652.3A
Other languages
English (en)
Other versions
CN103765410A (zh
Inventor
P.苏恩-雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nant Holdings IP LLC
Original Assignee
Nant Holdings IP LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46965754&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN103765410(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nant Holdings IP LLC filed Critical Nant Holdings IP LLC
Priority to CN201710063195.8A priority Critical patent/CN107066517B/zh
Publication of CN103765410A publication Critical patent/CN103765410A/zh
Application granted granted Critical
Publication of CN103765410B publication Critical patent/CN103765410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/016Exploded view

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出了基于干涉的增强现实托管平台。托管平台可以包括能够分析场景的数字表示以导出该场景的各元素之间的干涉的联网节点。托管平台利用干涉来调整增强现实体验内增强现实对象的存在。场景的元素可以发生相长干涉,从而加强增强现实对象的存在;或者发生相消干涉,从而抑制增强现实对象的存在。

Description

基于干涉的增强现实托管平台
本申请要求保护2011年6月30日提交的序列号为13/173,244的美国专利申请的优先权的权益,该美国专利申请要求2011年4月8日提交的序列号为61/473,324的美国临时专利申请的优先权。该申请以及这里所讨论的所有其他外在材料以其整体通过引用并入本文。在所合并的参考文献中术语的定义或使用与这里所提供的该术语的定义不一致或相反的情况下,这里所提供的该术语的定义适用且参考文献中该术语的定义不适用。
技术领域
本发明的领域是增强现实(augmented reality)技术。
背景技术
增强现实表示虚拟对象与现实世界元素并存的呈现。个体会根据由现实设计者定义的规则来体验增强现实或者与增强现实进行交互。个体经由蜂窝电话、移动计算平台或其他有AR能力的设备来开发增强现实内容。增强现实继续迅速侵入到每天的生活,同时增强现实内容的量继续以惊人的速度增长。个体容易被可用增强现实内容的增长的过量所压倒。
考虑一个增强现实服务BUMP.com。如2011年3月10日公布的名称为“License toPry”的Wall Street JournalTM网络文章(参见URL blogs.wsj.com/digits/2011/03/10/a-license-to-pry)中所描述,BUMP.com提供了对绑定到个体牌照的评注的访问。BUMP.com允许个体将牌照的图像发送到BUMP.com服务。该服务进而尝试识别该牌照并返回其他人针对该相同牌照而留下的评注。系统的用户需要专用的应用来与内容交互。BUMP.com仅支持经由它们的应用来提供对它们的可用内容的访问。
荷兰阿姆斯特丹的LayarTM(参见URL www.layer.com)通过提供对多个增强现实层的访问来在呈现增强现实的方面取得更多进步,其中每个层与其他层不同或分离。用户可以选择在其中由一个或多个第三方开发者公布层的那一层。即使Layar提供了允许用户选择由多个第三方提供的内容的应用,也需要用户经由Layar应用来选取层。此外,向用户呈现单用途内容而不是像一个人可能体验现实世界那么自然地体验增强现实。在永远存在增强现实的即将到来的世界中,用户应当能够像他们可能与现实世界元素交互那么自然地无缝访问增强现实内容或与增强现实内容进行交互。
在刚刚过去的几年中已经做出了关于创建用户和增强现实环境之间的无缝整合的一些进展。例如,Gopalakrishnan在2005年8月30日提交的名称为“Method and Systemfor Providing Information Service Relevant to Visual Imagery”的美国专利申请公开2006/0047704讨论基于上下文针对增强现实体验呈现嵌入式信息服务。又一示例包括Bathiche等人在2007年12月28日提交的名称为“Augment Reality and Filtering”的美国专利申请公开2009/0167787,其在基于上下文提供加强用户体验方面提出了更深入的见解。Bethiche讨论了虚拟能力可以点缀有可基于上下文对虚拟数据进行过滤、分级、修改或忽视的现实世界情况。以类似的风格,Dougherty在2009年4月1日提交的名称为“AugmentedReality Cloud Computing”的美国专利申请公开2010/0257252也描述了提供被看作与用户的周围环境有关的覆盖信息。尽管对基于上下文针对用户提供丰富体验来说有用,但是用户仍必须与专用增强现实系统交互。Räsänen等人在2008年3月4日提交的名称为“Location-Based Novelty Index Value and Recommendation System and Method”的美国专利7,529,639描述了使用位置和所推断的上下文来为用户生成推荐。上面的参考文献还未能认识到环境或场景内的对象会彼此干涉从而产生增强现实体验。
从呈现增强现实上下文的角度来看,在某种程度上,Reisman在2003年5月8日提交的名称为“Method and Apparatus for Browsing Using Multiple Coordinated DeviceSets”的美国专利7,899,915认识到多个设备可以被用户利用。Reisman的方法允许用户在与超媒体交互时在显示或呈现设备之间切换。不幸的是,Reisman仅仅处理富媒体交互的用户侧并且未能认识到用户的体验也受潜在专用增强现实基础设施或场景的各元素之间的干涉影响。
Taylor在2008年3月31日提交的名称为“Data Transmission Protocol andVisual Display for a Networked Computer System”的美国专利7,904,577通过支持多个播放器的协议来为虚拟现实游戏提供一些支持。甚至进一步,Sung在2010年6月9日提交的名称为“Virtual World Simulation Systems and Methods Utilizing ParallelCoprocessors, and Computer Program Products Thereof”的美国专利7,908,462预期托管对图形处理器的并行处理阵列或现场可编程门阵列的虚拟工作。尽管集中于提供基础设施,但是所预期的基础设施仍需要用户与专用增强现实系统进行交互。
这里讨论的这些和所有其他外在材料以其整体通过引用并入本文。在所合并的参考文献中术语的定义或使用与这里所提供的该术语的定义不一致或相反的情况下,这里所提供的该术语的定义适用且参考文献中该术语的定义不适用。
除非上下文指示相反含义,这里所阐述的所有范围应当被解释为包括它们的端点,并且开放式范围应当被解释为包括商业上实际值。类似地,值的所有列表应当被看作包括中间值,除非上下文指示相反含义。
奇怪地是,用于提供增强现实内容的已知方法将增强现实平台视为每个公司开发其自身的托管基础设施以给用户提供增强现实服务的虚拟世界或对象的筒仓(silo)。这样的方法未能允许个体像从建筑物中的一个房间移动到另一个那么自然地从一个增强现实无缝地移动到另一个。此外,现有的基础设施未能以基础设施竞争方式将增强现实对象视为不同的可管理对象,其中,增强现实基础设施还可以是普遍的公用事业。例如,在已开发的世界中,电是普遍存在的,或者更适当地,互联网连通性是普遍存在的。增强现实将受益于类似处理。
在个体以无缝的方式与增强现实交互的普遍存在的增强现实或关联的增强现实对象的世界中,个体仍需要相关增强现实内容的呈现,尤其在增强现实的特征(现实或虚拟)可能彼此干涉时。如前面关于基于上下文呈现信息的参考文献所讨论,相同的参考文献未能解决增强现实或参与增强现实体验的元素(现实或虚拟)之间的干涉。令人感兴趣的是,已知技术试图通过简单地迫使个体选择要经历哪些特征来避免增强现实的元素之间的干涉。该已知技术未能认识到基于元素的性质或属性可能发生各元素之间的干涉。干涉不仅仅是过滤机制。干涉表示场景中目前元素或相关元素之间的周围相互作用,该周围相互作用通过相长或相消干涉而产生增强现实体验。
还没有认识到的是,一个或多个增强现实可以由公共托管基础设施(例如联网基础设施自身)来托管,或者增强现实对象可以与托管平台不同。例如,如下文所讨论,申请人已经认识到,联网构造内的联网节点可以将增强现实对象或其他虚拟构造提供给边缘的有AR能力的设备(例如蜂窝电话、信息亭(kiosk)、平板计算机、车辆等等)边缘化。由于边缘设备或者就此而言其他设备通过交换数据来与联网构造交互,因此该构造可以基于从所观察到的现实世界元素导出的上下文来确定对于该设备而言哪些增强现实对象最相关或者甚至哪个增强现实自身最相关。增强现实上下文现在可以用于确定场景(与个体有关的位置)中的元素可以如何彼此干涉从而产生相关的增强现实体验。
因此,仍存在对基于干涉的增强现实平台的需要。
发明内容
本发明主题提供了下述装置、系统和方法:在其中,可以利用增强现实(AR)托管平台以基于场景的数字表示的元素之间的干涉产生增强现实体验。本发明主题的一个方面包括AR托管平台。预期的托管平台包括移动设备接口,通过该移动设备接口,平台可以获得可能处于移动设备(例如蜂窝电话、车辆、平板计算机、PDA、有AR能力的设备等等)本地的场景的数字表示。数字表示可以包括表示该场景的一个或多个元素的数据。在一些实施例中,该数据包括由移动设备、接近该场景的其他感测设备或能够捕获与该场景有关的数据的设备捕获的传感器数据。该平台还可以包括对象识别引擎,其与移动设备接口进行通信并能够分析数字表示以将场景的一个或多个元素识别为一个或多个目标对象。对象识别引擎还可以基于数字表示且关于目标对象确定与该场景有关的上下文。此外,该引擎可以基于各元素(例如现实世界元素、虚拟元素等等)之间的所导出的干涉来从关于上下文的可用AR对象标识相关AR对象的集合。在更优选实施例中,所导出的干涉形成准则,通过该准则,经由移动设备将AR体验呈现给个体。对象识别引擎还可以配置一个或多个远程设备以便根据所导出的干涉允许与相关AR对象的集合的成员对象的交互。在尤其优选的实施例中,该交互包括参与与商务引擎的商业交易。例如,个体可以购买该成员对象或者甚至在增强现实内参与的现实世界对象。
从优选实施例的以下详细描述连同附图,本发明主题的各种目的、特征、方面和优点将变得更加显而易见,在附图中,相似的数字表示相似的部件。
附图说明
图1是增强现实生态系统的示意图。
图2是增强现实托管平台的示意图。
图3图示了导出场景中各元素之间的干涉的更详细视图。
图4提供了基于相长或相消干涉呈现增强现实对象的示例。
图5是基于包括多个参与者的上下文内的干涉来与相关增强现实对象进行交互的使用情况的总览。
图6是基于留言板的上下文内的干涉来与相关增强现实对象进行交互的使用情况的总览。
具体实施方式
应当指出,尽管下面的描述被绘制为基于计算机/服务器的增强现实平台,但是各种可替换配置也被视为适合的并可以采用各种计算设备(包括服务器、接口、系统、数据库、代理、对等端、引擎、控制器或者单独或共同地进行操作的其他类型的计算设备)。应当认识到,该计算设备包括被配置成执行存储在有形非瞬变计算机可读存储介质(例如硬盘驱动器、固态驱动器、RAM、闪存、ROM等等)上的软件指令的处理器。该软件指令优选地将计算设备配置成提供角色、责任或其他功能,如下面关于所公开的装置所讨论的那样。在尤其优选的实施例中,各种服务器、系统、数据库或接口使用标准化协议或算法、可能基于HTTP、HTTPS、AES、公共-私有密钥交换、网络服务API、已知的财务交易协议或其他电子信息交换方法来交换数据。优选地通过分组交换网、互联网、LAN、WAN、VPN或其他类型的分组交换网来进行数据交换。
应当认识到,所公开的技术提供了许多有利技术效果,包括提供能够将远程设备配置成与一个或多个AR对象进行交互的AR托管基础设施。例如,所预期的基础设施根据表示处于有AR能力的设备本地的现实世界环境的环境数据确定相关增强现实上下文,并指示该设备与其他有AR能力的设备、AR对象、参与增强现实的现实世界对象或被看作与密切相关的增强现实有关的其他对象进行交互。
以下讨论提供了本发明主题的许多示例实施例。尽管每个实施例表示发明元素的单个组合,但是本发明主题被看作包括所公开的发明元素的所有可能组合。因此,如果一个实施例包括发明元素A、B和C,且第二实施例包括发明元素B和D,则本发明主题还被看作包括A、B、C或D的其他剩余组合,即使没有被明确公开。
如这里所使用的那样,并且除非上下文以其他方式指示,术语“耦合到”意图包括直接耦合(在其中彼此耦合的两个元素彼此接触)和间接耦合(在其中至少一个附加元素位于这两个元素之间)二者。因此,同义地使用术语“耦合到”和“与……耦合”。
总览
AR对象干涉可以被看作反映或以其他方式仿真电磁波(例如光)之间的干涉。当两个或更多波在某一位置或时间处以它们加强它们在该位置处的存在(即相长干涉)或抑制它们在该位置处的存在(即相消干涉)的方式交互时,发生各波之间的干涉。由于波(例如幅度或相位)的交互性质而发生各波之间的干涉。干涉的隐喻可以被扩展到增强现实,其中,参与增强现实的元素可以具有彼此干涉以加强或抑制相关AR对象的存在的性质。
以下讨论在作为整体操作为AR托管平台的联网构造或联网节点的上下文内呈现了本发明主题。仍然应当认识到,针对干涉的本发明主题还可以适用于更多传统服务器实现。服务器可以是专用硬件或者可以在网络云内操作,可能在一个或多个虚拟机内操作。
在图1中,AR生态系统100提供在其中有AR能力的设备110可以具有与一个或多个AR对象142的交互的AR环境的总览。AR生态系统100包括联网构造115,其由多个互连联网节点120组成,该多个互连联网节点120形成通信构造,从而允许边缘设备180跨越构造115交换数据。在一些实施例中,构造115还可以包括一个或多个数据库,其包括存储AR对象142(优选地,网络可寻址AR对象)的AR对象储藏库140。有AR能力的设备110通过交换设备数据来与构造115交互,该设备数据可以包括表示处于设备本地的场景或环境的数据。例如,该设备数据可以包括现实世界场景的数字表示,在该现实世界场景中,数字表示可以包括由处于有AR能力的设备110本地的传感器130获取或者其他支持传感器的设备获取的原始或预处理的传感器数据。例如,数字表示可以包括由移动设备(例如蜂窝电话、平板计算机等等)获取的传感器数据或者甚至从多个移动设备获取的传感器数据。基础设施可以包括AR设备接口(例如端口、API、联网节点、HTTP服务器等等),通过该AR设备接口,构造115可以与有AR能力的设备110交换设备数据。根据需要,联网节点120可以基于所交换的设备数据或其他环境数据来导出AR对象142的地址,并将一个或多个AR对象142呈现给有AR能力的设备110。在更优选的实施例中,有AR能力的设备110可以与AR对象142进行交互,包括与商务引擎190(例如银行系统、信用卡处理、账户余额变化、飞行常客里程交换、奖励计划等等)进行与AR对象142相关联的商业交易。
有AR能力的设备110通常表示与联网构造115有关的一种或多种类型的边缘设备180。示例的有AR能力的设备110包括移动设备、蜂窝电话、游戏控制台、信息亭、车辆(例如汽车、飞机、公共汽车等等)、电器、机顶盒、便携式计算机、或被适当地配置成向用户呈现增强内容的其他计算设备。增强内容优选地包括能够根据用户的可用感测模态(例如视觉、听觉、触觉、味觉、嗅觉等等)而呈现的数据。应当认识到,可以根据需要将增强内容转换成用户可用的感测模态以便补偿用户的无力。例如,可以经由触觉呈现接口将视觉AR对象142呈现给视觉受损的人。
有AR能力的设备110可以包括能够获取接近用户或对应的有AR能力的设备110的环境数据的一个或多个传感器130。预期的传感器130可以包括光学传感器、麦克风、加速计、磁力计、GPS、温度计、生物传感器、天气传感器或其他类型的传感器。传感器130可以与有AR能力的设备110集成(如所示)、可以处于有AR能力的设备110本地、或者甚至远离有AR能力的设备100的位置。例如,卫星可以包括传感器130,其中,卫星捕获与处于有AR能力的设备110本地的场景有关的数据。
在一些实施例中,传感器130收集个域网(PAN)内用户本地的数据,在个域网(PAN)中,有AR能力的设备110操作为传感器集线器。该传感器集线器聚集传感器数据并与联网构造115交换传感器数据。例如,用户可以作为他们衣服的一部分、在他们的鞋子内或者在他们的帽子中佩戴传感器130以收集脑信号。在这样的实施例中,传感器130可以经由有线或无线连接(例如蓝牙、WiGIG、Wi-Fi、Zigbee等等)与PAN内的其他元件交换数据。示例传感器数据包括医疗数据、位置数据、定向数据、生物计量数据、图像数据、音频数据、触觉数据、加速数据、接近数据、温度数据、或能够由传感器捕获的其他类型的数据。此外,该场景的数字表示可以包括来自多个单独传感器的生物传感器数据或其他与健康有关的数据。不论所收集的数据的类型如何,该数据都可以表示场景的数字表示,在该场景中,数字表示可以包括原始数据、经处理的数据、元数据或表示现实世界环境的其他类型的数据。
联网节点120优选地获得与有AR能力的设备110的现实世界场景有关的环境数据。该环境数据可以包括反映现实世界环境的一系列广泛的数据。如前面所讨论,环境数据可以包括传感器数据,其包括由有AR能力的设备110获取传感器数据的场景或环境的数字表示。此外,环境数据可以包括从不同于有AR能力的设备110的源获得的外部数据。例如,环境数据可以包括从气象站、监控摄像机、另一蜂窝电话、网络服务器、无线电站、卫星或被配置成提供环境数据的其他源获得的数据。
场景的数字表示可以包括扩展到仅传感器数据之外的环境数据。环境数据还可以包括反映当前呈现的增强现实或相关AR对象142的AR数据。例如,环境数据可以包括与有AR能力的设备110到虚拟对象的接近度有关的信息。此外,环境数据可以包括与有AR能力的设备110自身的操作有关的信息。示例包括联网度量、用户身份或人口统计、所安装的软件或固件、或者其他类型的环境数据。因此,可以认为场景的数字表示包含场景的许多方面,包括:包含在该场景内参与的个体、该场景的物理环境、该场景的增强方面、或者甚至超出正常人类认知的方面(例如联网度量等等)。
联网构造115被描绘为互连联网节点120(例如互联网)的云或者云计算基础设施(例如Amazon EC2TM、GoogleTM、RackspaceTM等等)。应当认识到,构造115是允许边缘设备180以通用方式彼此交换数据的通信基础设施。此外,构造115可以提供平台,可以从该平台将一个或多个AR对象142呈现给有AR能力的设备110。组成网络构造115的联网节点120优选地包括能够将来自节点上的一个端口的数据业务引导到另一端口的计算设备。示例联网节点120包括路由器、集线器、交换机、网关、防火墙、接入点或能够转发或者路由业务的其他设备。该构造可以包括节点类型的同质混合或异质混合。在一些实施例中,该构造可以扩展到有AR能力的设备110中,可能在有AR能力的设备110操作为PAN内的传感器集线器的环境中。构造115还可以包括一种或多种类型的网络,其包括互联网、LAN、WAN、VPN、WLAN、对等网络、基于云的网络、自组织网络、网状网络或其他类型的网络。
更优选的实施例包括存储可用AR对象142的一个或多个AR对象储藏库140。AR对象142可以被存储为能够从其他节点120、边缘设备180、商务引擎190、有AR能力的设备110或者甚至从其他AR对象142寻址的不同可管理对象。优选地,AR对象142具有一个或多个对象属性,它们被看作表示与对应AR对象142有关的信息的元数据。例如,对象属性可以包括关于对象性质的信息,在给定AR体验上下文内该对象性质可能与其他性质发生干涉。
根据需要,对象属性可以被绑定到AR对象142。在一些实施例中,对象属性符合一个或多个标准化命名空间,从而允许各种网络节点120、服务器、代理、有AR能力的设备110或系统的其他部件将一个AR对象142与该系统中的其他类型的对象(例如上下文、AR对象、元素、目标对象等等)进行比较。规范化命名空间可以被定义为与包括现实世界对象或AR对象142的所有元素有关的全局命名空间。还预期,可以针对特定上下文定义对象属性。例如,游戏上下文可以具有其自身的命名空间,它可以与购物或旅行上下文不同。此外,每种类型的上下文可以具有不同的命名空间或可能与AR内容发布者相对应的子命名空间。第一游戏发布者可能根据他们自身的专有命名空间将属性分配给他们自身的AR对象142,而第二游戏发布者可能利用共同的规范化游戏上下文命名空间。
上下文可以采取许多不同的形式并可以根据需要而定义。在AR生态系统100内,上下文可以被视为可管理的对象。例如,上下文对象可以被复制或者从节点120中的一个移动到另一个。假定上下文对象允许每个节点120在被需要时访问大多数相关上下文。可以向上下文分配名称、标识符或表示描述该上下文或其使用的元数据的其他上下文属性。示例上下文属性可以包括上下文名称、标识符(例如上下文的地址、GUID、UUID、URL等等)、上下文的分类、上下文的拥有者、上下文的发布者、上下文的修订或其他信息。在更优选的实施例中,上下文对象还包括属性签名,其量化上下文关于场景或场景元素的相关性。该签名可以由对规范化属性命名空间内的属性进行操作的准则或规则来表示。上下文还可以属于一种或多种分类或类型的上下文。上下文的示例类型可以包括游戏上下文、购物上下文、旅行上下文、工作上下文(例如作业、职业、活动等等)、娱乐上下文或其他种类。
应当认识到,AR对象142可以保持驻留在他们各自的储藏库140处而不需提交对AR对象的查询。储藏库140可以被配置成在联网节点120当中散布AR对象142的对象属性。在这样的实施例中,联网节点120仅需要比较从该场景的数字表示导出的对象属性或已知AR对象属性以便确定AR对象142是否与上下文相关。一旦被标识,就可以导出或者以其他方式获取AR对象142的地址以便找到AR对象142。下面进一步讨论对AR对象142进行寻址的方法。
AR储藏库140被示为位于联网构造115内的分离数据库。在一些实施例中,认为以隔离的方式安置AR对象142是有利的。例如,AR对象142的一个供应商或发布者可能希望保留对他们的对象的控制。发布者可以提供对他们的储藏库的付费访问。然而,还认为允许以通用方式混合AR对象是有利的。这样的方法允许根据需要(可能基于从多个场景或多个设备110聚集的上下文)将AR对象142从一个储藏库140或节点120迁移到另一个。此外,AR储藏库140中的一个或多个可以包括分布式储藏库,其中,AR对象142遍布在系统内的多个托管部件上。例如,单个AR储藏库140可以遍及多个联网节点120的存储器而分布。可以在同一寻址空间内对AR储藏库的每个部分进行寻址而不论它们的位置如何。
当AR对象142已经被标识时,联网节点可以从对象在AR储藏库140内的位置获得该对象。联网节点120可以将AR对象142转发给有AR能力的设备110或以其他方式使AR对象142对有AR能力的设备110来说可用。有AR能力的设备110可以被配置成根据AR对象、上下文或干涉的设计而具有与AR对象142的一个或多个交互。在所示的示例中,同一AR对象“+”被呈现在两个有AR能力的设备110上,以说明AR对象可以被共享或可以被共同地呈现,因为设备具有足够相似的上下文;或许设备被共享游戏或AR体验的玩家所拥有。然而,另一AR对象“*”被呈现在不同的有AR能力的设备110上,以说明一个本地设备仍可以具有与其他本地设备不同的上下文,可能基于设备使用、用户身份或偏好、授权、认证、AR生态系统100中其他元素之间的干涉、或者其他属性。
联网节点120将有AR能力的设备110配置成允许与AR对象142进行交互。在一些实施例中,该交互包括根据AR对象142的性质经由显示器、扬声器、触觉界面或其他界面来呈现AR对象142。AR对象142还可以包括可执行指令,该可执行指令可以由有AR能力的设备110来执行或者甚至在联网节点120上执行。该指令可以表示与AR对象142相关联的功能。例如,某人可能处于自动售货机的附近地区之内。将对应的AR对象142作为可购买的产品呈现给用户,其中,联网节点安置进行与自动售货机相关联的交易的功能。该交易功能还可以被定位为AR对象142的一部分、与上下文相关联、与有AR能力的设备110、远程服务器或服务、或者其他适当配置的设备集成。一旦这个人离开该附近地区或者满足其他适当的准则,则联网节点可以基于新导出的上下文或者甚至基于从一个上下文到另一个的改变来移除代码或AR对象142。
尽管以视觉格式来呈现AR对象142,但是应当认识到,AR对象142可以包括其他模态,包括听觉格式、触觉格式或符合人类感官的其他格式。还应当认识到,AR对象142可以表示超出人类感官的对象,其中,对象的特征已经被转换成与人类感官对准。例如,AR对象142可以指示有AR能力的设备110将不可见的温度梯度呈现为叠加在景观的现实世界图像上的可见等温线,其中,等温线是从可能在其他有AR能力的设备110内或接近该景观的传感器130的阵列导出的。
托管平台
在图2中,呈现了示例托管平台200。尽管为了讨论将托管平台200呈现为联网交换机,但是托管平台200还可以包括其他类型的联网基础设施。能够被适当地适配成与本发明主题一起使用的联网节点的几个示例包括服务器、路由器、集线器、防火墙、网关、名称服务器、代理、接入点、热点或能够操作为联网环境内的计算设备的其他设备。在更优选的实施例中,托管平台200被看作包括下述联网设备:该联网设备能够接收分组并将该分组继续转发到其所预期的目的地,而不论该分组是否与增强现实相关联。尽管如此,本发明主题还可以适用于更多传统计算设备,包括服务器、客户端、对等端、游戏控制台、手持游戏设备或其他类型的计算设备。
在所示的示例中,托管平台200包括设备接口215,通过该设备接口215,托管平台200能够或一般地构造能够与有AR能力的设备对接。在托管平台200包括联网交换机的实施例中,设备接口215可以包括物理地位于联网交换机上的一个或多个端口。该端口可以包括有线端口(例如以太网、光纤、串行端口、USB、火线、HiGig、SerDes、XAUI、PCI等等)或需要物理连接的其他类型的端口。尽管端口可以是有线端口,但是应当记住,有AR能力的设备不一定与联网节点直接连接。该端口还可以包括一个或多个无线端口(例如WUSB、802.11、WiGIG、WiMAX、GSM、CDMA、LTE、UWB、近场、无线电装置、激光器、Zigbee等等)。设备接口215可以包括一个或多个逻辑端口,可能操作为在联网节点或云内作为网络服务而托管的与AR有关的API或URL。有AR能力的设备然后可以获得对由托管平台200托管的AR特征的访问。
托管平台200优选地操作为对一个或多个边缘设备的一般数据传输。此外,托管平台200可以被配置成操作为通用计算平台。在所示的示例中,托管平台200包括存储器230以及一个或多个处理器250,优选地具有多个核255。存储器230可以包括易失性或非易失性存储器。示例存储器包括RAM、闪存、硬盘驱动器、固态驱动器、或其他形式的有形非瞬变存储器。随着托管平台200分析场景的数字表示或AR对象属性,数据和各种属性可以被存储在存储器230中。此外,存储器230可以存储一个或多个AR储藏库240的部分。AR储藏库240或其他AR对象242可以被存储在存储器的受保护区域(例如加密容器、FIPS 140-2等等)中以尊重AR对象发布者或拥有者的数字版权。处理器250内的核255可以单独地专用于路由功能或者可以专用于AR功能,可能执行与AR对象242中的一个或多个相关联的指令。具有10个核的Intel® E系列的Xeon处理器将如许多其他多核处理器那样是合适的处理器。例如,一个核可以监视或检查来自有AR能力的设备的业务。当该业务满足触发准则时,该核可以例示第二核上的增强现实处理。第二核可以评估作为场景的数字表示的一部分的业务以便导出感兴趣的附加属性。该附加属性然后可以被用于关于联网或通信上下文232或者关于场景的其他元素之间的干涉来标识一个或多个相关AR对象。因此,人类正常认知之外的场景元素(例如网络业务等等)可能与落入人类正常认知之内的场景(现实或虚拟)的其他元素发生干涉。
存储器230还可以存储表示与AR对象242相关的已知场景的一个或多个上下文232。上下文232还被看作具有上下文属性签名的可管理对象,该上下文属性签名描述了对于要相关的特定上下文232应当满足的准则。托管平台200可以分析场景的数字表示以生成与该场景中经识别的元素相关联的属性。一种概括可被适当地适配成与本发明主题一起使用的上下文的使用的方法除了包括其他先前所引用的基于上下文的参考文献之外,还包括由Dougherty在2009年4月1日提交的名称为“Augmented Reality Cloud Computing”的美国专利申请公开2010/0257252描述的技术。
托管平台还可以包括对象识别引擎260,其可以充当能够基于场景的数字表示将该场景的现实世界元素识别为目标对象的通过上下文服务的对象识别(ORCS)。例如,有AR能力的设备或就此而言其他感测设备可以贡献形成场景的数字表示的数字数据,其中,该场景包括一个或多个现实世界元素。该场景的数字表示可以包括图像数据、医疗数据、位置数据、定向数据、触觉数据、生物计量数据或表示环境或该环境内的对象的其他类型的数据。
对象识别引擎260可以利用一种或多种算法来识别场景的元素。优选地,通过对ORCS的使用,引擎260将元素识别为目标对象。应当认识到,场景的元素可以包括现实世界元素或虚拟元素。与元素相关联的属性可以包括在数字表示的分析期间所获得的导出属性或从目标对象获得的属性。在一些实施例中,对象属性244可以包括与先验已知目标对象(例如建筑物、工厂、人等等)相关联的目标对象属性。示例属性可以包括场景中的对象的特征(例如颜色、形状、脸、尺寸、虹膜、话音调制、词语等等)、数据自身的特征(例如频率、图像分辨率等等)、或其他类型的特征。可接受的算法包括SIFT、SURF、ViPR、VSLAM或用于标识场景中的元素的特征的其他图像处理技术。可被适配成处理数据以标识目标对象的可接受技术包括在美国专利7,016,532、7,477,780、7,680,324、7,565,008和7,564,469中描述的那些技术。
对象识别引擎260可以使用环境属性(例如已知目标对象属性、导出属性等等)来识别现实世界场景中的一个或多个对象。当目标已知对象被识别时,然后可以使用与该目标对象相关联的对象信息来确定是否上下文232中的任一个与关于数字表示而识别的目标有关。可以将经识别的目标对象的属性或环境的其他属性与上下文属性签名进行比较以做出确定。在系统中各种类型的对象(例如AR对象、上下文、元素、目标对象、干涉等等)具有对准的属性命名空间的实施例中,该比较可以被执行为查找。该比较还可以包括确保满足上下文属性签名,其中签名的满足可以基于关于需求的属性的值或签名的可选条件。例如,游戏上下文可能需要在该游戏上下文被看作与场景有关之前至少特定数目的经识别的玩家存在于该场景内。
可以将目标对象的属性与上下文232的对应属性相匹配。例如,现实世界元素(例如人、自动售货机、信息亭、记号等等)可能包括游戏目标。当游戏目标被成像或感测到时,对象识别引擎260将现实世界对象识别为目标,从而使得平台200指示有AR能力的设备呈现AR对象242作为奖励。因此,可以基于所导出的环境属性、AR对象属性、上下文属性签名或其他因素将现实世界元素与对应上下文232进行相关。在确定了一个或多个上下文232与经识别的元素有关时,对象识别引擎260可以筛选出AR对象242来标识全部AR对象(被称为AR现状(actuality))中的哪些确实被看作与上下文232有关的可用AR对象242。应当认识到,可用AR对象242可能被看作与上下文232有关。意图使AR现状传达可能被呈现的所有现有增强现实或AR对象的含义。
应当认识到若干个值得注意的点。AR储藏库240可以包括可基于各种上下文232而访问的巨大量实际AR对象242。然而,可用AR对象242的数目表示AR现状中AR对象242的总数的子集。可用AR对象242可以被看作表示基于对上下文的授权访问(假定适当的认证)可访问的总AR对象242的一小部分。更进一步,相关AR对象242集合表示可用AR对象242的一部分。相关AR对象242集合是与上下文232有关的那些对象。还应当认识到,相关AR对象242集合的成员对象可能被呈现给个体或者可能不被呈现给个体。根据场景的元素之间的所导出的的干涉来呈现该集合的成员对象。
应当记住,存储器230不一定存储AR对象242。更确切地,平台200的存储器230可以仅存储AR对象属性244。平台200可以确定AR对象242中的哪个(如果有的话)与关于与有AR能力的设备相关联的当前环境或场景的上下文232相关。作为响应,平台200可以访问AR对象寻址代理(AOAA)220,其可以导出可能位于远程节点上的对应AR对象的地址。
AOAA 220可以通过多种方法来导出AR对象地址。在更简单的实施例中,AR对象属性244可以包括可检索到AR对象242的地址,假定适当的认证或授权。当平台200中的存储需求更严格时,这样的方法是有利的。尽管AOAA 220被图示为平台200的一部分,但是AOAA220或对象识别引擎260的功能可以位于其他设备、联网节点、有AR能力的设备(例如移动电话、车辆等等)或联网构造内的其他部件内。
AOAA 220可借以导出AR对象地址的另一方法包括将至少一些属性(例如环境属性、导出属性、目标对象属性、上下文属性等等)直接转换成地址空间内的地址。例如,环境数据的导出属性可以被量化并转换成属性矢量,可能基于如先前所讨论的标准化命名空间。通过确定性函数(例如散列函数)来运行该矢量以便生成散列值,其中散列空间表示地址空间。联网节点、AR对象242、上下文232或生态系统中的其他项可以被分配有散列空间内的地址。AR对象242可以被存储在其地址靠近AR对象的地址的节点上。一旦生成地址,联网节点就向其地址更靠近AR对象的地址的相邻节点简单地转发针对AR对象的请求。敏锐的读者将认识到这样的寻址技术类似于在对等文件共享协议中使用的方案。本发明主题的一个方面被看作包括将分布式寻址技术应用于联网基础设施环境中的AR对象。
平台200可以被配置成通过应用不同函数生成地址来在增强现实之间进行辨别。第一函数(散列或其他类型的函数)可以被用来导出表示增强现状内的特定增强现实的地址的第一部分。第二函数可以被应用于属性以生成特定AR对象地址。在一些实施例中,第一部分可以是前缀(例如域名、DOI前缀等等),而第二部分表示后缀(例如URL地址、DOI后缀等等)。另外,前缀、后缀或地址的其他扩展可以表示与上下文相关联的地址方案。在使用域名的实施例中,AR对象的地址可能具有形式“www.<augmented-reality address>.com/<context address>/<object address”,其中尖括号(“< >”)的每个集合指示多部分AR对象地址的一部分。
用于寻址的又一方法可以包括将环境属性或其他属性转换成AR对象242所位于的网络地址。属性可以是到在联网节点之间所共享的查找表内的索引,其中该表具有可用AR对象242以及它们的对应地址。网络地址可以是如前面所讨论的散列空间中的域名或URL。
不论寻址方案如何,由AOAA 220生成的AR对象地址指向AR储藏库240中的一个或多个中的对应AR对象242的位置,即使当对象或储藏库位于托管平台200外部时。如前面所讨论,可以直接导出AR对象地址或者可以从被识别为目标对象的现实世界对象、从上下文232、或承载属性信息的其他元素间接导出AR对象地址。示例AR对象地址可以包括域名、URL、IP地址、MAC地址、GUID、散列值、或其他类型的地址。在一些实施例中,每个AR对象242可以被分配有其自身的IP地址(例如IPv4、IPv6等等),并可以经由一个或多个协议(例如DNS、HTTP、FTP、SSL、SSH等等)而被直接寻址。例如,每个AR对象242可以在IPv6环境中具有其自身的IP地址,或者可以具有其自身的域名以及对应的URL。在这样的实施例中,可以通过已知技术(包括名称服务器、DNS或其他地址解析技术)来定位AR对象242。
尽管托管平台200被图示为联网节点或服务器,但是应当认识到,如由其部件表示的托管平台200的功能可以被集成到有AR能力的设备(例如移动设备、平板电脑、蜂窝电话等等)中。例如,个体的蜂窝电话可以被配置有提供AOAA 220的能力、对象识别引擎260的能力、设备接口215的能力或其他能力的一个或多个模块(例如软件指令、硬件等等)。在这样的实施例中,设备接口215可以采取API的集合的形式,通过该API,蜂窝电话与托管平台200或其部件交换数据。在另外其他实施例中,有AR能力的设备可以与外部设备共享托管平台200的角色或责任。例如,蜂窝电话可能利用本地对象识别引擎260来容易地进行识别以识别出对象(例如脸、钱、条形码等等),而该场景的数字表示还被传送到更有能力的远程对象识别引擎260,其可以识别特定对象(例如特定人的脸、场景的上下文等等)。
元素干涉
图3概括了图示场景内的元素之间的干涉以及干涉如何产生增强现实体验的数据流程图。AR托管平台优选地经由设备接口获得数字表示334。数字表示334包括表示现实世界场景的至少部分的数据。现实世界场景包括元素,元素可以包括现实世界元素或对象或者甚至被看作存在的AR对象。可以从能够捕获如先前所讨论的与场景有关的数据的一个或多个远程设备或传感器获得数字表示334。根据发端设备的分析处理能力,数字表示334可以包括原始传感器数据、经预处理的数据、经后处理的数据或其他形式的数据。
托管平台分析数字表示334以尝试将场景内的一个或多个元素390识别为目标对象。经识别的元素可以包括如由元素390A至元素390B所指示的一个或多个个体元素。识别元素390可以包括在已知目标对象之间进行辨别、将对象标识为特定对象(例如汽车相对于特定汽车)、解释对象(例如光学字符识别、标志、条形码、符号等等)、或者以其他方式做出元素390至少在某置信水平内与目标对象相对应的确定。
应当认识到,目标对象可能不一定与场景的特定元素相对应。例如,元素390A可能表示特定人的脸,而目标对象简单地表示一般脸对象。在一些实施例中,元素390A可以被识别为多于一个目标对象。为了继续前一示例,元素390A可以被识别为链接在一起的对象的层级:例如,人类对象、男性对象、脸对象、眼睛对象、虹膜对象以及虹膜标识对象。关于图3,元素390A被看作经识别的目标对象。
优选地,托管平台将场景中的至少一个元素(例如元素390A)识别为目标对象。还预期,该场景中除现实世界元素外的其他元素390也可以被识别为目标对象。例如,元素390B可以是其图像已经被捕获作为数字表示334的一部分的虚拟对象。元素390B也可以是超出人类认知的对象:无线电波、网络业务、网络拥塞或其他对象。
托管平台分析一个或多个经识别的元素390以确定与经识别的目标对象有关的上下文332。当确定上下文332(如上下文332A和上下文332B所表示)中的哪个最适用于该场景时,多个因素开始起作用。在所示的示例中,上下文332A包括指示上下文332A何时将可能被看作适用于场景的属性签名。可以将经识别的元素390A的属性与签名进行比较。如果经识别的元素390A单独或总计具有与签名充分匹配的属性,则上下文332A可以被看作与至少经识别的目标对象以及如数字表示334所表示的场景有关。尽管图3中示出的示例将上下文332A图示为与经识别的元素390A有关的唯一上下文,但是应当认识到,多个上下文332也可以基于经由数字表示334而使得可用的所有信息来与经识别的目标对象或场景有关。
可以根据需要先验地定义或者自动生成上下文32。可以经由上下文定义接口(未示出)来定义先验上下文332,该上下文定义接口允许实体(可能为AR对象发布者)定义适当的上下文。该实体可以根据需要来输入上下文属性、签名或其他信息以创建上下文对象。托管平台还可以被用来生成上下文。例如,当数字表示334被分析且元素390被识别时,个体可以指示托管平台将经识别的元素390A的属性转换成上下文签名。
上下文332A还可以包括属性矢量(被标记为PV),其表示被看作关于确定元素390(经识别的或未经识别的)之间的干涉而与上下文相关的场景元素390的属性或性质。对一些读者来说,属性矢量可能是微妙的点且不应当与上下文属性签名混淆。更确切地,属性矢量包括元素390应当具有以创建元素之间的干涉的相关属性的数据结构。因此,属性矢量可以被看作用于导出干涉的元素选择准则。应当记住,经识别的元素390A可能对上下文签名的满足做出贡献,但可能未与上下文的属性矢量对准。例如,某人可能被识别为表示AR游戏中的玩家的目标对象。该人可能对确定哪个游戏上下文与该人或场景有关做出贡献。然而,可能不需要玩家确定该场景内其他游戏对象之间的干涉。
上下文属性矢量还可以在一个或多个规范化或标准化命名空间内对准。矢量的每个成员可以包括属性名称并且可能包括值。因此,属性可以被看作多值对象。利用共同命名空间以允许元素和上下文以及预期系统内的其他一般对象之间的容易映射被认为是有利的。
上下文332A还可以包括干涉函数(被标记为FI),其表示场景的元素390如何关于一个或多个元素属性而彼此干涉以加强或抑制该场景中AR对象的存在的量化描述。优选地,该干涉函数是属性矢量的函数以及可用AR对象342的函数。可用AR对象324表示被看作该场景的有效参与者以及被看作与上下文332相关联的有效参与者的AR对象。如先前所讨论,可用AR对象342可以被标识,可能通过AR对象324的对象属性与上下文332的上下文属性的比较。
元素属性、AR对象属性或对干涉有贡献的其他属性可以包括多种类型的属性。为了进一步扩展电磁波的干涉的隐喻,波的干涉取决于空间中的点处的各种因素(例如幅度、相位、频率等等)。在更优选实施例中,元素390还可以基于位置产生干涉。例如,数字表示334可以包括位置信息(例如与场景的元素390的相对位置、三角测量、GPS坐标等等),其中干涉函数可以取决于位置。更具体地,位置信息可以与现实世界元素的物理位置有关或者反映现实世界元素的物理位置。此外,元素390之间的干涉还可以取决于时间,其中数字表示334一般包括与元素390或场景相关联的时间信息。
干涉函数可以被用来生成所导出的干涉350。所导出的干涉350可以被看作下述自动生成的干涉准则:其用于基于元素390之间的干涉来确定可用AR对象342中的哪些是上下文相关AR对象346以及上下文相关AR对象346应当在增强现实体验中的存在到什么程度。所导出的干涉350可以被看作表示从元素390的元素性质(即属性值)导出的干涉准则。上下文相关AR对象346是满足干涉准则的AR对象的集合的成员。在所示的示例中,以与可以通过考虑各种性质(例如相位、时间、位置、频率等等)对幅度进行求和来计算电磁波干涉类似的方式将干涉函数表征为元素性质之和。在所给出的简单示例中,通过对关于场景元素390的对应属性的值求和来逐个属性地导出干涉准则。例如,可以从来自所有元素的对应属性值之和导出对于第一属性的第一准则。如果可用AR对象342中的一个具有满足干涉准则的属性值,则它被看作上下文相关AR对象346的集合的成员。
尽管所导出的干涉350的示例基于简单求和,但是所预期的是,干涉函数可以是任意复杂的。优选地,所得到的干涉函数产生关于干涉准则的对象满意度。该满意度指示每一个相关AR对象346在增强现实中的存在到什么程度。可以根据用于适当反映上下文332A的功用的期望算法来计算满意度。例如,满意度可以基于若干个因素,可能包括所满足的多个干涉准则(例如需求、可选条件等等)、对象属性超过或低于准则阈值多远的规范化度量或者其他算法。满意度可以被用于关于如何与相关AR对象346进行交互来指示远程有AR能力的设备。
上面的描述是从场景内的元素彼此干涉以影响与相关AR对象346的可能交互的观点来写出的。应当认识到,可以基于场景的所有经识别的元素390A、场景中经识别的元素的部分或甚至场景内经识别的单个元素来导出干涉。此外,该元素可以包括个体与其交互的相关AR对象346。因此,相关AR对象346可以对干涉做出贡献并以几乎与两个干涉的电磁波产生它们的组合效果(例如干涉模式、幅度等等)相同的方式来影响它们自身的存在。
敏锐的读者将认识到,场景中的当前境况可以随时间相当迅速地改变,这可以被反映在数字表示334中。因为数字表示334随时间改变(包括实时),所以上下文332也可以随时间改变。上下文332中的改变使所导出的干涉350随时间改变,这进而可以随时间改变相关AR对象346的集合。这样的改变可以被传播回到远程有AR能力的设备。在一些实施例中,相关AR设备346可以具有某种级别的时间持久性,以确保从一个上下文状态到另一个的平滑过渡。例如,相关AR对象346可能被呈现并且甚至在其对应的上下文332不再相关之后保持存在。另外,上下文332可能必须在呈现相关AR对象346之前特定时间段内保持相关。这样的方法对可用性来说是有利的。
尽管前面的讨论描述了基于上下文332来生成所导出的干涉350,但是还应当注意,所导出的干涉350可以取决于各上下文332之间或当中的改变。在场景随时间改变时,上下文332可以衰落或流动,或者甚至从第一上下文到第二上下文转移焦点(例如主上下文、次上下文、第三位上下文等等)。本发明主题的一个方面被认为包括将有AR能力的设备配置为允许基于上下文332之间的改变而与上下文相关AR对象346交互,优选地如由从这样的上下文改变引起的所导出的干涉350来确定。例如,个体可以在与游戏上下文相关联的增强现实体验内参与。如果他们选择购买产品,则增强现实体验可以合并购物上下文。可以基于焦点从特定游戏上下文到购物上下文的转移来调整所导出的干涉350以便向个体提供附加的AR内容。可替换地,焦点从游戏上下文到旅行上下文的转移可能不影响个体的增强现实体验。应当注意,焦点的转移可以包括在喜欢新上下文332的情况下保留先前标识的上下文332而不丢弃它们。可以根据上下文332与场景有关(可能与其他上下文332相关)到什么程度来测量上下文焦点。
基于干涉的呈现
图4图示满意度可以如何影响由移动设备410A和410B表示的有AR能力的设备上的呈现或交互。移动设备410A和410B二者捕获具有现实世界元素490的场景的数字表示。在该示例中,AR托管平台识别元素490并从被认为同与元素490相关联的上下文密切相关的可用AR对象标识相关AR对象的集合。相关AR对象446A和446B被看作相关AR对象的集合的成员对象。
AR托管平台基于元素490生成所导出的干涉以确定它们如何关于上下文相长或相消干涉。在移动设备410A的情况下,相关AR对象446A因各元素490之间的相长干涉而具有被加强的存在。因此,相关AR对象446A受各元素490之间的相长干涉的强烈影响,并可能具有关于干涉准则的强满意度。在捕获具有元素490的场景的类似数字表示的移动设备410B的示例中,上下文指示:相关AR对象446B因各元素490之间的相消干涉而具有被抑制的存在。因此,相关AR对象446B受元素490的弱或负面影响,并可能具有关于干涉准则的弱或负面满意度。
应当注意,相关AR对象446B甚至可能是相关AR对象446A。然而,移动设备基于相对满意度的差异来提供不同的增强现实体验。对于这种差异的许多原因当中的一个原因可以基于移动设备的用户标识,其中用户的标识信息被合并到更改上下文的场景的数字表示中。
被加强的存在和被抑制的存在可以根据相关AR对象446A和446B的性质、上下文或与场景有关的其他因素而采取许多不同形式。在最基本级别,存在可以简单地意味着相关AR对象存在(被加强)或不存在(被抑制)。尽管如此,存在可以覆盖体验的完全范围。考虑相关AR对象446A的视觉图像。该视觉图像可以被叠加在场景的图像上,其中该视觉图像是不透明的且覆盖元素490的图像。然而,相关AR对象446B的视觉图像可能具有多个透明度以指示被抑制的存在。类似地,当相关AR对象446A和446B具有音频内容时,可以根据从每个对象干涉准则满意度导出的音量级别来播放该音频。所预期的是,可以自然地根据有AR能力的设备的呈现能力、针对所有人类感官模态来加强或抑制存在。
存在还可以扩展超出人类感官模态。被增强或抑制的存在还可以影响与相关AR对象446A或446B相关联的功能。当指示移动设备410A和410B以允许与相关AR对象446A或446B的交互时,可以基于满意度来约束或允许该交互。例如,可能开启相关AR对象446A的特定特征或者使相关AR对象446A的特定特征可用,而可能关闭相关AR对象446B的特征或者以其他方式使相关AR对象446B的特征不可用。
使用情况:游戏和促销上下文
图5图示对于所公开的关于组合游戏和广告的本发明主题的可能使用情况。在该示例中,多个个体使用他们的操作为移动设备510的蜂窝电话来竞争与商店中的产品相关联的促销。移动设备510中的每一个都捕获与场景595相关联的数据,其包括商店中的产品。每个设备向托管平台500提交场景595的可能由它们自身的传感器530捕获的它们自身的相应数字表示534。应当注意,(一个或多个)数字表示534可以包括产品的图像、移动设备信息(例如设备标识、位置、定向、定位等等)、用户标识符或其他信息。对象识别引擎560分析数字表示534以将商店中的产品识别为如元素590所表示的目标对象。在该示例中,元素590是与商店的产品相对应的已知目标对象。对象识别引擎560从与场景595有关的上下文532导出干涉550。上下文532可以包括购物上下文、商店专用上下文、游戏上下文、或与场景595的境况有关的其他上下文。对象识别引擎560利用干涉550来从AR对象储藏库540中的可用AR对象标识相关AR对象546的集合。平台500将移动设备510A配置成允许设备510A具有与来自该集合的一个或多个成员AR的交互。
图5的示例预期下述增强现实:其中,个体一起参与(可能作为队伍)以便形成用于商业目的的处于他们周围的增强现实。随着多个相关个体、朋友或熟人集中到商店,他们的存在发生相长干涉以产生一个或多个促销(例如大减价、赠券、奖品、刺激物、折扣等等)。作为对立队伍的成员的个体可以在加强对他们自身队伍的相同促销的存在的同时抑制对第一队伍来说可用的促销的存在。如所示,移动设备510A是已赢得关于产品的赠券的队伍的成员。然而,该队伍仍缺少处于场景595本地的足够成员来赢得对第二产品的另一促销,使得他们被请求以邀请附加的朋友。在第二产品的情况下,AR对象消息泡泡因由于对立队伍成员而生成的干涉而具有被抑制的存在(即缺少对促销的访问)。
对于图5的简化情况,干涉550可以由队伍成员的相对和(队伍A成员的数目减去队伍B成员的数目)来表征。当值明显为正时,队伍A获胜。当值明显为负时,队伍B获胜。平台500比较与队伍成员的数目有关的AR对象属性,并根据如从每个对象的干涉准则满意度确定的干涉550来指示移动设备510A以允许与AR对象546A的交互。随着队伍成员到达或离开场景,AR对象546A的存在可以相应地改变。
游戏和促销使用情况仅是上下文导出和干涉的一个示例。另一类似示例可以包括医疗上下文,其中医疗设备(例如X射线、MRI、牙医用椅等等)、患者和医生的存在指示应当使哪些AR医疗对象可用。例如,患者可以输入其中存在医生的医生办公室,在那里医生利用基于写字板或平板的计算设备(例如iPadTM、XoomTM、PlayBookTM等等)。当医生和患者是单独的时,他们的存在发生相长干涉以允许与患者在平板电脑上的基于AR的医疗记录的完全交互。当医生和患者在其他人面前时,个体发生相消干涉,从而导致与基于AR的医疗记录的受约束的交互。
使用情况:基于对象的留言板
图6图示托管平台600提供场景695中的特定对象的评注的另一可能使用情况。一个或多个个体可以使用移动设备610来经由传感器630捕获场景695的数字表示。该场景包括如几何形状所指示的多个对象。平台600尝试识别对象以及与对象或场景695相关联的上下文。平台600然后标识被绑定到对象的相关AR对象646。AR对象646A表示具有消息的留言板,其中留言板和消息被绑定到被标识为AR对象的特定对象。应当注意,消息还可以被绑定到留言板对象而不是仅特定对象。
应当认识到,基于场景695的上下文以及该场景的各元素之间的干涉来使在留言板中呈现的消息可用。例如,个人消息已经被绑定到对于移动设备610A的拥有者的现实世界对象。该个人消息是由于设备拥有者和对象一起存在而呈现的,因此,相长干涉导致个人消息的呈现。另外,留言板列出以公众为目标的其他消息。应当认识到,个体可以使用他们的移动设备或其他有AR能力的设备以经由消息交换来与AR对象646A交互,即使在AR对象646A表示被绑定到现实世界元素的消息的情况下亦如此。尽管AR对象646A被呈现为绑定到被识别为特定目标对象的特定元素的留言板或消息,但是如先前所讨论,AR对象646可以包括可购买的产品、促销(例如赠券、奖品、刺激物、大减价、折扣等等)、内容(例如图像、视频、音频等等)、基于成绩的奖励、代金券、智力玩具或游戏的线索、解锁的增强现实体验、应用数据、评论或者其他类型的对象或内容。
交互
一旦AR托管平台标识出针对上下文的相关AR对象的集合,该托管平台就指示移动设备或其他有AR能力的设备以允许设备具有与AR对象的一个或多个交互。在一些实施例中,AR对象可以包括允许用户选择或点击所呈现的对象的超链接AR对象,这使设备通过网络访问附加信息。在更详尽的实施例中,AR对象可以包括被拷贝到移动设备的有形存储器的软件指令。该指令将移动设备配置成根据该指令来与AR对象或远程计算设备交互。交互可以包括有AR能力的设备和AR对象之间或当中的许多种的可能相互作用。
一个尤其有趣的交互包括允许有AR能力的设备参与到与商务引擎的商业交易中。该商业交易可以包括购买、选择或以其他方式货币化与相关AR对象的集合的成员对象的交互。进行商业交易可以包括通过网络与一个或多个在线账户的交互。在这样的实施例中,感兴趣的AR对象可以承载指令或其他类型的信息以允许设备与远程服务器交互以便完成交易。这样的方法消除了对设备具有金融协议的先验知识以完成交易的要求。商业交易的附加示例可以包括:与飞行常客里程计划进行交互;以在线话语交互虚拟货币;将资金(现实或虚拟)从一个账号转移到另一个;支付通行费;与销售点设备进行交互;进行信用卡、礼金卡或积分卡交易;经由在线零售商(例如AmazonTM、AudibleTM等等)进行在线购买;支付公用事业;支付税款;或被认为具有货币值的其他类型的交易。
又一预期类型的交互包括管理AR对象。在更典型的实施例中,具有蜂窝电话的个体将可能表示AR内容的消费者。AR内容消费者具有对管理AR对象的一组广泛需要。在一些实施例中,个体的蜂窝电话可以操作为AR对象集线器,通过该AR对象集线器,个体可以与在重叠的增强现实体验内参与的其他附近蜂窝电话交互。蜂窝电话或其他有AR能力的设备还可以操作为针对被绑定到个体或蜂窝电话的更多永久AR对象的存储设施或虚拟公文包。管理还被看作包括:监视AR对象的使用,假定关于AR对象的适当认证或授权;建立警报或通知;给AR对象或能力列清单;记录AR对象的使用;将AR对象从一个物理位置传输到另一个;与其他人交换或买卖AR对象;查看或观察上下文;或其他类型的与管理相关的交互。
管理交互还可以适用于增强现实内容创建者或发布者。交互还可以包括允许有AR能力的设备操作为内容创建公用事业。发布者可以利用有AR能力的设备(甚至他们自身的蜂窝电话)来与AR对象交互,其包括:根据场景内的元素实时创建AR对象;利用AR对象填充场景;甚至基于场景的元素来定义或创建AR上下文;管理AR对象的修订或版本;在创建期间或者甚至在现场调试AR对象;发布或发行一个或多个AR对象以用于消费;将AR对象绑定到其他AR对象或现实世界元素;为上下文或场景建立干涉函数;或者以其他方式参与创建或管理AR内容。
对本领域技术人员来说应当显而易见,在不偏离这里的本发明构思的情况下,除已经描述的那些修改外的许多更多修改是可能的。因此,本发明主题不应受到约束,除了在所附权利要求的范围内。此外,在解释说明书和权利要求二者的过程中,应当以与上下文一致的最宽可能方式来解释所有术语。特别地,术语“包括”和“包含”应当被解释为以非排他的方式指代元素、部件或步骤,指示所引用的元素、部件或步骤可能存在、被利用或与没有明确引用的其他元素、部件或步骤组合。在说明书权利要求书指代从由A、B、C……和N构成的组中选择的事物中的至少一个的情况下,该文本应当被解释为仅需要来自该组的一个元素,不是A加上N或者B加上N等等。

Claims (18)

1.一种增强现实AR托管平台计算设备,包括:
AR设备接口,其被配置成从至少一个AR设备获得场景的数字表示,所述场景包括具有现实世界元素和AR元素的多个元素;以及
对象识别引擎,其与AR设备接口耦合并被配置成:
将所述多个元素中的现实世界元素识别为经识别的目标对象;
基于与经识别的目标对象相关联的属性和同与经识别的目标对象有关的上下文相关联的上下文签名,关于所述数字表示来确定所述上下文,其中所述上下文签名指示何时所述上下文可能会被看作适用于场景,以及其中所确定的上下文具有包括多个准则属性的属性矢量;
从所述上下文导出干涉,所述干涉包括干扰准则以及关于所述干扰准则的满意度级别;
基于干涉准则来从所述AR元素标识相关增强现实对象的集合;以及
将至少一个AR设备配置成:
基于所述相关增强现实对象中的至少一个的属性和所述满意度级别来确定所述相关增强现实对象中的至少一个在所述场景内的存在;以及
根据所确定的存在允许与所述相关增强现实对象中的至少一个的交互。
2.根据权利要求1的托管平台计算设备,其中所述数字表示包括由所述至少一个AR设备获取的传感器数据。
3.根据权利要求2的托管平台计算设备,其中所述数字表示包括由多个AR设备获取的传感器数据。
4.根据权利要求1的托管平台计算设备,其中所述对象识别引擎被配置成通过下述操作来标识相关增强现实对象的集合:将所述干涉准则应用于所述AR元素中的至少一个的属性,以确定AR元素集合中的至少一个AR元素对所述干涉准则的满意度。
5.根据权利要求1的托管平台计算设备,其中所述干涉包括相长干涉,其中所确定的存在包括加强所述相关增强现实对象中的至少一个的视觉属性。
6.根据权利要求1的托管平台计算设备,其中所述干涉包括相消干涉,其中所确定的存在包括抑制所述相关增强现实对象中的至少一个的视觉属性。
7.根据权利要求5的托管平台计算设备,其中所述相关增强现实对象中的至少一个的视觉属性包括透明度。
8.根据权利要求1的托管平台计算设备,其中所述相关增强现实对象中的至少一个包括促销、折扣、赠券、奖品、内容、奖励、代金券、线索、产品、服务以及体验中的至少一个。
9.根据权利要求1的托管平台计算设备,其中所述交互包括与商务引擎的商业交易。
10.根据权利要求9的托管平台计算设备,其中所述商业交易包括所述相关增强现实对象中的至少一个的购买。
11.根据权利要求9的托管平台计算设备,其中所述商业交易包括所述现实世界元素的购买。
12.根据权利要求1的托管平台计算设备,其中所确定的上下文包括干涉函数,并且其中所述对象识别引擎进一步被配置成将所述干涉函数应用于增强现实对象的集合。
13.根据权利要求12的托管平台计算设备,其中所述相关增强现实对象中的至少一个包括被绑定到所述现实世界元素的留言板。
14.根据权利要求1的托管平台计算设备,其中所述数字表示包括位置信息,并且其中所述干涉取决于所述位置信息。
15.根据权利要求14的托管平台计算设备,其中所述位置信息与所述现实世界元素有关。
16.根据权利要求1的托管平台计算设备,其中所述数字表示包括时间信息,并且其中所述干涉取决于所述时间信息。
17.根据权利要求1的托管平台计算设备,其中所述上下文包括以下类型的上下文中的至少一个:游戏上下文、购物上下文、旅行上下文、工作上下文以及娱乐上下文。
18.根据权利要求5或6的托管平台计算设备,其中所述视觉属性包括所述相关增强现实对象中的至少一个的尺寸和透明度中的至少一个。
CN201280027652.3A 2011-04-08 2012-04-04 基于干涉的增强现实托管平台 Active CN103765410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710063195.8A CN107066517B (zh) 2011-04-08 2012-04-04 基于干涉的增强现实托管平台

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201161473324P 2011-04-08 2011-04-08
US61/473324 2011-04-08
US61/473,324 2011-04-08
US13/173,244 US8810598B2 (en) 2011-04-08 2011-06-30 Interference based augmented reality hosting platforms
US13/173244 2011-06-30
US13/173,244 2011-06-30
PCT/US2012/032204 WO2012138784A2 (en) 2011-04-08 2012-04-04 Interference based augmented reality hosting platforms

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710063195.8A Division CN107066517B (zh) 2011-04-08 2012-04-04 基于干涉的增强现实托管平台

Publications (2)

Publication Number Publication Date
CN103765410A CN103765410A (zh) 2014-04-30
CN103765410B true CN103765410B (zh) 2017-02-15

Family

ID=46965754

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710063195.8A Active CN107066517B (zh) 2011-04-08 2012-04-04 基于干涉的增强现实托管平台
CN201280027652.3A Active CN103765410B (zh) 2011-04-08 2012-04-04 基于干涉的增强现实托管平台

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710063195.8A Active CN107066517B (zh) 2011-04-08 2012-04-04 基于干涉的增强现实托管平台

Country Status (5)

Country Link
US (12) US8810598B2 (zh)
EP (1) EP2695129A4 (zh)
JP (1) JP5856281B2 (zh)
CN (2) CN107066517B (zh)
WO (1) WO2012138784A2 (zh)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810598B2 (en) * 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US20150070347A1 (en) * 2011-08-18 2015-03-12 Layar B.V. Computer-vision based augmented reality system
WO2013078345A1 (en) * 2011-11-21 2013-05-30 Nant Holdings Ip, Llc Subscription bill service, systems and methods
US9805385B2 (en) * 2011-11-21 2017-10-31 Nant Holdings Ip, Llc Subscription bill service, systems and methods
US20140228653A1 (en) * 2012-02-14 2014-08-14 Marianna Kiraly Device and method for displaying fetal positions and fetal biological signals using portable technology
US9092896B2 (en) * 2012-08-07 2015-07-28 Microsoft Technology Licensing, Llc Augmented reality display of scene behind surface
US20140053099A1 (en) * 2012-08-14 2014-02-20 Layar Bv User Initiated Discovery of Content Through an Augmented Reality Service Provisioning System
US10210273B2 (en) * 2012-08-31 2019-02-19 Hewlett-Packard Development Company, L.P. Active regions of an image with accessible links
US20150062114A1 (en) * 2012-10-23 2015-03-05 Andrew Ofstad Displaying textual information related to geolocated images
US10462499B2 (en) 2012-10-31 2019-10-29 Outward, Inc. Rendering a modeled scene
EP2915038A4 (en) 2012-10-31 2016-06-29 Outward Inc DELIVERY OF VIRTUALIZED CONTENT
US9245458B2 (en) * 2012-11-30 2016-01-26 Kimberly-Clark Worldwide, Inc. Systems and methods for using images to generate digital interaction
US20140160161A1 (en) * 2012-12-06 2014-06-12 Patricio Barreiro Augmented reality application
US9728008B2 (en) * 2012-12-10 2017-08-08 Nant Holdings Ip, Llc Interaction analysis systems and methods
US9767768B2 (en) 2012-12-20 2017-09-19 Arris Enterprises, Inc. Automated object selection and placement for augmented reality
US9412201B2 (en) * 2013-01-22 2016-08-09 Microsoft Technology Licensing, Llc Mixed reality filtering
US9946963B2 (en) 2013-03-01 2018-04-17 Layar B.V. Barcode visualization in augmented reality
US9667469B2 (en) 2013-03-04 2017-05-30 International Business Machines Corporation Colony application
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US9756138B2 (en) * 2013-04-08 2017-09-05 Here Global B.V. Desktop application synchronization to process data captured on a mobile device
US9196005B2 (en) * 2013-05-10 2015-11-24 Verizon and Redbox Digital Entertainment Services, LLC Vending kiosk user interface systems and methods
US9383819B2 (en) * 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
US9354702B2 (en) * 2013-06-03 2016-05-31 Daqri, Llc Manipulation of virtual object in augmented reality via thought
EP2818985B1 (en) * 2013-06-28 2021-05-12 Nokia Technologies Oy A hovering input field
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9953367B2 (en) 2014-01-03 2018-04-24 The Toronto-Dominion Bank Systems and methods for providing balance and event notifications
US9916620B2 (en) 2014-01-03 2018-03-13 The Toronto-Dominion Bank Systems and methods for providing balance notifications in an augmented reality environment
US9928547B2 (en) 2014-01-03 2018-03-27 The Toronto-Dominion Bank Systems and methods for providing balance notifications to connected devices
US10296972B2 (en) 2014-01-03 2019-05-21 The Toronto-Dominion Bank Systems and methods for providing balance notifications
US10395292B1 (en) 2014-04-30 2019-08-27 Wells Fargo Bank, N.A. Augmented reality electronic device using facial recognition functionality and displaying shopping reward at retail locations
US10839409B1 (en) 2014-04-30 2020-11-17 Wells Fargo Bank, N.A. Augmented reality store and services orientation gamification
US10726473B1 (en) 2014-04-30 2020-07-28 Wells Fargo Bank, N.A. Augmented reality shopping rewards
US9723109B2 (en) 2014-05-28 2017-08-01 Alexander Hertel Platform for constructing and consuming realm and object feature clouds
CN106462747B (zh) * 2014-06-17 2020-03-17 河谷控股Ip有限责任公司 活动识别系统和方法
US10719123B2 (en) 2014-07-15 2020-07-21 Nant Holdings Ip, Llc Multiparty object recognition
CN105469354A (zh) * 2014-08-25 2016-04-06 超威半导体公司 图形处理方法、系统和设备
KR102235707B1 (ko) * 2015-01-29 2021-04-02 한국전자통신연구원 콘텐츠 부가 정보 제공 방법 및 모바일 단말 및 콘텐츠 제어 서버
WO2016168785A1 (en) 2015-04-17 2016-10-20 Tulip Interfaces, Inc. Augmented manufacturing system
US10600249B2 (en) 2015-10-16 2020-03-24 Youar Inc. Augmented reality platform
US10482661B2 (en) * 2016-03-01 2019-11-19 International Business Machines Corporation Displaying of augmented reality objects
WO2017165705A1 (en) * 2016-03-23 2017-09-28 Bent Image Lab, Llc Augmented reality for the internet of things
US10373381B2 (en) 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
WO2017201569A1 (en) * 2016-05-23 2017-11-30 tagSpace Pty Ltd Fine-grain placement and viewing of virtual objects in wide-area augmented reality environments
TWI669633B (zh) * 2016-06-04 2019-08-21 英屬維爾京群島商創意點子數位股份有限公司(B.V.I) Mixed reality interaction method and system thereof
US20180053351A1 (en) * 2016-08-19 2018-02-22 Intel Corporation Augmented reality experience enhancement method and apparatus
US10746815B2 (en) * 2016-12-22 2020-08-18 Microsoft Technology Licensing, Llc Magnetic interference detection and correction
US20180189980A1 (en) * 2017-01-03 2018-07-05 Black Sails Technology Inc. Method and System for Providing Virtual Reality (VR) Video Transcoding and Broadcasting
US11093927B2 (en) * 2017-03-29 2021-08-17 International Business Machines Corporation Sensory data collection in an augmented reality system
US10740804B2 (en) 2017-07-28 2020-08-11 Magical Technologies, Llc Systems, methods and apparatuses of seamless integration of augmented, alternate, virtual, and/or mixed realities with physical realities for enhancement of web, mobile and/or other digital experiences
US10691303B2 (en) * 2017-09-11 2020-06-23 Cubic Corporation Immersive virtual environment (IVE) tools and architecture
US11249714B2 (en) 2017-09-13 2022-02-15 Magical Technologies, Llc Systems and methods of shareable virtual objects and virtual objects as message objects to facilitate communications sessions in an augmented reality environment
US10974135B2 (en) * 2017-09-28 2021-04-13 James Andrew Aman Interactive game theater with secret message imaging system
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US10904374B2 (en) 2018-01-24 2021-01-26 Magical Technologies, Llc Systems, methods and apparatuses to facilitate gradual or instantaneous adjustment in levels of perceptibility of virtual objects or reality object in a digital scene
US11501224B2 (en) 2018-01-24 2022-11-15 Andersen Corporation Project management system with client interaction
US11398088B2 (en) 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
US10650597B2 (en) 2018-02-06 2020-05-12 Servicenow, Inc. Augmented reality assistant
US10685478B1 (en) * 2018-06-14 2020-06-16 Kilburn Live, Llc Mitigating projector glare by real-time dynamic shadow masking
US10810430B2 (en) 2018-12-27 2020-10-20 At&T Intellectual Property I, L.P. Augmented reality with markerless, context-aware object tracking
US11436826B2 (en) 2019-01-11 2022-09-06 Target Brands, Inc. Augmented reality experience for shopping
US11631119B2 (en) 2019-01-11 2023-04-18 Target Brands, Inc. Electronic product recognition
US11467656B2 (en) 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
US11842729B1 (en) * 2019-05-08 2023-12-12 Apple Inc. Method and device for presenting a CGR environment based on audio data and lyric data
US10956791B2 (en) * 2019-07-19 2021-03-23 LayerJot, Inc. Interactive generation and publication of an augmented-reality application
KR20220049036A (ko) 2019-08-22 2022-04-20 난트지 모바일 엘엘씨 가상 및 현실 세계 컨텐츠 제작, 장치, 시스템 및 방법
US11196842B2 (en) 2019-09-26 2021-12-07 At&T Intellectual Property I, L.P. Collaborative and edge-enhanced augmented reality systems
CN114327316B (zh) * 2020-09-30 2024-04-19 伊姆西Ip控股有限责任公司 获取视觉内容的方法、设备和计算机程序产品
US20230393901A1 (en) * 2020-10-27 2023-12-07 Albert Luntsch Method for controlling and regulating data for generating a representation, in particular a virtual representation, via a client, and method for managing data on the internet for generating a representation, in particular a virtual representation, via a client
US20220404621A1 (en) * 2020-12-22 2022-12-22 Telefonaktiebolaget Lm Ericsson (Publ) Moderating a user?s sensory experience with respect to an extended reality
EP4268054A4 (en) 2020-12-22 2024-01-24 Telefonaktiebolaget LM Ericsson (publ) METHODS AND DEVICES RELATED TO AUGMENTED REALITY
US11289196B1 (en) 2021-01-12 2022-03-29 Emed Labs, Llc Health testing and diagnostics platform
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11373756B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11449841B1 (en) 2021-04-15 2022-09-20 Bank Of America Corporation Information security system and method for augmented reality check realization
GB2623461A (en) 2021-06-22 2024-04-17 Emed Labs Llc Systems, methods, and devices for non-human readable diagnostic tests
US12014829B2 (en) 2021-09-01 2024-06-18 Emed Labs, Llc Image processing and presentation techniques for enhanced proctoring sessions
US11886767B2 (en) 2022-06-17 2024-01-30 T-Mobile Usa, Inc. Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses
US20240202696A1 (en) * 2022-12-16 2024-06-20 Rovi Guides, Inc. Systems and methods for performing payments in an extended reality environment
US12079935B2 (en) * 2023-01-30 2024-09-03 Bank Of America Corporation Securing communication sessions in the metaverse

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101273368A (zh) * 2005-08-29 2008-09-24 埃韦里克斯技术股份有限公司 经由移动图像识别的交互
EP2257910A1 (en) * 2008-03-24 2010-12-08 Sony Ericsson Mobile Communications AB Mobile device with image recognition processing capability

Family Cites Families (515)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3050870A (en) 1961-01-10 1962-08-28 Morton L Heilig Sensorama simulator
US5255211A (en) 1990-02-22 1993-10-19 Redmond Productions, Inc. Methods and apparatus for generating and processing synthetic and absolute real time environments
US5759044A (en) 1990-02-22 1998-06-02 Redmond Productions Methods and apparatus for generating and processing synthetic and absolute real time environments
CA2135180A1 (en) 1992-05-08 1993-11-25 Gavin S. P. Miller Textured sphere and sperical environment map rendering using texture map double indirection
US5815411A (en) 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
US6922155B1 (en) 1993-04-06 2005-07-26 Travel Boards, Inc. Information display board
US5625765A (en) 1993-09-03 1997-04-29 Criticom Corp. Vision systems including devices and methods for combining images for extended magnification schemes
US6037936A (en) 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
US6278461B1 (en) 1993-09-10 2001-08-21 Geovector Corporation Augmented reality vision systems which derive image information from other vision systems
US7301536B2 (en) 1993-09-10 2007-11-27 Geovector Corporation Electro-optic vision systems
US6064398A (en) 1993-09-10 2000-05-16 Geovector Corporation Electro-optic vision systems
DE69431929T2 (de) 1993-09-29 2003-08-21 Sun Microsystems Inc Verfahren und einrichtung zur anzeige einer virtuellen welt
US5848373A (en) 1994-06-24 1998-12-08 Delorme Publishing Company Computer aided map location system
US6535210B1 (en) 1995-06-07 2003-03-18 Geovector Corp. Vision system computer modeling apparatus including interaction with real scenes with respect to perspective and spatial relationship as measured in real-time
US6256529B1 (en) 1995-07-26 2001-07-03 Burdette Medical Systems, Inc. Virtual reality 3D visualization for surgical procedures
GB9516762D0 (en) 1995-08-16 1995-10-18 Phelan Sean P Computer system for identifying local resources
JP3743037B2 (ja) 1995-11-01 2006-02-08 株式会社日立製作所 移動端末への情報提供方法、情報提供システム及び移動端末
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6161126A (en) 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
US6300936B1 (en) 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
US5751576A (en) 1995-12-18 1998-05-12 Ag-Chem Equipment Co., Inc. Animated map display method for computer-controlled agricultural product application equipment
US20030212996A1 (en) 1996-02-08 2003-11-13 Wolzien Thomas R. System for interconnection of audio program data transmitted by radio to remote vehicle or individual with GPS location
US6577714B1 (en) 1996-03-11 2003-06-10 At&T Corp. Map-based directory system
US5748194A (en) 1996-05-08 1998-05-05 Live Picture, Inc. Rendering perspective views of a scene using a scanline-coherent look-up table
US5991827A (en) 1996-05-22 1999-11-23 Geovector Corporation Apparatus for controlling electrical devices in response to sensed conditions
US6804726B1 (en) 1996-05-22 2004-10-12 Geovector Corporation Method and apparatus for controlling electrical devices in response to sensed conditions
AU3138397A (en) 1996-05-22 1997-12-09 Agent Based Curricula, Inc. Agent based instruction system and method
US6064749A (en) 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
US6097393A (en) 1996-09-03 2000-08-01 The Takshele Corporation Computer-executed, three-dimensional graphical resource management process and system
US5884029A (en) 1996-11-14 1999-03-16 International Business Machines Corporation User interaction with intelligent virtual objects, avatars, which interact with other avatars controlled by different users
US6092107A (en) 1997-04-07 2000-07-18 At&T Corp System and method for interfacing MPEG-coded audiovisual objects permitting adaptive control
US6130673A (en) 1997-04-18 2000-10-10 Silicon Graphics, Inc. Editing a surface
RU2120664C1 (ru) 1997-05-06 1998-10-20 Нурахмед Нурисламович Латыпов Система для погружения пользователя в виртуальную реальность
US6512844B2 (en) 1997-05-30 2003-01-28 California Institute Of Technology 3D rendering
US6256043B1 (en) 1997-09-26 2001-07-03 Lucent Technologies Inc. Three dimensional virtual reality enhancement techniques
US8432414B2 (en) 1997-09-05 2013-04-30 Ecole Polytechnique Federale De Lausanne Automated annotation of a view
US6552744B2 (en) 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
GB9721664D0 (en) 1997-10-14 1997-12-10 Philips Electronics Nv Data management within a virtual environment browser
US6336098B1 (en) 1997-12-11 2002-01-01 International Business Machines Corp. Method for electronic distribution and redemption of coupons on the world wide web
TW354840B (en) 1997-12-19 1999-03-21 Huang jun yao Method of multi-user interactive system on World Wide Web (WWW)
US6052125A (en) 1998-01-07 2000-04-18 Evans & Sutherland Computer Corporation Method for reducing the rendering load for high depth complexity scenes on a computer graphics display
CA2310114A1 (en) 1998-02-02 1999-08-02 Steve Mann Wearable camera system with viewfinder means
CA2235030A1 (en) 1998-02-02 1999-08-02 Steve Mann System for electronic newsgathering, documentary video, and photojournalism
WO1999042947A2 (en) 1998-02-18 1999-08-26 Geovector Corporation Apparatus and methods for presentation of information relating to objects being addressed
FI116505B (fi) 1998-03-23 2005-11-30 Nokia Corp Menetelmä ja järjestelmä suunnatun äänen käsittelemiseksi akustisessa virtuaaliympäristössä
US6242944B1 (en) 1998-04-01 2001-06-05 California Institute Of Technology Real-time reconfigurable vision computing system
US6631403B1 (en) 1998-05-11 2003-10-07 At&T Corp. Architecture and application programming interfaces for Java-enabled MPEG-4 (MPEG-J) systems
US6081278A (en) 1998-06-11 2000-06-27 Chen; Shenchang Eric Animation object having multiple resolution format
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US6697869B1 (en) 1998-08-24 2004-02-24 Koninklijke Philips Electronics N.V. Emulation of streaming over the internet in a broadcast application
US6215498B1 (en) 1998-09-10 2001-04-10 Lionhearth Technologies, Inc. Virtual command post
US6173239B1 (en) 1998-09-30 2001-01-09 Geo Vector Corporation Apparatus and methods for presentation of information relating to objects being addressed
US6262818B1 (en) 1998-10-07 2001-07-17 Institute Of Applied Optics, Swiss Federal Institute Of Technology Method for simultaneous amplitude and quantitative phase contrast imaging by numerical reconstruction of digital holograms
AU6410999A (en) 1998-10-13 2000-05-01 Integrated Systems Research Corporation System and method for fleet tracking
US7073129B1 (en) 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
US9183306B2 (en) 1998-12-18 2015-11-10 Microsoft Technology Licensing, Llc Automated selection of appropriate information based on a computer user's context
US6552729B1 (en) 1999-01-08 2003-04-22 California Institute Of Technology Automatic generation of animation of synthetic characters
US20030060211A1 (en) 1999-01-26 2003-03-27 Vincent Chern Location-based information retrieval system for wireless communication device
US7454361B1 (en) 1999-04-22 2008-11-18 Ceats, Inc. Individual seat selection ticketing and reservation system
US6346938B1 (en) 1999-04-27 2002-02-12 Harris Corporation Computer-resident mechanism for manipulating, navigating through and mensurating displayed image of three-dimensional geometric model
US8160994B2 (en) 1999-07-21 2012-04-17 Iopener Media Gmbh System for simulating events in a real environment
US6396475B1 (en) 1999-08-27 2002-05-28 Geo Vector Corp. Apparatus and methods of the remote address of objects
US6529183B1 (en) 1999-09-13 2003-03-04 Interval Research Corp. Manual interface combining continuous and discrete capabilities
US6563529B1 (en) 1999-10-08 2003-05-13 Jerry Jongerius Interactive system for displaying detailed view and direction in panoramic images
US6757068B2 (en) 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
JP2003529825A (ja) 2000-02-14 2003-10-07 ジオフェニックス, インコーポレイテッド グラフィカルプログラミングのための方法およびシステム
US6522292B1 (en) 2000-02-23 2003-02-18 Geovector Corp. Information systems having position measuring capacity
US6854012B1 (en) 2000-03-16 2005-02-08 Sony Computer Entertainment America Inc. Data transmission protocol and visual display for a networked computer system
US6746332B1 (en) 2000-03-16 2004-06-08 Sony Computer Entertainment America Inc. Visual display system for multi-user application
US6672961B1 (en) 2000-03-16 2004-01-06 Sony Computer Entertainment America Inc. Computer system and method of displaying images
WO2001071282A1 (en) 2000-03-16 2001-09-27 Geovector Corporation Information systems having directional interference facility
US6767287B1 (en) 2000-03-16 2004-07-27 Sony Computer Entertainment America Inc. Computer system and method for implementing a virtual reality environment for a multi-player game
JP2001286674A (ja) 2000-04-06 2001-10-16 Sharp Corp 電子機器
AU2001253345A1 (en) 2000-04-12 2001-10-30 T3D, Inc. Interactive video device and method of use
US6751655B1 (en) 2000-04-18 2004-06-15 Sun Microsystems, Inc. Method and apparatus for transport of scenegraph information across a network
GB0011455D0 (en) 2000-05-13 2000-06-28 Mathengine Plc Browser system and method for using it
US6768509B1 (en) 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
WO2002003091A2 (en) 2000-07-03 2002-01-10 Ecole Polytechnique Federale De Lausanne (Epfl) Method and wireless terminal for generating and maintaining a relative positioning system
US6569011B1 (en) 2000-07-17 2003-05-27 Battlepaint, Inc. System and method for player tracking
US6930715B1 (en) 2000-07-21 2005-08-16 The Research Foundation Of The State University Of New York Method, system and program product for augmenting an image of a scene with information about the scene
US20020077905A1 (en) 2000-08-11 2002-06-20 Tvx Internet Services, Inc. Integrated system for differentiation and positioning of a commercial offering
JP2002056163A (ja) 2000-08-11 2002-02-20 Masahiro Kutogi 商品又はサービスの支払い代金決済システム及び商品又はサービスの支払い代金決済方法
EP1405123B1 (de) 2000-10-07 2007-03-21 David Dickerson Informationssystem und Verfahren zur Zurverfügungstellen von Informationen unter Verwendung eines Holographischen Elements
ATE367596T1 (de) 2000-10-07 2007-08-15 David Dickerson Vorrichtung zur bestimmung der orientierung eines auges
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
WO2002033503A2 (en) 2000-10-18 2002-04-25 Koninklijke Philips Electronics N.V. System for storing and accessing information units
US7174301B2 (en) 2000-10-23 2007-02-06 Costar Group, Inc. System and method for accessing geographic-based data
US8130242B2 (en) 2000-11-06 2012-03-06 Nant Holdings Ip, Llc Interactivity via mobile image recognition
US8218873B2 (en) 2000-11-06 2012-07-10 Nant Holdings Ip, Llc Object information derived from object images
US7016532B2 (en) 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US7565008B2 (en) 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US8224078B2 (en) 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US6553310B1 (en) 2000-11-14 2003-04-22 Hewlett-Packard Company Method of and apparatus for topologically based retrieval of information
US20030177187A1 (en) 2000-11-27 2003-09-18 Butterfly.Net. Inc. Computing grid for massively multi-player online games and other multi-user immersive persistent-state and session-based applications
AU2002219857A1 (en) 2000-11-27 2002-06-03 Butterfly.Net, Inc. System and method for synthesizing environments to facilitate distributed, context-sensitive, multi-user interactive applications
US9047609B2 (en) 2000-11-29 2015-06-02 Noatak Software Llc Method and system for dynamically incorporating advertising content into multimedia environments
US6774869B2 (en) 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
EP1220551A1 (en) 2000-12-28 2002-07-03 Alcatel Provision of localized multimedia services
US20030069693A1 (en) 2001-01-16 2003-04-10 Snapp Douglas N. Geographic pointing device
US7031875B2 (en) 2001-01-24 2006-04-18 Geo Vector Corporation Pointing systems for addressing objects
US20040104935A1 (en) 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
EP1371019A2 (en) 2001-01-26 2003-12-17 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US7280697B2 (en) 2001-02-01 2007-10-09 California Institute Of Technology Unsupervised learning of object categories from cluttered images
SE0100351D0 (sv) 2001-02-06 2001-02-06 Sergio Luciani Traffic monitoring system and method
WO2002073818A1 (en) 2001-03-13 2002-09-19 Geovector Corporation Systems for providing point-to-call functionality
US6606558B2 (en) 2001-03-15 2003-08-12 Matsushita Electric Industrial Co., Ltd. Rendering device and method
US20020138607A1 (en) 2001-03-22 2002-09-26 There System, method and computer program product for data mining in a three-dimensional multi-user environment
JP2002282553A (ja) 2001-03-26 2002-10-02 Casio Comput Co Ltd キャラクタ画像表示制御システム、キャラクタ画像表示制御装置、記録媒体及び電子ゲーム装置
US6798429B2 (en) 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
US7406421B2 (en) 2001-10-26 2008-07-29 Intellisist Inc. Systems and methods for reviewing informational content in a vehicle
US6822648B2 (en) 2001-04-17 2004-11-23 Information Decision Technologies, Llc Method for occlusion of movable objects and people in augmented reality scenes
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
JP2002346226A (ja) 2001-05-22 2002-12-03 Sony Corp ゲーム構成方法及びゲームシステム
US20030008619A1 (en) 2001-07-03 2003-01-09 Werner Raymond J. Location-based information service for identifying areas with degraded radio signal strength
US20030027634A1 (en) 2001-08-03 2003-02-06 Matthews William F. Portable wireless game device and method for influencing an application executable from a fixed-location platform
US8046408B2 (en) 2001-08-20 2011-10-25 Alcatel Lucent Virtual reality systems and methods
US7269425B2 (en) 2001-09-12 2007-09-11 Telefonaktiebolaget Lm Ericsson (Publ) Location management system and a paging server in a wireless IP network
US7113618B2 (en) 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
US7274380B2 (en) 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
AU2002366902A1 (en) 2001-12-21 2003-07-09 Nokia Corporation Location-based novelty index value and recommendation system and method
US20030142661A1 (en) 2002-01-28 2003-07-31 Masayuki Chatani System and method for distributing data between a telephone network and an entertainment network
JP2003305276A (ja) 2002-02-18 2003-10-28 Space Tag Inc ゲームシステム、ゲーム装置、および記録媒体
US20050192025A1 (en) 2002-04-22 2005-09-01 Kaplan Richard D. Method and apparatus for an interactive tour-guide system
AU2003239385A1 (en) 2002-05-10 2003-11-11 Richard R. Reisman Method and apparatus for browsing using multiple coordinated device
US20070265089A1 (en) 2002-05-13 2007-11-15 Consolidated Global Fun Unlimited Simulated phenomena interaction game
GB2405010A (en) 2002-05-13 2005-02-16 Cons Global Fun Unltd Llc Method and system for interacting with simulated phenomena
JP2003337903A (ja) 2002-05-20 2003-11-28 Nec Corp オープン価格情報提供装置及びオープン価格情報提供方法
US20030224855A1 (en) 2002-05-31 2003-12-04 Robert Cunningham Optimizing location-based mobile gaming applications
US20040058732A1 (en) 2002-06-14 2004-03-25 Piccionelli Gregory A. Method, system and apparatus for location based gaming
US6853398B2 (en) 2002-06-21 2005-02-08 Hewlett-Packard Development Company, L.P. Method and system for real-time video communication within a virtual environment
US7076505B2 (en) 2002-07-11 2006-07-11 Metrobot Llc Method, apparatus, and computer program product for providing a graphical user interface with a linear map component
JP2004064398A (ja) 2002-07-29 2004-02-26 Matsushita Electric Ind Co Ltd 移動端末及び移動端末を備えた通信システム
JP4080815B2 (ja) 2002-08-13 2008-04-23 富士通株式会社 サービス情報提供方法
US7116326B2 (en) 2002-09-06 2006-10-03 Traffic.Com, Inc. Method of displaying traffic flow data representing traffic conditions
US6691032B1 (en) 2002-09-09 2004-02-10 Groundspeak, Inc. System and method for executing user-definable events triggered through geolocational data describing zones of influence
US20070035562A1 (en) 2002-09-25 2007-02-15 Azuma Ronald T Method and apparatus for image enhancement
GB0222554D0 (en) 2002-09-28 2002-11-06 Koninkl Philips Electronics Nv Data processing system and method of operation
US8458028B2 (en) 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
CA2449797A1 (en) 2002-12-04 2004-06-04 Bombardier Recreational Products Mobile electronic video game
SE525247C2 (sv) 2002-12-18 2005-01-11 Hagelodis Gaming Systems Ab Anordning för att automatiskt generera ett spelresultat baserat på åtminstone ett väderförhållande
SE0203908D0 (sv) 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US7620433B2 (en) 2003-01-15 2009-11-17 Gn Netcom, Inc. Display headset
US7729946B2 (en) 2003-01-24 2010-06-01 Massive Incorporated Online game advertising system
JP3992629B2 (ja) 2003-02-17 2007-10-17 株式会社ソニー・コンピュータエンタテインメント 画像生成システム、画像生成装置、画像生成方法
CA2457994A1 (en) 2003-02-24 2004-08-24 Simon Treadwell Apparatus and method for recording real time movements and experiences for subsequent replay in a virtual reality domain
US7071970B2 (en) 2003-03-10 2006-07-04 Charles Benton Video augmented orientation sensor
US8140698B2 (en) 2003-04-30 2012-03-20 International Business Machines Corporation Method and system for efficient data transmission in interactive networked environments
US6968973B2 (en) 2003-05-31 2005-11-29 Microsoft Corporation System and process for viewing and navigating through an interactive video tour
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
US20040248653A1 (en) 2003-06-05 2004-12-09 Mark Barros System and method for providing user interactive experiences according to user's physical location
US20050047647A1 (en) 2003-06-10 2005-03-03 Ueli Rutishauser System and method for attentional selection
US9341485B1 (en) 2003-06-19 2016-05-17 Here Global B.V. Method and apparatus for representing road intersections
US7116342B2 (en) 2003-07-03 2006-10-03 Sportsmedia Technology Corporation System and method for inserting content into an image sequence
KR100499417B1 (ko) 2003-07-15 2005-07-05 주식회사 하이닉스반도체 디디알 에스디램에서의 링잉 현상 방지 방법 및 그 장치
WO2005022315A2 (en) 2003-08-21 2005-03-10 Spidermonk Entertainment, Llc Interrelated game and information portals provided within the context of an encompassing virtual world
US11033821B2 (en) 2003-09-02 2021-06-15 Jeffrey D. Mullen Systems and methods for location based games and employment of the same on location enabled devices
US20050060377A1 (en) 2003-09-12 2005-03-17 Chen Chien Lo Transitory messaging with location information
WO2005026870A2 (en) 2003-09-16 2005-03-24 Yakir Terebilo Massive role-playing games or other multiplayer games system and method using cellular phone or device
DE602004023313D1 (de) 2003-09-30 2009-11-05 Kenwood Corp Führungsroutensuchverfahren
WO2005041109A2 (en) 2003-10-17 2005-05-06 Nielsen Media Research, Inc. Methods and apparatus for identifiying audio/video content using temporal signal characteristics
US9262743B2 (en) 2003-12-10 2016-02-16 Zerotouchdigital, Inc. Method and apparatus for sociable computing in ad-hoc and configured peer-to-peer networks
US9948885B2 (en) 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
US20060025229A1 (en) 2003-12-19 2006-02-02 Satayan Mahajan Motion tracking and analysis apparatus and method and system implementations thereof
US7796155B1 (en) 2003-12-19 2010-09-14 Hrl Laboratories, Llc Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
US20050208457A1 (en) 2004-01-05 2005-09-22 Wolfgang Fink Digital object recognition audio-assistant for the visually impaired
JP2005196494A (ja) 2004-01-07 2005-07-21 Mitsubishi Electric Corp 商品購入システム
JP4413633B2 (ja) 2004-01-29 2010-02-10 株式会社ゼータ・ブリッジ 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム
US8965460B1 (en) 2004-01-30 2015-02-24 Ip Holdings, Inc. Image and augmented reality based networks using mobile devices and intelligent electronic glasses
US7522995B2 (en) 2004-02-05 2009-04-21 Nortrup Edward H Method and system for providing travel time information
US20060166740A1 (en) 2004-03-08 2006-07-27 Joaquin Sufuentes Method and system for identifying, matching and transacting information among portable devices within radio frequency proximity
US7828655B2 (en) 2004-03-11 2010-11-09 Navteq North America, Llc Application programming interface for geographic data in computer games
WO2005094109A1 (en) 2004-03-18 2005-10-06 Nokia Corporation Position-based context awareness for mobile terminal device
US7599790B2 (en) 2004-03-23 2009-10-06 Google Inc. Generating and serving tiles in a digital mapping system
US7158878B2 (en) 2004-03-23 2007-01-02 Google Inc. Digital mapping system
JP2005316977A (ja) 2004-03-30 2005-11-10 Dainichiseika Color & Chem Mfg Co Ltd 印刷itショッピング連動印刷物に使用する印刷インキシステム、印刷方法および印刷itショッピング連動印刷物
US20050223031A1 (en) 2004-03-30 2005-10-06 Andrew Zisserman Method and apparatus for retrieving visual object categories from a database containing images
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US20070182812A1 (en) 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US20050285878A1 (en) 2004-05-28 2005-12-29 Siddharth Singh Mobile platform
US20050289590A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
US7015926B2 (en) 2004-06-28 2006-03-21 Microsoft Corporation System and process for generating a two-layer, 3D representation of a scene
US7460953B2 (en) 2004-06-30 2008-12-02 Navteq North America, Llc Method of operating a navigation system using images
US7710395B2 (en) 2004-07-14 2010-05-04 Alken, Inc. Head-mounted pointing and control device
FR2873472B1 (fr) 2004-07-22 2007-02-09 Commissariat Energie Atomique Procede et systeme d'identification de zones de proximite entre plusieurs objets geometriques simules numeriquement
US7142209B2 (en) 2004-08-03 2006-11-28 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video that was generated using overlapping images of a scene captured from viewpoints forming a grid
AU2005269256B2 (en) 2004-08-03 2008-08-07 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US8207964B1 (en) 2008-02-22 2012-06-26 Meadow William D Methods and apparatus for generating three-dimensional image data models
US20060047704A1 (en) 2004-08-31 2006-03-02 Kumar Chitra Gopalakrishnan Method and system for providing information services relevant to visual imagery
JP2006085518A (ja) 2004-09-17 2006-03-30 Honda Motor Co Ltd 販売情報管理システム
WO2006040200A1 (de) 2004-10-13 2006-04-20 Siemens Aktiengesellschaft Vorrichtung und verfahren zur beleuchtungs- und schattensimulation in einem augmented-reality-system
CN1767546B (zh) 2004-10-30 2011-08-03 华为技术有限公司 一种游戏系统和游戏平台及在游戏中应用位置信息的方法
US20080129528A1 (en) 2004-11-16 2008-06-05 Michael Phipps Guthrie Apparatus and method for guided tour
US8585476B2 (en) 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
JP4429924B2 (ja) 2005-01-06 2010-03-10 日本電信電話株式会社 成果報酬型広告管理装置
JP4659817B2 (ja) 2005-02-14 2011-03-30 富士通株式会社 販売支援装置
US20060190812A1 (en) 2005-02-22 2006-08-24 Geovector Corporation Imaging systems including hyperlink associations
JP2006280480A (ja) 2005-03-31 2006-10-19 Sega Corp ゲーム装置、ゲームプログラムおよびゲームシステム
US20060223637A1 (en) 2005-03-31 2006-10-05 Outland Research, Llc Video game system combining gaming simulation with remote robot control and remote robot feedback
US20060223635A1 (en) 2005-04-04 2006-10-05 Outland Research method and apparatus for an on-screen/off-screen first person gaming experience
JP4738870B2 (ja) 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
TWI259385B (en) 2005-05-03 2006-08-01 Shooter Digital Co Ltd Electronic transaction system capable of enhancing transaction security and electronic transaction method thereof
EP1720131B1 (en) 2005-05-03 2009-04-08 Seac02 S.r.l. An augmented reality system with real marker object identification
WO2006122289A2 (en) 2005-05-11 2006-11-16 Sennari Entertainment, Inc System and method for mobile loyalty program
US20060262140A1 (en) 2005-05-18 2006-11-23 Kujawa Gregory A Method and apparatus to facilitate visual augmentation of perceived reality
US8349951B2 (en) 2005-05-31 2013-01-08 Prc Desoto International, Inc. Polythioether polymers and curable compositions containing them
US7737965B2 (en) 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
US7353114B1 (en) 2005-06-27 2008-04-01 Google Inc. Markup language for an interactive geographic information system
US8275397B2 (en) 2005-07-14 2012-09-25 Huston Charles D GPS based friend location and identification system and method
US20070060408A1 (en) 2005-08-31 2007-03-15 Motorola, Inc. Method and system for location based game services for wireless devices
US7747280B2 (en) 2005-09-19 2010-06-29 Silverbrook Research Pty Ltd Retrieving a product via a coded surface
US20070070069A1 (en) 2005-09-26 2007-03-29 Supun Samarasekera System and method for enhanced situation awareness and visualization of environments
US20070087828A1 (en) 2005-10-14 2007-04-19 Alexander Robertson Computer system for creating and playing location aware games
US8130260B2 (en) 2005-11-09 2012-03-06 Johns Hopkins University System and method for 3-dimensional display of image data
US8160400B2 (en) 2005-11-17 2012-04-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
KR100715681B1 (ko) 2005-12-06 2007-05-09 한국전자통신연구원 센서 네트워크 기반 유비쿼터스 상황인지 에이전트 장치 및그 상황인지 방법
DE102005061952B4 (de) 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
JP4927873B2 (ja) 2006-01-17 2012-05-09 クゥアルコム・インコーポレイテッド 仮想動作の境界を設定する方法および装置
KR101309176B1 (ko) 2006-01-18 2013-09-23 삼성전자주식회사 증강 현실 장치 및 방법
US7412427B2 (en) 2006-01-27 2008-08-12 Microsoft Corporation Object instance recognition using feature symbol triplets
DE102006005044B4 (de) 2006-02-03 2011-01-27 Metaio Gmbh Verfahren und System zur Bestimmung eines Datenmodells zur Überlagerung mit einem realen Objekt in einem Verfahren zur Objektverfolgung
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US20070237491A1 (en) 2006-03-29 2007-10-11 Clifford Kraft Portable personal entertainment video viewing system
US8938464B2 (en) 2006-04-25 2015-01-20 Google Inc. Identifying geo-located objects
US9958934B1 (en) 2006-05-01 2018-05-01 Jeffrey D. Mullen Home and portable augmented reality and virtual reality video game consoles
US20070271301A1 (en) 2006-05-03 2007-11-22 Affinity Media Uk Limited Method and system for presenting virtual world environment
US7599789B2 (en) 2006-05-24 2009-10-06 Raytheon Company Beacon-augmented pose estimation
US8571580B2 (en) 2006-06-01 2013-10-29 Loopt Llc. Displaying the location of individuals on an interactive map display on a mobile communication device
US7978207B1 (en) 2006-06-13 2011-07-12 Google Inc. Geographic image overlay
US7847808B2 (en) 2006-07-19 2010-12-07 World Golf Tour, Inc. Photographic mapping in a simulation
US7712052B2 (en) 2006-07-31 2010-05-04 Microsoft Corporation Applications of three-dimensional environments constructed from images
US20080030429A1 (en) 2006-08-07 2008-02-07 International Business Machines Corporation System and method of enhanced virtual reality
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US20080125218A1 (en) 2006-09-20 2008-05-29 Kelly James Collins Method of use for a commercially available portable virtual reality system
JP4125764B2 (ja) 2006-09-21 2008-07-30 株式会社スクウェア・エニックス ビデオゲーム制御システム、及びビデオゲーム制御サーバ
US20080081638A1 (en) 2006-09-29 2008-04-03 Richard Robert Boland Method for locating a mobile unit of a distressed user
US9747698B2 (en) 2006-10-21 2017-08-29 Sam Stathis System for accurately and precisely locating and marking a position in space using wireless communications and robotics
EP2078229A2 (en) 2006-11-02 2009-07-15 Sensics, Inc. Systems and methods for a head-mounted display
US10908421B2 (en) 2006-11-02 2021-02-02 Razer (Asia-Pacific) Pte. Ltd. Systems and methods for personal viewing devices
US7734412B2 (en) 2006-11-02 2010-06-08 Yahoo! Inc. Method of client side map rendering with tiled vector data
US9891435B2 (en) 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
US8291346B2 (en) 2006-11-07 2012-10-16 Apple Inc. 3D remote control system employing absolute and relative position detection
FR2908322B1 (fr) 2006-11-09 2009-03-06 Parrot Sa Procede de definition de zone de jeux pour un systeme de jeux video
US20080147325A1 (en) 2006-12-18 2008-06-19 Maassel Paul W Method and system for providing augmented reality
FR2911707B1 (fr) 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
US20080198222A1 (en) 2007-02-02 2008-08-21 Sanjay Gowda System and method for tele-presence
US20080198159A1 (en) 2007-02-16 2008-08-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for efficient and flexible surveillance visualization with context sensitive privacy preserving and power lens data mining
JP2007222640A (ja) 2007-02-26 2007-09-06 Mic Ware:Kk ゲーム装置及びコンピュータプログラム
EP1965344B1 (en) 2007-02-27 2017-06-28 Accenture Global Services Limited Remote object recognition
US20080262910A1 (en) 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Connect People via Virtual Reality for Real Time Communications
US20080268876A1 (en) 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US8855719B2 (en) 2009-05-08 2014-10-07 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
US9037599B1 (en) 2007-05-29 2015-05-19 Google Inc. Registering photos in a geographic information system, and applications thereof
EP2015024A3 (en) 2007-06-19 2009-03-25 GroundSpeak, Inc. System and method for providing player interfacing layouts for geolocational activities
US8675017B2 (en) 2007-06-26 2014-03-18 Qualcomm Incorporated Real world gaming framework
US20090003662A1 (en) 2007-06-27 2009-01-01 University Of Hawaii Virtual reality overlay
US7844229B2 (en) 2007-09-21 2010-11-30 Motorola Mobility, Inc Mobile virtual and augmented reality system
US9703369B1 (en) 2007-10-11 2017-07-11 Jeffrey David Mullen Augmented reality video game systems
US8180396B2 (en) 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
US8688814B2 (en) 2007-10-19 2014-04-01 Telefonaktiebolaget L M Ericsson (Publ) Methods and apparatuses for notifying an application function of resource restrictions relating to a communication session
US8472972B2 (en) 2007-11-21 2013-06-25 International Business Machines Corporation Device, system, and method of physical context based wireless communication
US20090149250A1 (en) 2007-12-07 2009-06-11 Sony Ericsson Mobile Communications Ab Dynamic gaming environment
US8531449B2 (en) 2007-12-18 2013-09-10 Navteq B.V. System and method for producing multi-angle views of an object-of-interest from images in an image dataset
US8264505B2 (en) 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
US9582937B2 (en) 2008-01-02 2017-02-28 Nokia Technologies Oy Method, apparatus and computer program product for displaying an indication of an object within a current field of view
US9706345B2 (en) 2008-01-04 2017-07-11 Excalibur Ip, Llc Interest mapping system
US8624924B2 (en) 2008-01-18 2014-01-07 Lockheed Martin Corporation Portable immersive environment using motion capture and head mounted display
US8615383B2 (en) 2008-01-18 2013-12-24 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US7814061B2 (en) 2008-01-24 2010-10-12 Eastman Kodak Company Method for preserving privacy with image capture
US20090271715A1 (en) 2008-01-29 2009-10-29 Tumuluri Ramakrishna J Collaborative augmented virtuality system
US8717411B2 (en) 2008-02-05 2014-05-06 Olympus Imaging Corp. Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
KR100912264B1 (ko) 2008-02-12 2009-08-17 광주과학기술원 사용자 반응형 증강 영상 생성 방법 및 시스템
KR100963238B1 (ko) 2008-02-12 2010-06-10 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
KR101485459B1 (ko) 2008-02-15 2015-01-22 삼성전자주식회사 인터넷 가상 현실상의 그래픽 아이콘을 현실의 사용자경험과 연동하는 방법, 장치 및 그 기록매체
US8078197B2 (en) 2008-02-20 2011-12-13 Agere Systems Inc. Location-based search-result ranking for blog documents and the like
JP5172385B2 (ja) 2008-02-25 2013-03-27 株式会社ワコム 表示機能付き入力装置及び携帯型電子機器
US20090219224A1 (en) 2008-02-28 2009-09-03 Johannes Elg Head tracking for enhanced 3d experience using face detection
US20090222742A1 (en) 2008-03-03 2009-09-03 Cisco Technology, Inc. Context sensitive collaboration environment
CA2659698C (en) 2008-03-21 2020-06-16 Dressbot Inc. System and method for collaborative shopping, business and entertainment
US20090248300A1 (en) 2008-03-31 2009-10-01 Sony Ericsson Mobile Communications Ab Methods and Apparatus for Viewing Previously-Recorded Multimedia Content from Original Perspective
US8189959B2 (en) 2008-04-17 2012-05-29 Microsoft Corporation Image blending using multi-splines
US8170222B2 (en) 2008-04-18 2012-05-01 Sony Mobile Communications Ab Augmented reality enhanced audio
US8010327B2 (en) 2008-04-25 2011-08-30 Total Immersion Software, Inc. Composite assets for use in multiple simulation environments
US8762035B2 (en) 2008-05-19 2014-06-24 Waze Mobile Ltd. System and method for realtime community information exchange
US8711176B2 (en) 2008-05-22 2014-04-29 Yahoo! Inc. Virtual billboards
EP2318897B1 (en) 2008-05-28 2018-05-16 Google LLC Motion-controlled views on mobile computing devices
US20090322671A1 (en) 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
US8204299B2 (en) 2008-06-12 2012-06-19 Microsoft Corporation 3D content aggregation built into devices
US7936285B2 (en) 2008-06-18 2011-05-03 The Boeing Company Multipurpose information transfer medium eyepiece
US8467991B2 (en) 2008-06-20 2013-06-18 Microsoft Corporation Data services based on gesture and location information of device
US9191238B2 (en) 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
US8385971B2 (en) 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8612136B2 (en) 2008-08-27 2013-12-17 Waze Mobile Ltd. System and method for road map creation
FR2936607B1 (fr) 2008-09-26 2012-10-12 Thales Sa Dispositif de detection optique de position et/ou d'orientation d'objets comprenant au moins un capteur lineaire
TW201014637A (en) 2008-10-03 2010-04-16 Ying-Zhen Qiu Method and system for generating virtual resources of game, computer program product, portable electronic device, and commercial marketing method using the method for generating virtual resources of game
JP4920660B2 (ja) 2008-10-24 2012-04-18 ヤフー株式会社 過去に撮像したリアル画像にバーチャルオブジェクトを重ねて表示する装置及び方法
US9037468B2 (en) 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
US8145711B2 (en) 2008-11-05 2012-03-27 At&T Intellectual Property I, L.P. Multi-player game data via multicast transmission
JP2010111502A (ja) 2008-11-10 2010-05-20 Kyocera Mita Corp 給紙装置及びこれを備えた画像形成装置
JP2010118019A (ja) * 2008-11-14 2010-05-27 Sharp Corp 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体
US20100138294A1 (en) 2008-12-03 2010-06-03 Microsoft Corporation Provision of location-based advertising
US20100162149A1 (en) 2008-12-24 2010-06-24 At&T Intellectual Property I, L.P. Systems and Methods to Provide Location Information
KR101062961B1 (ko) 2009-01-07 2011-09-06 광주과학기술원 증강현실 컨텐츠 저작 시스템과 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR100910303B1 (ko) 2009-01-09 2009-08-03 이순구 가변코드 테이블을 이용한 데이터 암복호화 장치 및 그 방법
US8606657B2 (en) 2009-01-21 2013-12-10 Edgenet, Inc. Augmented reality method and system for designing environments and buying/selling goods
US8350871B2 (en) 2009-02-04 2013-01-08 Motorola Mobility Llc Method and apparatus for creating virtual graffiti in a mobile virtual and augmented reality system
US20100208033A1 (en) 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
TW201032160A (en) 2009-02-19 2010-09-01 Simpleact Inc System and method for mobile trade
JP2010224884A (ja) 2009-03-24 2010-10-07 Fujitsu Fsas Inc 割引情報配信方法及びシステム
JP5558730B2 (ja) 2009-03-24 2014-07-23 株式会社バンダイナムコゲームス プログラム及びゲーム装置
US20100246969A1 (en) 2009-03-25 2010-09-30 Microsoft Corporation Computationally efficient local image descriptors
US9024972B1 (en) 2009-04-01 2015-05-05 Microsoft Technology Licensing, Llc Augmented reality computing with inertial sensors
US20100257252A1 (en) 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
US8246467B2 (en) 2009-04-29 2012-08-21 Apple Inc. Interactive gaming with co-located, networked direction and location aware devices
US8886206B2 (en) 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing
US8839121B2 (en) 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
JP5438377B2 (ja) 2009-05-18 2014-03-12 任天堂株式会社 情報処理プログラムおよび情報処理装置
KR20100124947A (ko) 2009-05-20 2010-11-30 삼성에스디에스 주식회사 증강현실을 이용하여 휴대형 단말기에 실시간 지역정보를 제공하는 ar컨텐츠 제공시스템 및 그 제공방법
WO2010138344A2 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for control of a simulated object that is associated with a physical location in the real world environment
US8745494B2 (en) 2009-05-27 2014-06-03 Zambala Lllp System and method for control of a simulated object that is associated with a physical location in the real world environment
US20100309097A1 (en) 2009-06-04 2010-12-09 Roni Raviv Head mounted 3d display
CN102484730A (zh) 2009-06-04 2012-05-30 寇平公司 集成头戴显示器的3-d视频处理器
TW201044185A (en) 2009-06-09 2010-12-16 Zillians Inc Virtual world simulation systems and methods utilizing parallel coprocessors, and computer program products thereof
US20100325154A1 (en) 2009-06-22 2010-12-23 Nokia Corporation Method and apparatus for a virtual image world
US9129644B2 (en) 2009-06-23 2015-09-08 Disney Enterprises, Inc. System and method for rendering in accordance with location of virtual objects in real-time
US8427508B2 (en) 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
US10675543B2 (en) 2009-07-28 2020-06-09 Activision Publishing, Inc. GPS related video game
US8994645B1 (en) 2009-08-07 2015-03-31 Groundspeak, Inc. System and method for providing a virtual object based on physical location and tagging
US8639113B2 (en) 2009-08-12 2014-01-28 International Business Machines Corporation Network protection switching
US20110039622A1 (en) 2009-08-12 2011-02-17 3 Legged Dog, Inc. Interactive system and method for digital artifact relocation and activation
WO2011018655A2 (en) 2009-08-13 2011-02-17 Bae Systems Plc Head up display system
US8645220B2 (en) 2009-08-28 2014-02-04 Homer Tlc, Inc. Method and system for creating an augmented reality experience in connection with a stored value token
US8228413B2 (en) 2009-09-01 2012-07-24 Geovector Corp. Photographer's guidance systems
US8502835B1 (en) 2009-09-02 2013-08-06 Groundspeak, Inc. System and method for simulating placement of a virtual object relative to real world objects
US8321527B2 (en) 2009-09-10 2012-11-27 Tribal Brands System and method for tracking user location and associated activity and responsively providing mobile device updates
JP2011060254A (ja) 2009-09-11 2011-03-24 Toru Kikuchi 拡張現実システム、拡張現実装置および仮想オブジェクト表示方法
WO2011068582A2 (en) 2009-09-18 2011-06-09 Logos Technologies, Inc. Systems and methods for persistent surveillance and large volume data streaming
US8210934B2 (en) 2009-09-30 2012-07-03 Zynga Inc. Apparatuses, methods and systems for a multi-level in-game currency platform
US8121618B2 (en) * 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US9001252B2 (en) 2009-11-02 2015-04-07 Empire Technology Development Llc Image matching to augment reality
US9118428B2 (en) 2009-11-04 2015-08-25 At&T Intellectual Property I, L.P. Geographic advertising using a scalable wireless geocast protocol
EP2499550A1 (en) * 2009-11-10 2012-09-19 Selex Sistemi Integrati S.p.A. Avatar-based virtual collaborative assistance
US8451266B2 (en) 2009-12-07 2013-05-28 International Business Machines Corporation Interactive three-dimensional augmented realities from item markers for on-demand item visualization
AU2010328655B2 (en) 2009-12-13 2014-07-17 Intuit Inc. Systems and methods for purchasing products from a retail establishment using a mobile device
US8386620B2 (en) 2009-12-15 2013-02-26 Apple Inc. Ad hoc networking based on content and location
WO2011084720A2 (en) 2009-12-17 2011-07-14 Qderopateo, Llc A method and system for an augmented reality information engine and product monetization therefrom
KR101229078B1 (ko) 2009-12-21 2013-02-04 한국전자통신연구원 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법
US8510045B2 (en) 2009-12-22 2013-08-13 Steven L. Rueben Digital maps displaying search-resulting points-of-interest in user delimited regions
KR100974894B1 (ko) 2009-12-22 2010-08-11 전자부품연구원 멀티 적외선 카메라 방식의 3차원 공간 터치 장치
US20110151955A1 (en) 2009-12-23 2011-06-23 Exent Technologies, Ltd. Multi-player augmented reality combat
US8200251B2 (en) 2010-01-15 2012-06-12 Apple Inc. Determining a location of a mobile device using a location database
US20110183754A1 (en) 2010-01-25 2011-07-28 Mansour Ali Saleh Alghamdi Game system based on real time and location of user
US20110202416A1 (en) 2010-02-12 2011-08-18 Mark Buer Method and system for authorizing transactions based on device location
US8947455B2 (en) 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
EP2539883A1 (en) * 2010-02-24 2013-01-02 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
KR20130000401A (ko) 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US9098905B2 (en) 2010-03-12 2015-08-04 Google Inc. System and method for determining position of a device
US20110221771A1 (en) * 2010-03-12 2011-09-15 Cramer Donald M Merging of Grouped Markers in An Augmented Reality-Enabled Distribution Network
US20110234631A1 (en) 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
US9417691B2 (en) 2010-03-26 2016-08-16 Nokia Technologies Oy Method and apparatus for ad-hoc peer-to-peer augmented reality environment
US20110246276A1 (en) 2010-04-02 2011-10-06 Richard Ross Peters Augmented- reality marketing with virtual coupon
US20120109773A1 (en) 2010-04-09 2012-05-03 Neomedia Technologies, Inc. Method and system for implementing bar codes with online auctions
US8908043B2 (en) 2010-04-12 2014-12-09 Symbol Technologies, Inc. System and method for location-based operation of a head mounted display
US20110279445A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for presenting location-based content
WO2011149558A2 (en) * 2010-05-28 2011-12-01 Abelow Daniel H Reality alternate
US9122707B2 (en) 2010-05-28 2015-09-01 Nokia Technologies Oy Method and apparatus for providing a localized virtual reality environment
JP5656457B2 (ja) * 2010-06-01 2015-01-21 シャープ株式会社 商品情報提供端末装置および商品情報提供システム
EP2393056A1 (en) 2010-06-02 2011-12-07 Layar B.V. Acquiring, ranking and displaying points of interest for use in an augmented reality service provisioning system and graphical user interface for displaying such ranked points of interests
US9573064B2 (en) 2010-06-24 2017-02-21 Microsoft Technology Licensing, Llc Virtual and location-based multiplayer gaming
US20120256917A1 (en) 2010-06-25 2012-10-11 Lieberman Stevan H Augmented Reality System
JP5244864B2 (ja) 2010-06-29 2013-07-24 ヤフー株式会社 商品識別装置、方法及びプログラム
US20110316880A1 (en) 2010-06-29 2011-12-29 Nokia Corporation Method and apparatus providing for adaptation of an augmentative content for output at a location based on a contextual characteristic
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US8251819B2 (en) 2010-07-19 2012-08-28 XMG Studio Sensor error reduction in mobile device based interactive multiplayer augmented reality gaming through use of one or more game conventions
US20120019557A1 (en) 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
US8519844B2 (en) 2010-07-30 2013-08-27 Gravity Jack, Inc. Augmented reality and location determination methods and apparatus
KR101299910B1 (ko) 2010-08-18 2013-08-23 주식회사 팬택 증강 현실 서비스의 공유 방법 및 그를 위한 사용자 단말기와 원격자 단말기
US8743145B1 (en) 2010-08-26 2014-06-03 Amazon Technologies, Inc. Visual overlay for augmenting reality
US20120050144A1 (en) 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
KR101171264B1 (ko) 2010-08-30 2012-08-06 성균관대학교산학협력단 증강현실기법을 이용한 건축 구조물 정보 제공 장치, 건축 구조물 디스플레이 장치 및 이를 이용한 건축 구조물 유지 보수 방법
US9013550B2 (en) 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality
US9377862B2 (en) 2010-09-20 2016-06-28 Kopin Corporation Searchlight navigation using headtracker to reveal hidden or extra document data
US9122307B2 (en) 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
ES2745739T3 (es) 2010-09-20 2020-03-03 Qualcomm Inc Un entorno adaptable para realidad aumentada asistida por la nube
US8706170B2 (en) 2010-09-20 2014-04-22 Kopin Corporation Miniature communications gateway for head mounted display
US9959595B2 (en) 2010-09-21 2018-05-01 Mobileye Vision Technologies Ltd. Dense structure from motion
US8872851B2 (en) 2010-09-24 2014-10-28 Intel Corporation Augmenting image data based on related 3D point cloud data
US9317133B2 (en) 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
IL208600A (en) 2010-10-10 2016-07-31 Rafael Advanced Defense Systems Ltd Real-time network-based laminated reality for mobile devices
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
KR101357260B1 (ko) 2010-10-22 2014-02-03 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
US8660369B2 (en) 2010-10-25 2014-02-25 Disney Enterprises, Inc. Systems and methods using mobile devices for augmented reality
US9348141B2 (en) 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US8723888B2 (en) * 2010-10-29 2014-05-13 Core Wireless Licensing, S.a.r.l. Method and apparatus for determining location offset information
US8698843B2 (en) 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US20120110477A1 (en) 2010-11-02 2012-05-03 Mimesis Republic Systems and methods for enabling virtual social interactions
US9275499B2 (en) 2010-11-08 2016-03-01 Sony Corporation Augmented reality interface for video
US20120113141A1 (en) * 2010-11-09 2012-05-10 Cbs Interactive Inc. Techniques to visualize products using augmented reality
US9511291B2 (en) 2010-11-15 2016-12-06 Bally Gaming, Inc. System and method for enhanced augmented reality tracking
US20120122570A1 (en) * 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
KR101295712B1 (ko) 2010-11-22 2013-08-16 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
US8933841B2 (en) 2010-12-13 2015-01-13 The Governing Council Of The University Of Toronto System and method for localization
US20120157210A1 (en) 2010-12-15 2012-06-21 At&T Intellectual Property I Lp Geogame for mobile device
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US9177381B2 (en) 2010-12-22 2015-11-03 Nani Holdings IP, LLC Depth estimate determination, systems and methods
US9264515B2 (en) 2010-12-22 2016-02-16 Intel Corporation Techniques for mobile augmented reality applications
US8913085B2 (en) 2010-12-22 2014-12-16 Intel Corporation Object mapping techniques for mobile augmented reality applications
US8579710B2 (en) 2011-01-20 2013-11-12 Xmg Studio, Inc. Systems and methods of virtual goods trading using ratings to ascribe value to virtual goods
US9480913B2 (en) 2011-01-26 2016-11-01 WhitewaterWest Industries Ltd. Interactive entertainment using a mobile device with object tagging and/or hyperlinking
US8509483B2 (en) 2011-01-31 2013-08-13 Qualcomm Incorporated Context aware augmentation interactions
US20120194547A1 (en) 2011-01-31 2012-08-02 Nokia Corporation Method and apparatus for generating a perspective display
US8488011B2 (en) 2011-02-08 2013-07-16 Longsand Limited System to augment a visual data stream based on a combination of geographical and visual information
TWI477114B (zh) 2011-02-25 2015-03-11 Univ Nat Chiao Tung 以擴增實境為基礎並結合雲端計算之創新檔案傳輸方法
TWI431250B (zh) 2011-03-01 2014-03-21 Navigation device for integrating traffic image recording and navigation information
EP2684145A4 (en) 2011-03-07 2014-09-03 Kba2 Inc SYSTEMS AND METHOD FOR ANALYTICAL DATA ACQUISITION OF IMAGE PROVIDERS ON THE BASIS OF AN EVENT OR GEOGRAPHICAL LOCATION
US20120232968A1 (en) 2011-03-08 2012-09-13 Bank Of America Corporation Real-time video image analysis for an appropriate payment account
US20120232976A1 (en) 2011-03-08 2012-09-13 Bank Of America Corporation Real-time video analysis for reward offers
US8438110B2 (en) 2011-03-08 2013-05-07 Bank Of America Corporation Conducting financial transactions based on identification of individuals in an augmented reality environment
US8668498B2 (en) 2011-03-08 2014-03-11 Bank Of America Corporation Real-time video image analysis for providing virtual interior design
US8660951B2 (en) 2011-03-08 2014-02-25 Bank Of America Corporation Presenting offers on a mobile communication device
US20120229625A1 (en) 2011-03-08 2012-09-13 Bank Of America Corporation Providing affinity program information
US8594931B2 (en) 2011-03-09 2013-11-26 Window Seat, Inc. Onboard location-based in-flight entertainment and information
US8743244B2 (en) 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
US20120244950A1 (en) 2011-03-27 2012-09-27 Edwin Braun System and method for cross-platform and cross-game virtual asset creation and management
US20120252359A1 (en) 2011-03-29 2012-10-04 Research In Motion Limited Mobile wireless communications device for selecting a payment account to use with a payment processing system based upon a movement sensor or image sensor and associated methods
US9071709B2 (en) 2011-03-31 2015-06-30 Nokia Technologies Oy Method and apparatus for providing collaboration between remote and on-site users of indirect augmented reality
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
CL2012000932A1 (es) 2011-04-14 2014-07-25 Harnischfeger Tech Inc Un cucharon y tambor de frenado para una excavadora de mineria, incluye un cucharon y una puerta acoplada en forma rotatoria al cuerpo del cucharon, el tambor comprende una carcasa con una pared interna, un eje acoplado en forma rotatoria a la cubierta, una paleta colocada dentro de la camara, una dama o pared posicionada y una primera y segunda valvula.
US8836771B2 (en) 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US8882595B2 (en) 2011-04-29 2014-11-11 2343127 Ontartio Inc. Systems and methods of importing virtual objects using barcodes
CN109116985A (zh) 2011-05-10 2019-01-01 寇平公司 控制信息显示的方法
US8678876B2 (en) 2011-05-23 2014-03-25 Qualcomm Incorporated Method and apparatus for remote controlled object gaming with proximity-based augmented reality enhancement
US20120299962A1 (en) 2011-05-27 2012-11-29 Nokia Corporation Method and apparatus for collaborative augmented reality displays
US8223088B1 (en) 2011-06-09 2012-07-17 Google Inc. Multimode input field for a head-mounted display
US8576756B2 (en) 2011-06-28 2013-11-05 International Business Machines Corporation Continuous cache service in cellular networks
US8608570B1 (en) 2011-06-30 2013-12-17 Zynga Inc. Enabling game features based on location-based actions
US8558759B1 (en) 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
US8190749B1 (en) 2011-07-12 2012-05-29 Google Inc. Systems and methods for accessing an interaction state between multiple devices
US8184067B1 (en) 2011-07-20 2012-05-22 Google Inc. Nose bridge sensor
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US9542802B2 (en) 2011-08-01 2017-01-10 Cfph, Llc Amusement devices and games involving multiple operators, multiple players, and/or multiple jurisdictions
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9285592B2 (en) 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
US20150040074A1 (en) 2011-08-18 2015-02-05 Layar B.V. Methods and systems for enabling creation of augmented reality content
KR101543712B1 (ko) 2011-08-25 2015-08-12 한국전자통신연구원 증강현실을 이용한 보안 감시 장치 및 방법
US9342610B2 (en) 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US8903132B2 (en) 2011-09-12 2014-12-02 2343127 Ontario Inc. Efficient system and method for body part detection and tracking
US8941560B2 (en) 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
CN102509342A (zh) 2011-09-22 2012-06-20 北京航空航天大学 一种共享增强现实场景中协同式虚实遮挡处理方法
US20130076788A1 (en) 2011-09-26 2013-03-28 Eyeducation A. Y. Ltd Apparatus, method and software products for dynamic content management
CN102509348B (zh) 2011-09-26 2014-06-25 北京航空航天大学 一种共享增强现实场景的真实物体多方位表示方法
US9128520B2 (en) 2011-09-30 2015-09-08 Microsoft Technology Licensing, Llc Service provision using personal audio/visual system
US9498720B2 (en) 2011-09-30 2016-11-22 Microsoft Technology Licensing, Llc Sharing games using personal audio/visual apparatus
US9345957B2 (en) 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US9007364B2 (en) 2011-10-12 2015-04-14 Salesforce.Com, Inc. Augmented reality display apparatus and related methods using database record data
US9454849B2 (en) 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
US9536251B2 (en) 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
US20130124563A1 (en) 2011-11-16 2013-05-16 Google Inc. Controlling pre-fetching of map data tiles based on selectable parameters
US9805385B2 (en) 2011-11-21 2017-10-31 Nant Holdings Ip, Llc Subscription bill service, systems and methods
WO2013078345A1 (en) 2011-11-21 2013-05-30 Nant Holdings Ip, Llc Subscription bill service, systems and methods
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
US9182815B2 (en) 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US9230367B2 (en) 2011-12-13 2016-01-05 Here Global B.V. Augmented reality personalization
US20130159096A1 (en) 2011-12-16 2013-06-20 Ram Santhanagopal Ranked user graph for social advertisement targeting
US20130178257A1 (en) 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US20130176202A1 (en) * 2012-01-11 2013-07-11 Qualcomm Incorporated Menu selection using tangible interaction with mobile devices
US9041739B2 (en) 2012-01-31 2015-05-26 Microsoft Technology Licensing, Llc Matching physical locations for shared virtual experience
US8831255B2 (en) 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US9083945B2 (en) 2012-04-06 2015-07-14 Adobe Systems Incorporated Keyframe selection for robust video-based structure from motion
US9495591B2 (en) 2012-04-13 2016-11-15 Qualcomm Incorporated Object recognition using multi-modal matching scheme
US8965741B2 (en) 2012-04-24 2015-02-24 Microsoft Corporation Context aware surface scanning and reconstruction
US9122321B2 (en) 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US8893164B1 (en) 2012-05-16 2014-11-18 Google Inc. Audio system
US20130326364A1 (en) 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US20130335405A1 (en) 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
US10722403B2 (en) 2012-06-25 2020-07-28 Good.B, Llc Headwear with storable accessory
KR20150035745A (ko) 2012-06-26 2015-04-07 더 거버닝 카운실 오브 더 유니버시티 오브 토론토 라디오 맵의 동적 생성을 위한 시스템, 방법 그리고 컴퓨터 프로그램
US20130342572A1 (en) 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
US9384737B2 (en) 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
US20140002492A1 (en) 2012-06-29 2014-01-02 Mathew J. Lamb Propagation of real world properties into augmented reality images
GB2506338A (en) 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US9782668B1 (en) 2012-07-31 2017-10-10 Niantic, Inc. Placement of virtual elements in a virtual world associated with a location-based parallel reality game
US9389090B1 (en) 2012-08-21 2016-07-12 Google Inc. System for bidirectional navigation viewing and methods thereof
US20150206349A1 (en) 2012-08-22 2015-07-23 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US9380287B2 (en) 2012-09-03 2016-06-28 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Head mounted system and method to compute and render a stream of digital images using a head mounted display
US9347176B2 (en) 2012-10-04 2016-05-24 Api Intellectual Property Holdings, Llc Processes for producing cellulose pulp, sugars, and co-products from lignocellulosic biomass
US20140101608A1 (en) 2012-10-05 2014-04-10 Google Inc. User Interfaces for Head-Mountable Devices
US10032233B2 (en) 2012-10-17 2018-07-24 Facebook, Inc. Social context in augmented reality
US9552673B2 (en) 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
EP2908919A1 (en) 2012-10-22 2015-08-26 Longsand Limited Collaborative augmented reality
US20160292924A1 (en) 2012-10-31 2016-10-06 Sulon Technologies Inc. System and method for augmented reality and virtual reality applications
US8968099B1 (en) 2012-11-01 2015-03-03 Google Inc. System and method for transporting virtual objects in a parallel reality game
US9466144B2 (en) 2012-11-02 2016-10-11 Trimble Navigation Limited 3D mapping of a surveyed environment
US9503310B1 (en) 2012-11-27 2016-11-22 Leidos, Inc. Methods and systems of dynamic management of resources in a virtualized environment
US9728008B2 (en) * 2012-12-10 2017-08-08 Nant Holdings Ip, Llc Interaction analysis systems and methods
US20140168261A1 (en) 2012-12-13 2014-06-19 Jeffrey N. Margolis Direct interaction system mixed reality environments
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
WO2014108799A2 (en) 2013-01-13 2014-07-17 Quan Xiao Apparatus and methods of real time presenting 3d visual effects with stereopsis more realistically and substract reality with external display(s)
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
KR20230173231A (ko) 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US20140267234A1 (en) 2013-03-15 2014-09-18 Anselm Hook Generation and Sharing Coordinate System Between Users on Mobile
US9245387B2 (en) 2013-04-12 2016-01-26 Microsoft Technology Licensing, Llc Holographic snap grid
US9779548B2 (en) 2013-06-25 2017-10-03 Jordan Kent Weisman Multiuser augmented reality system
US9582561B2 (en) * 2013-07-16 2017-02-28 Sap Se Size-based data synchronization
US10217284B2 (en) 2013-09-30 2019-02-26 Qualcomm Incorporated Augmented virtuality
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US11270114B2 (en) * 2019-08-30 2022-03-08 Lg Electronics Inc. AR device and method for controlling the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101273368A (zh) * 2005-08-29 2008-09-24 埃韦里克斯技术股份有限公司 经由移动图像识别的交互
EP2257910A1 (en) * 2008-03-24 2010-12-08 Sony Ericsson Mobile Communications AB Mobile device with image recognition processing capability

Also Published As

Publication number Publication date
WO2012138784A2 (en) 2012-10-11
CN107066517A (zh) 2017-08-18
US20140320533A1 (en) 2014-10-30
US10726632B2 (en) 2020-07-28
CN103765410A (zh) 2014-04-30
US10127733B2 (en) 2018-11-13
US20180040168A1 (en) 2018-02-08
US20200342679A1 (en) 2020-10-29
US11869160B2 (en) 2024-01-09
CN107066517B (zh) 2021-07-06
US11514652B2 (en) 2022-11-29
US20240062486A1 (en) 2024-02-22
EP2695129A2 (en) 2014-02-12
US20210358223A1 (en) 2021-11-18
JP2014516437A (ja) 2014-07-10
US8810598B2 (en) 2014-08-19
WO2012138784A3 (en) 2013-01-03
US11107289B2 (en) 2021-08-31
US9824501B2 (en) 2017-11-21
US20230326151A1 (en) 2023-10-12
US20230051746A1 (en) 2023-02-16
US20160328885A1 (en) 2016-11-10
US11967034B2 (en) 2024-04-23
US20190080518A1 (en) 2019-03-14
US9396589B2 (en) 2016-07-19
US20200005547A1 (en) 2020-01-02
EP2695129A4 (en) 2015-04-01
US11854153B2 (en) 2023-12-26
US20240212297A1 (en) 2024-06-27
US10403051B2 (en) 2019-09-03
JP5856281B2 (ja) 2016-02-09
US20120256954A1 (en) 2012-10-11

Similar Documents

Publication Publication Date Title
CN103765410B (zh) 基于干涉的增强现实托管平台
Ritterbusch et al. Defining the metaverse: A systematic literature review
Dwivedi et al. Metaverse beyond the hype: Multidisciplinary perspectives on emerging challenges, opportunities, and agenda for research, practice and policy
US20210271357A1 (en) Virtual teller systems and methods
Sami et al. The metaverse: Survey, trends, novel pipeline ecosystem & future directions
CN109754256A (zh) 基于码链的模型、装置、系统、方法和应用
Morabito The future of digital business innovation
Yrjölä From street into the world: Towards a politicised reading of celebrity humanitarianism
US10902437B2 (en) Interactive product evaluation and service within a virtual universe
CN110648225A (zh) 一种应用数字人码链的方法
CN112669165A (zh) 一种应用数字人码链的统一接入方法
EP1924052A2 (en) System and procedure for communication based on virtual reality
Lacity et al. What type of metaverse will we create
Panda Revolution of the Metaverse and Blockchain Technology
Torres et al. Next Generation Virtual Worlds
Pothumani et al. Extended VEoT framework–Implemented in a Smart Boutique
Abadie et al. European perspectives on the information society: Annual monitoring synthesis and emerging trend updates
KR20050037179A (ko) 캐릭터 중계방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant